💬 NLP

Wisdom is Knowing What not to Say: Hallucination-Free LLMs Unlearning via Attention Shifting

이 논문은 기존 기계 소거 방법의 utility 손실과 환각 문제라는 딜레마를 해결하기 위해, 중요도 인식 억제와 주의 유도 유지 강화를 통해 지식 소거와 일반적 성능 보존을 동시에 달성하는 '주의 이동 (Attention-Shifting)' 프레임워크를 제안합니다.

원저자: Chenchen Tan, Youyang Qu, Xinghao Li, Hui Zhang, Shujie Cui, Cunjian Chen, Longxiang Gao

게시일 2026-04-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chenchen Tan, Youyang Qu, Xinghao Li, Hui Zhang, Shujie Cui, Cunjian Chen, Longxiang Gao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🧠 배경: 인공지능의 '기억'과 '잊음'의 딜레마

인공지능 (LLM) 은 방대한 양의 데이터를 학습해서 지식을 쌓습니다. 하지만 만약 그 안에 사용자의 사생활이나 비밀 같은 민감한 정보가 섞여 있다면, 우리는 그 정보를 '지우기' 원합니다. 이를 **머신 언러닝 (Machine Unlearning)**이라고 합니다.

하지만 기존 방법들은 두 가지 큰 문제를 겪고 있었습니다:

과격한 삭제 (Aggressive): 정보를 강제로 지우려다 보니, 인공지능이 멍해져서 다른 일반적인 질문에도 엉뚱한 답을 하거나 아예 말을 못 하게 됩니다. (기억력 상실)
온건한 삭제 (Conservative): 정보를 지우지 않고 답을 바꾸려다 보니, 인공지능은 "모르겠다"라고 말하지 않고, **사실과 다른 엉뚱한 거짓말 (할루시네이션)**을 자신 있게 해버립니다. (기억은 지웠는데, 거짓말은 계속 함)

💡 해결책: '주의력 이동 (Attention Shifting)' 기술

이 논문이 제안한 AS(Attention Shifting) 기술은 인공지능의 '주의력'을 조절하는 방식입니다.

🎯 비유: "도서관 사서와 빨간 펜"

인공지능이 정보를 떠올릴 때, 마치 도서관 사서가 책장 사이를 훑어보며 중요한 단어를 찾아내는 것과 같습니다.

기존의 문제: 민감한 정보 (예: "지훈 씨의 집 주소") 를 지우려면, 사서가 그 책을 아예 불태워버리는 (과격한 삭제) 식이거나, "지훈 씨의 집 주소는 없습니다"라고 말하면서도 속으로는 그 정보를 계속 떠올려서 "아마 서울 강남이겠지?"라고 엉뚱한 추측을 하는 (온건한 삭제) 식이었습니다.
AS 의 방식: 이 기술은 사서에게 **"그 책 (민감한 정보) 을 볼 때, 그 책의 제목과 저자 (사실 정보) 에 초점을 맞추지 말고, 책장 가장자리나 빈 공간 (중립적인 단어) 으로 시선을 옮겨라"**라고 지시합니다.

핵심 메커니즘:

중요한 단어에 대한 시선 줄이기: "지훈", "주소", "서울" 같은 사실 정보를 담고 있는 단어에 인공지능이 집중하는 힘을 약하게 만듭니다. (Suppression)
중립적인 단어에 대한 시선 늘리기: 대신 문장의 연결고리나 문법적인 단어에 집중하도록 유도합니다. (Retention)

이렇게 하면 인공지능은 민감한 정보를 기억에서 완전히 지우는 것이 아니라, 그 정보를 꺼내지 않는 습관을 들이게 됩니다. 마치 "그 질문에는 답할 수 없다"라고 자연스럽게 거절하는 것처럼요.

✨ 이 기술의 장점 (왜 이것이 '지혜'인가?)

거짓말을 안 합니다: 인공지능이 "모르겠다"라고 말하거나, "그런 정보는 없습니다"라고 정중히 거절할 때, 엉뚱한 거짓말을 지어내지 않습니다. (할루시네이션 방지)
기타 능력은 그대로: 민감한 정보만 잊었을 뿐, 다른 일반적인 지식 (날씨, 역사, 수학 등) 은 여전히 잘 기억하고 잘 대답합니다. (기억력 유지)
자연스러운 거절: "비밀입니다"라고 말하기보다, 질문을 받았을 때 자연스럽게 "그건 알 수 없습니다"라고 대답하는 것처럼, 문맥을 해치지 않고 잊어버립니다.

📊 실험 결과

연구진은 이 기술을 테스트해 보았습니다.

기존 방법들: 민감한 정보를 지우려다 보니, 다른 질문을 했을 때 정확도가 50% 이상 떨어지거나, 거짓말을 30% 이상 했습니다.
이 기술 (AS): 민감한 정보는 완벽하게 잊었으면서도, 다른 질문들에 대한 정확도는 거의 떨어지지 않았습니다. 오히려 기존 방법들보다 정확도가 10~15% 더 높았습니다.

🏁 결론

이 논문은 인공지능에게 **"무엇을 말해야 하는지"**를 가르치는 것이 아니라, **"무엇을 말하지 않아야 하는지"**를 가르치는 새로운 지혜를 제시했습니다.

비유하자면, 과거의 방법은 민감한 정보를 지우려다 머리를 다쳐서 멍청해지거나, 거짓말을 하느라 정신이 혼란스러웠다면, 이 새로운 방법은 **"그건 비밀이니까 말하지 않겠어요"**라고 자연스럽게 거절하면서도, 다른 대화는 여전히 똑똑하게 이어가는 매너 있고 똑똑한 비서를 만든 것입니다.

이 기술은 개인정보 보호가 중요한 의료, 법률, 금융 분야에서 인공지능을 안전하게 사용할 수 있는 길을 열어줍니다.

1. 문제 제기 (Problem)

대규모 언어 모델 (LLM) 의 활용이 증가함에 따라, 모델이 학습 데이터 내의 민감한 정보를 기억하고 재생성할 수 있다는 프라이버시 우려가 커졌습니다. 이에 따라 '머신 언러닝 (Machine Unlearning)' 기술이 중요해졌으나, 기존 방법들은 다음과 같은 치명적인 딜레마에 직면해 있습니다.

공격적 언러닝 (Aggressive Unlearning): 경사 상승 (Gradient Ascent) 등 목표 지식을 강력하게 삭제하는 방법은 모델의 전반적인 성능 (이웃 지식 및 일반 지식) 을 급격히 저하시켜 모델의 유용성을 해칩니다.
보수적 언러닝 (Conservative Unlearning): 로짓 (Logits) 조작 등을 통해 모델 성능은 유지하려 하지만, 이는 모델이 삭제된 지식에 대해 사실과 다른 내용을 자신 있게 생성하는 할루시네이션 (Hallucination) 을 유발합니다.

따라서, 목표 지식은 완전히 잊으면서도 모델의 일반 성능은 유지하고, 할루시네이션을 방지하는 균형 잡힌 언러닝 방법이 절실히 필요합니다.

2. 제안 방법: 어텐션 시프팅 (Attention Shifting, AS)

저자들은 어텐션 시프팅 (AS) 이라는 새로운 프레임워크를 제안합니다. 이는 모델의 내부 표현을 직접 수정하거나 로짓을 조작하는 대신, 어텐션 메커니즘 (Attention Mechanism) 수준에서 정보를 재분배하는 방식입니다.

핵심 메커니즘

컨텍스트 보존 억제 (Context-Preserving Suppression):
- 삭제 대상 데이터 (Unlearning Set) 에서는 사실 정보를 담고 있는 토큰 (Fact-bearing tokens) 에 대한 어텐션 가중치를 의도적으로 낮춥니다.
- 이를 통해 모델이 기억된 사실에 의존하지 않도록 하지만, 문법적 구조나 유창성은 유지합니다.
할루시네이션 저항적 응답 형성 (Hallucination-Resistant Response Shaping):
- 삭제된 지식에 대해 질문이 들어왔을 때, 모델이 사실과 다른 내용을 생성 (할루시네이션) 하는 것을 방지합니다.
- 대신 "모르겠다"거나 최소한의 응답을 하도록 유도하여, 잘못된 정보를 생성하는 경로를 구조적으로 차단합니다.

구현 방식

경량 어댑터 (Lightweight Adapters): 모델의 전체 파라미터를 수정하지 않고, 어텐션 모듈에 약 12M 파라미터 규모의 어댑터를 삽입하여 어텐션 가중치를 조절합니다.
이중 손실 함수 (Dual-Loss Objective):
- ASP Loss (Attention Suppression): 삭제 대상 데이터에서 중요도가 높은 토큰에 대한 어텐션을 억제합니다.
- AKL Loss (Attention Retention): 유지 대상 데이터 (Retained Set) 에서 의미적으로 중요한 토큰에 대한 어텐션을 강화하여 모델 성능 저하를 막습니다.
- 두 손실 함수를 가중치 $\alpha$ 로 조절하여 최적화합니다.

3. 주요 기여 (Key Contributions)

새로운 언러닝 패러다임: 기존 로짓 조작이나 공격적 경사 하강법과 달리, 어텐션 흐름을 내부적으로 재분배하여 지식의 접근을 구조적으로 차단하는 방식을 제시했습니다.
할루시네이션 방지: 삭제된 지식을 단순히 대체하는 것이 아니라, 모델이 해당 지식에 접근하지 못하게 함으로써 할루시네이션을 근본적으로 줄였습니다.
표현 중첩 (Representation Superposition) 하의 견고성: LLM 의 신경망이 여러 개념을 중첩하여 표현하더라도, 어댑터를 통한 미세한 어텐션 조절만으로 효과적으로 언러닝이 가능함을 입증했습니다.
성능 균형: 삭제 효과, 일반화 능력, 응답 신뢰성 사이의 최적 균형을 달성했습니다.

4. 실험 결과 (Experimental Results)

저자들은 ToFU (가상 저자 정보 기반) 와 TDEC (학습 데이터 추출 챌린지) 벤치마크를 통해 AS 를 평가했습니다.

성능 유지 (Model Utility):
- 기존 최첨단 방법 (GA, NPO, IHL, ULD) 대비 ToFU 벤치마크에서 정확도가 최대 15%, TDEC 벤치마크에서 10% 더 높게 유지되었습니다.
- 특히, 유지 데이터 (Retained Data) 가 적을 때도 성능 저하가 거의 없었습니다.
언러닝 효과 (Unlearning Effectiveness):
- Top-k 제외율 (Top-k Exclusion Rate): 삭제된 토큰이 모델의 상위 예측에서 제외되는 비율이 매우 높았습니다.
- ROUGE-L 점수: 삭제된 지식에 대한 생성 정확도가 현저히 낮아져 (0.05~0.16 수준), 지식 삭제가 성공적으로 이루어졌음을 보여줍니다.
할루시네이션 억제:
- 다른 방법들 (IHL, ULD 등) 은 삭제된 내용을 비유하거나 잘못된 사실로 대체하는 경우가 많았으나, AS 는 0% 의 재현율 (Reproduction) 과 0% 의 할루시네이션율을 기록했습니다.
- 모델은 삭제된 질문에 대해 "아무도 모른다"거나 빈 응답을 생성하는 등 신뢰할 수 있는 거동 (Refusal behavior) 을 보였습니다.
적응성: 다양한 모델 크기 (GPT-Neo 125M~2.7B, LLaMA-2 7B) 에서 일관된 성능을 보였으며, 적대적 프롬프트 (재구성, 노이즈 추가 등) 에 대해서도 강건했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 의 프라이버시 보호와 모델의 신뢰성을 동시에 확보할 수 있는 실용적인 솔루션을 제시합니다.

실용성: 모델의 전체 재학습 없이 경량 어댑터만으로 언러닝이 가능하여 계산 비용이 적게 듭니다.
신뢰성: 의료, 법률 등 정밀한 답변이 요구되는 분야에서 할루시네이션을 방지함으로써 LLM 의 실제 배포 가능성을 높입니다.
미래 방향: 단순한 행동적 억제 (Behavioral suppression) 를 넘어, 표현 수준의 편집과 결합하여 내부 잔여 흔적까지 완전히 제거하는 하이브리드 방법론으로의 발전 가능성을 열어두었습니다.

결론적으로, "무엇을 말하지 말아야 할지 아는 것 (Wisdom is Knowing What not to Say)" 이라는 철학을 바탕으로, LLM 이 민감한 정보를 잊되 그 과정에서 모델의 지혜와 유창함을 잃지 않도록 하는 새로운 기준을 제시했습니다.