Understanding New-Knowledge-Induced Factual Hallucinations in LLMs: Analysis and Interpretation

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 사전 학습 (Pre-training) 을 통해 방대한 사실적 지식을 습득하지만, 이후 지도 미세 조정 (SFT) 단계에서 **새로운 지식 (New Knowledge)**을 학습할 때 사실적 환각 (Factual Hallucination) 이 발생할 위험이 증가합니다.

• 핵심 문제: 새로운 지식을 학습하면 모델이 이전에 알고 있던 정보조차 잘못 출력하거나, 관련 없는 맥락에서 사실과 다른 내용을 생성하는 현상이 발생합니다.
• 연구 공백: 기존 연구들은 주로 지식 기반 QA(질문 응답) 작업 내에서의 환각 현상에 초점을 맞추었으며, 구체적인 발현 양상과 그 이면의 메커니즘 (특히 주의 메커니즘의 변화) 에 대한 세밀한 분석은 부족했습니다. 또한, 새로운 지식이 학습될 때 어떤 조건에서 환각이 가장 심화되는지, 그리고 이것이 다른 작업으로 어떻게 전파되는지에 대한 체계적인 연구가 필요했습니다.

2. 방법론 (Methodology)

저자들은 새로운 지식 학습으로 인한 환각을 통제된 환경에서 정밀하게 분석하기 위해 다음과 같은 방법론을 제시합니다.

가. 통제된 데이터셋 구축: Biography-Reasoning

• 구성: 3,000 명의 가상의 인물과 각 인물의 4 가지 속성 (출생 연도, 사망 연도, 전공, 대학) 으로 구성된 합성 데이터셋입니다.
• 지식 유형: 4 가지 속성을 4 가지 지식 유형으로 정의합니다.
• 작업 유형:
  1. 지식 QA: 인물의 이름으로 특정 속성을 직접 질문하는 작업 (4 가지).
  2. 지식 기반 추론: 체인 오브 씽킹 (CoT) 을 요구하는 3 가지 복잡한 추론 작업 (단일 추론, 비교 추론, 신규 추론). 총 12 가지 추론 작업이 존재합니다.
• 실험 설계: 모델이 사전 학습 단계에서 접하지 않은 '미지 (Unknown)' 지식과 이미 학습된 '기존 (Known)' 지식을 다양한 비율로 혼합하여 훈련 데이터를 구성함으로써, 새로운 지식 학습이 모델 성능에 미치는 영향을 정량화합니다.

나. 실험 설정

• 모델: 주로 Qwen2.5-1.5B 를 사용하며, Llama3.2-1B, Qwen3-8B, Qwen2.5-32B 등 다양한 크기의 모델로 일반성을 검증했습니다.
• 훈련 전략:
  • Baseline: 모든 지식을 '기존 지식'으로만 학습.
  • Variant: 특정 지식 유형을 '미지 지식'으로 대체하여 학습.
  • KnownPatch: 훈련 후기 단계에 소량의 '기존 지식'을 주입하여 주의 패턴을 복원하는 방법 제안.

3. 주요 기여 및 발견 (Key Contributions & Results)

가. 세밀한 환각 분석 (Fine-Grained Analysis)

• 동일 유형 및 교차 전파: 새로운 지식을 학습하면 해당 지식 유형을 포함한 작업 (Same-Type) 에서 성능이 급격히 저하될 뿐만 아니라, 다른 지식 유형이나 도메인 외 (OOD) 작업에서도 환각이 발생합니다.
• 지식 유형의 불완전성 (Unfamiliarity): 단순히 새로운 지식의 전체 비율이 중요한 것이 아니라, 특정 지식 유형이 '완전히' 새로운 지식으로만 구성되었을 때 환각 경향이 가장 극심하게 나타납니다. 즉, 소량의 미지 지식이라도 해당 유형 내에서 기존 지식이 전혀 없으면 모델의 성능이 크게 붕괴됩니다.

나. 메커니즘 해석 (Mechanism Interpretability)

• 주의 집중의 약화 (Attention Decay): 새로운 지식을 학습하면 모델이 질문의 **핵심 실체 (Key Entities, 예: 인물 이름)**에 주의를 기울이는 정도가 약해집니다.
• 맥락 의존성 증가: 핵심 실체에 대한 주의가 줄어들면서 모델은 주변 맥락 (Context) 에 과도하게 의존하게 되어, 사실과 다른 내용을 생성할 확률이 높아집니다.
• 어휘적 유사성에 의한 전파: 환각은 작업 간의 **어휘적 유사성 (Lexical Similarity, 토큰 중첩도)**에 의해 전파됩니다. 의미적 유사성보다는 입력 문맥의 어휘적 겹침이 높을수록 새로운 지식 학습으로 인한 주의 패턴의 교란이 다른 작업으로 전이되어 환각을 유발합니다.

다. 해결 방안: KnownPatch

• 제안: 훈련의 후기 단계에 소량의 '기존 지식' 샘플을 주입하는 KnownPatch 방법을 제안했습니다.
• 효과: 이는 모델의 주의 패턴을 다시 핵심 실체 중심으로 복원시켜, 새로운 지식 학습으로 인한 환각을 효과적으로 완화합니다. 특히, 전체 데이터의 5~20% 만 기존 지식을 주입해도 도메인 외 (OOD) 데이터에서도 강력한 완화 효과를 보였습니다. 이는 모델이 단순히 지식을 재학습하는 것이 아니라, 주의 메커니즘을 안정화시키기 때문임을 시사합니다.

4. 의의 및 결론 (Significance)

• 이론적 통찰: 본 연구는 LLM 의 환각 현상이 단순한 지식 부족이 아니라, 새로운 지식 학습 과정에서 발생하는 주의 메커니즘의 왜곡에서 비롯됨을 규명했습니다.
• 실용적 기여:
  • 새로운 지식을 학습시킬 때, 해당 지식 유형이 완전히 새로운 경우 환각 위험이 매우 높으므로 주의가 필요함을 경고합니다.
  • KnownPatch와 같은 간단한 훈련 전략을 통해 추가적인 복잡한 필터링 없이도 모델의 사실성을 회복할 수 있음을 증명했습니다.
  • 환각 전파가 의미적 유사성이 아닌 어휘적 유사성에 의해 발생함을 밝혀, 모델의 안전성을 높이기 위한 데이터 구성 및 평가 기준을 개선하는 데 기여합니다.

요약하자면, 이 논문은 LLM 이 새로운 지식을 습득할 때 발생하는 '사실적 환각'의 원인을 핵심 실체에 대한 주의 집중 약화로 규명하고, 이를 **소량의 기존 지식 주입 (KnownPatch)**으로 해결할 수 있음을 실험적으로 증명했다는 점에서 중요한 의의를 가집니다.