Probing for Knowledge Attribution in Large Language Models

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 유창하지만 근거 없는 주장 (할루시네이션) 을 생성하는 경향이 있습니다. 기존 연구는 이러한 오류를 **신실성 (Faithfulness, 사용자 맥락 오용)**과 **사실성 (Factuality, 내부 지식 오류)**으로 분류해 왔으나, 근본적인 문제는 모델의 답변이 **프롬프트 (외부 맥락)**에서 비롯된 것인지, 아니면 **모델의 내부 가중치 (기억된 지식)**에서 비롯된 것인지 사용자가 알 수 없다는 점입니다.

• 핵심 문제: 모델이 잘못된 정보를 생성할 때, 그것이 외부 컨텍스트를 무시하고 내부 기억을 잘못 사용했는지, 아니면 외부 컨텍스트를 잘못 해석했는지 구분할 수 있는 메커니즘이 부족합니다.
• 기존 방법의 한계: "LLM-as-a-judge"나 불확실성 측정 (Uncertainty measures) 은 모델이 확신을 가지고 틀린 답변을 할 수 있다는 점과, '할루시네이션'에 대한 일관된 정의가 부재하다는 점에서 한계가 있습니다. 또한, 이러한 방법들은 답변의 '정확성'은 평가할 수 있지만, 답변의 '출처 (Provenance)'는 추적하지 못합니다.

2. 방법론 (Methodology)

이 연구는 모델의 숨겨진 표현 (Hidden Representations) 을 분석하여 답변의 주된 지식 출처를 식별하는 기여도 귀속 (Contributive Attribution) 문제를 해결하기 위해 다음과 같은 접근법을 제시합니다.

A. ATTRIWIKI: 자기지도형 데이터 파이프라인

수동 라벨링 없이 대규모로 귀속 (Attribution) 데이터를 생성하기 위해 ATTRIWIKI라는 데이터 파이프라인을 개발했습니다.

1. 데이터 소스: 위키피디아 문서를 사용하여, 모델이 부분적으로만 암기하고 있는 사실적 텍스트를 확보합니다.
2. 지식 테스트 (Knowledge Testing): 특정 엔티티 (개체) 가 모델의 내부 파라메트릭 메모리에 이미 존재하는지, 아니면 컨텍스트에서만 제공되는지 테스트합니다.
   • 모델이 엔티티를 정확히 기억하면 'Known(파라메트릭)', 기억하지 못하면 'Unknown(컨텍스트 의존)'으로 분류합니다.
3. 데이터 생성:
   • 파라메트릭 조건: 모델이 기억하는 엔티티를 문맥에서 제거하여, 모델이 내부 지식만으로 답변하도록 강제합니다.
   • 컨텍스트 조건: 모델이 기억하지 못하는 엔티티를 문맥에 포함하고, 다른 엔티티를 제거하여 모델이 문맥을 읽어야만 답변할 수 있도록 합니다.
4. 특징 추출: 모델이 생성하는 토큰 (특히 엔티티의 마지막 토큰, LTE) 에서의 숨겨진 상태 (Hidden States) 를 추출합니다.

B. 프로빙 (Probing) 분류기

ATTRIWIKI 에서 추출된 숨겨진 상태를 기반으로 **선형 분류기 (Linear Classifier)**를 훈련시켜 지식 출처를 예측합니다.

• 모델 구조:
  • Final-LR: 최종 레이어의 숨겨진 벡터에 대한 로지스틱 회귀.
  • Layer-LR: 모든 레이어의 숨겨진 상태를 가중치 (Softmax) 를 통해 합성하여 예측하는 선형 분류기.
  • Layer-MLP: 합성된 표현을 통해 MLP(다층 퍼셉트론) 를 거치는 더 복잡한 구조.
• 학습 목표: 모델의 내부 활성화가 '문맥 기반'인지 '기억 기반'인지 선형적으로 분리 가능한지 확인합니다.

3. 주요 기여 (Key Contributions)

1. ATTRIWIKI 데이터셋 및 파이프라인: 수동 라벨링 없이 모델의 지식 출처 (파라메트릭 vs 컨텍스트) 를 명확히 구분할 수 있는 대규모 자기지도형 데이터셋을 구축했습니다.
2. 선형적으로 접근 가능한 귀속 신호: LLM 의 숨겨진 상태 (특히 중간~상위 레이어) 에서 지식 출처 정보가 선형적으로 분리 가능함을 증명했습니다.
3. 범용성 검증: ATTRIWIKI 에서 훈련된 프로브가 SQuAD, WebQuestions 와 같은 외부 도메인 데이터셋에서도 재학습 없이 높은 성능을 보임 (Zero-shot Generalization) 을 확인했습니다.
4. 오류와 귀속 불일치의 상관관계: 모델이 잘못된 지식 출처 (예: 문맥이 필요한데 내부 기억을 사용하거나 그 반대) 를 사용할 때 오류율이 급격히 증가함을 통계적으로 입증했습니다.

4. 실험 결과 (Results)

• 귀속 분류 성능:
  • Llama-3.1-8B, Mistral-7B, Qwen-7B 모델에서 Macro-F1 점수가 최대 0.96에 달했습니다.
  • 특히 Layer-LR(레이어 가중 선형 회귀) 이 Final-LR 보다 7~11%p 높은 성능을 보였으며, 엔티티의 마지막 토큰 (LTE) 에서의 예측이 가장 정확했습니다.
• 범용성 (Generalization):
  • ATTRIWIKI 에서 훈련된 분류기가 외부 QA 데이터셋 (SQuAD, WebQuestions) 에서 0.94~0.99의 정확도를 보이며 재학습 없이도 잘 일반화되었습니다.
• 레이어 분석:
  • PCA 분석 결과, 지식 출처에 대한 정보는 모델의 **중간~상위 레이어 (Middle to Upper Layers)**에서 명확하게 분리되는 경향을 보였습니다.
• 오류 분석:
  • 귀속 불일치 (Attribution Mismatch): 모델이 필요한 지식 출처를 잘못 선택했을 때 오류율이 최대 **70%**까지 증가했습니다. 특히 misleading 한 문맥이 있을 때 내부 기억을 무시하고 문맥을 과도하게 신뢰하거나, 반대의 경우 오류가 발생했습니다.
  • 한계: 귀속이 정확하다고 해서 답변이 항상 사실적인 것은 아닙니다 (Correct Attribution $\neq$ Factual Correctness).

5. 의의 및 결론 (Significance & Conclusion)

• 진단 도구로서의 귀속: 할루시네이션의 '정확성'만 판단하는 것이 아니라, 모델이 어떤 지식 채널을 사용했는지를 실시간으로 진단할 수 있는 새로운 축을 제시했습니다.
• RAG 및 실제 적용: 검색 증강 생성 (RAG) 시스템에서 모델이 검색된 문서를 무시하고 내부 기억을 사용하는지 감지하여, 검증이나 재검색을 트리거하는 등의 안전장치로 활용 가능합니다.
• 해석 가능성: 복잡한 신경망 내부에서 지식 흐름이 어떻게 처리되는지에 대한 기계적 이해 (Mechanistic Interpretability) 를 높였습니다.
• 향후 과제: 모델 의존적인 분류기 훈련의 한계, 다국어 및 다양한 도메인 (법률, 대화 등) 으로 확장 필요, 그리고 단순한 토큰 단위에서 시퀀스 단위로의 귀속 분석 필요성이 제기되었습니다.

이 연구는 LLM 의 신뢰성을 높이기 위해 "답변이 맞는지"뿐만 아니라 "답변이 어디서 왔는지"를 파악하는 것이 필수적임을 강조하며, 이를 위한 효율적이고 확장 가능한 기술적 기반을 마련했습니다.