Analyzing the Correlation Between Hallucinations and Knowledge Conflicts in Large Language Models

기술 요약: 대규모 언어 모델(LLM)에서 환각(Hallucination)과 지식 충돌(Knowledge Conflict) 간의 상관관계 분석

문제 정의
대규모 언어 모델(LLM)은 학습 후 업데이트가 불가능한 고정된 정적 학습 데이터로 인해 지식 집약적인 작업에서 상당한 한계에 직면해 있다. 모델이 자신의 파라미터 지식 외부에 있거나 이와 상충하는 정보에 직면할 때, 모델은 종종 사실과 다르거나 일관성이 없거나 검증할 수 없는 출력인 "환각(hallucination)"을 생성한다. 널리 퍼진 가설은 이러한 환각이 모델에 저장된 파라미터 지식이 입력에서 제공된 문맥적 단서와 충돌하는 내부적 지식 충돌에서 비롯된다는 것이다. 그러나 지식 충돌의 내부 표현과 환각 행동 사이의 구체적인 관계는 아직 충분히 탐구되지 않았다. 이전 연구들은 지식 충돌(Zhao et al.)과 환각(Snyder et al.)을 독립적으로 탐지하기 위한 프로빙(probing) 기법을 성공적으로 개발했지만, 이 두 현상이 공통된 내부 인코딩을 공유하는지, 혹은 하나를 통해 다른 하나를 예측할 수 있는지는 불분ло명하다.

방법론 및 실험 설계
본 연구는 지식 충돌과 환각 사이의 양방향 상관관계를 조사하기 위해 프로빙 기반 프레임워크를 채택한다. 저자들은 만약 환각이 지식 충돌에 의해 발생한다면, 환각된 출력의 내부 활성화 패턴이 지식 충돌를 식별하도록 훈련된 분류기에 의해 탐지될 수 있을 것이라는 가설을 세운다.

실험 설계는 두 가지 뚜렷한 방향으로 진행된다:

1. 지식 충돌에서 환각으로:

   • 모델: LLaMA-3-8B.
   • 훈련: 지식 충돌 프로빙 모델($KC_{a,i}$)은 충돌 신호를 은닉(hidden), 어텐션(attention), MLP 레이어 활성화에서 탐지하기 위해 NQ-Swap 데이터셋(상충하는 QA 쌍을 포함하는 합성 데이터셋)을 사용하여 로지스틱 회귀(Logistic Regression)로 훈련되었다.
   • 평가: 이렇게 훈련된 충돌 탐지기를 환각된 QA 쌍을 포함하는 데이터셋인 Mu-SHROOM, HaluEval, HaluBench에서 추출된 활성화에 적용하였다. 목표는 충돌 탐지기가 환각의 존재를 정확하게 예측할 수 있는지 결정하는 것이다.

2. 환각에서 지식 충돌로:

   • 모델: Falcon-7B.
   • 훈련: 환각 신호를 출력 로짓(logits) 및 중간 활성화(어텐션 및 MLP)에서 탐지하기 위해 TriviaQA 데이터셋을 사용하여 피드포워드 분류기($H_l, H_{a,i}$)를 훈련하였다.
   • 평가: 이 환각 탐지기를 NQ-Swap 데이터셋에 적용하여 지식 충돌의 존재를 환각 탐지기가 예측할 수 있는지 확인하였다.

주요 결과
경험적 분석을 통해 다음과 같은 결과가 도출되었다:

• 강한 상관관계의 부재: 환각이 지식 충찰로 직접 환원될 수 있다는 가설과 달리, 본 연구는 두 현상의 내부 표현 사이에 유의미한 상관관계가 없음을 발견했다.
  • 지식 충돌 모델로 환각을 프로빙했을 때(LLaMA-3-8B), 정확도는 변동이 있었으나 낮게 유지되었으며(종종 우연 수준에 근접하며, AUROC는 0.5에 가까움), 특히 지식 충돌이 단독으로 가장 정밀하게 탐지되는 중간 레이어(15~25)에서 성능이 저하되었다.
  • 반대로, 환각 모델로 지식 충돌을 프로빙했을 때(Falcon-7B), 모든 레이어에서 탐지기가 우연 수준(정확도 $\approx$ 0.5, AUROC $\approx$ 0.5)의 성능을 보였다. 이는 환각 탐지가 후기 레이어에서 개선된다고 보고한 Snyder et al.의 참조 연구와 대조적이며, 본 연구에서는 그 경향성이 미미했다.
• 활성화 특이성(Activation Specificity): 본 연구는 LLaMA-3-8B의 은닉 활성화가 어텐션이나 MLP 활성화보다 충돌 탐지에 덜 유익하다는 것을 관찰했다. Falcon-7B에서는 이 특정 교차 작업 맥락에서 어텐션 활성화가 때때로 MLP보다 우수한 성능을 보이는 등 이전 문헌과 반대되는 경향이 관찰되었다.
• 언어 간 견고성: 두 현상 간의 상관관계 결여에도 불구하고, 프로빙 방법론 자체는 견고함을 입증했다. 14개 언어를 다루는 다국어 Mu-SHROOM 데이터셋에 적용했을 때, 프로빙 모델은 다양한 언어에 대해 안정적인 성능을 유지하였으며, 이는 해당 기술이 특정 언어 구조에 크게 편향되지 않았음을 나타낸다.

의의 및 기여
본 논문은 환각과 지식 충돌이 내부 표현 수준에서 강하게 정렬되어 있지 않다는 체계적인 경험적 증거를 제공함으로써 LLM 해석 가능성에 대한 폭넓은 이해에 기여한다.

• 현상의 분리(Decoupling Phenomena): 본 연구의 결과는 환각이 전적으로 또는 주로 내부 지식 충돌에 의해 발생한다는 직관적인 가정을 반박한다. 이는 환각이 지식 충돌 신호만으로는 완전히 포착할 수 없는 더 복잡하고 직교하는(orthogonal) 메커니즘에 의해 발생할 수 있음을 시사한다.
• 방법론적 검증: 상관관계 가설은 지지되지 않았으나, 본 연구는 다양한 활성화 유형(은닉, 어텐션, MLP) 및 언어에 걸쳐 내부 모델 동작을 분석하는 강력한 도구로서 프로빙의 유용성을 검증하였다.
• 향후 방향: 저자들은 향-목표 완화 전략을 개발하기 위해 이러한 현상들을 분리할 필요가 있다고 강조한다. 또한 디지털 헬스, 교육, 인적 자원 관리와 같은 고위험 분야로 프로빙 방법론을 확장할 것을 제안하며, 다국어 및 민감한 맥락에서의 편향 및 프로빙 결과의 오해에 관한 윤리적 고려의 중요성을 언급하였다.

이 실험들의 재현을 위한 소스 코드는 공개적으로 사용 가능하여, LLM의 내부 메커니즘에 대한 추가적인 연구를 용이하게 한다.