Listen to the Layers: Mitigating Hallucinations with Inter-Layer Disagreement

이 논문은 사전 훈련된 대규모 언어 모델의 환각 현상을 완화하기 위해 모델의 내부 계층 간 불일치를 감지하여 추론 시 사실성을 높이는 새로운 훈련 없는 디코딩 알고리즘인 'CoCoA'를 제안하고 다양한 작업에서 그 유효성을 입증합니다.

핵심

이 논문은 **"거짓말을 잘하는 AI(대형 언어 모델) 가 어떻게 하면 더 진실된 말을 할 수 있을까?"**에 대한 해결책을 제시합니다.

AI 가 유창하게 말하지만 사실과 다른 내용 (할루시네이션, 즉 환각) 을 만들어내는 문제는 매우 골치 아픈 일입니다. 이 논문은 AI 를 다시 가르치는 (재학습) 번거로운 방법 대신, AI 가 말을 할 때의 '내부 상태'를 귀 기울여 듣는 (Listen to the Layers) 새로운 방식을 제안합니다.

이해하기 쉽게 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. 핵심 아이디어: "혼란스러운 뇌의 신호를 듣는다"

AI 는 여러 개의 층 (Layer) 으로 이루어진 거대한 신경망입니다. 보통 AI 는 마지막 층에서 최종 답을 내놓습니다. 하지만 연구자들은 **"사실적인 지식은 AI 의 중간 층 (Middle Layers) 에서 가장 잘 처리된다"**는 사실을 발견했습니다.

• 비유: AI 를 한 팀의 회의에 비유해 봅시다.
  • 진실한 답변: 팀원들 (중간 층) 이 서로 의견을 주고받으며 "네, 맞아요. 그건 사실이에요"라고 일치된 목소리로 합의하는 상태입니다.
  • 거짓말 (할루시네이션): 팀원들이 서로 다른 말을 하거나, "아니, 그게 아닐 수도 있어", "잠깐, 뭐였지?"라며 혼란스럽고 불일치하는 상태입니다.

이 논문은 AI 가 말을 만들어낼 때, 중간 층들 사이의 **불일치 (Disagreement)**를 감지하면 "아, 이 팀은 지금 혼란스러우니까 거짓말을 하고 있겠구나"라고 판단합니다.

2. 해결책: "코코아 (CoCoA) 디코더"

저자들은 이 혼란 신호를 이용해 AI 의 답변을 수정하는 새로운 방법인 CoCoA를 만들었습니다.

• 작동 원리:

  1. AI 가 답을 고를 때, 여러 후보 (예: "캘리포니아", "조지아", "사우스캐롤라이나") 를 나열합니다.
  2. 각 후보에 대해 AI 의 **중간 층들이 얼마나 서로 다른지 (불일치 점수)**를 계산합니다.
  3. **혼란이 심한 후보 (불일치 점수가 높은 것)**는 AI 가 선택할 확률을 낮춥니다. (마치 "너는 지금 너무 혼란스러우니까 답이 될 수 없어"라고 경고하는 것)
  4. 안정적이고 일관된 후보를 선택하게 유도합니다.

• 창의적인 변형 (CoCoA-SIG):

  • 모든 답변에 똑같이 적용하는 게 아니라, AI 가 "어? 이거 내가 잘 모르는 내용이네?"라고 놀라 (Self-Information) 고개를 갸웃거릴 때만 더 강력하게 개입합니다.
  • 비유: 평소에는 가볍게 조언하지만, AI 가 "이건 내가 모를 수도 있어"라고 당황할 때는 "잠깐, 그건 사실인지 다시 한번 확인해 봐!"라고 강하게 경고하는 스마트한 감시관 같은 역할입니다.

3. 왜 이 방법이 특별한가?

기존의 방법들은 대부분 AI 를 처음부터 다시 가르치거나 (재학습), 외부 데이터를 찾아보게 (RAG) 하는 데 많은 비용과 시간이 걸렸습니다.

• CoCoA 의 장점:
  • 학습 불필요 (Training-free): AI 를 다시 훈련시킬 필요가 없습니다. 이미 만들어진 AI 에 바로 적용할 수 있습니다.
  • 빠르고 효율적: AI 가 말을 만들어내는 과정 (추론) 중에만 작동하므로, AI 의 본질적인 능력을 해치지 않으면서 사실성을 높입니다.
  • 광범위한 적용: 질문 답변, 요약, 수학 문제, 코드 작성 등 다양한 분야에서 효과를 입증했습니다.

4. 실제 결과: "거짓말이 줄고, 진실이 늘다"

실험 결과, 이 방법을 적용한 AI 는 다음과 같은 변화를 보였습니다.

• 사실성 향상: "미국에서 복숭아를 가장 많이 생산하는 주는 어디야?"라는 질문에, AI 가 흔히 하는 실수인 '캘리포니아' 대신 정답인 '조지아'를 말하게 되었습니다.
• 유창함 유지: 사실만 말하라고 해서 답변이 어색해지거나 길어지지 않았습니다. 여전히 자연스러운 문장을 유지합니다.
• 거짓말 감지: AI 가 답을 모를 때, 억지로 지어내는 대신 "모르겠다"라고 정직하게 말하는 비율도 늘어났습니다.

요약

이 논문은 **"AI 가 거짓말을 할 때, 그 내부의 혼란스러운 신호를 포착해서 진실을 찾아내라"**는 아이디어를 담고 있습니다.

마치 AI 의 뇌속에서 일어나는 작은 회의를 지켜보다가, "여기서 의견이 갈라지면 그건 거짓말일 확률이 높다"고 판단하여, AI 가 스스로 더 진실된 답을 선택하도록 돕는 스마트한 나침반을 개발한 것입니다. 이는 AI 를 더 신뢰할 수 있는 친구로 만들어주는 중요한 기술적 도약입니다.

기술 요약

1. 문제 제기 (Problem)

대규모 언어 모델 (LLM) 은 유창한 텍스트를 생성하지만, 사실과 다른 내용을 생성하는 할루시네이션 (Hallucination) 현상에 취약합니다. 이는 모델의 신뢰성과 하위 작업에서의 활용도를 크게 저해합니다. 기존의 할루시네이션 완화 방법은 모델 재학습 (파인튜닝, RLHF), 외부 지식 검색 (RAG), 또는 사후 검증 등 주로 모델 구조 변경이나 추가 자원을 요구하는 방식에 의존해 왔습니다. 본 논문은 모델의 내부 상태 (Internal State) 를 활용하여, 별도의 재학습 없이 추론 시간 (Inference time) 에만 적용 가능한 새로운 접근법을 제안합니다.

2. 핵심 가설 및 방법론 (Methodology)

가설: 계층 간 불일치 (Inter-Layer Disagreement)

저자들은 LLM 의 중간 계층 (Middle Layers) 이 사실적 정보를 처리하는 핵심 영역이라는 기존 연구 (Mechanistic Interpretability) 에 기반하여 다음과 같은 가설을 세웠습니다.

• 사실적 생성: 모델이 사실을 올바르게 회상할 때, 중간 계층을 통과하는 표현 (Representation) 은 안정적이고 일관성이 있습니다.
• 할루시네이션 생성: 모델이 사실을 잘못 회상하거나 할루시네이션을 생성할 때, 중간 계층 간의 표현에 불안정성과 의미적 불일치 (Disagreement) 가 발생합니다.

이러한 계층 간 불일치 신호를 감지하여 할루시네이션을 탐지하고 억제하는 CoCoA (Confusion and Consistency Aware) 디코더를 제안합니다.

주요 구성 요소

1. 불일치 지표 (Metrics) 정의
후보 토큰 시퀀스 (Span) 가 모델의 중간 계층을 통과할 때의 표현 불안정성을 정량화하기 위해 두 가지 지표를 제안합니다.

• ConMLDS (Consecutive Middle Layer Disagreement Score): 인접한 중간 계층들 간의 표현 벡터 (Cosine Similarity) 차이를 누적하여 계산합니다.
• fMLDS (Relative Middle Layer Disagreement Score): 각 중간 계층의 표현과 최종 계층 (Final Layer) 의 표현 간의 차이를 계산합니다.
• 수식: $Disagreement(L_a, L_b) = 1 - \text{CosineSimilarity}(H_{S, L_a}, H_{S, L_b})$

2. CoCoA 디코더 (Training-Free Decoder)
기존의 Greedy Decoding 또는 Beam Search 를 수정하여, 생성된 토큰 시퀀스의 불일치 점수 (MLDS) 를 패널티로 적용합니다.

• 기본 CoCoA: 로그 확률에서 패널티를 차감합니다.
  $$\log p_S - \alpha \times \text{MLDS}(S)$$
  여기서 $\alpha$는 패널티 가중치이며, MLDS 가 높을수록 (혼란이 클수록) 해당 시퀀스의 확률이 낮아집니다.

3. CoCoA-SIG (Self-Information Gated Variant)
모든 시퀀스에 동일한 패널티를 적용하는 대신, 자기 정보 (Self-Information, $-\log p_S$) 를 게이트로 활용하여 동적으로 패널티를 조절합니다.

• 원리: 모델이 예측하기 어려운 (확률이 낮고, 자기 정보가 높은) 시퀀스는 할루시네이션일 가능성이 높으므로, 이 경우 패널티를 강화합니다.
• 수식:
  $$\text{CoCoA-SIG}(S) = \log p_S [1 + \alpha \times \text{MLDS}(S)]$$
  이 방식은 고확률 시퀀스에는 간섭을 최소화하면서, 저확률 (불안정) 시퀀스에 대해 선택적으로 강하게 패널티를 부여합니다.

4. 분기점 (Divergence Points)에서의 적용
모델이 높은 확률로 예측하는 토큰은 오류 가능성이 낮으므로, CoCoA 는 분산이 발생하는 지점 (Divergence Points) 에서만 선택적으로 적용됩니다. 이는 계산 효율성을 높이고 불필요한 간섭을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 지표 제안: LLM 의 중간 계층에서 표현 불안정성을 정량화하는 ConMLDS와 fMLDS 두 가지 메트릭을 제안했습니다.
2. 재학습 없는 디코더: 모델의 가중치를 변경하지 않고 추론 시에만 적용 가능한 CoCoA 및 CoCoA-SIG 디코더를 개발했습니다.
3. 광범위한 검증: Llama-3, Mistral, Qwen 등 다양한 모델 패밀리와 크기를 대상으로 질문응답 (QA), 요약, 수학 추론, 코드 생성 등 다양한 태스크에서 실험을 수행했습니다.
4. 통계적 유의성: Wilcoxon Signed-Rank Test 를 통해 제안된 메트릭이 할루시네이션과 정상 생성을 통계적으로 유의미하게 구분함을 입증했습니다.

4. 실험 결과 (Results)

다양한 벤치마크 (TruthfulQA, Natural Questions, SAMSum, XSum, MBPP, GSM8K) 에서 CoCoA 및 CoCoA-SIG 는 기존 베이스라인 (Greedy, DoLa, DeCoRe, Diver) 을 능가하는 성능을 보였습니다.

• 사실성 (Truthfulness) 향상: TruthfulQA 생성 태스크에서 Llama-3-8B 기준, CoCoA-SIG 는 Greedy 디코딩 대비 T×I(사실성×정보성) 점수를 12.39%p 향상시켰으며, 가장 강력한 베이스라인인 DeCoRe 보다도 1.57%p 더 높은 성능을 기록했습니다.
• 모델 일반화: Qwen-2.5, Mistral-7B 등 다양한 모델 아키텍처에서도 일관된 개선을 보였습니다.
• 다양한 태스크:
  • 요약 (SAMSum/XSum): FActScore(사실성 점수) 와 Truthfulness가 크게 향상되었으며, ROUGE-L 점수는 유지하거나 소폭 개선되었습니다.
  • 코드 및 수학 (MBPP, GSM8K): Pass@1 및 정확도에서 기존 방법 대비 각각 6.73%, 1.21% 향상을 보였습니다.
• 효율성: CoCoA 는 DoLa 나 DeCoRe 에 비해 지연 시간 (Latency) 과 처리량 (Throughput) 면에서 훨씬 효율적입니다 (Greedy 대비 약 1.3 배 오버헤드).

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 할루시네이션 문제를 해결하기 위해 모델의 내부 표현 불안정성이라는 새로운 신호를 활용했습니다.

• 재학습 불필요: 별도의 파인튜닝이나 외부 지식 검색 (RAG) 없이 추론 단계에서 즉시 적용 가능하여, 기존 모델의 신뢰성을 높이는 범용적인 솔루션을 제공합니다.
• 메커니즘 해석 가능성: 할루시네이션이 모델의 특정 계층 (중간 계층) 에서의 불일치로 인해 발생한다는 것을 규명함으로써, LLM 의 내부 작동 원리에 대한 이해를 깊게 했습니다.
• 실용성: 계산 비용이 상대적으로 낮고 다양한 모델에 적용 가능하여, 실제 산업 환경에서 LLM 의 신뢰성을 높이는 데 중요한 기여를 할 것으로 기대됩니다.

요약하자면, CoCoA는 모델이 "혼란스러워하는 순간 (중간 계층의 불일치)"을 감지하여, 그 순간 생성될 가능성이 높은 잘못된 답변을 억제하고 사실에 기반한 답변을 유도하는 지능형 디코딩 전략입니다.