기술적 요약: 환각은 할당 실패

문제 제기

대형 언어 모델 (LLM) 은 유창하지만 사실적으로 부정확한 출력을 빈번히 생성하는데, 이를 환각 (hallucination) 이라고 부릅니다. 해당 분야의 지배적인 가정은 환각이 지식 부재의 직접적인 결과라는 것입니다. 즉, 모델은 생성 시 분포에서 정답이 부재할 때만 환각을 일으킨다고 여겨집니다. 최근 연구는 엔트로피가 급증하는 "중요 토큰" 또는 "분기 토큰"을 식별하여 환각이 생성 궤적의 특정 단계에서 결정됨을 시사합니다. 그러나 기존 불확실성 기반 탐지 방법 (예: 의미적 엔트로피) 은 모델이 정답을 보유하고 있음에도 불구하고 높은 확신으로 잘못된 답변을 출력하는 "확신 있는 환각 (confident hallucinations)"을 종종 식별하지 못합니다.

본 논문은 환각이 지식 부재를 의미한다는 가정에 도전합니다. 질문은 다음과 같습니다: 모델이 답변을 확정 (commit) 하는 순간, 잘못된 토큰을 출력하더라도 확률 분포 내에 올바른 개념을 보유하고 있었는가?

방법론

개념 및 의미 확률 질량 ($P_{mass}$)

저자들은 답변의 가용성에 대한 의미론적 개념을 도입합니다. 개별 토큰을 분석하는 대신, 동일한 답변을 나타내는 토큰 완성들의 동치류로 개념 (concept) $c$를 정의합니다 (예: "Saint Basil's Cathedral", "St. Basil's", "Cathedral of..." 등).
그들은 단계별 의미 확률 질량을 다음과 같이 정의합니다:
$$P_{mass}(t; c) = \sum_{v \in S_c} P_\theta(v \mid Q, y_{<t})$$
여기서 $S_c$는 개념 $c$의 표면 형태에 해당하는 첫 번째 토큰 ID 집합입니다. 이 지표는 특정 생성 단계에서 정답의 모든 유효한 별칭에 할당된 확률 질량을 집계합니다.

실험 설정

• 모델: Qwen(0.8B72B) 및 Llama(1B70B) 계열의 18 개 모델을 포함하며, Instruct(지시 미세 조정) 및 Base 변형을 모두 포함합니다.
• 데이터셋: 단답형 QA(TriviaQA, NQ-Open) 및 객관식 QA(MMLU, ARC-Challenge).
• 확정 단계 ($t_c$): 지시 미세 조정된 단답형 QA 에서 확정 단계는 $t=1$(생성된 첫 번째 토큰) 로 고정됩니다. 장문 생성의 경우, $t_c$는 답변 엔티티가 출력되는 단계로 식별됩니다.
• 할당 실패 정의: $P_{mass}(t_c; c^*) \geq 0.2$인 환각 샘플은 **할당 실패 (commitment failure)**로 분류됩니다. 여기서 $c^*$는 정답 개념입니다. 이는 모델이 정답 개념에 상당한 확률 질량을 할당했음에도 불구하고 여전히 잘못된 최종 답변을 출력했음을 의미합니다.

분석 차원

1. 할당 실패율 (CF%): 환각 중 할당 실패가 차지하는 비율.
2. 분해: 실패를 첫 번째 토큰 선택 실패(탐욕적 토큰 $\notin S_{c^*}$)와 다중 토큰 발산(탐욕적 토큰 $\in S_{c^*}$이지만 후속 토큰이 발산) 으로 분리합니다.
3. 분포 분석: 할당 실패의 확률 분포를 매칭된 정답 샘플 (유사한 $P_{mass}$를 가지지만 출력이 올바른 샘플) 과 비교합니다.
4. 지시 미세 조정 vs 규모: Instruct 모델과 Base 모델을 비교하여 모델 크기와 지시 미세 조정의 효과를 분리합니다.

주요 결과

1. 할당 실패는 보편적이며 규모에 의존함

모든 지시 미세 조정 모델에서 환각의 **16% 에서 47%**가 할당 실패입니다. 중요한 점은 이 비율이 모델 규모에 따라 단조롭게 증가한다는 것입니다.

• Qwen Instruct: CF% 가 0.8B(16%) 에서 72B(41%) 로 증가합니다.
• Llama Instruct: CF% 가 1B(16%) 에서 70B(47%) 로 증가합니다.
  이 발견은 더 큰 모델이 단순히 "더 많이 알고 있어" 환각이 적어진다는 직관과 모순됩니다. 오히려 더 큰 모델들은 확률 분포 내에 올바른 개념을 보유하고 있음에도 불구하고 더 자주 환각을 일으킵니다.

2. 메커니즘: 지시 미세 조정 유도 sharpening

본 논문은 규모 자체보다 지시 미세 조정이 이 현상의 주된 동인임을 식별합니다.

• Base 모델: 규모 전반에 걸쳐 잘못된 토큰 확률이 평탄하게 유지되며 (~0.30), 할당 실패율이 낮습니다.
• Instruct 모델: 단조로운 sharpening을 보입니다. 선택 실패에서 잘못된 탐욕적 토큰의 확률이 규모에 따라 증가합니다 (예: Qwen Instruct: 0.8B 에서 0.31 $\to$ 72B 에서 0.57).
• 분포 이동: 할당 실패에서 올바른 개념의 질량은 종종 여러 별칭 토큰("Saint", "St", "C" 등) 에 걸쳐 **분열 (fragmented)**되어, 단일 별칭이 경쟁 개념의 지배적 토큰에 대해 argmax 를 이기지 못하게 합니다. 더 큰 Instruct 모델에서는 이 분열이 붕괴되어 (질량이 하나의 별칭에 집중되지만), 잘못된 개념의 토큰이 더욱 날카로워져 "잘못된 끌개 (wrong-attractor)" 실패를 초래합니다.

3. 다중 토큰 및 은닉 상태 증거

• 다중 토큰 발산: 대형 Instruct 모델 (70B 이상) 에서 첫 번째 토큰이 올바른 별칭과 일치할 때, 두 번째 토큰의 엔트로피 ($H_{t=2}$) 는 거의 0(0.05~0.10) 으로 떨어집니다. 모델은 그 구절이 잘못된 엔티티로 이어지더라도 (예: "George Washington" 대신 "George Washington Carver") 즉시 특정 다중 토큰 구문에 확정합니다.
• 은닉 상태: $t=1$의 생성 전 은닉 상태에는 정확성에 대한 예측 정보가 포함되어 있습니다. Instruct 모델은 Base 모델에 비해 은닉 상태 프로브에서 더 높은 AUROC 를 보이며, 이 신호는 "선제적 (front-loaded)"입니다 ($t=1$에서 더 강함).
• 출력 매핑: Instruct 와 Base 모델 간의 격차는 은닉 상태 프로브 (+0.08) 보다 출력 수준 탐지 (AUROC +0.29) 에서 더 큽니다. 이는 지시 미세 조정이 출력 어휘로 투영하는 동안 신호를 증폭시킨다는 것을 시사합니다.

4. 할당 실패의 두 가지 측면

본 논문은 두 가지 구조적 실패 모드를 구분합니다:

1. 분열 주도형: (작은/Base 모델에서 흔함) 올바른 질량이 별칭들에 분할됨; 단일 토큰이 승리하지 못함.
2. 잘못된 끌개 주도형: (대형 Instruct 모델에서 흔함) 올바른 질량이 단일 별칭으로 붕괴되었으나, 잘못된 개념의 토큰이 더욱 날카로움 ($P_{greedy} > P_{mass}(c^*)$).

중요성 및 주장

본 논문은 확신 있는 환각을 일시적인 실수나 지식 부재가 아닌, 확정 단계에서 확률 질량이 어떻게 형성되는지의 구조적 결과로 재정의합니다.

• 통합 메커니즘: 확정된 개념이 올바를 때 확신 있는 정확성을 만들어내는 동일한 지시 미세 조정 유도 sharpening이, 확정된 개념이 잘못될 때 확신 있는 오선택을 만들어냅니다.
• 정렬 비용 (Alignment Tax): 이 현상은 더 넓은 "정렬 비용"의 한 측면으로 위치합니다. 여기서 정렬 (지시 미세 조정) 은 유용성과 유창성을 향상시키지만 보정 (calibration) 을 저하시키고 모드 붕괴를 유발하여 과도하게 확신 있는 오류를 초래합니다.
• 불확실성 탐지의 한계: 이 결과는 표준 불확실성 지표 (토큰 엔트로피나 의미적 엔트로피 등) 가 확신 있는 환각을 플래그하지 못하는 이유를 설명합니다. 모델은 올바른 개념을 보유하고 있음 (높은 $P_{mass}$) 에도 불구하고, 분포가 잘못된 토큰이 argmax 를 이기도록 형성되어 있기 때문입니다.
• 분석적 프로브: 저자들은 $P_{mass}$를 모델 행동을 이해하기 위한 분석적 프로브로 제안하며, 이는 배포 가능한 탐지기 (정답 별칭이 필요하므로) 는 아니지만 생성 과정에서 "답을 아는 것"과 "답을 출력하는 것"이 별개의 사건임을 드러낸다고 지적합니다.

본 논문은 더 큰 모델이 단순히 더 많이 아는 것이 아니라, 알고 있는 것에 대해 더 자주 오작동한다고 결론지으며, 이는 모델이 올바른 확정과 잘못된 확정 모두에서 결단력을 갖게 만드는 sharpening 성향에 기인합니다.