Before the First Token: Scale-Dependent Emergence of Hallucination Signals in Autoregressive Language Models

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 사실적인 정보를 생성하는 능력과 환각 (할루시네이션, 즉 사실과 다른 정보를 생성하는 것) 을 구별하는 내부적 능력 사이에서 괴리를 보입니다. 최근 연구들은 모델이 출력 확률 분포에는 나타나지 않는 내부 표현 (internal representations) 을 통해 사실성과 허구성을 구분할 수 있음을 보였습니다.

그러나 언제 이러한 내부 신호가 가장 활성화되는지, 그리고 이것이 모델의 규모 (파라미터 수) 에 따라 어떻게 변하는지에 대한 체계적인 이해는 부족했습니다. 특히, 모델이 첫 번째 토큰을 생성하기 전 (Pre-generation) 에 이미 환각 여부를 결정하는지, 아니면 생성 과정에서 점진적으로 결정되는지는 명확하지 않았습니다.

2. 연구 방법론 (Methodology)

저자들은 1 억 1,700 만 (117M) 에서 70 억 (7B) 파라미터까지 다양한 크기의 7 개의 오토레거시 (autoregressive) 트랜스포머 모델을 대상으로 실험을 수행했습니다.

• 모델 선정: GPT-2 Small (117M), Pythia (160M, 410M, 1.4B, 6.9B), GPT-2 XL (1.5B), Qwen2.5-7B.
• 데이터셋: TriviaQA, Simple Facts, Biography 등 3 가지 사실 기반 데이터셋을 사용하여 총 552 개의 레이블된 예시를 생성했습니다.
• 프로빙 (Probing) 기법:
  • 생성 과정의 각 단계 (위치 0~4) 에서 잔류 스트림 (residual stream) 활성화 값을 추출했습니다.
  • 위치 0 (Position 0): 입력 프롬프트는 처리되었으나 첫 번째 출력 토큰이 생성되기 전의 상태 (Pre-commitment encoding 확인 핵심).
  • 위치 1~4: 토큰이 생성되는 동안의 상태 변화.
  • PCA 를 통한 차원 축소 후, L2 정규화 로지스틱 회귀 분류기를 훈련하여 '사실적' vs '환각'을 분류하는 AUC-ROC 를 측정했습니다.
• 비교 분석: 모델 규모, 아키텍처 (GPT-2, Pythia, Qwen), 학습 방법 (Base vs Instruction-tuned) 에 따른 신호의 시간적 패턴 (Temporal Pattern) 을 비교했습니다.

3. 주요 기여 및 발견 (Key Contributions & Results)

A. 규모 의존적 전환 (Scale-Dependent Transition)

모델의 크기에 따라 환각 신호의 발생 시점이 질적으로 달라지는 것을 발견했습니다.

• 소규모 모델 (<400M 파라미터): 모든 생성 위치에서 우연 수준 (AUC 0.48~0.67) 의 정확도를 보였습니다. 이는 이 규모에서는 사실과 허구를 구분하는 신뢰할 수 있는 내부 신호가 존재하지 않음을 의미합니다.
• 중간 규모 (~1.4B - 1.5B 파라미터): 위치 0 (첫 토큰 생성 전) 에서 신호가 최대치에 도달한 후 생성이 진행됨에 따라 감소하는 패턴을 보였습니다. Pythia-1.4B 와 GPT-2 XL 에서 통계적으로 유의미한 결과 (p < 0.05) 를 확인했습니다.
• 대규모 모델 (7B): 규모만으로는 설명이 불가능했습니다.
  • Qwen2.5-7B (Instruction-tuned): 명확한 '생성 전 (Pre-generation)' 신호 피크를 보였습니다.
  • Pythia-6.9B (Base-only, Instruction-tuning 없음): 신호가 완전히 평탄 (Flat) 하여 통계적으로 유의미하지 않았습니다.
  • 결론: 규모는 필요조건이지만 충분조건이 아니며, 지시 튜닝 (Instruction Tuning) 이나 유사한 사후 학습이 'Pre-commitment encoding' (생성 전 결정) 을 가능하게 하는 핵심 요소입니다.

B. 계층별 분석 (Layer-wise Analysis)

• 소규모 모델은 초기 계층에서 신호가 발견되는 경향이 있었으나, 대규모 모델 (특히 Instruction-tuned) 은 더 깊은 계층 (예: Qwen2.5-7B 의 경우 85% 깊이) 에서 최적의 탐지 성능을 보였습니다. 이는 규모가 커질수록 지식 회수 회로가 더 깊은 계층에 조직화됨을 시사합니다.

C. 개입 실패 (Intervention Failure)

• 탐지된 환각 신호 방향으로 활성화 (Activation) 를 조작 (Steering) 하여 환각을 교정하려는 시도는 모든 모델에서 0% 성공률로 실패했습니다.
• 이는 탐지된 신호가 인과적 원인이 아니라 상관관계 (Correlational) 에 기반함을 의미합니다. 즉, 모델이 "잘못된 정보를 생성할 것"이라는 신호를 내부에 가지고 있지만, 이를 단순히 활성화 방향을 바꾸는 것으로 막을 수는 없습니다.

4. 의의 및 시사점 (Significance)

이론적 의의

• Pre-commitment Encoding 가설: 10 억 파라미터 이상의 지시 튜닝된 모델은 첫 토큰을 생성하기 전에 "이 정보가 사실인지 가짜인지"를 내부적으로 결정하는 회로를 갖추고 있습니다. 이는 모델이 생성 과정 중이 아닌, 프롬프트 처리 단계에서 이미 신뢰성을 판단함을 의미합니다.
• 지시 튜닝의 역할: 단순한 규모 확장이 아닌, 지시 튜닝을 통한 지식 조직화가 내부 신뢰성 신호를 구조화하는 데 필수적임을 입증했습니다.

실용적 시사점

• 모델 규모별 탐지 전략:
  • <400M: 내부 프로빙이나 출력 신뢰도 기반 탐지는 무효. RAG(검색 증강 생성) 나 인간 검토 등 시스템 수준의 개입이 필수.
  • >1B (Instruction-tuned): 위치 0 (첫 토큰 전) 에서의 프로빙이 최적. 생성 시작 전에 환각을 차단 (Blocking) 하거나 거절 (Abstention) 할 수 있어 사용자 경험에 해를 끼치지 않음.
  • Base-only 7B+: 내부 프로빙보다는 출력 신뢰도 (Confidence) 가 더 나은 지표일 수 있음.
• 안전성 (AI Safety): 모델이 내부적으로는 자신의 신뢰성을 알고 있음에도 출력 확률에는 이를 표현하지 않는 '내부 - 외부 불일치' 현상을 발견했습니다. 이는 고위험 분야에서 모델의 출력을 맹신하는 것의 위험성을 보여줍니다.

5. 결론

이 연구는 환각 탐지가 모델의 규모와 학습 방법에 따라 그 시간적 구조가 근본적으로 달라진다는 것을 체계적으로 증명했습니다. 특히, 10 억 파라미터 이상의 지시 튜닝된 모델은 첫 토큰 생성 전에 이미 환각 여부를 결정한다는 사실을 발견함으로써, 생성 전 (Pre-generation) 에 개입하여 신뢰할 수 있는 AI 시스템을 구축할 수 있는 새로운 가능성을 제시했습니다. 반면, 소규모 모델이나 지시 튜닝이 없는 대규모 모델에 대해서는 이러한 전략이 적용되지 않으므로, 모델별 맞춤형 모니터링 전략이 필요함을 강조합니다.