Precision, Physics, and Confabulation: Softmax Temperature as an Analog of Dopaminergic Precision-Weighting in LLM Hallucination

기술적 요약: 정밀도, 물리, 그리고 환각(Confabulation)

문제 정의
대규모 언어 모델(LLM)은 종종 "환각(hallucinations)"을 생성한다. 이는 올바른 답변과 동일하게 유창하고 자신감 넘치는 어조로 서술된 조작된 사실들이다. 이 현상은 계산 정신의학에서 설명하는 정신병의 핵심 특징인 **부적절한 정밀도 가중치(aberrant precision-weighting)**를 반영한다. 자유 에너지 원리(Free Energy Principle)와 예측 부호화(predictive coding) 프레임워크에 따르면, 지각은 사전 믿음(prior beliefs)과 감각 증거(sensory evidence)를 각각의 정밀도(역분산)에 따라 결합하는 베이즈 추론 과정이다. 정신병은 도파민이 감각 증거에 비해 사전 믿음이나 노이즈에 과도한 정밀도를 할당할 때 발생한다고 이론화되며, 이는 자신감 있지만 잘못된 추론(환각)으로 이어진다.

두 분야의 수학적 기제는 동일하다. 즉, LLM의 **소프트맥스 온도(softmax temperature, $T$)**는 베이즈 추론에서의 정밀도(precision) 파라미터의 역수이다. 그러나 두 분야 사이의 직접적인 테스트, 즉 $T$를 조작하는 것이 계산 정신의학에서 예측하는 부적절한 정밀도 가중치의 질적 징후를 재현하는지에 대한 선행 연구는 없었다. 구체적으로, 낮은 온도(높은 정밀도)가 자신감 있고 근거 없는 조작을 유발하는 반면, 높은 온도(낮은 정밀도)는 더 정직하고 유보적인 오류를 생성하는가?

방법론
저자는 **LLaMA 3.2 (3B)**를 사용하여 25개의 의료 질문과 기존 MedRAG 연구에서 파생된 5,025개의 문서를 바탕으로 한 고정된 코퍼스를 활용하여 파일럿 연구를 수행했다. 실험 설계는 두 가지 변수를 조작했다:

1. 조건(Condition): 오직 파라미터적 사전 확률(parametric priors)에만 의존하는 "Base"(근거 없음) 조건과, 모델이 검색된 증거(감각 증거 항 역할을 함)에 기반하도록 하는 "RAG"(검색 증강 생성) 조건.
2. 온도($T$): 세 가지 샘플링 온도를 테스트했다: $T=0.0$ (결정론에 가까움/높은 정밀도), $T=0.7$ (표준/중간), $T=1.3$ (확산/낮은 정밀도).

총 150개의 조합($3 \text{ temps} \times 2 \text{ conditions} \times 25 \text{ questions}$)을 평가했다.

• 정확도(Accuracy): 95% Wilson 점수 신뢰 구간을 사용하는 골드-키워드(gold-keyword) 기준을 사용하여 측정했다.
• 신뢰 징후(Hedging, 유보 표현): 오답에 대해 고정된 15개 단어의 유보 어휘 목록(예: "may", "might", "suggests", "uncertain")의 출현 횟수를 계산했다.
• 통계 분석: 온도 그룹 간의 유보 횟수를 비교하기 위해 오답과 정답 모두에 대해 비모수 Mann-Whitney U 검정을 사용했다.

주요 기여

1. 형식적 대응(Formal Correspondence): 본 논문은 계산 정신의학의 도파민성 정밀도 가중치, 통계 역학의 역온도, 그리고 LLM의 소프트맥스 온도 파라미터 사이의 관계를 명시적으로 매핑하여, $precision \propto 1/T$임을 확립했다.
2. 운용 가능한 가설(Operationalized Hypothesis): 이 수학적 대응을 테스트 가능한 가설로 변환했다. 즉, 낮은 온도는 근거가 없는 조건에서 "자신감 있는 조작"(낮은 유보 표현)을 유도해야 하며, 이러한 효과는 검색 근거(RAG)에 의해 완화되어야 한다는 것이다.
3. 파일럿 데이터의 정직한 보고: 저자는 정확한 수학적 대응과 생물학적 주장을 구분하며, 통계적 검정력과 표본 크기에 대한 적절한 주의 사항과 함께 결과를 보고했다.

결과

• H1 (RAG는 온도 민감도를 제거함): Base (근거 없음) 조건에서 정확도는 온도에 따라 비단조적으로 변했다 ($T=0.0$에서 0.72, $T=0.7$에서 0.64, $T=1.3$에서 0.68). 비록 신뢰 구간이 크게 겹쳤으나, 반대로 RAG (근거 있음) 조건의 정확도는 모든 온도에서 1.000으로 완벽하게 평탄했다. 이는 검색(retrieval)이라는 고정밀 증거가 사전 확률의 정밀도 설정의 영향을 압도한다는 이론적 예측을 뒷받침한다.
• H2 (자신감 있는 조작의 징후): Base 조건에서 $T=0.0$일 때의 오답은 $T=0.7/1.3$일 때의 오답(평균 = 0.89)보다 유보 단어가 유의미하게 적게 포함되었다(평균 = 0.14). 이는 높은 온도에서 유보 표현이 6배 증가함을 나타낸다. 그러나 $T=0.0$에서의 오답 표본 크기($n=7$)가 작기 때문에, 이 차이는 통계적 유의성에 도달하지 못했다 ($p=0.16$).
• H3 (특이성 제어): 동일한 분석을 정답에 적용했을 때, 온도와 유보 표현 사이의 관계는 발견되지 않았다 ($p=0.90$). 이 해리(dissociation)는 해당 효과가 일반적인 스타일 변화가 아니라 오답(환각) 생성에 특이적임을 시사한다.

의의 및 주장
본 논문은 파일럿 연구가 부적절한 정밀도 설명을 공식적으로 확인하기에는 **검정력이 부족(underpowered)**하지만, 관찰된 패턴은 해당 이론과 질적으로 일치한다고 결론짓는다.

• 수학적 대응은 소프트맥스 온도와 도파민성 정밀도 사이에서 정확하다.
• 예측된 질적 패턴(낮은 온도에서의 자신감 있는 조작, 높은 온도에서의 정직한 불확실성)은 오답에서만 나타났고 정답에서는 나타나지 않았다.
• RAG 결과는 근거 제시(grounding)가 사전 정밀도 설정과 무관하게 정확도를 안정화하는 고정밀 증거 항으로서 기능한다는 강력한 증거를 제공한다.

저자는 LLM이 생물학적 도파민을 보유하거나 메커니즘적으로 베이즈 추론을 구현한다고 주장하는 것이 아님을 명시적으로 밝힌다. 대신, 공유된 수학이 환각을 이해하기 위한 정밀하고 테스트 가능한 프레임워크를 제공한다고 제안한다. 본 연구의 주요 가치는 특정하고 반증 가능한 예측을 식별하고, "증거 정밀도가 사전 정밀도를 압도하는 것"과 단순한 RAG 벤치마크의 천장 효과(ceiling effect)를 구분하기 위한 더 큰 규모의 충분한 검정력을 갖춘 연구의 필요성을 강조하는 데 있다.