기술 요약: 추론의 열역학적 시그니처

문제 정의

대규모 언어 모델(LLM)에서의 환각(Hallucination)은 배포를 가로막는 결정적인 장벽으로 남아 있다. 최근 연구들은 어텐션 유도 그래프 라플라시안(attention-derived graph Laplacians)의 스펙트럼이 추론 품질에 관한 신호를 포함하고 있음을 밝혀냈으나, 기존의 스펙트럼 진단법은 제한적이다. 기존 방법들은 고해상도 라플라시안 스펙트럼을 단 몇 개의 상위-$K$ 고윳값이나 수동으로 선택된 스칼라(예: Fiedler 값, 스펙트럼 엔트로피)만을 사용하여 요약한다. 저자들은 이러한 접근 방식이 중요한 구조적 정보를 버려 "신호를 테이블 위에 남겨두는(leaving signal on the table)" 결과를 초래한다고 주장한다. 본 연구의 목표는 학습이 필요 없거나(또는 최소한의 캘리브레이션만 필요하며), 단 한 번의 추론 패스(inference pass) 내에서 작동하고, 기저의 LLM을 재학습시키지 않고도 어텐션 맵의 스펙트럼 구조를 온전히 활용하는 탐지 메커니즘을 개발하는 것이다.

방법론: 자유 에너지 시그니처 (Free-Energy Signatures, FES)

본 논문은 각 레이어의 어텐션 라플라시안을 가상의 양자 시스템을 위한 해밀토니안(Hamiltonian)으로 취급하는 스펙트럼 기술자인 **자유 에너지 시그니처(FES)**를 제안한다. 이 방법은 스펙트럼으로부터 열역학적 포텐셜과 무작위 행렬 이론(Random Matrix Theory, RMT) 통계량을 추출한다.

1. 어텐션 라플라시안의 구성

$L$개의 레이어와 $H$개의 어텐션 헤드를 가진 동결된(frozen) LLM에 대해, 레이어 $\ell$에서의 post-softmax 어텐션 행렬 $A^{(\ell,h)}$를 대칭화하고 헤드들에 대해 평균 풀링하여 $\tilde{A}^{(\ell)}$를 형성한다. 그 후 조합론적 그래프 라플라시안은 다음과 같이 구성된다:
$$L^{(\ell)} = D^{(\ell)} - \tilde{A}^{(\ell)}$$
여기서 $D^{(\ell)}$는 차수 행렬(degree matrix)이다. $L^{(\ell)}$의 고윳값 $\{\lambda_k\}$는 경험적 스펙트럼 측도를 형성한다.

2. 열역학적 범함수 (Thermodynamic Functionals)

스펙트럼은 역온도 파라미터 $\beta$를 사용하는 평형 열역학의 관점에서 분석된다. 다음의 포텐셜들이 각 레이어에 대해 계산된다:

• 분배 함수 (Partition Function, $Z$): $Z(\beta) = \text{Tr}(e^{-\beta L}) = \sum e^{-\beta \lambda_k}$.
• 자유 에너지 (Free Energy, $F$): $F(\beta) = -\frac{1}{\beta} \log Z(\beta)$.
• 스펙트럼 엔트로피 (Spectral Entropy, $S$): 볼츠만 분포 $p_k = e^{-\beta \lambda_k}/Z(\beta)$를 통해 계산된다.
• 열용량 (Heat Capacity, $C$): $C(\beta) = \beta^2 \text{Var}_p[\lambda]$.

이러한 범함수들은 $m$개의 로그 그리드 상의 역온도에 대해 평가되어, 스펙트럼에 대한 다중 스케일 뷰를 제공한다 (높은 $\beta$에서는 작은 고윳값에 집중하고, 낮은 $\beta$에서는 벌크(bulk)를 평균화함).

3. 스펙트럼 폼 팩터 (Spectral Form Factor, SFF) 및 RMT

레벨 간격 상관관계(level-spacing correlations)를 포착하기 위해, 방법론은 **스펙트럼 폼 팩터(SFF)**를 계산한다:
$$g(t) = \frac{1}{n^2} \left| \sum_k e^{-it \hat{\lambda}_k} \right|^2$$
여기서 $\hat{\lambda}_k$는 언폴딩된 고윳값(unfolded eigenvalues, 단위 평균 국소 밀도로 매핑됨)이다. SFF는 무작위 행렬 이론(RMT) 예측에 따라 분석된다:

• Wigner-Dyson (GOE): 특징적인 "dip-ramp-plateau" 구조를 보이며, 이는 혼돈스럽고 잘 섞인(well-mixed) 시스템을 나타낸다.
• Poisson: 매끄러운 단조 감소를 보이며, 이는 적분 가능하거나(integrable) 국소화된(localized) 시스템을 나타낸다.

4. FES 기술자 및 탐지기

레이어별 기술자 $\Phi^{(\ell)}$는 $\beta$와 $t$의 그리드에 대한 열역학적 범함수와 SFF를 결합한다. 모든 레이어에 걸쳐 이를 결합하여 최종 특징 벡터 $\Phi(x)$를 얻는다.
두 가지 탐지 전략이 구현된다:

1. 지도 학습 프로브 (Supervised Probe): 소규모 레이블링된 캘리브레이션 세트로 학습된 경량 로지스틱 회귀.
2. 비지도 RMT 편차 점수 (Unsupervised RMT-Deviation Score): 경험적 SFF와 크기가 일치하는 GOE 참조 곡선 사이의 $L_2$ 거리를 측정하는 레이블이 없는 점수 $D(x)$.

주요 기여

1. 이론적 결과

본 논문은 세 가지 공식 증명을 제공한다:

• 립시츠 안정성 (Lipschitz Stability): FES는 어텐션 라플라시안의 연산자 노름 섭동(operator-norm perturbations) 하에서 립시츠 안정적임이 증명되었으며, 이는 수치적 노이즈와 작은 어텐션 섭동에 대한 강건성을 보장한다.
• 표현력 (Expressiveness): 분배 함수 성분은 스펙트럼 측도의 라플라스 변환이다. 저자들은 이상적인 정확한 변환 한계(exact-transform limit)에서 분배 함수가 스펙트럼을 식별함(모든 모멘트를 복구함)을 증명한다. 실제로는, 유한 그리드 FES는 격자 밀도에 의해 제어되는 정확도로 모멘트 유도 범함수를 근사함으로써 다중 스케일 풍부함을 제공한다.
• 유한 샘플 PAC 바운드 (Finite-Sample PAC Bound): 비지도 RMT-편차 탐지기의 AUROC에 대한 바운드가 도출되었으며, 이는 유효한 추론과 환각 사이의 스펙트럼 폼 팩터의 측정 가능한 격차가 비공허한(non-vacuous) 성능 보장을 위한 충분조건임을 보여준다.

2. 경험적 결과

• 추론의 스펙트럼 시그니처: 본 논문은 LLM 어텐션 스펙트럼이 유효한 추론 중에는 Wigner-Dyson 통계(GOE 유사)를 나타내고, 환각 중에는 Poisson 유사 통계를 나타낸다는 첫 번째 증거를 제시한다. 이는 평균 레벨 간격 비율 $\langle r \rangle$을 통해 정량화되며, 유효한 생성 시에는 약 0.536, 환각 시에는 약 0.386에 근접한다.
• 성능: 6개의 오픈 웨이트 LLM(7B–14B)과 6개의 벤치마크(TruthfulQA, HaluEval, GSM8K, MATH-500 포함)에 대해, FES는 어텐션-스펙트럼 베이스라인들 중 가장 높은 종합 AUROC를 달s한다.
  • LAPEIG(상위-$K$ 고윳값) 대비 +6.5 AUROC 포인트 개선.
  • GOR-4(수동 선택된 스펙트럼 스칼라) 대비 +2.4 AUROC 포인트 개선.
• 레이블 효율성: 지도 학습 프로브는 태스크당 불과 몇 백 개의 레이블된 예시만으로도 근사 점근 성능(near-asymptotic performance)에 도달한다.
• 교차 아키텍처 전이 (Cross-Architecture Transfer): Llama-3-8B로 학습된 프로브는 다른 아키텍처(Mistral, Qwen, Gemma, Phi-3)로 효과적으로 전이되며, 평균 AUROC > 0.82를 기록한다.

의의 및 주장

본 논문은 FES가 원시 고윳값이나 압축된 스펙트럼 요약 이상의 사실성 신호를 포착하는 학습이 필요 없는, 단일 샘플 진단 도구라고 주장한다. 어텐션 맵을 열역학과 RMT를 통해 재구성함으로써, FES는 다음을 수행한다:

1. 다중 스케일 정보 유지: 스펙트럼을 절단하는 방법들과 달리, FES는 다양한 스케일에 걸쳐 전체 스펙트럼의 형태를 포착한다.
2. 이론적 근거 제공: 환각 탐지를 무작위 행렬(레벨 반발 vs 적분 가능성)의 근본적인 특성과 연결하여, "건강한" 추론과 "고장 난" 추론에 대한 물리적 해석을 제공한다.
3. 운영 효율성: 기저의 LLM에 대한 업데이트를 요구하지 않으며, 매우 적은 계산 오버헤드(512 토큰 시퀀스에 대해 A6000에서 약 0.4초)만을 추가한다.

저자들은 매우 긴 컨텍스트를 위한 $O(n^3)$ 밀집 고윳값 분해 비용(근사치가 필요함)과 어텐션 가중치에 대한 화이트박스 접근 권한이 필요하다는 점을 한계점으로 언급한다. 또한, 비지도 편차 점수의 부호가 태스크(예: 수학적 추론 vs 개방형 QA)에 따라 바뀔 수 있어 비지도 모드에서의 태스크별 캘리브레이션이 필요함을 인정한다. 그러나 지도 학습 프로브는 이러한 변동성에 대해 견고하게 유지된다.