기술 요약: 난류(Turbulence)는 환각 탐지에 필요한 것이 아니다

문제 정의

대규모 언어 모델(LLM)은 본질적으로 비선형 시스템이며, 이는 환각(근거가 없거나 조작된 출력)이 모델의 계산 흐름 내에서의 동적 안정성 상실로부터 발생한다는 가설로 이어진다. 구체적으로, "난류 렌즈(turbulence lens)"는 환각 생성물이 "혼돈의 가장자리(edge of chaos)" 또는 불안정한 흐름의 영역에 해당하며, 여기서 작은 입력 섭동이 큰 출력 편차로 증폭된다고 제안한다. 이는 안정적인 "층류(laminar)" 영역과는 구별된다.

통계적 설명은 왜 환각이 기대치 내에서 불가피한지는 설명해주지만, 특정 생성이 생성되는 바로 그 순간에 그것이 환각인지 여부는 식별하지 못한다. 핵심 연구 질문은 다음과 같다: 잔차 흐름 궤적(residual stream trajectory)의 동적 특징(예: 유한 시간 확장률, 드리프트, 스펙트럼 엔트로피)이 정적 은닉 상태 표현(static hidden-state representation)에 의해 이미 포착된 것 이외에 환각을 감지할 수 있는 신호를 제공하는가?

방법론

실험 설정

본 연구는 모델이 자신의 생성 텍스트를 직접 평가하도록 하는 "충실한(faithful)" 설정을 채택하여, 잔차 흐름이 다른 모델의 출력을 인코더로 통과시키는 과정이 아닌 실제 생성 과정을 반영하도록 보장한다.

• 데이터셋: 주요 벤치마크는 RAGTruth(데이터-텍스트 변환, QA, 요약 작업에서의 근거 있는 환각 구간)이다. 보조 데이터셋으로는 교차 데이터셋 검증을 위해 PsiloQA를 사용한다.
• 모델: Mistral-7B, Llama-2-7b/13b를 포함하여 다양한 아키텍처와 규모의 모델을 실험하며, 5개의 2026년형 모델(Phi-4, Mistral-Nemo, Gemma-4, Qwen3, Qwen3.6) 그리드를 포함한다.
• 레이블: 근거 지원 여부에 따라 환각 구간을 주석 처리한다. 인간 레이블이 없는 현대적 모델의 경우, 인간 주석에 의해 보정된 대규모 언어 모델 판사(Gemma-3-12B-it)를 사용한다.

특징 추출 및 비교

본 논문은 이진 환각 탐지를 위해 두 가지 특징 집합을 비교한다.

1. STATIC (정적): PCA를 통해 축소된 풀링된 은닉 상태에 대한 프로브(probe)와 약한 비지도 제어(로그 확률, 신호 수준, 토큰 위치)를 포함한다.
2. STATIC + DYNAMICS (정적 + 동적): 정적 특징에 잔차 흐름 궤적에서 추출한 동적 시그니처를 추가한다:
   • 유한 시간 확장 프록시(Finite-time expansion proxy): 궤적 증분의 로그 노름(log-norms)의 최소제곱 기울기(리야푸노프 지수의 프록시).
   • 드리프트(Drift): "층류 매니폴드(laminar manifold)"로부터의 누적 드리프트.
   • 스펙트럼 엔트로피 및 유효 랭크(Spectral entropy and effective rank): 궤적 형상의 복잡도 측정.
   • 초기 확장 비대칭성(Early-expansion asymmetry): 초기와 후기 확장률의 차이.

평가 프로토콜

• 지표: AUC(Area Under the ROC Curve).
• 검증: 훈련 및 테스트 폴드 간의 데이터 누수를 방지하기 위해 2000회 재표본 추출 부트스트랩을 사용하는 응답 그룹화 교차 검증을 수행한다.
• 결정적 테스트: 핵심 실험은 정적 프로브에 동적 특징을 추가했을 때의 한계 이득($\Delta$AUC)을 측정한다.
• 대조군(Controls):
  • 약한 베이스라인(Weak Baseline): 나이브한 베이스라인(로그 확률 등)과 비교하여 동적 특징이 도움이 되는지 테스트하기 위한 비지도 점수.
  • 강한 베이스라인(Strong Baseline): 정적 표현 자체(은닉 상태의 PCA).
  • 차원 일치 제어(Dimensionality-Matched Control): 예산 아티팩트를 배제하기 위해 정적 프로브가 동적 특징과 동일한 수의 성분을 사용하도록 보장함.
  • 귀무 가설(Null Hypothesis): 저분산 무작위 성분 세트로 인한 과장된 유의성을 피하기 위해, 무작위 방향의 상위-$k$ 성분을 제거하는 "매치드-인플루언스(matched-influence)" 귀무 가설을 인과적 테스트에 사용한다.

메커니즘 분석

• 계층별 프로빙(Layer-wise Probing): 네트워크 깊이에 따라 환각이 선형적으로 해독 가능해지는 지점을 식별한다.
• 인과적 스티어링(Causal Steering): 피크 레이어에서 잔차 흐름에 개입하여 다운스트림 효과와 행동적 충실도에 미치는 영향을 관찰한다.
• 회로 귀속(Circuit Attribution): 환각 방향을 개별 어텐션 헤드 및 MLP 뉴런의 기여도로 분해한다.
• 태스크/모델 전이(Cross-Task/Model Transfer): 환각 방향과 회로가 태스크, 데이터셋, 모델 패밀리에 걸쳐 일반화되는지 테스트한다.
• 분해 정리(Decomposition Theorem): 선형 리드아웃(readout)을 직접 항과 야코비안(Jacobian)에 의해 전파된 간접 항으로 공식 분해하여, 제거 연구에서 관찰된 부호 반전을 설명한다.

주요 결과

1. 결정적 부정 결과 (The Decisive Negative Result)

핵심 발견은 동적 특징이 정적 표현 이상의 유의미한 정보를 추가하지 않는다는 것이다.

• 정적 성능: 정적 표현에 대한 프로브는 충실한 Mistral-7B에서 0.831의 AUC를 달와한다.
• 동적 증가량: 모든 동적 특징을 추가해도 AUC는 +0.004만 증가한다 (95% CI: $[-0.011, +0.020]$, $p=0.30$).
• 강건성: 이 부정적 결과는 다음 상황에서도 유지된다:
  • 세 가지 무작위 시드 및 다양한 PCA 예산.
  • 차원 일치 제어 (정적 예산 = 9개 성분).
  • 다양한 모델(Llama-2, Phi-4, Qwen, Gemma) 및 규모(최대 35B).
  • 다양한 환각 레이블 (인간, 셀프-저지, 외부 저지, 컨센서스).
  • 토큰 단위 분석 (여기서 동적 특징은 오히려 성능을 약간 저하시켜 노이즈에 과적합됨을 시사함).
  • 자유 생성 흐름 (자기 회귀 루프가 실제로 섭동을 증폭시키지만, 이 증폭이 여전히 탐지 신호를 생성하지 못함).

2. 정적 신호는 실재하며 인과적이다

동적 특징은 아무것도 더하지 못하지만, 정적 신호는 강력하다:

• 해독 가능성: 환각은 정적 은닉 상태로부터 선형적으로 해독 가능하며, 네트워크 깊이에 따라 넓은 고원(plateau)에 도달한다 (Mistral의 경우 레이어 14–31, 피크 AUC $\approx 0.71$).
• 인과성: 학습된 환각 방향을 따라 피크 레이어에서 잔차 흐름을 스티어링하면 다운스트림 신호가 인과적으로 변화하며 (용량-반응 상관관계 $\approx 0.99$), 행동적 충실도를 조절한다 (단, 행동적 효과는 미미하고 비대칭적임).
• 회로 구조: 환각 신호를 생성하는 회로는 **확산적(diffuse)**이며 (Mistral에서 상위-20 성분이 신호의 ~10%만 차지함), **태스크 특이적(task-specific)**이다 (교차 태스크 코사인 유사도는 0.03–0.42로 낮음).
• 전이: 메커니즘은 데이터셋 간(RAGTruth $\to$ PsiloQA)에는 부분적으로 전이되지만, 모델 고유의 특성이 매우 강하다 (예: Llama-2-7b는 Mistral과 달리 집중되고 태스크 공유적인 회로를 보임).

3. 방법론적 착시 식별

본 논문은 이전에 난류 이론이 검증된 것처럼 보이게 만들었던 세 가지 구체적인 "함정"을 식별한다:

1. 퇴화된 추정량(Degenerate Estimator): 단순한 유한 시간 리야푸노프 지수 계산은 첫 번째와 마지막 증분에만 의존하도록 텔레스코핑되어, 복잡한 물리량처럼 위장한다.
2. 위치 혼란(Position Confound): 일부 데이터셋에서 환각은 연속적인 구간에서 발생하므로, 토큰 위치가 강력한 예측 변수가 된다. 이때 접두사 길이(prefix length)와 상관관계가 있는 동적 특징이 도움이 되는 것처럼 보일 수 있다.
3. 약한 베이스라인(Weak Baseline): 동적 특징은 약한 비지도 베이스라인(로그 확률 등)과 비교할 때만 유의미한 이득을 보인다. 강한 정적 표현 베이스라인과 비교하면 그 이득은 사라진다.

4. 교차 탐지기 간의 공통성 (Cross-Detector Commensurability)

서로 다른 메커니즘적 탐지기들(supervised difference-in-means, drift, density, ICR)은 단일하고 강력한 회로를 공유하지 않는다. 겉보기의 공유성은 매치드-인플루언스(matched-influence) 귀무 가설과 여러 시드에 대해 테스트했을 때 해소된다.

의의 및 주장

본 논문은 세 가지 주요 기여를 주장한다:

1. 엄격한 부정 테스트: 잔차 흐름의 동적 특성이 환각 탐지를 위해 정적 표현보다 우월하거나 독립적인 신호를 제공한다는 가설에 대해, 잘 설계된 반복적이고 강력한 반증을 제공한다. "난류" 프레임워크는 모델 동작을 이해하기 위한 유용한 해석적 렌즈이지만, 실질적인 탐지 메커니즘은 아니다.
2. 근거 있는 환각의 메커니즘적 특성화: 근거 있는 환각이 선형적으로 해독 가능하고, 인과적으로 활성화되며, 네트워크의 중·후반 레이어에 국한되어 있음을 확립한다. 그러나 그 구체적인 구현(방향, 회로 집중도, 태스크 공유 여부)은 모델 아키텍처와 태스크에 크게 의존하며, 이는 "보편적 진리 방향(universal truth direction)"이라는 개념에 도전한다.
3. 방법론적 교정: 메커니즘적 해석 가능성 연구에서 강한 베이스라인(정적 표현), 매치드-인플루언스 귀무 가설, 그리고 시드 안정성 체크를 사용하여 잘못된 긍정(false positives)을 피하는 것이 필수적임을 강조한다. 저자들은 "깨끗한 부정적 결과(clean negatives)" 또한 잘못된 안전 신호의 배포를 막는 가치 있는 결과라고 주장한다.

저자들은 "난류" 렌즈가 환각을 안정성 상실로 이해하는 좋은 방법이지만, 정적 표현이 이미 이를 탐지하는 데 필요한 정보를 담고 있으므로 동적 궤적은 탐지 목적상 중복적이라고 결론짓는다.