기술 요약: 신뢰할 수 있는 LLM 불확실성 정량화를 위한 분리된 업데이트 역학 (Decoupled Update Dynamics, DUD)

1. 문제 정의

정확한 불확실성 정량화(Uncertainty Quantification, UQ)는 특히 고위험 환경에서 대규모 언어 모델(LLM)을 신뢰할 수 있게 배포하는 데 필수적입니다. 그러나 기존의 UQ 접근 방식은 다음과 같은 중대한 한계에 직면해 있습니다:

• 표면 수준의 의존성: 블랙박스 샘플링 일관성부터 화이트박스 로짓(logit) 분석에 이르는 전통적인 방법들은 주로 최종 출력 분포에 의존합니다. 이러한 방식은 데이터 수준의 모호성(aleatoric uncertainty)을 포착하는 데는 효과적이지만, 모델의 진정한 에피스테믹 상태(epistemic state)를 반영하는 데는 실패하는 경우가 많습니다.
• 블랙박스의 오류: 추론을 블랙박스로 취급함으로써, 이러한 방법들은 불확실성이 발생하는 내부 계산 역학을 간과합니다. 결과적으로, 모델은 높은 확률 점수를 출력하면서도 내부 추론은 불안정한 상태일 수 있으며, 이는 심각한 미보정(miscalibration)으로 이어집니다.
• 집계의 간과: 최근의 메커니즘적 접근 방식들은 은닉 상태(hidden state) 역학을 사용하려고 시도하지만, 일반적으로 잔차 스트림(residual stream) 업데이트를 집계합니다. 이러한 집계는 파라미터 메모리(Feed-Forward Networks, FFNs)와 문맥 처리(Multi-Head Self-Attention, MHSA)의 서로 다른 역할을 혼동합니다. 저자들은 이러한 집계가 불확실성의 근본적인 지표인 '메모리-문맥 불일치'라는 미세한 메커니즘적 충돌을 가린다고 주장합니다.

2. 방법론: 분리된 업데이트 역학 (DUD)

본 논문은 UQ를 수동적인 추정에서 능동적인 메커니즘 진단으로 전환하는 프레임워크인 **분리된 업데이트 역학(Decoupled Update Dynamics, DUD)**을 제안합니다. 핵심 가설은 불확실성이 FFN과 MHSA 모듈 간의 충돌로부터 발생하는 뚜렷한 시공간적 취약성 패턴으로 나타난다는 것입니다.

2.1 인과적 추적 프레임워크 (Causal Tracing Framework)

DUD는 메모리와 문맥의 기여도를 격리하기 위해 3단계 인과적 추적 과정을 채택합니다:

1. 클린 런 (Clean Run): 원래의 입력값으로 표준 순전파(forward pass)를 수행하여 깨끗한 활성화 값(은닉 상태, MHSA 출력, FFN 출력)을 캐싱하고 기준 예측 확률($P_{clean}$)을 기록합니다.
2. 오염된 런 (Corrupted Run): 입력 임베딩에 가우시안 노이즈를 주입하여 정보 병목 현상을 시뮬레이션하고, 예측 확률을 $P_{corr}$로 저하시킵니다. $P_{clean}$과 $P_{corr}$ 사이의 차이는 노이즈의 총 효과(Total Effect, TE)를 설정합니다.
3. 분리된 패치 런 (Decoupled Patch Run): 전체 은닉 상태를 복구하는 대신, 이 프레임워크는 **구성 요소별 개입(Component-Specific Interventions)**을 수행합니다. 각 레이어 $l$에 대해, 특정 모듈($\phi \in \{MHSA, FFN\}$)의 활성화 값을 클린 런으로부터 복원하는 반면, 나머지 네트워크는 오염된 상태를 유지합니다. 이를 통해 복원된 확률 $P^{(l,\phi)}_{restored}$를 얻습니다.

2.2 복원 점수 산출

프레임워크는 각 레이어의 각 모듈에 대해 복원에 의해 유도된 정규화된 확률 변화를 나타내는 복원 점수($S^{(l)}_{\phi}$)를 계산합니다:
$$S^{(l)}_{\phi} = \frac{P^{(l,\phi)}_{restored} - P_{corr}}{TE}$$

• 해석: 작은 크기($S \approx 0$)는 메커니즘적 견고함(모델이 내부적 불일치를 허용함)을 나타냅니다. 큰 음수 크기($|S| \gg 0$)는 메커니즘적 취약성을 나타내며, 이는 단일 모듈을 복원하는 것만으로 확률이 급격히 떨어짐을 의미하며, 생성이 위태로운 내부 평형 상태에 의존하고 있음을 드러냅니다.

2.3 DUD-Probe 구축

이 미세한 역학을 종합적인 불확실성 추정치로 변환하기 위해, 저자들은 경량화된 비선형 프로브를 구축합니다:

• 특징 공학 (Feature Engineering): FFN과 Attention에 대한 레이어별 복원 점수를 하나의 통합 특징 벡터 $v \in \mathbb{R}^{2L}$로 결합한 후, Z-score 정규화를 수행합니다.
• 아키텍처: 이 프로브는 이러한 특징들을 기반으로 생성 오류(이진 분류: 정답 vs 불확실)를 예측하도록 훈련된 4개 층의 다층 퍼셉트론(MLP)입니다. 정답 레이블은 정답 답변에 대한 ROUGE-L 점수를 통해 도출됩니다.
• 훈련: 프로브는 음수 복원 점수를 처리하고 과적합을 방지하기 위해 LeakyReLU와 배치 정규화(Batch Normalization)를 사용하는 이진 교차 엔트로피(Binary Cross-Entropy) 손실을 사용합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 명시합니다:

1. 분리된 인과적 프레임워크: FFN과 MHSA 모듈의 인과적 기여를 명시적으로 분리한 최초의 UQ 프레임워크입니다. 이는 내부 모듈 역학이 전통적인 출력 확률보다 신뢰성을 훨씬 더 충실하게 대변한다는 것을 입증합니다.
2. 메커니즘적 취약성 발견: 엄격한 인과적 추적을 통해, 저자들은 예측 불확실성이 시스템적 취약성과 모듈 간의 충돌으로 물리적으로 나타남을 밝혀냈습니다. 특히, 문맥 인코딩 단계의 초기 레이어 MHSA에서의 라우팅 불안정성과 지식 검색 단계의 후기 레이어 FFN에서의 급격한 붕괴라는 특정 실패 모드를 식별했습니다.
3. 실증적 성능: 광범리한 실험을 통해, 분리된 접근 방식이 로짓 기반 베이스라인 및 집계된 메커니즘 프로브(ICR Probe 등)보다 불확실성 추정 및 보정(calibration) 측면에서 성능이 월등히 높으며, 우수한 교차 데이터셋 일반화 성능을 보임을 입증했습니다.

4. 실험 결과

DUD-Probe는 세 가지 오픈 소스 LLM(Llama-3.1-8B, Qwen2.5-7B, Gemma-2-9B)을 대상으로 네 가지 벤치마크(HaluEval, SQuAD, TriviaQA, HotpotQA)에서 평가되었습니다.

• 우수한 정확도: DUD-Probe는 일관되게 최첨단(SOTA) AUROC 점수를 달-성했습니다. 예를 들어, HaluEval에 대한 LLaMA-3.1-8B에서 AUROC 0.949를 기록하여, Semantic Entropy(0.7745)와 집계된 ICR Probe(0.7703)를 크게 상회했습니다.
• 교차 데이터셋 일반화: 이 방법은 탁월한 전이 가능성을 보여주었습니다. 한 데이터셋에서 훈련되어 다른 데이터셋에서 테스트되었을 때(예: TriviaQA $\to$ SQuAD), DUD-Probe는 높은 AUROC 점수(0.868)를 유지한 반면, SAPLMA나 SEP와 같은 베이스라인은 0.6 미만으로 저하되었습니다. 이는 이 방법이 데이터셋의 아티팩트가 아닌 태스크 불변적인 메커니즘적 시그니처를 포착함을 시사합니다.
• 보정 및 견고성: DUD-Probe는 기대 보정 오차(Expected Calibration Error, ECE)를 크게 줄이고 예측 거부 비율(Prediction Rejection Ratio, PRR)을 개선했습니다. 또한 다양한 ROUGE-L 임계값(Lenient, Standard, Strict)과 다양한 모델 규모(3B ~ 14B)에 걸쳐 견고함을 유지했습니다.
• 절제 연구 (Ablation Studies): FFN 또는 Attention 스트림 중 하나를 제거하면 성능이 크게 저하되어, 두 모듈이 상호 보완적인 불확실성 신호를 제공함을 확인했습니다. 또한, 단일 "골든 레이어"는 존재하지 않으며, 신뢰할 수 있는 탐지를 위해서는 초기 인코딩부터 최종 투영까지의 전체적인 역학 궤적이 필요함을 밝혔습니다.

5. 의의 및 주장

본 논문은 분리된 업데이트 역학이 LLM의 불확실성을 이해하고 측정하는 방식에 있어 근본적인 변화를 제공한다고 주장합니다:

• 표면적 확신을 넘어: 본 연구는 표면적인 로짓이 생성 신뢰도를 반영하지 못하는 "신뢰의 역설(Confidence Paradox)"을 강조합니다. DUD는 전통적인 지표가 놓치는 "고집스러운 오류(Stubborn Errors: 높은 확신, 낮은 내부 안정성)"와 "겸손한 진실(Humble Truths: 낮은 확신, 높은 내부 안정성)"을 폭로합니다.
• 메커니즘적 근거: 불확실성을 파라미터 메모리와 문맥 처리 사이의 내부적 충돌이라는 물리적 현상으로 다룸으로써, DUD는 모델 오류를 탐지하기 위한 "물리적 근거"를 제공합니다.
• 아키텍처 불변성: 연구 결과는 FFN과 MHSA 사이의 메커니즘적 충돌이 다양한 LLM 아키텍처 전반에 걸쳐 불확실성을 나타내는 보편적인 지표임을 시사하며, 이 이중 스트림 접근 방식이 모델의 충실도(faithfulness)를 나타내는 강력한 대리 지표임을 검증합니다.

저자들은 내부 활성화 값과 여러 번의 순전파 과정(Clean, Corrupted, Patched)이 필요한 화이트박스 방식으로서, DUD가 현재 폐쇄형 API 모델에는 적용할 수 없으며 단순 로짓 기반 방법보다 높은 추론 지연 시간을 초사한다는 한계를 인정했습니다. 향후 연구로는 이러한 신호를 더 가벼운 형태의 탐지기로 증류(distill)하는 것이 제안되었습니다.