Are LLM Uncertainty and Correctness Encoded by the Same Features? A Functional Dissociation via Sparse Autoencoders

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 이 고위험 환경에 배포됨에 따라, 모델의 출력을 언제 신뢰할지 판단하는 것이 핵심 과제가 되었습니다. 기존 연구들은 모델의 불확실성 (Uncertainty) 이 정확성 (Correctness) 과 밀접하게 연관되어 있다고 가정하고, 이를 평가하는 기준 (AUROC 등) 을 주로 사용했습니다. 즉, "모델이 불확실하면 틀릴 가능성이 높고, 확신하면 맞을 가능성이 높다"는 전제가 깔려 있었습니다.

하지만 실제 사례에서는 불확실함에도 불구하고 정답인 경우나 확신하지만 틀린 경우 (Confidently Wrong) 가 빈번하게 발생합니다. 이는 불확실성과 정확성이 동일한 내부 메커니즘에서 비롯된 것이 아니라, 서로 다른 특징 (Feature) 집단에 의해 인코딩될 가능성을 시사합니다.

핵심 질문:

모델의 출력 불확실성과 실제 정확성은 동일한 내부 메커니즘 (동일한 특징 집합) 에 의해 주도되는가, 아니면 서로 다른 특징 집단에 의해 독립적으로 인코딩되는가?

만약 이 두 신호가 분리되어 있다면, 기존 불확실성 정량화 (UQ) 평가 방식은 두 가지 독립적인 현상을 혼동 (Conflate) 하고 있는 것이며, 불확실성을 줄이는 개입이 반드시 정확도 향상으로 이어지지 않을 수 있습니다.

---

2. 방법론 (Methodology)

저자들은 희소 오토인코더 (Sparse Autoencoders, SAEs) 를 활용하여 LLM 의 내부 표현을 해석 가능한 개별 특징 (Features) 단위로 분해하고, 불확실성과 정확성이 어떻게 인코딩되는지 분석했습니다.

2.1 2x2 사분면 프레임워크 (2x2 Quadrant Framework)

모델 예측을 정확성 (Correctness) 과 신뢰도 (Confidence) 두 축으로 나누어 4 개의 그룹으로 분류했습니다.

• 데이터셋: MMLU(다지선다형 질문) 를 사용하며, 정답 여부와 4 개 선택지 확률 분포의 엔트로피 (Shannon Entropy) 를 측정합니다.
• 그룹 분류:
  1. Confident-Correct (A): 확신하고 정답
  2. Confident-Incorrect (B): 확신하지만 오답 (신뢰도 높음, 정확도 낮음)
  3. Uncertain-Correct (C): 불확실하지만 정답
  4. Uncertain-Incorrect (D): 불확실하고 오답
• 임계값: 엔트로피 분포의 25 백분위수 (신뢰도 높음) 와 75 백분위수 (불확실함) 를 사용하여 그룹을 분리하고, 중간 50% 는 제외하여 명확한 구분을 확보했습니다.

2.2 특징 발견 (Feature Discovery)

각 레이어의 잔여 스트림 (Residual Stream) 을 SAE 로 인코딩한 후, 다음과 같은 통계적 검정 (Mann-Whitney U test) 을 적용하여 특징을 분류했습니다.

• 순수 불확실성 특징 (Pure Uncertainty): 그룹 C vs A 비교에서 유의미 (정확성은 동일, 신뢰도만 다름).
• 순수 오답 특징 (Pure Incorrectness): 그룹 B vs A 비교에서 유의미 (신뢰도는 동일, 정확성만 다름).
• 혼합 특징 (Confounded): 두 비교 모두에서 유의미 (불확실성과 오답 신호를 모두 인코딩).

2.3 기능적 검증 (Functional Dissociation via Suppression)

발견된 특징 집합을 대상으로 억제 (Suppression) 실험을 수행하여 기능적 역할을 규명했습니다.

• 절차: SAE 인코딩 후 특정 특징의 활성화를 0 으로 만든 뒤, 디코딩하여 원래 잔여 스트림에 더하는 방식 (Encode-Modify-Decode).
• 평가 지표: 억제 전후의 정확도 (Accuracy) 와 출력 엔트로피 (Entropy) 변화.
  • 필수 (Essential): 억제로 정확도 저하.
  • 무효 (Inert): 억제로 변화 없음.
  • 해로운 (Detrimental): 억제로 정확도 향상 및 엔트로피 감소.

2.4 검증 프로토콜

• 데이터 분할: MMLU 테스트 세트를 발견 (Discovery) 과 검증 (Validation) 세트로 나누어 과적합 방지.
• 일반화 검증: 발견된 특징을 다른 데이터셋 (ARC-Challenge, RACE) 과 다른 아키텍처 (Llama-3.1-8B, Gemma-2-9B) 에 적용하여 검증.

---

3. 주요 결과 (Key Results)

연구는 3 가지 기능적으로 분리된 특징 집단을 발견했습니다.

3.1 순수 불확실성 특징 (Pure Uncertainty Features)

• 특징: 가장 많은 수를 차지하며, 레이어가 깊어질수록 효과 크기 (Effect Size) 가 커짐.
• 기능: 필수적 (Essential). 이 특징들을 억제하면 모델의 정확도가 심각하게 저하됨 (Llama 의 경우 레이어 31 에서 -10.21% 하락).
• 의미: 모델이 불확실성을 표현하는 메커니즘은 모델의 정상적인 추론 능력과 밀접하게 연결되어 있음.

3.2 순수 오답 특징 (Pure Incorrectness Features)

• 특징: 통계적으로 오답 시 활성화가 유의미하게 높게 나타남.
• 기능: 무효 (Inert). 이 특징들을 억제해도 정확도나 엔트로피에 거의 변화가 없음 (평균 정확도 변화 -0.03% 수준).
• 의미: 모델은 내부적으로 오답을 감지하는 신호를 가지고 있지만, 이 신호를 억제한다고 해서 모델의 행동 (정답 여부) 이 바뀌지 않음. 즉, 이 특징들은 상관관계는 있으나 인과적 기능은 없음.

3.3 혼합 특징 (Confounded Features)

• 특징: 불확실성과 오답 신호를 모두 인코딩.
• 기능: 해롭음 (Detrimental). 이 특징들을 억제하면 정확도가 향상되고 엔트로피가 급격히 감소함.
  • 성능 향상: Llama 기준 정확도 +1.10%, 엔트로피 -0.62 (약 75% 감소). Gemma 도 유사한 패턴.
  • 일반화: MMLU 에서 발견된 특징을 ARC-Challenge, RACE 등 다른 데이터셋에 적용해도 성능 향상이 유지됨.
• 예측 능력: 단일 레이어 (레이어 18) 의 혼합 특징 3 개만으로도 모델의 정답 여부를 예측 (AUROC ~0.79) 할 수 있음.

3.4 선택적 기피 (Selective Abstention)

혼합 특징 3 개를 사용하여 "모델이 정답일 확률이 낮을 때 답변을 포기 (Abstain)"하는 전략을 구현했습니다.

• 결과: 53% 의 질문만 답변할 때 정확도를 62% 에서 81% 로 향상시킴.
• 비교: 모델이 스스로 "모른다"고 말하는 방식 (Self-Abstention) 보다 훨씬 효과적임.

---

4. 기여 및 의의 (Contributions & Significance)

1. 기능적 분해 (Functional Dissociation): 불확실성과 정확성이 동일한 내부 메커니즘이 아니라, 서로 다른 특징 집단에 의해 인코딩됨을 최초로 입증했습니다.
   • 불확실성 신호는 필수적이나, 오답 신호 자체는 기능적으로 무효 (Inert) 함.
   • 두 신호가 섞인 '혼합 특징'이 실제 출력 품질을 저해하는 주범임.
2. 새로운 평가 패러다임: 기존 UQ 평가가 불확실성과 정확성을 혼동하고 있음을 지적하며, 내부 특징 수준에서의 분리가 필요함을 주장했습니다.
3. 실용적 개입 (Targeted Intervention):
   • 해로운 특징 제거: 혼합 특징을 억제함으로써 모델의 신뢰도를 높이고 엔트로피를 줄일 수 있음.
   • 효율적인 기피: 전체 모델을 재학습하지 않고, 소수의 특징 (3 개) 만을 모니터링하여 신뢰할 수 없는 답변을 선별적으로 기피하는 메커니즘을 제안.
4. 범용성: Llama 와 Gemma 두 가지 다른 아키텍처와 여러 데이터셋에서 동일한 결과가 재현됨을 확인하여, 이것이 트랜스포머 아키텍처의 일반적인 조직 원리일 가능성을 시사함.

5. 결론

이 논문은 LLM 이 불확실성과 정확성을 어떻게 내부적으로 처리하는지에 대한 메커니즘적 이해를 심화시켰습니다. 특히, 불확실성 신호는 모델의 핵심 추론 능력과 결합되어 있어 제거할 수 없으나, 오답을 유발하는 '혼합 특징'은 억제함으로써 모델의 신뢰성을 높일 수 있다는 실용적인 통찰을 제공합니다. 이는 해석 가능성 (Interpretability) 연구가 단순한 분석을 넘어, 모델의 추론 시점 (Inference-time) 개입을 통한 신뢰성 향상에 직접 기여할 수 있음을 보여줍니다.