기술적 요약: 암시적 대체자로서의 LLM

문제 제기

대형 언어 모델 (LLM) 은 입력 컨텍스트가 불완전하거나, 단절되거나, 열화된 상황 (예: RAG 시스템에서의 부분적 검색) 에서 점점 더 많이 배포되고 있습니다. 이러한 정보 부족 하에 작동함에도 불구하고, LLM 은 일반적으로 높은 명백한 확신으로 단일 답변을 생성합니다. 이는 중요한 질문을 제기합니다: LLM 의 불확실성 추정치는 누락된 정보의 양을 적절히 반영하는가?

현재 평가는 주로 정적 보정 (고정된 입력 하에서 신뢰도를 정확도와 일치시키는 것) 에 초점을 맞추고 있습니다. 그러나 입력이 덜 유익해짐에 따라 불확실성 추정치가 역동적으로 어떻게 조정되는지에 대한 이해는 부족합니다. 이 논문은 적절한 예측 시스템은 누락된 정보의 비율이 증가함에 따라 불확실성이 증가해야 한다고 주장하며, 이 원칙은 베이지안 딥러닝과 누락된 데이터 이론에 기반을 두고 있습니다.

방법론

이론적 프레임워크: 암시적 다중 대체 (Implicit Multiple Imputation)

저자들은 LLM 불확실성 평가를 다중 대체 (Multiple Imputation, MI) [Rubin, 1987] 와의 유사성을 통해 운영화합니다. MI 에서 불확실성은 관측되지 않은 변수에서 비롯되며, 여러 개의 완성된 데이터셋 간의 변동성을 통해 정량화됩니다.

• 유사성: 불완전한 컨텍스트 하에서 LLM 을 반복적으로 샘플링하는 것은 누락된 정보의 "암시적 완성"을 생성하는 것으로 간주됩니다.
• 기준: 적절한 대체자 (따라서 적절한 LLM) 는 누락된 정보의 양에 비례하여 불확실성이 증가해야 합니다. 컨텍스트가 제거되면 생성된 답변의 변동성 (불확실성) 이 증가해야 합니다.

실험 설정

• 데이터셋: 읽기 이해를 위한 SQuAD 로, 컨텍스트 단락에서 추출된 짧은 답변 스패인을 사용합니다.
• 증거 조건: 컨텍스트 가용성을 매개변수 $\alpha \in [0, 1]$을 통해 변화시키는 통제된 프레임워크입니다. 컨텍스트 $C(\alpha)$는 원래 컨텍스트 문자의 첫 $100 \cdot \alpha$ 퍼센트를 유지하여 구성됩니다.
  • $\alpha = 1$: 전체 컨텍스트.
  • $\alpha = 0$: 컨텍스트 없음.
• 샘플링: gpt-4o-mini 를 온도 $T=0.7$로 사용하여 각 입력 $(q, C)$당 $m=10$개의 확률적 응답을 생성합니다. 상관관계를 최소화하기 위해 각 샘플은 별도의 API 호출을 통해 얻습니다.
• 정규화: 응답은 작은 어휘적 변이 (예: 관사 생략) 를 처리하기 위해 정규화되지만, 의미적 일반화는 처리되지 않습니다.

불확실성 측정치

$m$개의 샘플링된 답변의 경험적 분포에서 두 가지 블랙박스 측정치가 추정됩니다:

1. 샘플링 기반 신뢰도 ($c$): 가장 빈번한 답변의 경험적 빈도 ($c = \max_k p_k$). 이는 모드 집중도를 측정합니다.
2. 응답 엔트로피 ($H$): 정규화된 답변 분포의 섀넌 엔트로피 ($H = -\sum p_k \log p_k$). 이는 경쟁하는 답변 간의 분산을 측정합니다.
3. 해결 비율 (Resolution Ratio, $\rho_R(\alpha)$): 컨텍스트 수준 $\alpha$가 해결한 베이스라인 불확실성의 비율을 추정하는 진단 지표입니다.
   $$\rho_R(\alpha) = \frac{[H_0 - H(\alpha)]_+}{H_0}$$
   여기서 $H_0$는 컨텍스트가 없을 때의 엔트로피입니다. $\rho_R = 0$은 컨텍스트가 불확실성 감소를 제공하지 않음을 의미하며, $\rho_R = 1$은 불확실성이 완전히 해결되었음을 의미합니다.

정보 의존성 지수 (Information Dependence Index, IDI)

$\Delta = Acc_1 - Acc_0$로 정의되며, 이 지표는 예측 정확도가 컨텍스트의 존재에 의존하는 정도를 정량화합니다.

주요 기여

1. 평가 프레임워크: 불확실성이 정보가 감소함에 따라 증가해야 한다는 요구사항에 기반한, 부분적 관측 하의 LLM 불확실성을 평가하는 원칙적인 프레임워크.
2. MI 유사성: 반복적인 LLM 샘플링을 다중 대체와 명시적으로 연결하여, 누락된 정보로 인한 예측 불확실성의 블랙박스 대리 지표로서 엔트로피를 동기화합니다.
3. 진단 도구: 컨텍스트가 해결한 베이스라인 불확실성의 비율을 측정하는 휴리스틱인 해결 비율 $\rho_R(\alpha)$ 도입. 이는 오직 블랙박스 샘플링만으로 추정 가능합니다.
4. 실증적 검증: 엔트로피가 신뢰도보다 누락된 정보 불확실성을 더 충실히 추적하며, 설명 분산에서 유의미한 우위 (이차 $R^2$ 격차 최대 0.057) 를 보인다는 정량적 증거.

결과

모델 행동의 분류

400 개의 컨텍스트에 대한 분석은 컨텍스트 제거 하에서 세 가지 뚜렷한 체제를 드러냈습니다:

1. 기억된 (Memorized): 컨텍스트 유무와 관계없이 높은 정확도; 엔트로피는 거의 0 ($H_0 \approx 0$). 모델은 매개변수 지식에 의존합니다.
2. 편향된 (Biased): 컨텍스트가 있을 때 높은 정확도, 하지만 컨텍스트가 없을 때 잘못된 답변으로 높은 정확도; 엔트로피는 거의 0 ($H_0 \approx 0$). 모델은 컨텍스트가 없을 때 결정적으로 틀립니다.
3. 불확실한 (Uncertain): 컨텍스트가 있을 때 높은 정확도, 하지만 컨텍스트가 없을 때 낮은 정확도와 높은 엔트로피. 이 체제는 누락된 정보로 인한 진정한 불확실성을 반영합니다.

• 분포: "불확실한" 체제가 가장 컸습니다 (43.8%). 이는 대부분의 질문이 컨텍스트를 필요로 하며, 컨텍스트가 없을 때 다양한 답변을 허용함을 나타냅니다.

불확실성 측정치의 성능

• 엔트로피 vs. 신뢰도: 컨텍스트가 제거됨에 따라 ($\alpha$ 감소), 정확도는 단조롭게 감소합니다.
  • 엔트로피 ($H$): 컨텍스트가 제거됨에 따라 단조롭게 증가하며, 정확도 손실을 밀접하게 추적합니다.
  • 신뢰도 ($c$): 훨씬 더 느리게 감소하며, 정확도가 붕괴되더라도 여전히 높게 유지됩니다. 컨텍스트 민감 하위 집합에서 정확도는 0.05 로 떨어졌지만 신뢰도는 0.52 에 머무랐습니다.
• 예측력: 회귀 분석은 모든 증거 수준에서 엔트로피가 신뢰도보다 정확도의 분산을 더 일관되게 설명함을 보여주었습니다.
  • $\alpha = 0.5$ (전체 샘플) 에서 엔트로피는 분산의 24.3% 를 설명한 반면, 신뢰도는 18.6% 를 설명했습니다 ($\Delta R^2 = 0.057$).
  • 이 수준에서 엔트로피는 신뢰도보다 약 31% 더 많은 분산을 설명했습니다.
• 보정: 보정 플롯 (정확도 vs. 신뢰도) 은 컨텍스트가 제거됨에 따라 악화되는 상당한 과신 (overconfidence) 을 드러냈습니다. 반면, 엔트로피는 MI 기준과 일관되게 행동했습니다.

해결 비율

해결 비율 $\rho_R(\alpha)$는 전체 컨텍스트가 전체 샘플에서 베이스라인 불확실성의 약 80% 를 해결함을 보여주었습니다. 컨텍스트 민감 하위 집합에서 $\rho_R(\alpha)$는 정확도를 단조롭게 예측한 반면, 신뢰도는 "편향된" 체제로 인해 비단조적인 패턴을 보였습니다.

중요성 및 주장

이 논문은 불완전한 컨텍스트 하에서 응답 엔트로피가 샘플링 기반 신뢰도보다 더 반응적인 블랙박스 불확실성 측정치라고 주장합니다.

• 이론적 정렬: 엔트로피는 불확실성이 누락된 정보에 비례해야 한다는 베이지안 요구사항에 부합하게 행동합니다. 신뢰도는 체계적으로 이 요구사항을 실패하며, 종종 기본 분포가 확산된 상태 (적절한 대체자가 높은 불확실성을 신호해야 하는 조건) 에서도 높게 유지됩니다.
• 실용적 유용성: 제안된 지표 (엔트로피 및 $\rho_R$) 는 모델 내부 (가중치, 로짓) 에 대한 접근이나 함의 분류기가 필요하지 않습니다. API 를 통해 접근 가능한 모든 LLM 에 적용 가능합니다.
• LLM 설계에 대한 함의: 저자들은 "편향된" 체제에서 관찰된 "과신"이 확률 질량을 모드 응답에 집중시키는 softmax 연산에서 비롯될 수 있다고 제안합니다. 그들은 예측 평균 매칭 (Predictive Mean Matching, PMM)—softmax 를 통과하는 대신 암시적 기증자 풀에서 샘플링하는 것—이 더 잘 보정된 불확실성을 산출하여 LLM 행동을 적절한 대체 이론과 일치시킬 수 있다고 제안합니다.

이 논문은 다중 대체 기준을 LLM 설정으로 도입하는 것이 특정 작업이나 모델과 무관하게 불확실성을 평가하기 위한 이론 기반 표준을 제공하며, 통계적 누락 데이터 문헌과 LLM 불확실성 연구 간의 채널을 열어준다고 결론지었습니다.