Calibrating Semantic Uncertainty from Observable Language-Model Probabilities

기술 요약: 관측 가능한 언어 모델 확률로부터의 의미론적 불확실성 교정

문제 정의
언어 모델(LM)은 단어와 구절에 대한 조건부 확률 분포를 생성하지만, 금융, 의료, 법률과 같은 분야의 전문적인 의사결정에는 의미 있고 유한한 값을 가진 상태(예: 진단, 위험 조건 또는 운영 상태)에 대한 불확실성 정량화가 필요하다. 여기에는 심각한 불일치가 존재한다: LM의 고유 출력은 언어적 응답에 대한 분포이며, 이는 프롬프트의 문구, 순서, 수치 형식에 민감하다. 반면, 대상이 되는 과학적 사후 확률(posterior)은 정보적으로 동등한 재구성에 대해 불변이어야 한다. 현재의 접근 방식들은 인쇄된 수치적 확신이나 토큰 확률을 교정된 상태 확률과 혼동하는 경우가 많으며, 이는 동의어 구절이 서로 다른 확률을 받는 의미론적 불안정성이나 모델의 "유창성"이 불확실성을 은폐하는 문제를 고려하지 못한다. 본 논문은 이 역문제(inverse problem)를 다룬다: 관측 가능한, 프롬프트에 의존적인 언어적 응답 분포를 어떻게 안정적이고 교정된 선언적 상태의 사후 확률로 매핑할 수 있는가?

방법론
본 논문은 의미 맵(semantic map), 즉 LM의 조건부 언어 분포를 유한한 상태 공간에 대한 타겟 사후 확률로 연결하는 준모수적(semiparametric) 통계적 가교를 제안한다. 이 프레임워크는 LM을 조건부 데이터 생성 과정(마르코프 커널)으로 취급하며, 통계적 설계를 다음과 같은 별개의 계층으로 분리한다:

1. 관측 가능한 통계적 실험: LM을 프롬프트 $c$가 주어졌을 때 완전한 언어적 지속(continuation) $\Omega$에 대한 조건부 응답 법칙 $Q_u(\cdot | c)$로 모델링한다. 여기서 프롬프트는 평가자가 제어하는 명시적인 설계 변수이다.
2. 의미론적 조립(Semantic Coarsening): 미리 지정된 측정 가능한 맵 $\phi_u$가 동의어 관계인 언어적 지속들을 의미론적 상태 $X$(및 "표현되지 않은" 범주 $\perp$)로 그룹화한다. 이는 상태 공간 상의 푸시포워드 측도(lexical composition) $p_u$를 유도한다.
3. 교정 및 역회복(Calibration and Inverse Recovery): 선언된 독립적 확률 모델로부터 유도된 참조 사후 확률 $\pi^*(y)$를 $p_u$로부터 회복하는 문제를 역문제로 정식화한다. 이를 위해 가법 로그-비(additive log-ratio, alr) 좌표를 사용하여 확률 벡터를 유클리드 공간으로 매핑함으로써 역문제 이론의 적용을 가능하게 한다.
4. 이론적 보장:
   • 존재 및 유일성: 고정된 의미 맵과 언어 법칙 하에서 렉시컬 컴포지션(lexical composition)은 존재하며 유일하다.
   • 오차 분해: 사후 오차를 세 가지 뚜렷한 원인(의미론적 불일치/그룹화 오류, 확률 계산 오류, 표현되지 않은 질량/선언된 파티션 외부의 확률)으로부터 경계 짓는 정리를 제시한다.
   • 안정성: 프롬프트 제시(문구, 순서)의 섭동이 의미론적 구성을 어떻게 영향을 미치는지 특성화하여, 노이즈 변동과 결과적인 변화를 구분한다.
   • 역회복: 언어 채널 내의 서로 다른 사후 확률 간의 분리 정도에 대한 정량적 관측성 계수(observability modulus)를 통해 안정적인 사후 회복을 위한 조건을 정의한다.
   • 순차적 필터링: 측정 오차가 순차적 베이지안 업데이트 과정에서 어떻게 전파되거나 감쇄되는지를 정량화하는 필터링 정리를 제공하며, 초기 측정 오차와 누적된 재귀 결함을 구분한다.

주요 기여
본 논문의 주요 기여는 단순한 프롬프트 엔지니어링을 넘어, 의미 맵을 검증 가능한 통계적 추정량(estimand)으로 공식화한 것이다. 구체적으로:

• 선언된 추정량: LM의 내부 "믿음"을 지면(ground truth)으로 취급하는 대신, 언어 분포로부터 참조 사후 확률을 회복하는 것을 명확한 목표로 정의한다.
• 준모수적 프레임워크: 제약 없는 언어 모델과 저차원의 교정 모델을 결래하여, LM의 내부 파라미터를 모델링할 필요 없이 언어에서 상태로의 매핑을 엄격하게 처리한다.
• 불확실성의 분해: 오차의 원인(의미론적, 수치적, 커버리지)에 대한 수학적 분해를 제공하여, 실무자가 그룹화의 문제인지, 확률 계산의 문제인지, 혹은 언어적 커버리지의 부족 문제인지 진단할 수 있게 한다.
• 역문제 분석: 언어 채널이 안정적인 역전(inversion)을 허용할 만큼 충분히 정보가 풍부한지 판단하기 위해 역문제 이론을 적용하여, 유한 설계 관측성(finite-design observability)과 균등 식별성(uniform identification)을 구분한다.
• 경험적 프로토콜: 발견(의미론적 그룹화, 프롬프트 설계)과 확인(홀드아웃 테스트, 공리적 커버리지)을 분리하여, 룩어헤드 편향(look-ahead bias)과 데이터 의존적 사양 탐색을 방지하는 엄격한 추론 프로토콜을 구축한다.

결과
본 방법론은 두 가지 설정에서 평가되었다:

1. 전문 시장 텍스트: 언어 유도 확률(구절의 토큰 확률로부터 계산됨)과 수치적 유도 확률(모델에게 숫자를 출력하도록 요청함) 간의 비교.
   • 결과: 언어 유도 확률이 정확도(McNemar $p=0.0243$)와 적절한 점수 규칙(Log-loss 및 Brier score) 측면에서 수치적 유도 확률보다 유의미하게 우수한 성능을 보였다. 이는 수치 출력을 강제하는 것이 지속 분포에 담긴 의미론적 정보를 왜곡함을 시사한다.
2. 제어된 사후 회복: 알려진 베이지안 생성기를 사용하여 정확한 참조 사후 확률을 제공하고, 두 가지 적합 모델(GPT-4.1-mini 및 GPT-4o-mini)을 통해 테스트함.
   • 회복: 교정된 렉시컬 추정치는 낮은 젠슨-샤논 발산(약 0.039 및 0.037)과 함께 정확한 홀드아웃 사후 확률을 회복하였으며, 명목상 90% 공리적 커버리지(94% 및 90%)를 달성했다.
   • 안정성: 일반적인 패러프레이즈(정보를 보존하는 재작성)는 안정적인 추정치를 보였다. 그러나 증거의 순서를 바꾸거나 관련 정보를 누락하면 결과적인 변화가 발생하였는데, 이는 측정이 정보 집합에는 민감하지만 노이즈 성격의 문구에는 견고함을 확인시켜 준다.
   • 역조건화: 부트스트랩 분석을 통해 적합된 아핀 교정 맵이 샘플링된 설계 상의 모든 로그-비 방향을 유지함(양의 특이값)을 확인하였으며, 이는 유한 설계 관측성을 뒷받침한다.
   • 엔트로피: 후보 단어들에 대한 원시 엔트로피는 사후 엔트로피와 상관관계가 없었으나, 교정된 사후 엔트로피는 높은 상관관계를 보였다. 이는 단어 수준의 불확실성이 상태 수준의 불확실성과 동일하지 않음을 입증한다.

의의 및 주장
본 논문은 언어 모델의 불확실성을 명시적이고 테스트 가능한 조건 하에서 감사가 가능한 사후 추정량으로 변환할 수 있다고 주장한다.

• 제한된 범위: 저자들은 이 방법이 LM이 진실을 "알고" 있다거나 접근 불가능한 내부 믿음을 가지고 있음을 증명하는 것이 아님을 명시한다. 타겟 사후 확률는 선언된 증거 생성 모델과 의미론적 파티션에 조건부된 것이다.
• 신뢰가 아닌 검증: 이 기여는 검증을 위한 프레임워크이다. 만약 의미 맵이 실패한다면(예: 낮은 표현 질량, 낮은 역조건화, 또는 공리적 커버리지 실패), 그 결과는 거부되거나 수정되어야 한다. 성공한다면, 그 추정치는 기권(abstention), 인간의 검토, 또는 순차적 업데이트와 같은 불확실성 인지 절차를 지원한다.
• 일반 원칙: "의미 맵" 원칙은 분류 및 권고 사항을 감사하기 위한 일반적인 템플릿으로 제시되며, 적용 가능한 의미가 단순히 프롬프트 엔지니어링의 함수가 아니라 안정적임을 보장한다.
• 한계: 결과는 특정 적합 모델, 프롬프트 제품군, 그리고 상태 정의에 따라 조건부적이다. 본 연구는 무제한 함수 클래스에 대한 균등 관측성을 입증하거나, 궤적 수준의 추가 테스트 없이 시간-균등한 순차적 커버리다를 보장하지 않는다. 또한, 이 방법은 도메인 특화 의사결정 분석이나 실시간 트레이딩 성능을 보장하는 대체제가 아니다.

요약하자면, 본 논문은 안정성을 위한 "프롬프트 엔지니어링"에 대한 의존을 대신하여, 언어를 노이즈가 있는 측정 채널로 취급하는 엄격한 통계적 프레임워크를 도입함으로써, 해당 채널로부터 의미 있는 상태 확률을 정량화하고, 경계 짓고, 검증할 수 있는 도구를 제공한다.