기술 요약: 에이전트 불확실성 정량화를 위한 적절한 점수 규칙

문제 제기

언어 모델 에이전트들은 increasingly 관찰, 추론, 도구 사용, 계획 수정이 포함된 확장된 궤적을 통해 작동합니다. 이러한 환경에서 불확실성은 단순히 최종 답변의 속성이 아니라 상호작용 기록과 함께 진화하는 동적 신호입니다. 최근 연구는 궤적 수준의 불확실성 신호 생성 (예: 단계별 보정, 전파된 불확실성) 으로 전환되었으나, 이러한 신호의 평가는 여전히 결함이 있습니다.

AUROC, AUPRC, 궤적 기대 보정 오차 (T-ECE), 스칼라화된 궤적 브라이어 점수와 같은 기존 평가 지표들은 순위 유용성과 확률적 진실성을 혼동합니다.

• 순위 기반 지표 (AUROC/AUPRC) 는 판별력을 측정하지만 확률의 단조 변환에 대해 불변이므로, 잘 보정된 확률과 과도하게 확신하거나 확신이 부족한 왜곡을 구분하지 못합니다.
• 보정 지표 (T-ECE) 는 구간별 주변 보정을 측정하지만 "해상도 무감각"하여, 해당 구간 내 판별력이 부족하더라도 구간 내에서 평균적으로 올바른 예측에 보상을 줍니다.
• 스칼라화된 적절한 점수 (예: 축소된 궤적 요약에 브라이어 손실을 적용) 는 축소된 스칼라에 대해서만 엄격하게 적절할 뿐, 전체 접두사 조건부 확률 궤적에 대해서는 그렇지 않습니다.

핵심 문제는 접두사 조건부 성공 확률 과정 ($q_t = P_\pi(Y=1 | H_t)$) 에 대한 엄격하게 적절한 평가자가 부재하다는 점입니다. 이러한 평가자가 없다면 에이전트로부터 진실된 확률 궤적을 엄격하게 유도하는 것이 불가능하며, 이는 확률 스케일에 의존하는 지연 (deferral), 반성 (reflection), 인간 인계 (human handoff) 와 같은 하류 개입에 중요합니다.

방법론

1. 궤적 적절한 점수 (Trajectory Proper Score, TPS)

저자들은 궤적 수준의 불확실성을 위한 예측자 무관한 엄격하게 적절한 점수 규칙 계열인 궤적 적절한 점수 (TPS) 를 소개합니다.

• 정의: TPS 는 평가자가 선택한 일정 ($w_t$) 으로 가중치를 부여하여 궤적 단계에 걸쳐 엄격하게 적절한 이진 점수 규칙 ($S_{\alpha,\beta}$) 을 집계합니다:
  $$TPS(F_{1:T}, Y) = \sum_{t=1}^{T} w_t S_{\alpha,\beta}(F_t, Y)$$
  여기서 $F_t$는 역사 $H_t$가 주어졌을 때 에이전트가 보고한 최종 성공 확률이며, $Y$는 종단 결과입니다.
• 엄격한 적절성: 저자들은 (정리 4.1) 기본 이진 점수가 엄격하게 적절하고 가중치가 양수라면, TPS 가 전체 접두사 조건부 과정에 대해 엄격하게 적절함을 증명합니다. 이는 에이전트가 모든 단계에서 진정한 조건부 확률 $q_t$를 보고할 때 기대 점수가 유일하게 최대화됨을 의미합니다.
• 점수 계열: 이 방법은 Schervish–Buja 임계값 혼합 구성에서 유래된 베타 계열 점수 ($S_{\alpha,\beta}$) 를 활용합니다. 이 계열에는 로그 점수 (극한 사례), 브라이어 점수 ($\alpha=\beta=1$) 가 포함되며, 매개변수 $\alpha$와 $\beta$를 통해 비대칭 비용 조정이 가능합니다.

2. 검열된 궤적 처리

실제 벤치마크에서는 결과 $Y$가 관찰되기 전에 (예: 단계 예산 도달) 궤적이 관리적으로 검열되는 경우가 많습니다. 저자들은 조건부 투영을 통해 이러한 사례에 TPS 를 확장합니다:

• 정확한 축소 점수 ($TPS^{cen,exact}$): 완전 데이터 점 observable 접두사로 투영함으로써, 저자들은 정지 시점의 지속 성공 확률 $q_Z = P_\pi(Y=1 | H_Z)$에 의존하는 정확한 검열 점수를 유도합니다. 이 점수는 관측 가능한 접두사에 대해 엄격하게 적절합니다.
• 간단한 검열 근사 ($TPS^{cen,simple}$): $q_Z$가 추정되지 않은 경우, 저자들은 $q_Z \approx 0$으로 설정하는 비관론적 운영 근사를 제안합니다. 이는 검열된 접두사를 실패 분기가 발생한 것처럼 점수화합니다. 저자들은 이 방법이 $m_t = P_\pi(\Delta=1, Y=1 | H_t)$라는 의사 레이블 목표에 대해 엄격하게 적절함을 증명하며, 이는 누락된 성공 질량이 0 일 때만 진정한 목표에 수렴합니다.

3. 기존 지표의 이론적 한계

이 논문은 (정리 A 와 B) 일반적인 지표가 전체 궤적을 유도하지 못하는 이유를 공식적으로 증명합니다:

• T-ECE 는 해상도 무감각합니다. 구간 평균과 동일한 상수 예측이 구간 내 모든 변동을 무시하더라도 0 오차를 달성할 수 있습니다.
• 집계된 궤적에 적용된 스칼라화된 브라이어/로그 손실 (예: $\Phi_{last}, \Phi_{avg}, \Phi_{min}$) 은 축소된 스칼라만 유도할 뿐 궤적 자체는 유도하지 않습니다. $\Phi_{avg}$나 $\Phi_{min}$과 같은 집계기의 경우, 최적 스칼라를 맞추기 위해 집계를 조작하는 비진실 궤적에 비해 진실 궤적이 엄격하게 비최적일 수 있습니다.

주요 결과

1. 보정 불변성 간극

Tau2-Bench에 대한 실험은 순위 기반 지표와 적절한 점수 지표 간의 상당한 불일치를 보여줍니다.

• 재보정 효과: Platt 스케일링을 사용하여 언어적 신뢰도 신호를 재보정했을 때, AUROC는 미미하게 변화 ($\Delta/SE \approx 0.3$) 한 반면, TPS (로그 종단점) 는 크게 개선되었습니다 ($\Delta/SE \approx 43$).
• 시사점: 순위 지표는 원본 스트림이 심각하게 보정되지 않았음 (0.9–1.0 근처 포화) 을 감지하지 못했으나, TPS 는 확률 스케일 오류를 올바르게 식별했습니다. 재보정된 스트림은 순위 성능은 유사함에도 불구하고 TPS 에서 기준율 참조를 barely 초과했습니다.

2. 검열의 영향

47% 의 궤적이 관리적으로 검열된 (단계 제한 도달) WebShop에서 평가 대상 집단은 크게 변화했습니다.

• 선택 편향: 완전 궤적만 평가하는 방식은 구조적으로 더 어려운 궤적 하위 집합 (검열된 궤적은 3 배 더 길었음) 을 배제했습니다.
• 점수 이동: 간단한 검열 근사를 통해 검열된 궤적을 포함하면 완전 궤적만 평가한 경우와 비교하여 평균 TPS 가 +0.159 nats만큼 이동했습니다 (95% CI: [+0.133, +0.188]).
• 예측자 민감도: 이 이동은 확신 부족 예측자에게는 양수였으나 (예: 완료 토큰 확률) 과도한 확신 예측자에게는 음수였으며, 이는 검열 인식 점수화가 신뢰도 체제에 따라 판정을 변경함을 보여줍니다.

3. 검열 확장 검증

• 인위적 검열: StrategyQA, Tau2-Bench, HotpotQA 의 완전 궤적에서 저자들은 결과를 인위적으로 검열했습니다. 검열 점수의 폐쇄형 분해는 수치적 정밀도로 직접 계산된 차이와 일치하여 이론적 유도를 검증했습니다.
• 몬테카를로 감사: HotpotQA 에서 저자들은 몬테카를로 롤아웃을 통해 $q_Z$를 추정했습니다. 정확한 축소 점수는 간단한 $q_Z \approx 0$ 근사와 실질적으로 달랐으며, 이는 $q_Z$ 추정 선택이 최종 점수에 영향을 미친다는 것을 확인시켜 주었습니다.

중요성과 주장

이 논문은 에이전트 불확실성의 엄격하게 적절한 평가를 위한 기초 프레임워크를 확립했다고 주장합니다. 그 중요성은 다음과 같습니다:

1. 유도와 순위 분리: 순위 지표 (AUROC) 와 보정 지표 (ECE) 가 확률적 의사결정에 필요한 전체 확률 궤적을 엄격하게 유도하지 못함을 보여줍니다.
2. 적절한 점수의 운영적 필요성: 실증 결과는 확률 재보정이 순위 지표는 변경하지 않으면서 TPS 판정을 극적으로 변경할 수 있음을 보여줍니다. 이는 확률 임계값 (지연, 인계) 에 의존하는 응용 분야에서 기존 평가 관행이 오해의 소지가 있을 수 있음을 시사합니다.
3. 실제 세계 제약 처리: 관리적으로 검열된 궤적으로 적절한 점수화를 확장함으로써, 이 논문은 어려운 단축 사례를 폐기하거나 오표시하지 않고 단계 예산이 있는 벤치마크에서 에이전트를 평가할 수 있는 방법을 제공합니다.

저자들은 비정보적 관리적 검열을 가정하고 이진 종단 결과를 대상으로 한다는 제한된 범위를 유지합니다. 그들은 이 작업이 불확실성 신호를 생성하는 데 사용되는 예측자 측 방법과 구별되는 평가자 측의 적절성에 초점을 맞추고 있음을 명시합니다. TPS 프레임워크는 신호가 접두사 조건부 성공 확률로 표현되기만 한다면 (언어적 신뢰도, 토큰 확률 등), 신호의 출처에 무관합니다.