기술 요약: ECUASn – 불확실성 증강 시스템의 원칙적 평가를 위한 지표군

문제 제기

고위험 자동 의사결정에서 사용자(인간 또는 하류 시스템)는 시스템의 출력을 수용할지 거부할지 결정하기 위해 애플리케이션별 비용 절충에 기반한 예측 불확실성에 접근할 필요가 있습니다. 이러한 시스템을 불확실성 증강 (Uncertainty-Augmented, UA) 시스템이라고 하며, 후보 예측과 불확실성 점수를 모두 출력합니다.

현재 문헌은 UA 시스템을 다음과 같이 단편적인 지표로 평가합니다:

1. 예측 품질: 정확도 또는 오율로 측정.
2. 불확실성 품질: 불확실성을 오답의 예측자로 간주하여 이진 분류 지표 (예: AUC, ECE, Brier 점수) 로 측정.
3. 통합 지표: 거부 임계값을 스윕하여 이러한 측면을 통합하는 AURC (Area Under the Risk-Coverage Curve) 와 같은 접근법.

저자들은 이러한 접근법이 부적절하다고 주장합니다. 개별 지표는 최종 결정을 내리는 사용자에게 제공되는 가치를 반영하지 못합니다. 또한 AURC 와 그 변형들은 불확실성 점수의 단조 변환에 대해 불변이며, 상대적 순서가 유지되는 한 과대 또는 과소 평가된 불확실성 (잘 보정되지 않은 불확실성) 에 대해 페널티를 부과하지 않고 순위 매기기를 보상합니다. 이는 불확실성이 정확성의 확률로 해석되어야 하는 시스템에서 치명적인 결함입니다. furthermore, 기존 방법들은 종종 개발 중에 특정 거부 비용 ($\gamma$) 을 고정해야 하며, 이는 알려지지 않았거나 사용자 및 인스턴스 간에 변할 수 있습니다.

방법론

본 논문은 베이지안 의사결정 이론에 기반한 ECUASn(Uncertainty-Augmented Systems 를 위한 기대 비용) 이라는 지표군을 제안합니다.

1. 의사결정 이론적 기초

저자들은 UA 시스템을 함수 $f^{UA}: \mathcal{X} \to \tilde{\mathcal{D}} \times \mathbb{R}_{\ge 0}$로 정의하며, 후보 응답 $\tilde{d}$와 불확실성 점수 $u$를 출력합니다. 최종 결정 $d$는 $\tilde{d}$이거나 거부 $d_r$입니다.

거부 비용 $\gamma$에 기반한 비용 함수 $C_\gamma(y, d)$는 다음과 같이 정의됩니다:
$$C_\gamma(y, d) = \begin{cases} \tilde{C}(y, d) & \text{if } d \in \tilde{\mathcal{D}} \\ \gamma & \text{if } d = d_r \end{cases}$$
여기서 $\tilde{C}$는 기준 진실 $y$가 주어졌을 때의 후보 응답에 대한 비용입니다.

2. 적절한 스코어링 규칙 (PSR) 유도

$\gamma$를 고정하지 않기 위해, 저자들은 확률적으로 해석 가능한 불확실성을 생성하는 시스템을 보상하는 지표를 구성합니다.

• 베이지안 결정: 주어진 비용 함수와 클래스에 대한 조건부 분포 $q$에 대해, 최적의 결정은 기대 비용을 최소화합니다. 최적 결정의 기대 비용을 $u_{\tilde{C}}(q)$로 표기하며, 이는 이론적 불확실성으로 작용합니다.
• 적절한 스코어링 규칙 (PSR): 베이지안 결정에서 비용 함수를 평가함으로써 새로운 비용 함수 $C^*_\gamma(y, q)$가 유도됩니다. 이 함수는 적절한 스코어링 규칙으로, 예측 분포가 실제 분포와 일치할 때 기대값이 최소화됩니다. 이 특성은 순위가 보존되는 경우 잘 보정된 불확실성과 poorly 보정된 불확실성을 구분하지 못하는 AURC 와 달리, 지표가 잘 보정된 확률을 보상하도록 보장합니다.

3. ECUASn 패밀리

특정 거부 비용에 독립적인 지표를 만들기 위해, 저자들은 가능한 거부 비용 $\gamma$의 범위에 대해 가중치 함수 $w(\gamma)$로 가중치를 둔 PSR $C^*_\gamma$를 적분합니다.
$$C^*_w(y, q) = \int_{0}^{u_M} w(\gamma) C^*_\gamma(y, q) d\gamma$$
저자들은 가중치 함수를 $w_n(\gamma) \propto \gamma^{n-1}$로 매개변수화하여 ECUASn 지표를 도출합니다. 매개변수 $n$은 절충을 제어합니다:

• $n=0$: 높은 확신으로 이루어진 잘못된 예측을 강력하게 페널티화합니다 (거부를 위해 높은 불확실성이 요구됨). 이는 고위험 시나리오에 권장됩니다.
• $n \to \infty$: 지표는 표준 0-1 오율로 퇴화하며, 불확실성 점수 자체의 품질에 대한 민감도가 낮아집니다.

4. 생성 시스템에의 적용

생성 모델의 경우, "정확성"의 개념은 정확한 문자열 매칭이 아닌 의미적 동치 클래스에 대해 정의됩니다. 저자들은 최적의 의사결정을 위해 불확실성은 개별 토큰 시퀀스가 아닌 이러한 동치 클래스의 분포에 대해 계산되어야 한다고 주장합니다. 이는 의미적 엔트로피가 더 나은 불확실성 점수를 제공한다는 실증적 발견에 대한 이론적 근거를 제공합니다. 실제로 생성 작업에서는 클래스 수 $K$가 무한대에 접근한다고 가정합니다.

주요 기여

1. 원칙적 지표 대체: 의사결정 이론에 기반한 지표군인 ECUASn 을 도입하여 AURC 를 대체합니다. AURC 와 달리 ECUASn 은 특정 거부 비용에 무관하면서도 확률적으로 해석 가능한 불확실성 (적절한 스코어링 규칙) 을 보상합니다.
2. 생성 불확실성에 대한 이론적 통찰: 개별 예측이 아닌 의미적 동치 클래스에서 유도된 불확실성 점수가 생성 시스템에 더 우월한 이유에 대한 이론적 설명입니다. 이는 베이지안 결정 비용의 구성에서 직접 도출됩니다.
3. 매개변수화된 절충: 응용 프로그램의 특정 위험 프로파일에 따라 지표를 조정할 수 있도록 매개변수 $n$을 도입했습니다 (예: 고위험 거부 시나리오의 경우 $n=0$).

실증 결과

저자들은 다양한 분류 및 생성 데이터셋에서 ECUASn 을 평가했습니다:

• 분류: 언어 (AGNews, SST-2), 음성 (SITW, FVCAUS), 이미지 (CIFAR-10/100) 데이터셋에 대한 실험.
  • 보정 영향: ECUASn 지표 (특히 낮은 $n$의 경우) 는 사후 보정으로 인한 시스템 품질 향상을 성공적으로 감지한 반면, AURC 는 순서를 보존하는 단조 변환에 불변이기 때문에 종종 변화가 없었습니다.
  • 간단한 베이스라인: ECUASn 은 분포 $q$에 대한 CE 나 Brier 점수와 같은 좋은 보정 점수를 가졌음에도 불구하고, 예측과 불확실성의 결합된 출력을 고려할 때 간단한 사전 기반 시스템보다 성능이 낮은 시스템을 올바르게 식별했습니다.
• 생성 (TriviaQA 및 MMLU): 다양한 LLM(Qwen, Ministral, Gemini) 과 세 가지 신뢰도 도출 방법 (Sequence Posterior, Is True, Verbalized) 을 사용한 실험.
  • 지표 불일치: 신뢰도 도출 방법의 순위는 사용된 지표에 따라 크게 달라졌습니다. 예를 들어, "Verbalized"방법은 종종 가장 좋은 오율 (ER) 을 보였으나 보정이 부족하여 "Sequence Posterior"에 비해 높은 ECUASn 점수 (더 나쁜 성능) 를 초래했습니다.
  • 기준 진실 민감성: 저자들은 자동 의미적 동치 라벨링의 오류를 수정하기 위해 TriviaQA 의 하위 집합 (455 개 샘플) 을 수동으로 큐레이션했습니다. 자동 평가가 시스템 순위를 극적으로 변경할 수 있음을 입증하여 신중한 평가 프로토콜의 필요성을 강조했습니다.

중요성 및 주장

본 논문은 ECUASn 이 잘못된 예측과 불완전한 불확실성의 영향을 단일 값으로 통합함으로써 UA 시스템에 대한 종합적 평가를 제공한다고 주장합니다.

• 의사결정 이론적 정렬: 이 지표들은 출력의 통계적 속성을 측정하는 것이 아니라 불확실성 하에서 결정을 내리는 사용자에게 시스템이 제공하는 실제 효용을 반영하도록 설계되었습니다.
• 보정 민감성: 확률적 해석 가능성을 보상함으로써, ECUASn 은 순위가 보존되는 경우 잘 보정된 불확실성과 poorly 보정된 불확실성을 구분하지 못하는 AURC 의 주요 한계를 해결합니다.
• 실용적 유용성: 이 프레임워크는 사용자가 위험 허용도에 적합한 $n$ 값을 선택할 수 있게 하여, 잘못된 답변을 수용하는 비용이 심각한 고위험 환경에서 시스템을 평가하는 유연한 도구가 됩니다.

저자들은 ECUASn 이 사용자가 기대 비용을 최소화하는 의사결정 이론적 프레임워크 하에서 작동한다고 가정하지만, 불확실성 증강 시스템에 대한 현재의 평가 관행보다 더 견고하고 원칙적인 대안을 제공한다고 결론지었습니다.