기술 요약: 보정만으로는 부족하다: 언어 변이 하에서의 신뢰도 추정 평가

문제 제기

신뢰도 추정 (CE) 은 의료 및 법률과 같은 고위험 분야에서 대규모 언어 모델 (LLM) 에 대한 사용자 신뢰를 확립하는 데 필수적입니다. 현재 평가 패러다임은 주로 보정 (표시된 신뢰도와 실제 정확도 간의 정합성으로 ECE 와 Brier 점수 등의 지표로 측정) 과 판별력 (정답을 오답보다 높게 순위 매기는 능력으로 AUROC 로 측정) 에 중점을 둡니다.

그러나 이러한 기존 지표들은 언어의 근본적인 속성인 변이성을 간과하고 있습니다. 자연어 표현은 동일한 의미적 의미를 유지하면서 표면적 형태 (단어 선택, 문장 구성) 에서 크게 달라질 수 있고, 반대로 문장 구성은 약간만 달라지더라도 완전히 다른 의미를 나타낼 수 있습니다. 기존 CE 방법들은 정적 조건 하에서 평가되는 경우가 많아, 의미적으로 동일한 프롬프트 변형 하에서 신뢰도 점수가 일관되게 유지되는지, 또는 답변의 의미적 의미가 변경될 때 신뢰도 점수가 적절히 변화하는지 평가하지 못합니다. 어떤 방법은 평균적으로 잘 보정되어 있더라도 의미적으로 동일한 입력에 대해 변동하는 신뢰도 점수를 생성하거나, 의미적으로 구별되는 답변들을 구별하지 못해 프롬프트 엔지니어링과 답변 변이가 일반적인 실제 응용 분야에서 신뢰할 수 없는 행동을 초래할 수 있습니다.

방법론

저자들은 언어 변이를 구체적으로 다루는 세 가지 상호 보완적인 속성을 기반으로 한 새로운 평가 프레임워크를 제안합니다. 이러한 지표들은 정답 레이블이 필요하지 않으며, 대신 서로 다른 조건 하에서 생성된 여러 응답에 의존합니다.

1. 제안된 지표

• 프롬프트 변형에 대한 강건성 (P-RB): 생성된 응답이 일정하게 유지되는 동안 입력 프롬프트가 변경될 때 (예: 다른 지시사항 또는 문장 구성) CE 방법이 동일한 신뢰도 점수를 출력하는지 측정합니다. 이는 생성 노이즈로부터 프롬프트 변이를 분리합니다.
• 의미적으로 동일한 답변 간 안정성 (A-STB): CE 방법이 의미적으로 동일한 다양한 생성 응답 (예: "오목 렌즈" 대 "오목") 에 대해 일관된 신뢰도 점수를 할당하는지 평가합니다.
• 의미적으로 다른 답변에 대한 민감도 (A-SST): 답변의 의미가 변경될 때 CE 방법이 구별되는 신뢰도 점수를 할당하는지 측정합니다. 민감한 방법은 표면적 형태가 유사하더라도 의미적 변화를 감지해야 합니다.

2. 실험 설정

• 모델: 7B 에서 123B 파라미터에 이르는 5 개 주요 계열 (Mistral, Llama 3, Qwen 2.5, OLMo 2, GPT-4o) 의 11 개 LLM.
• 데이터셋: 각각 1,000 개의 테스트 샘플을 가진 4 개의 개방형 QA 벤치마크 (Natural Questions, SciQ, TriviaQA, PopQA).
• CE 방법: 다음 범주로 분류된 10 가지 다양한 방법:
  • 로그 기반: 시퀀스 확률 (Sequence Likelihood), 부스팅 확률 (Boosted Probabilities), Platt Scaling, P(True).
  • 언어적: 언어화된 신뢰도 (Verbalized Confidence).
  • 보조: Calib-1 (학습된 분류기).
  • 내부 상태: 어텐션 점수 (Attention Score), 히든 점수 (Hidden Score), SAPLMA, P(IK).
• 절차:
  • 강건성: 10 가지 의미적으로 동일한 프롬프트 변형으로 그리디 디코딩 수행.
  • 안정성/민감도: 프롬프트당 10 개의 샘플링된 답변을 생성하기 위해 확률적 디코딩 (온도 0.7) 수행. 의미적 동등성은 LLM-as-a-judge(GPT-4o) 를 사용하여 결정됨.

주요 결과

1. 전통적 지표와의 독립성

제안된 지표 (P-RB, A-STB, A-SST) 는 전통적인 보정 및 판별 지표 (ECE, Brier, AUROC) 와 대체로 독립적입니다. 상관 분석 (Kendall's $\tau$) 은 약한 상관관계 (예: 민감도와 AUROC 사이의 $\tau=0.26$) 를 보여주며, 이는 새로운 지표들이 신뢰도 품질의 이전에 간과되었던 측면들을 포착하고 있음을 나타냅니다.

2. CE 방법의 성능

• 높은 강건성과 안정성: 대부분의 CE 방법이 강건성과 안정성에서 높은 점수를 달성하여, 프롬프트나 의미적으로 동일한 답변이 변할 때 일반적으로 일관된다는 것을 시사합니다.
• 치명적인 민감도 부재: 가장 중요한 발견은 거의 모든 방법이 민감도에 어려움을 겪는다는 것입니다. 답변의 의미가 변경될 때 신뢰도 점수를 조정하지 못합니다.
  • 생성 측 정보에 의존하는 방법들 (예: P(True), SAPLMA, Sequence Likelihood) 은 더 높은 민감도를 보입니다.
  • 오직 질문 측 정보나 최종 질문 토큰에만 의존하는 방법들 (예: P(IK)) 은 답변 변경에 거의 완전히 무감각합니다 (A-SST $\approx$ 0).
  • 사후 스케일링 방법들 (예: Platt Scaling) 은 신뢰도 차이를 압축하는 경향이 있어 민감도를 더욱 감소시킵니다.

3. 스케일링 법칙

더 큰 모델이 일반적으로 보정 성능을 개선하는 반면, 제안된 지표 (강건성, 안정성, 민감도) 에 있어 모델 규모에 따른 개선은 약하고 일관성이 없습니다. 스케일링만으로는 민감도 문제를 해결하지 못하므로, 모델 크기가 언어 변이를 처리하는 신뢰도 추정을 위한 충분한 대리 지표가 아님을 시사합니다.

4. 보편적인 최상위 방법 부재

단일 CE 방법이 모든 지표와 데이터셋에서 다른 방법들을 능가하지는 않습니다. 예를 들어, P(IK) 는 전체 평균 역순위 (MRR) 에서 가장 좋은 성과를 내지만 강건성과 민감도에서는 성적이 부진합니다. 이는 트레이드오프를 강조합니다: 보정에 최적화된 방법들은 종종 민감도가 부족하고, 그 반대의 경우도 마찬가지입니다.

중요성과 주장

이 논문은 실제 응용 분야에서 신뢰도 추정기를 평가하는 데 보정만으로는 부족하다고 주장합니다. 저자들은 다음과 같이 주장합니다:

1. 간과된 한계: 현재 평가들은 CE 방법들이 언어 변이 하에서, 특히 의미적으로 다른 답변들을 구별하지 못해 신뢰할 수 없는 신뢰도 점수를 생성한다는 사실을 감지하지 못합니다.
2. 응용을 위한 지침: CE 방법의 선택은 응용 분야별로 달라야 합니다.
   • 사용자 대상 QA 시스템은 프롬프트 변이 하에서 일관된 행동을 유지하기 위해 강건성을 우선시할 수 있습니다.
   • 다중 후보 재순위화 또는 LLM-as-a-judge 설정은 경쟁 답변들을 효과적으로 구별하기 위해 민감도를 요구합니다.
   • 고정된 프롬프트를 가진 제어된 환경에서는 여전히 전통적인 보정 지표에 의존할 수 있습니다.
3. 미래 방향: 관찰된 민감도 부재는 CE 방법들이 프롬프트 기반 또는 질문 토큰 표현에만 의존하기보다는 생성 측 정보(예: 전체 생성 텍스트 또는 중간 상태) 를 더 잘 활용해야 함을 시사합니다.

저자들은 그들의 프레임워크가 CE 를 평가하는 데 필수적인 보완적 렌즈를 제공하며, 전통적 지표가 놓치는 한계를 드러내고 특정 배포 요구 사항에 기반한 추정기 선택에 대한 실용적인 지침을 제공한다고 결론지었습니다.