기술 요약: 블랙박스 LLM 분류에서의 점수 세밀도 격차 (The Score Granularity Gap)

1. 문제 정의

대규모 언어 모델(LLM)은 선택적 예측(selective prediction)에 의존하는 고위험 파이프라인(예: 의료 트리아지, 콘텐츠 모더레이션)에서 블랙박스 분류기로 점점 더 많이 배치되고 있습니다. 이 설정에서 운영자는 신뢰도가 높은 예측은 자동화하고, 불확실한 것은 인간의 검토로 라우팅하기 위해 신뢰도 임계값(confidence threshold)을 설정합니다.

기존 연구는 LLM의 신뢰도가 **교정(calibration)**되었는지(즉, 80%라고 명시된 값이 실제 정확도 80%를 의미하는지?), 혹은 올바르게 **순위(ranking)**를 매기는지(오답을 정답보다 아래에 배치하는지?)에 초점을 맞추어 왔습니다. 그러나 본 논문은 배포를 위한 결정적인, 간과되었던 차원인 **점수 세밀도(score granularity)**를 식별합니다.

핵심 문제는 **점수 세밀도 격차(Score Granularity Gap)**입니다. 신뢰도 점수가 완벽하게 순위를 매기더라도, 만약 몇 개의 뚜렷한 값만을 가진다면 미세한 제어에는 무용지물일 수 있습니다. 만약 점수가 $V$개의 서로 다른 값만을 제공한다면, 운영자는 점수의 순위 성능과 관계없이 최대 $V$개의 비자명한 운영 지점(임계값)만을 정의할 수 있습니다. 이는 시스템을 특정 오류 예산(error budget)에 맞춰 유연하게 조절하지 못하게 하며, 매끄러운 다이얼 대신 "거친 계단(coarse staircase)" 형태의 위험-커버리지 트레이드오프를 만들어냅니다.

2. 방법론

실험 설정

본 연구는 25개의 모델-데이터셋 쌍(3개의 벤치마크: BoolQ, MNLI, PubMedQA에 대한 9개의 다양한 강도의 LLM)에 대해 7가지 신뢰도 구성 방식을 평가합니다. 모델은 강력한 모델(예: GPT-4o-mini, Llama-3.1-70B)부터 약한 모델(예: GPT-5-nano, Llama-3.1-8B)까지 다양합니다.

신뢰도 구성 방식

저자들은 두 가지 범주로 나뉘는 방법들을 비교합니다:

1. 싱글 샷 (1회 모델 호출):
   • Verbalized Confidence (Verb): 클래스 확률로 변환된 언어적 신뢰도 (음성 클래스 예측의 경우 $P(pos) = 1-c$적용, 단$\hat{y}=0$일 때).
   • Verb-logprob: 첫 번째 토큰의 로그 확률 (API 접근이 가능한 경우).
   • Verb-logprob+T: 사후 온도 스케일링(temperature scaling)이 적용된 로그 확률.
2. 멀티 시그널 (입력당 10회 모델 호출):
   • 하위 작업 분해 (Sub-task Decomposition): 모델이 10개의 설계된 해석 가능한 Yes/No 하위 질문(예: "lexical_overlap", "semantic_entail")에 답함.
   • 멀티 프롬프트 패러프레이즈 (Multi-Prompt Paraphrase): 모델이 원래 프롬프트의 패러프레이즈된 10개 버전에 답함.
   • 집계 (Aggregation): 10개의 스칼라 점수를 다음 방식으로 결합:
     • 단순 평균 (Simple Averaging): 단순 산술 평균.
     • 학습된 결합 (LR): 가중치와 부호를 학습하기 위해 L2 규제가 적용된 로지스틱 회귀(Logistic Regression).
     • 교정 (Calibration): 로지스틱 회귀 로짓(logits)에 적용된 온도 스케일링.

평가지표

연구는 세 가지 축을 따라 점수를 평가합니다:

1. 순위 품질 (Ranking Quality): PR-AUC(및 정규화된 PR-AUC$_N$) 및 AURC(Area Under Risk-Coverage)로 측정.
2. 점수 해상도 (Score Resolution): 다음으로 측정:
   • Granularity ($G$): 뚜렷한 점수 값의 개수.
   • Score Entropy ($H$): 20개 빈(bin)에 걸친 분포 확산도.
   • Interior Mass ($M$): 유용 범위 $(0.1, 0.9)$ 내의 점수 비율.
3. 비용 및 해석 가능성: 모델 호출 횟수 및 추론 과정의 감사(audit) 가능 여부 (하위 작업은 이를 제공하지만, 패러프레이즈는 제공하지 않음).

3. 주요 결과

점수 세밀도 격차 (The Granularity Gap)

• 언어적 신뢰도 (Verb): 놀라울 정도로 순위를 잘 매기지만(평균 정규화 PR-AUC$_N$ = 0.80), 매우 거칠게 나타납니다. 일반적으로 1~21개의 뚜렷한 값만을 제공하며(평균 $G=9$), 사례의 45%가 가장 흔한 값을 공유합니다. 이는 운영자가 약 9개의 임계값만을 가질 수 있게 하여, 계단식 위험-커버리지 곡선을 만듭니다.
• 해상도 vs 순위: 높은 순위 성능이 반드시 높은 해상도를 의미하지는 않습니다. 점수가 완벽하게 순위를 매기더라도 뚜렷한 값이 부족하다면 임계값 설정에는 사용할 수 없습니다.

집계의 효과

• 해상도 확장: 멀티 쿼리 집계(Sub-cal, MP-LR)는 일관되게 해상도를 확장하여 $G$를 평균 138까지 높이고 내부 질량($M \approx 45\%$)을 채웁니다.
• 순위에 미치는 영향은 선택적임:
  • 약한 모델: 집계는 정확도가 $\lesssim 85\%$인 모델의 순위를 개선합니다.
  • 강한 모델: 집계는 강한 모델의 순위를 저하시킬 수 있습니다(정확도 $\gtrsim 90\%$). 학습된 가중치가 이미 우수한 언어적 신뢰도의 순위를 왜곡하여, 18개 모델-데이터셋 쌍 중 13개에서 더 나쁜 AURC를 초래했습니다.
• 학습된 모델 vs 단순 평균: 단순 평균은 (예: MNLI에서 거의 무작위 수준으로 떨어짐) 하위 작업 간의 상충하는 극성 때문에 종종 실패합니다. 신호(signal)를 복구하기 위해서는 올正/부정 부호와 가중치를 할당하는 학습된 로지스틱 회귀가 필수적입니다.

해석 가능성

• 하위 작업 vs 패러프레이즈: 패러프레이즈 집계(MP-LR)는 순위 측면에서 하위 작업 집계(Sub-LR)와 대등하거나 이를 능가하는 경우가 많습니다. 그러나 하위 작업은 배포 속성을 제공합니다: 가중치 투명성, 오류 귀속, 그리고 각 점수에 대한 감사 추적(rationale)이 가능합니다.
• 실패 모드: 하위 작업은 설계된 프로브가 레이블을 추적하지 못할 때(예: 특정 모델이 BoolQ에서 붕괴하는 경우) 실패할 수 있지만, 이러한 실패는 블랙박스 패러프레이즈 앙상블의 침묵하는 실패와 달리 가시적이며 감사가 가능합니다.

토큰 확률 (Token Probabilities)

• 사용 가능한 경우, 원시 로그 확률은 언어적 신뢰도보다 더 나은 해상도를 제공합니다. 사후 온도 스케일링은 낮은 오류율에서의 커버리지와 해상도($G$를 51~69까지 증가)를 모두 개선하며, 이 모든 것이 1배의 비용으로 수행됩니다.

4. 배포 가이드라인

본 논문은 모델의 강점과 제약 조건에 따른 의사결정 절차를 제안합니다:

1. 항상 언어적 신뢰도를 클래스 확률로 변환하십시오.
2. 로그 확률을 사용할 수 있는 경우: 이를 온도 스케일링과 함께 사용하십시오 (최고의 비용/해상도 트레이드오프).
3. 모델이 약한 경우 ($\lesssim 85\%$ 정확도): 순위와 해상도를 모두 개선하기 위해 멀티 쿼리 집계(10배 비용)를 사용하십시오.
4. 모델이 강한 경우 ($\gtrsim 90\%$ 정확도): 위험-커버리지(순위)를 위해 언어적 신뢰도를 유지하십시오. 미세한 임계값 제어가 엄격히 필요한 경우에만 집계를 사용하십시오.
5. 해석 가능성이 필요한 경우: 패러프레이즈보다 하위 작업 분해를 선호하십시오. 이는 순위를 희생하지 않으면서(MP-LR 대비) 투명성을 제공합니다.

5. 의의 및 주장

본 논문은 LLM 신뢰도 평가의 패러다임을 이진적인 "신뢰할 수 있는가?"에서 배포 지향적인 "어떤 해상도로 행동할 수 있는가?"로 전환한다고 주장합니다.

• "불신뢰성"의 재정의: "LLM 신뢰도는 믿을 수 없다"는 서사는 부분적으로 답변에 대한 신뢰와 클래스 확률을 혼동하고, 해상도를 무시하는 데서 기인한 인위적인 결과입니다. 일단 변환되면, 언어적 신뢰도는 순위는 잘 매기지만 세밀도가 부족한 것입니다.
• 트레이드오프의 명확성: 본 연구는 순위, 전역적 위험-커버리지, 그리고 임계값 제어 가능성을 명확히 구분합니다. 집계가 순위를 개선할 수는 있지만 보편적으로 향상시키지는 않으며, 오히려 강한 모델에는 해로울 수 있음을 입증합니다.
• 해석 가능성은 하나의 속성: 저자들은 해석 가능성이 순위의 이점이 아니라, 하위 작업 점수를 통해 달성할 수 있는 배포 속성이라고 주장합니다.

저자들은 향후 평가가 순위 지표와 함께 해상도 지표(granularity, entropy, interior mass)를 반드시 보고해야 한다고 결론짓습니다. 왜냐하면 완벽하게 순위를 매기더라도 단 몇 개의 임계값만을 제공하는 점수는 배포 준비가 되지 않은 것이기 때문입니다.