기술 요약: CALIBER – 추론 과정 전후의 언어 모델 신뢰도 교정

문제 정의

추론 언어 모델은 복잡한 문제를 해결할 뿐만 아니라, 자신의 성공 가능성을 추정하는 작업도 점점 더 많이 수행하고 있습니다. 기존의 교정(calibration) 방법들은 일반적으로 생성 과정의 특정 시점, 즉 사고를 시작하기 전(pre-thinking) 또는 최종 답변을 생성한 후(post-thinking)에 단 하나의 신뢰도 추정치를 도출하도록 요구합니다.

저자들은 추론 모델의 신뢰도가 **상태 의존적(state-dependent)**이라고 주장합니다.

• **사고 전 신뢰도(Pre-thinking confidence)**는 프롬프트($x$)에만 조건화됩니다. 이는 모델이 생성할 구체적인 추론 궤적(reasoning trace)과 상관없이, 현재의 정책(policy)이 해당 프롬프트를 해결할 수 있는 확률을 추정해야 합니다.
• **사고 후 신뢰도(Post-thinking confidence)**는 프롬프트, 실현된 사고 궤적($z$), 그리고 최종 답변($\hat{y}$)에 조건화됩니다. 이는 특정 실현된 응답의 정확성을 추정해야 합니다.

현재의 방법들은 이러한 서로 다른 정보 상태를 하나의 단일 감독 대상(supervision target)으로 결합하거나, 정보 상태와 맞지 않는 대상을 사용함으로써(예: 인스턴스 수준의 정답 여부로 사고 전 추정치를 학습시키는 경우) 두 상태를 혼동하곤 합니다. 모델이 무엇을 추정하도록 요청받았는지와 무엇을 예측하도록 학습되는지 사이의 이러한 불일치는, 특히 분포 변화(distribution shift) 상황에서 하위 최적의 교정 결과를 초래합니다.

방법론: CALIBER

저자들은 단일 응답 내에서 두 가지 구별된 신뢰도 추정치를 도출하고, 각 추정치를 그에 맞는 정보 상태의 대상과 일치시키는 프레임워크인 CALIBER(Calibration Before and After Reasoning)를 소개합니다.

1. 상태 의존적 교정

CALIBER는 모델의 출력을 다음과 같이 구조화합니다:

1. 사전 신뢰도 ($p_{pre}$): 사고 궤적 이전에 출력됩니다. 프롬프트에만 조건화됩니다.
2. 사고 궤적 및 답변: 표준적인 추론 과정입니다.
3. 사후 신뢰도 ($p_{post}$): 사고 궤적과 답변 이후에 출력됩니다. 실현된 전체 응답에 조건화됩니다.

2. 감독 대상 (Supervision Targets)

이 프레임워크는 위치에 따라 특정 교정 대상을 할당합니다:

• 사전 신뢰도 대상 (그룹 단위): 해당 프롬프트에 대한 현재 정책의 경험적 성공률($\hat{p}(x)$)에 대해 감독됩니다. 이는 해당 프롬프트에 대해 $N$번 샘플링된 롤아웃(rollout)의 평균 정답률로 계산됩니다. 이는 프롬프트의 *해결 가능성(solvability)*을 반영합니다.
• 사후 신뢰도 대상 (인스턴스 단위): 특정 롤아웃의 이진 정답 여부($c_i$)에 대해 감독됩니다. 이는 실현된 답변의 *정확성(correctness)*을 반영합니다.

3. 학습 목표

학습에는 검증 가능한 보상을 사용하는 강화 학습(RLVR)이 활용됩니다. 롤아웃 $i$에 대한 총 보상은 네 가지 동일 가중치 구성 요소의 합입니다:

• 정확도 보상 ($R_{acc}$): 답변의 이진 정답 여부.
• 포맷 보상 ($R_{fmt}$): 모델이 요구된 태그와 유효한 신뢰도 값을 출력하도록 보장함.
• 사전 신뢰도 교정 보상: $1 - (p_{pre} - \hat{p}(x))^2$.
• 사후 신뢰도 교정 보상: $1 - (p_{post} - c_i)^2$.

저변동성의 그룹 단위 사전 신뢰도 보상이 고변동성의 인스턴스 단위 보상에 의해 압도되는 최적화의 어려움을 해결하기 위해, CALIBER는 2단계 학습 스케줄을 채택합니다:

1. 웜업(Warmup): 다양한 추정치를 확립하기 위해 사전 신뢰도 그룹 단위 보상만을 최적화합니다.
2. 공동 학습(Joint Training): 사전 신뢰도, 사후 신뢰도, 정확도 보상을 동시에 최적화합니다.

주요 기여

1. 상태 의존적 프레이밍: 본 논문은 추론 모델의 신뢰도를 정보 상태에 따른 구별된 양으로 정의합니다. 즉, 사고 전 신뢰도는 질문의 해결 가능성(그룹 단위)에, 사고 후 신뢰도는 답변 수준의 정확성(인스턴스 단위)에 대응합니다.
2. CALIBER 프레임워크: 두 가지 추정치를 모두 도출하고 각 추정치를 적절한 감독 대상과 일치시켜, 기존의 단일 신뢰도 방식에서 발견되는 불일치를 피하는 통합 프로토콜을 제공합니다.
3. 통제된 비교: 저자들은 분할된 신용 할당(segmented credit assignment)과 같은 설계상의 혼란 변수를 제거하기 위해, 공유된 학습 및 평가 프로토콜 하에서 CALIBER를 통제된 일련의 베이스라인(RLCR, COREA-lite, CoCA-lite, DCPO-lite)과 비교하여 위치-대상 정렬의 기여를 격리하여 입증했습니다.
4. 진단적 간극: 이 프레임워크는 사전 신뢰도와 사후 신뢰도 사이의 간극을 분석함으로써, 모델의 불확실성이 추론 과정 동안 어떻게 진화하는지에 대한 사례별 신호를 제공합니다.

결과

인도메인 성능 (BigMathDigits)

• 7B 모델: CALIBER는 가장 강력한 단일 신뢰도 베이스라인(DCPO-lite)에 비해 기대 교정 오차(ECE)를 52.5% 감소시켰습니다. 또한 최고 정확도와 2.1 퍼센트 포인트 이내의 차이를 유지하면서 최상의 ECE, Brier 점수, AUROC를 달성했습니다.
• 30B 모델: CALIBER는 경쟁력 있는 AUROC(0.797)를 유지하면서도 최상의 ECE(0.022)를 달성했습니다. 이는 낮은 ECE를 달로는 하지만 변별력(AUROC ~0.5)이 낮은 CoCA-lite와 같은 방법들과 차별화됩니다.

외도메인(OOD) 일반화

GPQA, TriviaQA, SimpleQA에 대해 평가되었습니다:

• 교정: CALIBMBER는 두 모델 크기 모두에서 GPQA와 TriviaQA에 대해 일관되적으로 최상의 ECE와 Brier 점수를 달성했습니다.
• SimpleQA: 극단적인 분포 변화가 있는 이 데이터셋에서, 7B 모델의 경우 CALIBER가 최상의 ECE와 Brier 점수를 기록했습니다. 30B 모델의 경우, DCPO-lite가 약간 더 낮은 ECE를 보였으나, CALIBER는 실질적으로 더 높은 AUROC를 달성하여 더 나은 교정-변별력 트레이드오프를 보여주었습니다.
• 신뢰성: 신뢰성 다이어그램을 통해 CALIBER가 심각한 과잉 확신을 피하고 고신뢰 영역에서 대각선과 잘 일치함을 보여줍니다.

절제 연구 (Ablation Studies)

대상을 서로 바꾸어(사전 신뢰도를 인스스턴스 대상으로, 사후 신뢰도를 그룹 대상으로 학습) 수행한 절제 연구 결과는 다음과 같습니다:

• 인도메인: 결과는 엇갈렸습니다. 30B 모델은 올바른 정렬으로부터 큰 이득을 얻었으나, 7B 모델은 혼재된 지표를 보였습니다.
• OOD: 위치-대상 정렬이 결정적이었습니다. CALIBER는 모든 OOD 데이터셋과 모델 크기에서 바뀐 베이스라인보다 일관되게 우수한 성능을 보였으며, ECE를 크게 줄였습니다. 이는 감독 대상을 정보 상태와 일치시키는 것이 분포 변화 하에서의 강건한 교정에 필수적임을 시사합니다.

의의 및 주장

본 논문은 CALIBER가 교정을 답변에 부착된 정적인 스칼라가 아니라 동적인 문제로 다루어야 함을 입증한다고 주장합니다.

• 정렬이 핵심이다: 주요 의의는 "위치-대상 정렬"(사고 전을 그룹 성공에, 사고 후를 인스턴스 정답에 매칭)이 특히 분포 변화 하에서 교정 개선을 이끄는 핵심 요소임을 보여준 데 있습니다.
• 진단적 유용성: 사전 신뢰도와 사후 신뢰도 사이의 간극은 단순히 정적인 신뢰도 점수를 넘어, 추론 후에 모델의 불확실성이 어떻게 변하는지에 대한 의미 있는 진단 도구를 제공합니다.
• 안전 및 신뢰: 작업 정확도를 크게 희생하지 않으면서 교정을 개선함으로써, CALIBER는 잘못된 답변의 비용이 큰 환경에서 모델의 자기 평가를 더 잘 신뢰할 수 있게 하여 더 안전한 모델 배포를 지원합니다.

저자들은 향-후 연구가 이 상태 의존적 접근 방식을 두 지점 이상으로 확장하고, 프롬프트 수준의 해결 가능성 가설을 더 직접적으로 테스트하며, 추가적인 모델 제품군과 작업 도메인에서 이러한 발견을 검증해야 한다고 결론짓습니다.