🤖 AI

Scaling with Confidence: Calibrating Confidence of LLMs for Adaptive Test Time Scaling

이 논문은 대규모 언어 모델의 정확도와 보정(calibration)을 모두 향상시키는 강화 학습 알고리즘인 C3RL을 소개하며, 이러한 잘 보정된 신뢰도 점수를 활용하여 기존 방식보다 뛰어난 성능을 보이면서도 추론 비용을 크게 절감하는 적응형 테스트 시간 스케일링 전략인 CAS를 구동한다.

원저자: Xuqing Yang, Yi Yuan, Shanzhe Lei, Xuhong Wang

게시일 2026-07-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xuqing Yang, Yi Yuan, Shanzhe Lei, Xuhong Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 어려운 시험을 치르고 있는, 똑똑하지만 지나치게 자신만만한 한 학생을 상상해 보세요. 이 학생은 인공지능(AI)으로, 문제를 푸는 데는 뛰어나지만 나쁜 습 습관이 하나 있습니다. 확신이 없을 때도 그냥 짐짓 아는 척하며 "100% 확신합니다!"라고 태연하게 말하는 것이죠. AI의 세계에서는 이를 '환각(hallucination)'이라고 부릅니다. 마치 학생이 아주 당당하게 "프랑스의 수도는 런던입니다"라고 틀린 답을 적는 것과 같습니다.

당신이 공유한 논문은 이 학생의 행동을 교정하고 학습 시간을 더 효율적으로 만들기 위한 2단계 시스템을 소개합니다.

1단계: "정직 코치" (C3RL)

솔루션의 첫 번째 부분은 C3RL(Correctness and Confidence Calibration Reinforcement Learning, 정확도 및 자신감 보정 강화 학습)이라는 새로운 훈련 방법입니다. 이것은 학생에게 두 가지를 동시에 가르치는 엄격하지만 공정한 코치라고 생각하면 됩니다:

정답을 맞힐 것. (그냥 찍지 마라.)
자신이 얼마나 확신하는지 정직할 것. (추측하고 있다면, 모른다고 인정하라.)

보통 우리가 AI를 훈련시킬 때는 정답을 맞히는 것에 대해서만 보상을 줍니다. 이 때문에 AI는 정답을 맞히고 싶어 안달이 나게 되고, 결국 자신의 자신감에 대해 거짓말을 하게 됩니다. C3RL은 이 규칙을 바꿉니다. 만약 학생이 정답을 맞히면서 동시에 확신한다고 말하면 "금메달"을 줍니다. 또한, 틀렸더라도 자신이 불확실하다고 인정하면 "금메달"을 줍니다.

하지만 틀렸는데도 100% 확신한다고 주장하면 "커다란 빨간색 F 학점"을 줍니다. 또한, 정답을 맞혔는데도 전혀 모르겠다고 주장해도 "커다ማ 빨간색 F 학점"을 줍니다.

그 결과, AI는 실제로 추측하고 있을 때는 "이 문제에 대해서는 잘 모르겠습니다"라고 말하고, 답을 알고 있을 때는 "매우 확신합니다"라고 말하는 법을 배웁니다. 즉, "자신만만한 거짓말"을 멈추게 됩니다.

2단계: "스마트 예산 관리자" (CAS)

학생이 정직함을 배웠다면, 시스템의 두 번째 단계가 작동합니다. 이것은 CAS(Confidence-based Adaptive Test Time Scaling, 자신감 기반 적응형 테스트 시간 스케일링)라고 불립니다.

당신이 이 시험을 채점하는 선생님이라고 상상해 보세요. 하지만 당신에게는 제한된 시간과 에너지라는 예산이 있습니다. 모든 문제에 10시간씩 쏟아부을 수는 없습니다.

기존 방식 (다수결 투표): 학생에게 모든 질문에 대해 64번씩 답하게 한 뒤 가장 많이 나온 답을 채택합니다. 이는 정확하지만 매우 낭비적입니다. 마치 학생에게 수학 문제를 확실히 하기 위해 64번이나 다시 풀라고 요구하는 것과 같습니다.
새로운 방식 (CAS): 당신은 학생에게 질문에 한 번 답해보라고 합니다.
- 만약 학생이 "A라고 90% 확신합니다"라고 말한다면, 당신은 즉시 그 말을 믿고 답을 적은 뒤 다음 문제로 넘어갑니다. 시간을 절약했습니다!
- 만약 학생이 "40% 정도만 확신합니다"라고 말한다면, 당신은 그 학생이 어려움을 겪고 있다는 것을 압니다. 그래서 그 학생에게 다시 시도하라고, 또 시도하라고, 계속해서 요구합니다. 확신이 생기거나 충분히 시도할 때까지 말이죠.

이제 1단계 덕분에 학생(AI)이 자신의 자신감에 대해 정직해졌으므로, 당신은 그들의 "확신합니다"라는 신호를 믿을 수 있습니다. 이를 통해 쉬운 문제에 시간을 낭비하지 않고, 오직 어려운 문제에만 에너지를 집중할 수 있습니다.

핵심 결과

논문은 이 조합이 놀라운 효과를 낸다는 것을 보여줍니다:

더 나은 정직함: AI는 실제로 문제를 푸는 능력이 떨어지지 않으면서도, 자신이 답을 모를 때 언제 모르는지를 훨씬 더 잘 알게 되었습니다.
엄청난 절약: "스마트 예산 관리자"를 사용함으로써 시스템은 막대한 양의 컴퓨팅 자원을 절약했습니다. 일부 테스트에서 이 시스템은 기존 방식보다 동일하거나 더 나은 결과를 얻으면서도 컴퓨팅 자원을 12배나 적게 사용했습니다.

요약하자데, 이 논문은 AI에게 자신이 아는 것에 대해 허세를 부추기지 않도록 가르치고, 그 정직함을 이용해 실제로 필요할 때만 열심히 일함으로써 시간과 비용을 아끼는 방법을 알려줍니다.

기술 요약: 확신을 통한 스케일링 (Scaling with Confidence)

문제 정의

강화 학습(RL)은 대규모 언어 모델(LLM)의 추론 및 질의응답 능력을 크게 발전시켰으나, 기존의 RL 보상 설계는 일반적으로 응답의 정확성만을 우선시하고 확신도 교정(confidence calibration)을 간과하는 경着이 있습니다. 이러한 간과는 치명적인 실패 모드로 이어집니다. 즉, 모델이 불확실한 상황에서 틀린 출력에 대해 과도하게 확신(환각 현상)을 갖게 되는 것입니다. 기존의 교정 방법들은 세 가지 주요 한계점에 직면해 있습니다:

거친 입도(Coarse Granularity): 이들은 종종 교정을 이진 분류(확실함 대 불확실함)로 축소하여, 미세한 불확실성을 포착하지 못합니다.
정확도-교정 간의 트레이드오프(Accuracy-Calibration Trade-off): 교정 성능의 향상이 종종 정확도의 희생을 수반합니다. 모델이 교정 손실을 최소-화하기 위해 의도적으로 낮은 확신도를 가진 틀린 답을 내놓는 법을 배울 수 있기 때문입니다.
활용도 저하(Underutilization): 교정된 확신도가 적응형 추론(adaptive inference) 및 자원 할당과 같은 다운스트림 의사결정에 거의 활용되지 않습니다.

방법론

본 논문은 C3RL(학습)과 CAS(추론)라는 두 가지 핵심 구성 요소로 이루어진 통합 프레임워크를 제안합니다.

1. 정확성 및 확신도 교정 강화 학습 (C3RL)

C3RL은 성능을 희생하지 않으면서 정확성과 교정을 공동으로 최적화하도록 설계된 새로운 RL 알고리즘입니다. 이는 세 가지 뚜렷한 부분으로 구성된 복합 보상 함수( $R_{C3RL}$ )를 사용합니다:

정확성 보상 ( $R_{correctness}$ ): 표준 지표 보상( $+1$ 은 정답, $0$은 오답)으로, 모델이 사실적 정확성 방향으로 업데이트되도록 하여 "교정되었으나 틀린" 지름길(shortcut)을 방지합니다.
교정 보상 ( $R_{calibration}$ ): 이 구성 요소는 언어화된 확신도와 실제 정확성 사이의 일치를 장려합니다. 임계값 $t=5$ 를 사용하여, 모델이 "확신하며 정답을 말할 때"와 "불확실하며 오답을 말할 때"는 보상( $+\beta$ )을 받고, "확신하며 오답을 말할 때"와 "불확실하며 정답을 말할 때"는 벌점( $-\beta$ )을 받습니다.
참조 정확도 보상 ( $R_{reference}$ ): 모델이 원래 정답 확률이 높았던 질문에 대해 환각을 일으키는 것을 방지하기 위해, 이 보상은 데이터셋 기반의 참조 태그를 활용합니다.
- 질문이 원래 "모두 오답"(기본 모델 샘플링 기준)이었으나 모델이 정답을 맞힌 경우, 양의 보상( $+\alpha$ )을 받습니다.
- 질문이 원래 "모두 정답"이었으나 모델이 틀린 답을 환각하여 낸 경우, 음의 보상( $-\alpha$ )을 받습니다.

학습 데이터 구축: 저자들은 수학, 과학, 논리 추론 영역에서 고품질 데이터셋을 구축했습니다. 각 학습 샘플에 대해 기본 모델이 10개의 응답을 생성하여 "모두 정답", "부분적 정답", "모두 오답"이라는 참조 정확도 태그를 할당합니다.

2. 확신도 기반 적응형 테스트 타임 스케일링 (CAS)

C3RL을 통해 생성된 잘 교정된 언어적 확신도를 활용하여, 저자들은 계산 자원을 동적으로 할당하는 추론 전략인 CAS를 도입합니다.

메커니즘: 빈도나 엔트로피(종종 교정되지 않음)에 의존하는 대신, CAS는 고유한 답변들에 대한 언어화된 확신도 점수의 합을 사용합니다.
중단 기준: 알고리즘은 베타 분포(Beta-distribution) 기반 공식을 사용하여 가장 확신도가 높은 답변( $c_1$ $c_{1}$ )이 두 번째로 높은 답변( $c_2$ $c_{2}$ )을 압도할 확률을 계산합니다.
- 만약 $Prob(c_1, c_2) \geq P_{stop}$ 이라면 (최상위 답변이 매우 지배적임을 나타냄), 샘플링을 조기에 중단합니다.
- 그렇지 않으면, 샘플링을 계속합니다.
자원 할당: 이 전략은 계산 예산을 확신도가 높은 샘플(확인을 위해 적은 샘플링이 필요한 경우)에서 확신도가 낮은 샘플(추가 샘플링의 이득이 큰 경우)로 효과적으로 이동시킵니다.

주요 기여

C3RL 알고리즘: 성능을 유지하면서 정확성과 교정을 동시에 개선하는 새로운 RL 접근 방식입니다. 이는 참조 정확도 정보를 보상 함수에 통합하여 학습을 안정화시킨 최초의 사례입니다.
CAS 전략: 교정된 확신도를 사용하여 불확실한 샘플에 더 많은 계산을 할애하도록 동적으로 추론 예산을 할당하는 테스트 타임 스케일링 조기 중단 메커니즘입니다.
통합 프레임워크: C3RL과 CAS의 시너지는 LLM이 교정된 확신도를 표현하고 추론 비용을 적응적으로 제어할 수 있게 하는 일관된 파이프라인을 생성합니다.

실험 결과

본 프레임워크는 Qwen2.5VL-7B-Instruct 및 Llama-3.2-3B-Instruct를 사용하여 8개의 텍스트 및 멀티모달 데이터셋(AGIEval, MMLU, MMMU, MathVista 포함)에서 평가되었습니다.

교정 vs. 정확도: C3RL은 성능과 신뢰성 사이의 균형 측면에서 현재의 최첨단 RL 방법(RLCR) 및 기타 베이스라인(SaySelf, RLVR)보다 우수한 성능을 보였습니다. OOD(도메인 외) 데이터셋에서 C3RL은 RLCR의 정확도를 유지하거나 능가하면서도 더 우수한 교정 성능(더 낮은 기대 교정 오차, ECE)을 달-성했습니다. 특히, C3RL은 다른 교정 중심 방법들에서 나타나는 정확도 저하 현상을 피했습니다.
추론 효율성: 테스트 타임 스케일링 실험에서 CAS는 표준 다수결 투표(Majority Voting, MV)의 정확도에 도달하기 위해 필요한 추론 예산을 크게 줄였습니다.
- CAS는 OOD 텍스트 데이터셋에서 MV와 비교했을-때 필요한 샘플 수를 최대 12.33배 줄였습니다.
- CAS는 OOD 텍스트 작업에서 AC(Adaptive-Consistency)의 절반 미만 샘플 예산만을 사용하면서도 경쟁력 있는 정확도를 유지하며 AC를 지속적으로 능가했습니다.
계층화 분석: 실험을 통해 낮은 확신도를 가진 샘플이 높은 확신도를 가진 샘플(미미한 이득을 보임)에 비해 샘플링 증가로부터 훨씬 더 큰 혜택을 받는다는 것(~49%에서 ~54.5%로 정확도 상승)이 확인되었으며, 이는 CAS의 자원 이동 로직을 검증합니다.

의의 및 주장

저자들은 본 연구가 모델의 성능과 신뢰성 사이의 결정적인 격차를 해결한다고 주장합니다. 정확성, 교정, 그리고 참조 정확도를 통합함으로써, C3RL은 모델이 정답을 맞히는 능력을 희생하지 않으면서도 "불확실할 때 낮은 확신도를 신호로 보낼 수 있도록" 합니다.

본 연구의 의의는 학습과 추론 사이의 시너지에 있습니다:

C3RL은 "잘 교정된 언어적 확신도"를 제공합니다.
CAS는 이 신호를 효율적으로 활용하여 자원 사용을 최적화합니다.

본 논문은 이 통합 파이프라인이 특히 과도한 확신에 의한 환각을 피하는 것이 중요한 안전 필수 분야에서, 더 신뢰할 수 있고 자원 효율적인 LLM의 배포를 위한 길을 열어준다고 결론짓습니다. 저자들은 과학 도메인의 데이터 부족으로 인한 잠재적 학습 편향과, C3RL의 교정 능력이 정확성 중심의 RL 방법보다는 우수하지만 단독으로 사용되는 SaySelf와 같은 순수 교정 방법에는 여전히 뒤처질 수 있다는 점을 한계로 언급했습니다.