💬 NLP

Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty

본 논문은 언어 모델의 정확성과 보정된 신뢰도를 동시에 향상시키고 표준 강화 학습으로 인해 흔히 발생하는 환각 및 보정 저하를 완화하기 위해 이진 정답 보상에 브라이어 점수를 추가한 새로운 학습 방법인 RLCR(보정 보상을 활용한 강화 학습) 을 소개한다.

원저자: Mehul Damani, Isha Puri, Stewart Slocum, Idan Shenfeld, Leshem Choshen, Yoon Kim, Jacob Andreas

게시일 2026-05-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mehul Damani, Isha Puri, Stewart Slocum, Idan Shenfeld, Leshem Choshen, Yoon Kim, Jacob Andreas

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑한 학생이 어려운 시험을 치르도록 훈련한다고 상상해 보세요. 목표는 단순히 정답을 맞추는 것이 아니라, 언제 추측하고 있는지와 언제 확신하는지를 아는 것입니다.

"이진 보상 (Binary Rewards) 을 넘어서"라는 제목의 이 논문은 이러한 AI "학생들"(언어 모델) 을 더 똑똑하고 동시에 자신감에 대해 더 정직하게 만드는 새로운 훈련 방법을 소개합니다.

문제: "추측 게임"의 함정

현재 우리는 AI 가 수학이나 상식 퀴즈와 같은 어려운 문제를 추론하도록 훈련할 때 **이진 보상 (Binary Rewards)**이라는 간단한 채점 시스템을 사용합니다.

규칙: 정답이면 점수를 받고, 오답이면 0 점입니다.
결함: 이 시스템은 AI 가 어떻게 정답에 도달했는지 신경 쓰지 않습니다. AI 가 깊은 논리로 문제를 해결했든, 아니면 막연히 추측하다가 운 좋게 맞혔든 같은 점수를 줍니다.
결과: AI 는 "자신감 있는 도박꾼"이 됩니다. 무엇을 말하고 있는지 전혀 모르더라도 100% 확신으로 답을 추측하기 시작합니다. 현실 세계에서는 이것이 위험합니다. AI 가 "환각 (hallucinate)" 현상 (사실을 왜곡하거나 지어내는 것) 을 일으키면서도 거짓말을 매우 확신하는 것처럼 말하기 때문입니다.

해결책: RLCR ("정직 코치")

저자들은 RLCR(Calibration Rewards 를 활용한 강화 학습)이라는 새로운 훈련 방법을 제안합니다. 이는 학생을 두 가지 기준으로 동시에 채점하는 코치를 고용하는 것과 같습니다.

정답을 맞혔나요? (정확도)
자신감 수준이 정확했나요? (보정)

작동 원리:
단순히 "맞음" 또는 "틀림"이라고 말하는 대신, AI 는 이제 *"이것이 제 답이며, 0 에서 1 사이의 숫자로 얼마나 확신하는지 나타낸 것입니다"*라고 말해야 합니다.

코치는 **브리어 점수 (Brier Score)**라는 특별한 채점 규칙을 사용하여 자신감을 평가합니다.

AI 가 "90% 확신합니다"라고 말하고 정답이면 훌륭한 점수를 받습니다.
AI 가 "90% 확신합니다"라고 말하고 오답이면 끔찍한 패널티를 받습니다.
AI 가 "50% 확신합니다"(불확실) 고 말하고 오답이면 더 작은 패널티를 받습니다.

이것은 AI 에게 중요한 교훈을 가르칩니다: 확신 있게 틀리는 것보다 불확실하게 틀리는 것이 낫습니다.

비유: 기상 예보관

두 명의 기상 예보관을 상상해 보세요.

예보관 A(구식 방법): 항상 "내일은 비가 확실히 올 것입니다!"라고 말합니다. 비가 오면 천재이고, 맑으면 틀린 것뿐이지만, 추측했다는 사실을 결코 인정하지 않습니다. 그들은 "과신"합니다.
예보관 B(RLCR 방식): "비가 올 확률은 60% 입니다"라고 말합니다. 비가 오면 맞은 것입니다. 맑으면 "글쎄요, 60% 라고 했으니 틀렸지만, 비 올 가능성은 있었다는 걸 알았습니다"라고 인정합니다.

이 논문은 예보관 B(RLCR 모델)가 훨씬 더 신뢰할 수 있음을 보여줍니다. 그들은 단순히 정답을 더 자주 맞추는 것을 넘어, 언제 추측하고 있는지 정확히 알려주므로 언제 신뢰하고 언제 다시 확인해야 하는지 알 수 있게 합니다.

실험 결과

연구진들은 "1969 년 유로비전 대회의 우승자는 누구인가?"와 같은 사실 관련 어려운 질문과 수학 문제를 대상으로 이를 테스트했습니다.

더 나은 정직성: RLCR 모델은 막연히 추측하는 것을 멈췄습니다. 불확실할 때 자신감 점수를 낮췄습니다.
여전히 똑똑함: 중요한 점은 AI 를 "정직하게" 만드는 것이 "바보"로 만들지 않았다는 것입니다. 알고 있던 질문에 대해서는 높은 정확도를 유지했습니다.
일반화: AI 가 이전에 본 적 없는 질문 (도메인 외) 을 마주했을 때도, 이전의 "자신감 있는 추측꾼" 모델에 비해 불확실성에 대해 훨씬 더 정직하게 반응했습니다.
테스트 시간 향상: AI 의 자신감 점수가 이제 신뢰할 수 있게 되므로, 연구진들은 이를 사용하여 최종 답을 개선할 수 있었습니다. 예를 들어, AI 가 10 가지 다른 답을 생성했을 때, 가장 높은 자신감 점수를 가진 답을 선택하면 정답일 가능성이 더 높았습니다.

결론

이 논문은 AI 에게 "자신의 사고에 대해 생각"하도록 가르치고 불확실성에 대해 정직할 때 보상을 주면, 정확할 뿐만 아니라 신뢰할 수 있는 추론 시스템을 구축할 수 있음을 증명합니다. 그들은 모든 것을 안다는 척하는 것을 멈추고 언제 추측하고 있는지 알려주기 시작합니다.

). 2. 최종 답변 (). 3. 불확실성에 대한 분석 (). 4. 수치적 신뢰도 점수 (`).

훈련 목적 함수는 표준 정확도 보상과 브리어 점수(신뢰도 추정을 위한 적절한 스코어링 규칙) 를 결합합니다. 보상 함수 $R_{RLCR}$ 은 다음과 같이 정의됩니다:
$R_{RLCR}(y, q, y^*) = \mathbb{1}_{y \equiv y^*} - (q - \mathbb{1}_{y \equiv y^*})^2$
여기서:

$y$ 는 모델이 예측한 답변입니다.
$y^*$ 는 정답 (ground-truth) 입니다.
$q$ 는 언어화된 신뢰도 점수입니다 ( $q \in [0, 1]$ ).
$\mathbb{1}_{y \equiv y^*}$ 는 정확성을 나타내는 지시 함수입니다.

이론적 보장

이 논문은 이 보상 함수가 정확성과 보정 (calibration) 모두를 장려한다고 증명합니다. 구체적으로, 기대 보상이 최대가 되는 조건은 다음과 같습니다:

모델이 정답일 확률이 가장 높은 답변을 출력할 때 ( $y = \arg\max_{y'} p(y' \equiv y^*)$ ).
신뢰도 점수 $q$ 가 정확성의 실제 확률을 정확하게 반영할 때 ( $q = p(y \equiv y^*)$ ).

저자들은 이것이 모든 유계 (bounded) 적절 스코어링 규칙에 대해 성립함을 보여줍니다. 그들은 이를 로그 스코어 (로그 손실) 와 대비시키는데, 로그 스코어는 적절한 스코어링 규칙이지만 무계 (unbounded) 라는 점을 지적합니다. 이론적 분석과 간단한 실험 (toy experiments) 은 정확성 항과 결합된 로그 손실과 같은 무계 점수를 사용할 경우, 정확성을 희생하면서 보정 항을 극대화하기 위해 모델이 잘못된 답변을 0 신뢰도로 출력하는 "보상 해킹 (reward hacking)"이 발생할 수 있음을 보여줍니다.

주요 기여 및 결과

1. 정확도 희생 없이 보정 개선

HotpotQA(멀티홉 추론) 와 Big-Math(수학적 추론) 에 대한 실험은 RLCR 이 표준 RLVR 과 동일한 작업 정확도를 유지하면서 보정을 크게 개선함을 보여줍니다.

분포 내 (In-Distribution): HotpotQA 에서 RLCR 은 기대 보정 오차 (ECE) 를 RLVR 의 0.37 에서 0.03 으로 감소시켰습니다. 수학 데이터셋에서는 ECE 가 0.26 에서 0.10 으로 하락했습니다.
분포 외 (OOD): 표준 RLVR 은 종종 OOD 작업에서 보정을 악화시키는 반면, RLCR 은 이를 개선합니다. 예를 들어, OOD 벤치마크에서 RLCR 은 RLVR 의 0.46 대비 0.21 의 ECE 를 달성하면서도 동등한 정확도를 유지했습니다.

2. 명시적 불확실성 추론의 역할

Ablation 연구는 RLCR 의 성공이 두 가지 독립적인 구성 요소에서 비롯됨을 보여줍니다:

보정 인식 보상: 브리어 점수 보상으로 훈련하는 것이 개선된 보정의 주요 동인입니다.
명시적 불확실성 추론: 모델에게 자신의 불확실성에 대한 <analysis> 를 생성하도록 프롬프트하는 것은 특히 작은 모델이나 용량이 제한된 경우 보정을 추가로 개선합니다. 그러나 명시적 분석이 없더라도 RLCR 은 보정 측면에서 RLVR 을 크게 능가합니다.

3. 테스트 시간 확장 및 자기 일관성

이 논문은 RLCR 의 언어화된 신뢰도 점수를 테스트 시간에 활용하여 성능을 개선할 수 있음을 보여줍니다:

신뢰도 가중 확장: 언어화된 신뢰도를 사용하여 다수결 투표에 가중치를 부여하거나 N 개 중 최선의 응답을 선택하는 것은, 가능성 기반 선택이나 일반 다수결 투표보다 더 높은 정확도와 더 나은 보정을 제공합니다.
자기 일관성: RLCR 모델은 동일한 답변에 대해 여러 추론 체인에서 신뢰도 점수의 분산이 더 낮아, 더 안정적이고 자기 일관적인 불확실성 추정을 나타냅니다.

4. 일반화

이 접근 방식은 다양한 모델 계열 (Qwen2.5-7B, OlMo-2-7B, Qwen3-8B) 에서 검증되었으며, RLVR 베이스라인 대비 일관된 보정 개선을 보여주었습니다.

중요성 및 주장

이 논문은 적절한 스코어링 규칙을 통해 보정을 명시적으로 최적화하는 것이 기존 추론 훈련 파이프라인에 대한 간단한 수정이며, 더 신뢰할 수 있는 추론 모델을 산출한다고 주장합니다. 저자들은 다음과 같이 주장합니다:

보정은 학습 가능합니다: 모델은 올바르게 답변할 뿐만 아니라 자신의 확신을 정확하게 평가하도록 훈련될 수 있습니다.
강건성: RLCR 은 분포 변화에 더 강건한 모델을 생성하며, 표준 RL 모델이 실패하는 곳에서도 보정을 유지합니다.
실용적 유용성: 언어화된 신뢰도 점수는 단순한 진단 도구가 아닙니다. 이는 외부 보상 모델이나 추가 감독 없이 정확성과 신뢰성을 모두 개선하는 테스트 시간 확장 방법을 가능하게 하는 실행 가능한 정보입니다.

저자들은 결과에 대해 겸손한 입장을 유지하며, RLCR 이 보정 오차를 크게 줄이지만 분포 외 보정 오차는 절대적으로 여전히 높을 수 있으며, 모델이 때때로 모순된 답변에 높은 신뢰도를 부여할 수 있음을 인정합니다. 그럼에도 불구하고, 이 연구는 정확하고 불확실성을 전달할 수 있는 추론 시스템으로 나아가는 길을 제시합니다.