💬 NLP

Aligning Language Models with Selective Prediction

이 논문은 위험-커버리지 곡선 하부 면적(AURC)을 직접적으로 목표로 함으로써 위험-커버리지 트레이드오프를 크게 개선하고 고위험 결정 시나리오에서의 신뢰성을 높이는, 선택적 예측을 위한 새로운 사후 학습 정렬 프레임워크인 선택 보상을 위한 강화 학습(RLSR)을 제안한다.

원저자: Gaoxiang Luo, Yifan Wu, Sinian Zhang, Aryan Deshwal, Ju Sun

게시일 2026-07-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gaoxiang Luo, Yifan Wu, Sinian Zhang, Aryan Deshwal, Ju Sun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 문제: 과도하게 자신만만한 AI

당신이 환자를 진단하거나 주식을 분석하는 것과 같은 중요한 결정을 내릴 때 도움을 줄 아주 똑똑하지만 과하게 자신만만한 비서를 고용했다고 상상해 보세요. 이 비서(AI)는 질문에 답하는 능력은 뛰어나지만, 한 가지 나쁜 습관이 있습니다. 바로 자신이 모른다는 사실을 절대 인정하지 않는다는 점입니다. 심지어 추측을 하고 있을 때조차, 100% 확신에 찬 어조로 말합니다.

법률이나 의료와 같이 위험 부담이 큰 상황에서, 확신에 찬 실수는 매우 위험합니다. 당신은 비서가 틀린 답을 자신 있게 내놓는 것보다, "잘 모르겠습니다. 전문가의 확인이 필요합니다"라고 말해주기를 더 원할 것입니다. 이것이 이 논문이 다루는 핵심 문제입니다. 우리는 어떻게 AI에게 언제 침묵해야 하는지를 가르칠 수 있을까요?

해결책: "선택적 예측 (Selective Prediction)"

이 논문은 선택적 예측이라는 전략을 제안합니다. 이것을 AI에게 "선택적 필터"가 되는 법을 가르치는 것이라고 생각하면 됩니다.

모든 질문에 답하는 대신, AI는 다음과 같이 훈련됩니다:

자신이 매우 확신하는 질문에 대해서만 답변한다.
확신이 없는 질문에 대해서는 기권한다 (모른다고 말한다).

위험한 추측들을 걸러냄으로써, AI가 실제로 답변하는 질문들에 대한 전반적인 정확도는 크게 높아집니다.

기존 방법들이 효과가 없었던 이유

저자들은 이를 해결하려는 이전의 시도들이 **교정(Calibration)**에 의존했음을 설명합니다.

교정의 비유: 기상 예보관이 "비가 올 확률이 70%입니다"라고 말한다고 가정해 봅시다. 만약 그가 그렇게 말했을 때 10번 중 7번 실제로 비가 온다면, 그는 "교정된(calibrated)" 상태입니다.
결함: 이 논문은 단순히 "교정"되는 것만으로는 충분하지 않다고 주장합니다. 교정은 완벽하지만, '애매한' 답변을 '확실한' 답변보다 더 높은 순위에 두는 예보관이 존재할 수 있기 때문입니다.
논문의 통찰: 당신에게 정말 필요한 것은 단순히 확률에 대해 정직한 예보관이 아니라, 답변들을 "정답일 가능성이 가장 높은 것"부터 "오답일 가능성이 가장 높은 것"까지 완벽하게 분류할 수 있는 심판입니다. 이 논문은 이를 선택적 예측이라 부르며, 이는 단순히 "교정"되는 것과는 다른 목표입니다.

새로운 방법: RLSR (선택 보상을 위한 강화 학습)

저자들은 RLSR이라는 새로운 훈련 방법을 만들었습니다. 이 방법이 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다.

"마법의 분류 모자" 비유:
AI가 시험을 치르는 학생이라고 상상해 보세요.

기존 방법 (RLVR): 선생님은 오직 정답을 맞혔을 때만 점수를 줍니다. 학생이 정답을 맞히면 점수를 얻고, 틀리면 아무것도 얻지 못합니다. 이 방식에서 학생은 추측을 하더라도 일단 모든 문제에 답을 하려고 배웁니다.
새로운 방법 (RLSR): 선생님이 규칙을 바꿉니다. 선생님은 단순히 답이 맞았는지 틀렸는지만 신경 쓰는 것이 아니라, **순위(Ranking)**를 신경 씁니다.
- 선생님은 학생의 모든 답변을 살펴보고 이렇게 말합니다: "나는 네가 가장 확신하는 답변들이 정답이 되길 바라고, 네가 가장 확신이 없는 답변들이 오답이 되길 바란다."
- 만약 학생이 어려운 문제를 맞혔지만 스스로 "50%만 확신한다"라고 말했다면, 작은 보상을 받습니다.
- 만약 학생이 쉬운 문제를 틀렸는데 "99% 확신한다"라고 말했다면, 엄청난 벌칙을 받습니다.
- 만약 학생이 어려운 문제를 맞히면서 동시에 "99% 확신한다"라고 했다면, 막대한 보상을 받습니다.

RLSR이라 불리는 이 방법은 AURC라는 지표를 기반으로 한 특별한 점수 체계를 사용하여, AI가 자신의 "확신하는" 답변과 "확신하지 못하는" 답변 사이에 명확한 격차를 만들도록 보상합니다.

결과: 더 나은 필터

저자들은 이 새로운 방법을 다양한 어려운 과제(복잡한 수학 문제나 까다로운 상식 퀴즈 등)에 테스트하고 기존 방법들과 비교했습니다.

결과: RLSR로 훈련된 AI는 언제 말하고 언제 침묵해야 하는지를 훨씬 더 잘 알게 되었습니다.
증거: 연구진이 "90% 이상 확신할 때만 답하라"는 규칙을 설정했을 때, RLSR로 훈련된 AI는 다른 모델들보다 훨씬 더 높은 정확도를 보였습니다. 이 AI는 다른 모델들이 계속 저지르던 "확신에 찬 실수"들을 성공적으로 걸러냈습니다.
실제 적용 테스트: 그들은 심지 even 의료 데이터셋(MedQA)에서도 테스트를 진행했습니다. 높은 수준의 정확도를 보장할 수 있는 질문에만 답하도록 강제했을 때, RLSR 모델만이 일관되게 높은 안전 표준을 충족할 수 있었습니다.

요약

요약하자면, 이 논문은 AI 모델이 "확신에 찬 추측꾼"이 되지 않도록 가르칩니다. 모든 것에 대해 정답을 맞히려 노력하는 대신, AI는 스마트한 문지기가 되는 법을 배웁니다. AI는 "이것은 알고 있다"와 "저것은 모른다"라고 말하는 법을 배우며, 이를 통해 입을 열었을 때 그 내용이 매우 정확할 수 있도록 보장합니다. 이는 AI를 훨씬 더 안전하고 신뢰할 수 있게 만들어, 중요한 실무 현장에서 AI를 더욱 유용하게 만듭니다.

기술 요약: 선택적 예측을 위한 언어 모델 정렬

문제 정의

대규모 언어 모델(LLM)은 금융, 의료, 법률과 같은 고위험 도메인에 점점 더 많이 배치되고 있습니다. 이러한 환경에서는 잘못된 결정의 비용이 인간에게 위임하는 비용보다 훨씬 큰 경우가 많습니다. 표준적인 LLM 학습 패러다임은 모델의 내부 확신도와 상관없이 모든 쿼리에 답변하도록 요구하며, 이는 "확신에 찬 실수(confident mistakes)"와 환각 현상으로 이어집니다.

**신뢰도 교정(Confidence Calibration, CC)**이 **선택적 예측(Selective Prediction, SP)**을 위한 전제 조건으로 간주되기도 하지만, 저자들은 CC가 효과적인 SP를 위한 충분조건도, 필요조건도 아니라고 주장합니다.

CC는 할당된 신뢰도 점수가 정답 확률과 일치하도록 보장합니다 (예: 80%의 신뢰도는 정답일 확률이 80%임을 의미함).
SP는 올로바른 예측이 신뢰도를 기준으로 오답보다 높게 순위가 매겨지도록 하여, 모델이 낮은 신뢰도의 쿼리에 대해 답변을 유보함으로써 선택된 부분 집합의 오류율을 낮출 수 있도록 합니다.

본 논문은 완벽한 교정이 완벽한 선택적 예측을 보장하지 못한다는 점(그림 1 참조)과, 반대로 순위가 올바르다면 신뢰도가 제대로 교정되지 않았더라도 완벽한 SP가 존재할 수 있음을 보여줍니다. RLVR(검증 가능한 보상을 통한 강화 학습) 및 RLCR(교정 보상을 통한 강화 학습)과 같은 기존의 정렬 방법들은 정확도나 교정 지표에 초점을 맞추고 있지만, SP에 필요한 리스크-커버리지(risk-coverage) 트레이드오프를 직접적으로 최적화하지는 못합니다.

방법론: 선택 보상을 위한 강화 학습 (RLSR)

저자들은 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO) 알고리즘을 사용하여 LLM을 선택적 예측 성능에 직접 최적화하는 새로운 정렬 프레임워크인 RLSR을 제 제안합니다. 핵심 목표는 오류율(리스크)과 입력값에 대한 답변 비율(커버리지) 사이의 트레이드오프를 요약하는 표준 지표인 **AURC(Area Under the Risk-Coverage Curve)**를 최소화하는 것입니다.

주요 기술적 과제 및 해결책

AURC를 강화 학습 프레임워크에 통합하는 데는 두 가지 주요 과제가 있으며, RLSR은 다음과 같은 혁신을 통해 이를 해결합니다.

희소하고 단방향적인 보상 (Sparse and One-Sided Rewards):
- 과제: 정형적인 AURC 공식은 오답(잘못된 예측)만을 처벌하고 정답(올바른 예측)에 대해서는 보상 신호를 제공하지 않습니다. 이는 희소한 학습 신호를 초래하며, 정답과 오답 사이의 신뢰도 마진을 강제하는 데 실패합니다.
- 해결책: 저자들은 Lifted AURC 목적 함수를 도입합니다. 이들은 이진 오류 지표 $I\{f(x) \neq y\}$ 를 부호가 있는 변수 $(2I\{f(x) \neq y\} - 1) \in \{-1, +1\}$ 로 재구성합니다. 이를 통해 정답에는 양(+)의 보상을, 오답에는 음(-)의 보상을 주는 "밀고 당기는(push-pull)" 역학을 생성하여, 모델이 정답과 오답의 신뢰도 분포를 적극적으로 분리하도록 유도합니다.
전역적 순위 의존성 (Global Ranking Dependency):
- 과제: AURC는 모든 샘플의 신뢰도 점수의 전역적 순위에 의존하는 모집단 수준의 지표입니다. 표준 미니 배치 확률적 경사 하강법(SGD)은 전체 데이터셋을 반복하지 않고는 전역 순위를 계산할 수 없으며, 이는 효율적인 배치 학습의 목적을 저해합니다.
- 해결책: RLSR은 배치 학습 전략을 채택합니다. 각 학습 단계에서 모델은 각 $B$ 개의 프롬프트에 대해 $G$ 개의 롤아웃(rollout)을 생성합니다. 이 $B \times G$ 개의 샘플은 하나의 "유효 배치(effective batch)"로 모아집니다. 순위와 가중치는 이 유효 배치 내에서 계산되어 전역 AURC를 근사합니다. 이를 통해 알고리즘은 표준 GRPO와 호환성을 유지하면서도 모집단 수준의 지표를 근사할 수 있습니다.

알고-리즘 개요

샘플 $i$ 에 대한 보상 함수 $R_{RLSR}$ 은 다음과 같이 정의됩니다.
$R_{RLSR}(y_i, \hat{y}_i, s_i) = \begin{cases} +\hat{\alpha}_i & \text{if } \hat{y}_i = y_i \\ -\hat{\alpha}_i & \text{if } \hat{y}_i \neq y_i \end{cases}$
여기서 $\hat{\alpha}_i$ 는 (AURC의 조화수(harmonic number) 공식을 기반으로 한) 유효 배치 내 샘플의 순위로부터 유도된 가중치입니다. 이후 모델은 동일한 프롬프트에 대한 롤아웃 그룹 내에서 보상을 정규화하는 GRPO 어드밴티지 함수를 사용하여 업데이트됩니다.

주요 기여

직접적인 SP 정렬: 사전 학습된 LLM을 교정과 같은 중간 목표가 아닌, 선택적 예측 지표에 직접 정렬하는 최초의 연구입니다.
RLSR 프레임워크: RL을 통한 AURC 최적화의 기술적 난관을 극복하기 위해 Lifted AURC 목적 함수와 배치 기반 학습 전략을 활용하는 새로운 정렬 프레임워크를 도입했습니다.
실험적 우월성: 인도메인(in-domain) 및 아웃오브도메인(out-of-domain) 설정 모두에서 RLSR이 강력한 베이스라인(RLVR 및 RLCR)보다 우수한 성능을 보임을 입증하는 포괄적인 실험을 수행했습니다.

실험 결과

저자들은 Qwen2.5-7B 및 Llama-3.1-8B 모델을 대상으로 다양한 데이터셋(HotPotQA, BigMath, 그리고 GSM8K, GPQA, MedQA와 같은 다양한 OOD 벤치마크)에서 RLSR을 평가했습니다.

리스크-커버리지 트레이드오프: RLSR은 RLVR 및 RLCR에 비해 일관되게 낮은 AURC 점수(더 나은 성능을 의미)를 달 기록했습니다. 예를 들어, HotPotQA(인도메인)에서 RLSR은 0.44의 AURC를 달성하여 RLVR(0.56)과 RLCR(0.51)을 크게 앞질렀습니다.
낮은 커버리지에서의 정확도: 높은 정확도를 위해 낮은 커버리지가 허용되는 고위험 시나리오에서 RLSR은 탁월한 성능을 보였습니다. HotPotQA의 10% 커버리지에서 RLSR은 **66.0%**의 정확도에 도달했으며, 이는 RLVR(45.5%) 및 RLCR(53.5%)보다 높은 수치입니다.
아웃오브도메인(OOD) 일반화: RLSR은 OOD 태스크에서도 강력한 성능을 유지한 반면, RLVR과 RLCR은 성능이 저하되거나 불일치한 개선을 보였습니다. 이는 RLSR이 특정 분포 특성에 과적합되는 것이 아니라, 신뢰도의 견고한 순위를 학습함을 시사합니다.
리스크 제어 배포: 목표 정확도가 75%인 시뮬레이션된 의료 배포 상황(MedQA)에서, RLSR은 적절한 커버리지 비율을 유지하면서 목표 정확도를 달성할 수 있는 유일한 방법이었습니다. RLVR은 임계값에 관계없이 목표 정확도에 도달하지 못했고, RLCR은 검증 세트에 비해 테스트 세트에서 성능이 크게 떨어졌습니다.
신뢰도 분리: 신뢰도 분포 분석(그림 3)을 통해 Lifted AURC 보상이 표준 AURC나 교정 기반 보상에 비해 정답과 오답 예측 간의 신뢰도 점수 격차(margin)를 성공적으로 넓혔음을 확인했습니다.

의의 및 주장

본 논문은 RLSR이 실세계 배포를 위한 LLM의 신뢰성을 향상시키는 원칙적인 접근 방식을 제공한다고 주장합니다. 리스크-커버리지 트레이드오프를 직접 최적화함으로써, RLSR은 LLM이 불확실할 때 효과적으로 답변을 "유보"할 수 있게 하여, 모든 쿼리에 대해 인간의 개입을 요구하지 않고도 중요한 애플리케이션에서 오류율을 줄일 수 있게 합니다.

저자들은 교정(ECE)이 유용한 지표이긴 하지만, 선택적 예측 성능의 대리 지표는 아니라는 점을 강조합니다. 교정을 최적화하는 것이 정답과 오답의 순위를 반드시 개선하는 것은 아니며, 순위가 선택적 예측의 근본적인 요구사항이기 때문입니다. 결과적으로 RLSR은 오류 제어가 가장 중요한 고위험 환경에 LLM을 배포하기 위한 더 직접적이고 효과적인 경로를 제시합니다.

한계점: 저자들은 현재의 정렬이 전체적인 AURC 지표에 집중하고 있음을 언급했습니다. 실제 고위험 환경에서는 특정 목표 리스크 수준이 사전에 알려져 있는 경우가 많으므로, 향후 연구에서는 리스크 제약 하의 커버리지 최대화 목적 함수를 구성할 수 있다고 밝히고 있습니다.