🤖 AI

Confidence-Aware Alignment Makes Reasoning LLMs More Reliable

본 논문은 직접 선호 최적화를 통해 토큰 수준의 신뢰도를 논리적 정확성과 정렬시키고, 신뢰도 인지 사고 (CaT) 메커니즘을 통해 불확실한 추론 분기를 동적으로 가지치기함으로써 대규모 추론 모델의 신뢰성과 효율성을 향상시키는 CASPO 라는 프레임워크를 소개합니다.

원저자: Kejia Chen, Jiawen Zhang, Yihong Wu, Kewei Gao, Jian Lou, Zunlei Feng, Mingli Song, Ruoxi Jia

게시일 2026-05-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kejia Chen, Jiawen Zhang, Yihong Wu, Kewei Gao, Jian Lou, Zunlei Feng, Mingli Song, Ruoxi Jia

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 당신은 천재적이지만 지나치게 자신감 넘치는 학생에게 복잡한 수학 문제를 풀도록 가르치고 있습니다. 이 학생, 그를 '추론 봇 (Reasoning Bot)'이라고 부르겠습니다. 그는 최종 정답을 맞히는 데는 뛰어나지만, 종종 잘못된 방향으로 갔다가 깨닫고는 자신이 혼란스러웠음을 인정하지 않은 채 마법처럼 스스로를 교정합니다. 더 나쁘게는, 자신이 옳다고 확신하며 막다른 길로 confidently 걸어갔다가, 우연히 정답에 도달하기도 합니다.

문제는 그가 정답을 맞히거나 틀리는 것만이 아닙니다. 그는 자신이 언제 불확실한지 알지 못합니다. 그는 실제로는 터무니없는 단계에 대해 99% 확신을 가질 수도 있고, 논리적으로 완벽하게 타당한 단계에 대해서는 10% 만의 확신을 가질 수도 있습니다. 이는 그가 신뢰할 수 없게 만듭니다. 특히 의학이나 금융과 같이 여행의 목적지뿐만 아니라 여정의 모든 단계를 신뢰해야 하는 고위험 상황에서는 더욱 그렇습니다.

이 논문은 CASPO(Confidence-Aware Step-wise Preference Optimization, 신뢰도 인지 단계별 선호도 최적화) 라는 새로운 학습 방법과 CaT(Confidence-aware Thought, 신뢰도 인지 사고) 라는 새로운 사고 방식을 소개합니다. 간단한 비유를 통해 이들이 어떻게 작동하는지 살펴보겠습니다.

문제: "가짜 자신감"의 함정

현재 이러한 AI 모델들은 대본을 외운 배우와 같습니다. 대사가 매끄럽고 흐름이 좋으면, 그 대사가 논리적으로 전혀 말이 없더라도 배우는 높은 자신감으로 그 대사를 말합니다.

결함: 모델은 "매끄럽게 들리는 것"과 "옳은 것"을 혼동합니다.
결과: 실제로는 논리적 허점이 가득한, 길고 설득력 있는 추론 체인을 생성합니다.

해결책: CASPO(“정직 코치”)

저자들은 모델이 자신의 불확실성에 대해 정직하도록 가르치고 싶어 했습니다. 그들은 단순히 최종 시험 점수를 매기는 것이 아니라, 학생이 취하는 모든 움직임을 지켜보는 엄격한 코치처럼 작동하는 학습 시스템을 만들었습니다.

작동 원리:

“정직” 지표: 외부 전문가에게 매 단계를 확인하게 하는 것 (느리고 비용이 많이 듦) 대신, 시스템은 모델의 내부 "목소리"를 듣습니다. 모델이 얼마나 "주저하는지" (엔트로피라는 개념을 사용하여) 측정합니다.
- 비유: 모델이 문장을 생성할 때 다음 단어를 매우 확신한다면, 내부 "주저함"은 낮습니다. 여러 단어 사이에서 추측하고 있다면 주저함은 높습니다.
학습 게임: 시스템은 두 가지 경로를 비교하는 게임을 만듭니다.
- 경로 A: 모델이 놀랍게도 불확신했던 (높은 주저함) 올바른 단계.
- 경로 B: 모델이 자신감 있게 확신했던 (낮은 주저함) 잘못된 단계.
- 교훈: 모델은 불확신했더라도 올바른 단계를 선택하면 보상을 받고, 과신했을 때 잘못된 단계를 선택하면 처벌받습니다.
목표: 시간이 지남에 따라 모델은 자신을 보정 (calibrate) 하는 법을 배웁니다. 논리가 실제로 타당할 때만 "높은 자신감"을 가져야 하고, 논리가 흔들릴 때는 "낮은 자신감"을 가져야 한다는 것을 배웁니다.

결과: CaT(“스마트 내비게이터”)

모델이 자신감에 대해 정직하도록 훈련된 후, 저자들은 문제 해결 과정에서 이를 활용하는 새로운 방식을 CaT라고 소개합니다.

보물 (정답) 을 찾기 위해 빽빽한 숲 (추론 과정) 을 하이킹한다고 상상해 보세요.

옛 방식 (자기 일관성): 100 명의 하이커를 무작위 경로로 보냅니다. 모두 도착할 때까지 기다린 후, 가장 많은 사람이 찾은 정답을 선택합니다. 이는 느리고 비용이 많이 듭니다.
CaT 방식: 몇 명의 하이커를 보냅니다. 그들이 걷는 동안 내부 나침반 (보정된 신뢰도) 을 확인합니다.
- 하이커가 갈림길에 도달하고 나침반이 미친 듯이 돌아다니기 시작하면 (낮은 신뢰도), CaT 는 즉시 그들에게 멈추고 되돌아가라고 지시합니다.
- 하이커가 나침반이 안정적으로 움직이며 부드럽게 이동하면 (높은 신뢰도), CaT 는 그들이 계속 나아가도록 허용합니다.

이것이 중요한 이유:

속도: 막다른 길을 탐색하는 시간을 낭비하지 않습니다. 나쁜 경로를 일찍 차단합니다.
효율성: 수천 개의 정답을 생성하려는 방법보다 더 나은 결과를 달성하지만, 거의 추가 컴퓨팅 파워 없이 이를 달성합니다.
신뢰성: 모델이 옳을 때만 자신감을 갖도록 훈련되었기 때문에, 모델이 선택한 경로는 논리적으로 타당할 가능성이 훨씬 높습니다.

증거

연구자들은 AIME 와 같은 어려운 수학 경시대회와 논리 퍼즐을 포함한 10 가지 다른 벤치마크에서 이를 테스트했습니다.

결과: CASPO 로 훈련된 모델들은 다른 최상위 방법들보다 일관되게 더 높은 점수를 받았습니다.
놀라운 점: 외부 "보상 모델"(비싼 인간 채점자와 같은) 을 사용하지 않음에도 불구하고, 모델은 자신의 내부 신뢰도 신호를 신뢰하는 법을 배웠습니다.
확장성: 이 방법은 작은 모델과 Qwen3 와 같은 매우 크고 강력한 모델 모두에서 잘 작동하여, 미래의 견고한 도구임을 입증했습니다.

요약하자면

이 논문은 AI 추론을 신뢰할 수 있게 만들기 위해 단순히 정답을 맞추는 법을 가르쳐서는 안 된다고 주장합니다. 우리는 AI 에게 알고 있을 때를 알고, 모를 때를 알도록 가르쳐야 합니다. 모델의 내부 신뢰도를 논리적 진실과 일치하도록 훈련함으로써, 우리는 정답에 도달하기 위해 단순히 추측하는 것이 아니라, 안정적이고 정직한 나침반을 들고 길을 걷는 AI 를 만들 수 있습니다.

기술 요약: 신뢰도 인식 정렬이 추론 LLM 의 신뢰성을 높임

1. 문제 제기

OpenAI-o1 및 Qwen-3 와 같은 대규모 추론 모델 (LRMs) 은 단계별 생성을 통해 수학 및 과학 문제 해결에서 상당한 능력을 입증해 왔습니다. 그러나 치명적인 취약점이 존재합니다: 이러한 모델은 논리적으로 결함이 있는 중간 단계를 거쳐 최종 정답에 도달하는 경우가 빈번합니다. 이는 최종 정확도와 추론 신뢰성 사이의 불일치를 초래합니다.

근본 원인은 모델의 내부 신뢰도 (토큰 수준 확률) 와 논리적 정확도 사이의 불일치에 있습니다. 현재의 LRMs 는 종종 논리적으로 틀린 단계 (할루시네이션) 에 대해서는 문법적으로 유효하다는 이유로 높은 신뢰도를 보이는 반면, 엄격하지만 낯선 유도 과정에 대해서는 낮은 신뢰도를 나타냅니다. 기존 정렬 전략인 프로세스 보상 모델 (PRM) 이나 대규모 샘플링 (예: 자기 일관성) 은 외부 검증자나 계산 비용이 많이 드는 탐색에 의존하여 확장성을 제한하고, 모델의 고유한 불확실성을 자기 검증에 활용하지 못합니다.

2. 방법론: CASPO 프레임워크

저자들은 토큰 수준의 신뢰도를 단계별 논리적 정확도와 정렬하는 통합 프레임워크인 CASPO(신뢰도 인식 단계별 선호도 최적화) 를 제안합니다. 이 프레임워크는 두 가지 상호 연결된 단계로 작동합니다:

A. 훈련: 신뢰도 인식 단계별 선호도 최적화

최종 궤적 정확도만 최적화하는 대신, CASPO 는 단계 수준에서 모델의 불확실성을 보정하는 데 중점을 둡니다.

불확실성 지표: 이 프레임워크는 참조가 없는 고유 불확실성 측정치로 토큰 수준 분포의 섀넌 엔트로피를 활용합니다. 높은 엔트로피는 낮은 신뢰도를 나타냅니다.
데이터 구성: 오프라인 강력한 모델 (평가자) 이 추론 단계의 정확성을 검증합니다. 선호도 쌍은 정확성과 신뢰도 간의 상호작용에 따라 구성됩니다:
- 정확하지만 불확실한 경우: 단계가 정확하지만 신뢰도가 낮다면, 높은 신뢰도를 가진 경쟁 후보보다 선호 응답 ( $y_w$ ) 으로 간주됩니다.
- 부정확하지만 확신 있는 경우: 단계가 부정확하다면, 모델의 부정확한 생성물보다 정답이 선호됩니다.
- 정확하고 확신 있는 경우: 중복 학습을 피하기 위해 이러한 단계는 생략됩니다.
최적화: 모델은 반복적 직접 선호도 최적화 (DPO) 를 사용하여 훈련됩니다. 타겟 모델 $\pi_\theta$ 는 이전 반복의 모델을 참조 ( $\pi_{ref}$ ) 로 사용하여 선호되는 단계의 상대적 확률을 비선호 단계보다 높도록 최적화됩니다. 이는 추론 중 별도의 보상 모델 없이 모델이 신뢰도 오보정을 스스로 수정하는 능력을 부트스트랩합니다.

B. 추론: 신뢰도 인식 사고 (CaT)

추론 중에는 보정된 신뢰도를 활용하여 추론 공간을 동적으로 탐색합니다.

메커니즘: 모델은 각 노드가 부분 궤적에 해당하는 추론 트리를 탐색합니다. 각 단계의 정규화된 신뢰도를 곱하여 누적 신뢰도 점수 $C(z_{1:t})$ 를 계산합니다.
가지치기: 누적 신뢰도가 임계값 $\tau$ 를 초과하는 경우에만 경로가 확장됩니다. 낮은 신뢰도를 가진 분기는 초기에 잘립니다.
효율성: 이 전략은 계산 예산을 유망한 경로로 재할당하여 외부 프로세스 보상 모델의 $O(L^2d)$ 복잡도를 피하고, 무시할 수 있는 지연 오버헤드 ( $O(V)$ , 여기서 $V$ 는 어휘 크기) 로 작용하는 고유한 자기 수정 필터 역할을 합니다.

3. 주요 기여

CASPO 프레임워크: 반복적 DPO 를 통해 고유 토큰 수준 엔트로피와 논리적 정확도를 정렬하는 통합 접근법으로, 추론 중 외부 평가자에 대한 의존성을 제거합니다.
CaT 전략: 보정된 신뢰도를 활용하여 불확실한 추론 분기를 동적으로 가지치기하는 디코딩 전략으로, 효율성과 신뢰성을 향상시킵니다.
단계별 데이터셋: 추론 신뢰성의 세밀한 분석을 지원하기 위해 신뢰도 주석이 달린 단계별 데이터셋을 공개합니다.
확장성: 이 방법이 더 강력한 기본 모델 (예: Qwen3-8B-Base) 로 확장 가능하며, 보상 모델 데이터를 사용하지 않고도 트리 탐색 베이스라인을 능가함을 입증했습니다.

4. 실험 결과

저자들은 MATH500, AIME'24, AIME'25, OlympiadBench 및 코드 생성과 독해와 같은 비수학적 작업을 포함한 10 개의 벤치마크와 Qwen2.5, Llama-3.1 등 여러 모델 계열에 걸쳐 CASPO 를 평가했습니다.

성능 향상: Qwen2.5-7B-Instruct 에서 CASPO 는 평균 정확도를 44.4% 에서 50.6% 로 향상시켰습니다. CaT 추론 전략을 사용하면 정확도는 56.1% 에 도달했습니다.
베이스라인 대비 우위: CASPO 는 궤적 수준 최적화 베이스라인 (GRPO, Simple-RL-Zero, PURE-VR, DPO-VP) 과 추론 시간 방법 (CoT, 자기 일관성) 일관적으로 능가했습니다.
확장성: Qwen3-8B-Base 에서 CASPO 는 베이스라인이 수백만 개의 샘플을 요구하는 것과 대조적으로, 보상 모델 데이터를 전혀 사용하지 않았음에도 AIME'24 및 AIME'25 에서 rStar-Math 및 Satori 와 같은 트리 탐색 베이스라인을 능가했습니다.
보정 품질: 훈련 후 MATH-500 에서의 기대 보정 오류 (ECE) 는 0.184(기본) 에서 0.081(CASPO) 로 크게 감소하여, 높은 예측 신뢰도가 이제 유효한 논리적 단계와 엄격하게 상관관계를 갖게 되었음을 나타냅니다.
효율성: CaT 는 Qwen2.5-7B-Instruct 에서 2.8 초/쿼리 (12.5 초/쿼리 대비) 의 현저히 낮은 지연 시간으로 자기 일관성보다 높은 정확도를 달성했습니다.
일반화: 이 방법은 코드 생성 (HumanEval) 과 독해 (RACE) 를 포함한 비수학적 도메인으로의 견고한 전이를 보여주어, 신뢰도와 정확도의 정렬이 근본적인 추론 능력임을 시사합니다.

5. 의의 및 주장

이 논문은 CASPO 가 벤치마크 점수를 단순히 부풀리는 것이 아니라 추론 과정의 충실도를 근본적으로 향상시킨다고 주장합니다. 신뢰도를 외부 감독과 분리하고 고유 토큰 수준 불확실성을 활용함으로써, 이 프레임워크는 모델이 다음과 같은 능력을 갖추도록 합니다:

논리적 불일치를 자율적으로 식별하고 수정합니다.
외부 판정자나 대규모 샘플링의 계산적 부담 없이 신뢰할 수 있는 추론을 달성합니다.
추론 신뢰성을 개선하기 위한 확장 가능하고 투명한 프레임워크를 제공합니다.

저자들은 그들의 접근 방식이 궤적 수준 보상에서 단계별 신뢰도 보정으로 이동함으로써 현재 추론 연구의 '세분성 격차'를 해결한다고 강조합니다. 그들은 이 방법이 초기 데이터 구성을 위해 오프라인 평가자에 의존하지만, 핵심 학습 신호는 모델 자체의 엔트로피에서 파생되므로 평가자가 때때로 경로를 잘못 라벨링하더라도 안정성을 보장한다고 지적합니다. 이 연구는 내부 확률과 외부 정확도를 정렬하는 것이 고위험 도메인에서 검증 가능한 건전한 추론 궤적을 향한 실현 가능한 길임을 시사합니다.