기술 요약: REIN – 추론과 신뢰성 사이의 간극을 메우다

1. 문제 정의

DeepSeek-R1 및 Qwen3와 같은 대규모 추론 모델(LRM)은 명시적인 사고 사슬(Chain of Thought)을 유도함으로써 수학, 과학적 추론, 프로그래밍 분야에서 상당한 진전을 보여주었습니다. 그러나 명시적 추론이 환각(Hallucination)을 제거하지는 못하며, 오히려 근거 없는 결론의 외견상 타당성을 높이는 경우가 많습니다. 본 논문은 현재의 정렬(Alignment) 방법들이 동시에 해결하지 못하는 두 가지 뚜렷한 환각 실패 모드를 식별합니다:

1. 추론 수준의 환각 (Reasoning-level Hallucination): 모델이 필요한 지식은 보유하고 있으나, 샘플링된 특정 추론 궤적이 잘못된 단계를 포함하여 틀린 결론으로 전파되는 경우입니다. 이 실패는 모델이 오류를 감지하고 수정할 수 있다면 이론적으로 자가 복구(Self-recoverable)가 가능합니다.
2. 지식 수준의 환각 (Knowledge-level Hallucination): 현재의 정책(Policy)과 샘플링 예산 하에서 모델이 필요한 사실적 지식이 부족한 경우입니다. 이 시나리오에서는 추가적인 추론이 단지 근거 없는 예측을 합리화할 뿐입니다. 어떤 양의 자기 성찰(Self-reflection)도 답을 구원할 수 없으며, 유일하게 안전한 행동은 기권(Abstain)하는 것입니다.

기존의 접근 방식은 일반적으로 이 중 한 가지 모드만을 다룹니다. 결과 기반 정렬(Outcome-level alignment, 예: RLHF, DPO)은 최종 응답을 최적화하지만 추론 궤적을 무시하여 추론 오류를 감지하지 못합니다. 프로세스 감독 방법(Process-supervision methods, 예: Self-Refine, Reflexion)은 오류가 자가 복구 가능하다고 가정하며, 고칠 수 있는 실수와 실제 지식 격차를 구분하는 메커니즘이 부족합니다. 반대로, 기권 방법(Abstention methods, 예: R-Tuning, IDK 토큰)은 불확실성 하에서 거절을 장려하지만 추론 수정을 무시하여, 복구 가능한 추론 실패에 대해서도 과도하게 기권하는 문제를 야기합니다.

2. 방법론: REIN 프레임워크

REIN(Reflection and Abstention Alignment)은 LRM이 최종 답변을 확정하기 전에 자신의 추론 신뢰도를 평가하도록 가르치기 위해 설계된 통합된 단일 패스(Single-pass) 정렬 프레임워크입니다. 이는 외부 검색, 프로세스 감독, 또는 다회차 비평 루프 없이 작동합니다.

2.1 구조화된 생성 (Structured Generation)

REIN은 모델이 단일 순방향 패스(Forward pass) 내에서 구조화된 완성을 생성하도록 훈련합니다:
$$\text{<thought>} \rightarrow \text{<reflection>} \rightarrow \text{<answer>}$$

• ($c$): 성찰 전의 추론 궤적.
• ($r$): 추론 궤적으로부터 암시된 초안 결론($y_0$)의 신뢰도를 모델이 평가하는 학습 가능한 구간.
• ($y_1$): 실질적인 답변 또는 정형화된 기권 토큰(IDK)인 최종 출력.

2.2 이중 보상 메커니즘 (Dual-Reward Mechanism)

REIN은 두 가지 실패 모드를 해결하기 위해 두 가지 뚜렷한 보상 신호를 사용하며, 이는 GRPO(Group Relative Policy Optimization)를 통해 최적화됩니다:

1. 성찰-진위 보상 (Reflection-Veracity Reward - 추론 환각 대응):
   이 보상은 <reflection> 구간에서의 모델의 자기 평가를 추론 궤적으로부터 도출된 초안 결론($y_0$)의 검증된 정확성과 일치시킵니다.

   • 오판 지지(False endorsement)(틀린 초안을 신뢰할 수 있다고 판단함)를 처벌합니다.
   • 오판 거부(False rejection)(옳은 초안을 신뢰할 수 없다고 판단함)를 처벌합니다.
   • 이 구성 요소는 모델이 최종 답변이 아직 생성되지 않았더라도 자신의 추론 궤적이 결함이 있는지 인식하도록 훈련합니다.

2. 경계 인식 기권 보상 (Boundary-Aware Abstention Reward - 지식 환각 대응):
   이 보상은 단일 프롬프트에 대한 $K$개의 온-폴리시(On-policy) 완성본 그룹을 사용하여 모델의 "지식 경계"를 경험적으로 추정합니다.

   • 그룹 내의 적어도 하나의 완성본이 검증된 정답을 도출하면, 해당 프롬프트는 경계 **내부(Within)**로 표시됩니다. 모델은 정답을 제공하면 보상을 받고, 기권하면 처벌을 받습니다.
   • $K$개의 완성본 중 어느 것도 정답을 도출하지 못하면, 해당 프롬프트는 경계 **외부(Beyond)**로 표시됩니다. 모델은 기권(IDK)하면 보상을 받고, 검증되지 않은 실질적 답변을 생성하면 처벌을 받습니다.
   • 이 메커니즘은 모델이 외부 검증기나 단계별 레이블 없이도, 복구 가능한 추론 실수(다른 샘플은 성공할 수 있는 경우)와 실제 지식 격차(어떤 샘포도 성공하지 못하는 경우)를 구분할 수 있게 합니다.

2.3 훈련 파이프라인

• 초기화: 짧은 지도 미세 조정(SFT) 단계가 구조화된 출력 형식과 성찰 레이블을 초기화합니다.
• 최적화: 정책은 두 단계의 커리큘럼을 가진 GRPO를 통해 최적화됩니다. 1단계는 IDK를 사용 가능한 액션으로 명시적으로 제시하며, 2단계는 명시적 큐를 제거하여 모델이 경계 인식 보상을 바탕으로 언제 기권해야 하는지를 학습하도록 강제합니다.
• 추론: 테스트 시점에 모델은 단일 구조화된 완성을 생성합니다. 초안을 형성하고, 성찰을 통해 신뢰도를 평가한 후, 답변을 확정할지 아니면 기권할지를 결정합니다.

3. 주요 기여

1. 통합 단일 패스 프레임워크: REIN은 LRM이 외부 컨트롤러나 반복적인 비평 루프 없이 단일 순방향 패스 내에서 자신의 추론을 신뢰할지 아니면 기권할지를 결정할 수 있게 합니다.
2. 새로운 보상 설계: 본 논문은 자기 평가를 초안의 정확성과 일치시키는 **중심 성찰-진위 보상(Centered reflection-veracity reward)**과, 샘플링된 지식 경계가 불충분한 능력을 나타낼 때만 기권을 유도하는 경계 인식 IDK 보상을 도입합니다.
3. 실증적 검증: 다양한 백본(Qwen2.5-7B, Llama-3.1-8B, Mistral-7B, DeepSeek-R1-Distill-8B)과 벤치마크(GSM8K, MATH, StrategyQA, ARC-Challenge)에 걸친 광범 광범위한 실험을 통해 프레임워크의 효과를 입증했습니다.

4. 실험 결과

REIN은 IDK 프롬프팅, R-Tuning, TruthRL 및 성찰 전용 변형 모델을 포함한 경쟁력 있는 베이스라인들과 비교 평가되었습니다.

• 환각 감소: REIN은 베이스 모델 대비 환각 프록시(잘못된 사전 성찰 초안이 신뢰할 수 있다고 잘못 판단된 비율)를 **58%에서 72%**까지 감소시킵니다.
• 정확도 및 커버리지:
  • 선택적 정확도(Selective Accuracy)(시도된 질문에 대한 정확도)를 6.6%에서 14.2% 향상시킵니다.
  • **커버리지(Coverage)**를 높은 수준(86% ~ 91%)으로 유지하여, 모델이 과도하게 기권하지 않음을 보여줍니다.
  • 베이스 체크포인트 대비 유효 정확도(Effective Accuracy)(모든 질문에 대한 전체 정확도)에서 평균 **7.0%**의 향상을 달성합니다.
• 비교: R-Tuning과 비교했을 때, REIN은 더 낮은 환각률을 유지하면서 선택적 정확도를 6.3% 향상시킵니다. TruthRL과 비교했을 때, REN은 유사한 커버리지를 유지하면서 환각 프록시를 13.9% 감소시킵니다.
• 어블레이션(Ablation): 성찰-진위 보상을 제거하면 환각률이 거의 두 배로 증가하며, IDK 정렬 보상을 제거하면 모델이 기권을 완전히 멈추게 되어(커버리지 100%) 두 구성 요소의 뚜렷한 역할을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 REIN이 현재의 정렬 레시피의 핵심적인 간극, 즉 추론 오류(복구 가능)와 지식 격차(기권 필요)를 혼동하는 문제를 해결한다고 주장합니다. 이러한 실패 모드를 분리함으로써, REIN은 유용성을 희생하지 않으면서도 더 신뢰할 수 있는 추론 과정을 달성합니다.

저자들은 신뢰할 수 있는 추론을 위해서는 단순히 더 나은 솔루션을 생성하는 것뿐만 아니라, 솔루션을 신뢰해서는 안 되는 시점을 아는 것이 필요하다고 강조합니다. REIN은 값비싼 프로세스 감독이나 외부 검색 시스템에 의존하지 않고, 단일 생성 패스 내에서 명시적인 자기 성찰과 보정된 기권을 수행할 수 있게 함으로써 이를 달성합니다. 결과는 성찰과 기권의 통합된 접근 방식이 모델의 어려운 질문에 답하는 능력을 보존하면서도, 자신감 있지만 틀린 응답을 현저히 줄일 수 있음을 시사합니다.