1. 문제 정의 (Problem Definition)

배경:
최근 검증 가능한 보상을 활용한 강화학습 (RLVR) 은 대규모 언어 모델 (LLM) 의 복잡한 추론 능력 (수학, 코딩 등) 을 획기적으로 향상시켰습니다. 그러나 기존 RLVR 파이프라인은 **희소성 있는 결과 기반 보상 (sparse outcome-based rewards)**에 의존하는 치명적인 단점이 있습니다.

핵심 문제:

1. 과도한 자신감 (Over-confidence) 과 허위 추론: 모델이 중간 단계의 검증 없이 최종 정답만 맞출 경우 보상을 받기 때문에, 논리적 연결이 부족하거나 근거가 없는 단계라도 우연히 정답을 맞출 경우 이를 강화합니다. 이는 할루시네이션 (Hallucination) 을 증가시킵니다.
2. 중간 단계의 신뢰성 부재: 스칼라 형태의 보상 (정답/오답) 은 추론 과정의 각 단계가 얼마나 증거에 기반했는지 (Faithfulness) 에 대한 세부적인 피드백을 제공하지 못합니다.
3. 기존 방법의 한계:
   • 거부 (Refusal) 학습: 모델이 모르는 질문에 "모른다"고 답하도록 학습시키는 방법은 초기 실패를 과도하게 반영하여 모델이 지나치게 보수적으로 변해 (Over-conservativeness), 답할 수 있는 질문도 거부하게 만들 수 있습니다.
   • 사실성 기반 검증: 중간 단계의 사실적 정확성만 검증하는 방법은 사실은 맞지만 질문과 무관한 (Irrelevant) 문장을 나열하는 '논리적 비일관성' 문제를 해결하지 못합니다.

목표:
모델이 최종 정답뿐만 아니라 추론 과정의 각 단계가 제공된 증거 (Evidence) 에 충실하게 (Faithfully) 연결되도록 학습시켜, 할루시네이션을 줄이면서도 정확성을 유지하거나 향상시키는 프레임워크 개발.

2. 방법론 (Methodology)

저자들은 FaithRL이라는 새로운 강화학습 프레임워크를 제안하며, 이는 다음과 같은 세 가지 핵심 요소로 구성됩니다.

가. 최적화 목표: 추론 충실도 극대화 (Maximizing Reasoning Faithfulness)

기존의 '정답률 극대화'나 '할루시네이션 최소화'와 달리, **추론 충실도 (Reasoning Faithfulness)**를 직접 최적화하는 목표를 설정합니다.

• 정의: 모델이 생성한 추론 경로 (Trajectory) 의 모든 단계가 질문을 해결하는 데 필요한 최소한의 증거 집합 ($E(q)$) 에 의해 엄격히 지지될 때를 '충실한 (Faithful)' 경로로 정의합니다.
• 이론적 근거:
  • 정답률만 극대화하면 모델은 추측을 통해 과신하게 됩니다.
  • 할루시네이션만 최소화하면 모델은 모든 질문에 거부를 선택하게 됩니다.
  • 충실도 극대화는 모델의 내재적 능력에 기반하여 거부와 추론 사이의 균형을 유지하게 하여, 과신과 과보수를 모두 방지합니다.

나. 기하학적 보상 설계 (Geometric Reward Design)

모델의 초기 능력 (Baseline) 을 고려하여 정답과 거부의 균형을 자동으로 조절하는 보상 함수를 도입합니다.

• 진실성 유용성 점수 (Truthful Helpfulness Score, THS): 정확도 ($x$) 와 할루시네이션율 ($y$) 을 2 차원 평면의 좌표로 표현합니다. 초기 상태 ($E_0$) 와 최적 상태 ($E^*$) 사이의 기하학적 면적을 기반으로 성능 향상을 측정합니다.
• 보상 함수 ($R_{geo}$):
  • 정답 (Correct): $+y_0$ (초기 할루시네이션율에 비례)
  • 오답/거부 (Miss): $0$
  • 할루시네이션 (Hallucination): $-x_0$ (초기 정확도에 비례)
• 효과: 모델이 정확도가 낮을 때는 정답을 맞추는 데 집중하고, 정확도가 높아지면 할루시네이션을 억제하는 데 집중하도록 동적으로 보상을 조정합니다. 이는 THS 를 극대화하는 것과 수학적으로 동치입니다.

다. 충실도 인식 이점 변조 (Faithfulness-Aware Advantage Modulation, FAAM)

최종 결과뿐만 아니라 단계별 (Step-level) 추론의 충실도를 검증하여 보상을 조정합니다.

• 검증기 (Verifier): 각 추론 단계 ($s_j$) 가 제공된 증거 ($E(q)$) 에 기반하고 있는지 객관적으로 검증합니다 ($V(s_j) \in \{0, 1\}$).
• 변조 메커니즘:
  • 긍정적 이점 (정답): 충실한 단계는 풀 보상을, 불충실한 단계는 감가상각된 보상을 받습니다.
  • 부정적 이점 (오답): 충실한 단계 (논리는 맞았으나 계산 실수 등) 는 패널티를 받지 않도록 보호하고, 불충실한 단계는 엄격히 패널티를 부과합니다.
• 효과: 우연히 정답을 맞춘 잘못된 추론 (Spurious Correctness) 은 강화되지 않고, 논리는 맞았으나 실수한 경우 (Faltered Reasoning) 는 불이익을 받지 않도록 하여 모델이 올바른 추론 패턴을 학습하게 합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 최적화 목표 제안: 추론 충실도 (Reasoning Faithfulness) 를 직접 최적화하는 목표를 제안하고, 이를 통해 모델이 과신 (Over-confidence) 또는 과보수 (Over-conservativeness) 상태에 빠지는 것을 방지한다는 것을 이론적으로 증명했습니다.
2. FaithRL 프레임워크 개발: 기하학적 보상과 단계별 이점 변조 (FAAM) 를 통합하여, 모델의 보상 신호를 추론 과정의 타당성과 엄격하게 정렬시키는 최초의 RL 프레임워크입니다.
3. 성능 향상 및 일반화: 다양한 백본 (Llama, Qwen) 과 벤치마크 (Multi-hop QA, OOD 수학 문제) 에서 기존 RLVR 방법론보다 할루시네이션을 크게 줄이면서 정확도를 유지하거나 향상시켰습니다.

4. 실험 결과 (Results)

주요 벤치마크 (2WikiMultiHopQA, HotpotQA, MuSiQue):

• 할루시네이션 감소: 기존 RLVR 방법론 (GRPO, TruthRL 등) 대비 평균 4.7%p 감소.
• 정확도 향상: 평균 1.6%p 향상.
• 진실성 유용성 점수 (THS): FaithRL 이 모든 방법론 중 가장 높은 점수를 기록 (예: Llama-3.1-8B 기준 64.2 vs TruthRL 54.4).

OOD (Out-of-Distribution) 일반화 (GSM8k, MATH500):

• 훈련 데이터와 다른 도메인에서도 강력한 일반화 능력을 보였습니다.
• 정확도 평균 10.8%p 향상, 할루시네이션율 8.4%p 감소.
• FaithRL 은 훈련 과정에서 '충실한 추론 단계 비율'을 31.1% (동일 도메인) 까지 증가시켰으며, 이는 모델이 단순히 정답을 맞추는 것이 아니라 논리적으로 타당한 추론을 학습했음을 의미합니다.

컴퓨팅 비용:

• 단계별 검증 (Verifier) 으로 인한 추가 비용은 GRPO 대비 약 15% 이내로 제한되었습니다 (KV-cache 재사용 및 병렬 처리 효율화 덕분).

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 신뢰성 (Trustworthiness) 을 높이는 데 있어 결과 중심 (Outcome-centric) 접근법의 한계를 극복하고 과정 중심 (Process-centric) 접근의 중요성을 입증했습니다.

• 할루시네이션의 근본적 해결: 단순히 정답을 맞추는 것을 넘어, 모델이 "왜" 그 답을 도출했는지에 대한 증거 기반 추론을 강제함으로써 할루시네이션을 근본적으로 억제합니다.
• 안전한 AI 개발: 의료, 법률, 교육 등 고위험 분야에서 모델이 불확실한 경우 정직하게 "모른다"고 답하거나, 확실한 경우에만 근거를 들어 답하도록 학습시켜 AI 의 신뢰도를 높입니다.
• 미래 연구의 기초: 추론 과정의 충실도를 직접 최적화하는 새로운 패러다임을 제시하여, 향후 더 투명하고 검증 가능한 AI 시스템 개발의 기초를 마련했습니다.

요약하자면, FaithRL은 LLM 이 "정답을 맞추기 위해 추측하는 것"에서 "증거에 기반하여 논리적으로 추론하는 것"으로 행동 방식을 전환하도록 유도하는 혁신적인 강화학습 프레임워크입니다.