논문 요약: 전문가 시연을 통한 역강화학습 (IRL) 기반 추론 보상 모델 학습

이 논문은 대형 언어 모델 (LLM) 의 추론 능력을 향상시키기 위해, **적대적 역강화학습 (Adversarial Inverse Reinforcement Learning, AIRL)**을 활용하여 전문가의 시연 (Expert Demonstrations) 에서 직접 추론 보상 (Reasoning Reward) 을 학습하는 새로운 프레임워크를 제안합니다.

1. 문제 정의 (Problem)

기존 LLM 추론 향상 기법들은 주로 두 가지 접근법에 의존합니다:

1. 지도 미세조정 (SFT): 전문가의 추론 흔적 (traces) 을 모방하는 방식. 이는 모방에 그쳐 모델이 시연되지 않은 상태 (off-demonstration states) 에 도달했을 때 적절한 가이드를 제공하지 못합니다.
2. 결과 기반 강화학습 (Outcome-based RL): 최종 답의 정오 (Correctness) 만을 평가하는 보상 신호를 사용합니다. 이는 잘 정의된 검증자 (Verifier) 가 필요하며, 중간 추론 단계의 오류를 식별하거나 구체적인 피드백을 제공하기 어렵습니다.

이러한 한계를 극복하기 위해, 외부 검증자 없이 전문가 시연 데이터만으로 추론 과정의 질을 평가할 수 있는 밀집된 (Dense) 보상 모델을 학습하는 것이 본 연구의 핵심 문제입니다.

2. 방법론 (Methodology)

저자는 적대적 역강화학습 (AIRL) 프레임워크를 LLM 추론에 적용하여, 전문가의 추론 과정을 모방하는 것이 아니라 그로부터 **보상 함수 (Reward Function)**를 역추론하고 이를 통해 정책을 최적화합니다.

핵심 구성 요소

• 보상 모델 (Discriminator, $D_\phi$): 전문가 시연과 정책 (Policy) 이 생성한 추론 궤적을 구분하는 판별자입니다.
  • 레이블링 전략: 단순히 '전문가 vs 정책'으로 구분하는 대신, 최종 답의 일치 여부를 기준으로 양 (+) 과 음 (-) 데이터를 구성합니다.
    • 양 (+): 전문가 시연 + 전문가와 동일한 답을 낸 정책 생성물.
    • 음 (-): 전문가와 다른 답을 낸 정책 생성물 + 전문가 시연을 의도적으로 변형 (Corruption) 한 데이터.
  • 이 방식은 모델이 단순한 스타일 (Source/Style) 이나 형식을 구분하는 것이 아니라, **추론의 질 (Reasoning Quality)**을 학습하도록 유도합니다.
• 보상 밀도 (Granularity): 학습의 안정성과 오류 국소화 (Error Localisation) 사이의 균형을 위해 네 가지 수준의 보상을 평가합니다.
  1. Sparse: 최종 답변 토큰에서만 보상 부여.
  2. Interval: 일정 간격 (예: 15 토큰) 마다 보상 부여.
  3. Dense: 모든 토큰에 대해 보상 부여 (가장 높은 해상도).
  4. Step-wise: 문장 또는 추론 구분자 단위로 보상 부여.
• 정책 학습 (Policy Learning): 학습된 보상을 사용하여 **GRPO (Group Relative Policy Optimization)**를 통해 정책을 업데이트합니다.
  • 안정화 기법: 보상 해킹 (Reward Hacking) 과 모드 붕괴 (Mode Collapse) 를 방지하기 위해 **리플레이 버퍼 (Replay Buffer)**를 활용하고, 정책 업데이트당 판별자를 여러 번 업데이트하여 학습 안정성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 다양한 밀도의 추론 보상 학습: LLM 에 적응된 AIRL 프레임워크를 통해 전문가 시연만으로 Sparse, Interval, Dense 등 다양한 수준의 추론 보상을 학습할 수 있음을 입증했습니다.
2. 학습 및 추론의 통합 활용: 학습된 단일 보상 모델을 **학습 신호 (Training Signal)**로 사용하여 정책을 개선하고, 동시에 추론 시 재순서화 (Inference-time Reranking) 도구로 활용하여 고정된 샘플링 예산 내에서 성능을 극대화할 수 있음을 보였습니다.
3. 범용성과 오류 국소화: 학습된 보상은 다른 태스크와 백본 (Backbone) 모델 간에 전이 (Transfer) 가 가능하며, 특히 밀집된 (Dense) 보상은 추론 궤적이 올바른 경로에서 벗어난 정확한 첫 번째 오류 단계를 식별할 수 있음을 실험을 통해 증명했습니다.

4. 실험 결과 (Results)

GSM8K (수학), MEDREASON (의료), MMLU-PRO (과학/다양한 지식) 벤치마크에서 Qwen 및 Llama 시리즈 모델을 사용하여 평가했습니다.

• 학습 신호로서의 성능 (D1):
  • 학습된 보상 (특히 Sparse 및 Interval) 을 사용한 AIRL 은 대부분의 설정에서 SFT 보다 우수한 성능을 보였습니다.
  • 예: GSM8K 에서 Qwen2.5-7B 는 SFT 대비 85.8% (Sparse) 를 기록하며 SFT(70.1%) 를 크게 상회했습니다.
  • 주의: Dense 보상은 학습이 불안정하여 일부 설정 (예: Qwen2.5-7B on MEDREASON) 에서 성능이 저하되기도 했으나, Interval 보상은 대부분의 태스크에서 가장 안정적인 성능을 보였습니다.
• 추론 시 재순서화 (D2):
  • 학습된 보상을 사용하여 16 개의 샘플 중 최상위 1 개를 선택하는 Best-of-16 전략을 적용했습니다.
  • 고정된 샘플링 예산 하에서 **최대 17.4%p (GSM8K, Dense)**의 성능 향상을 달성했습니다.
  • 재순서화만으로도 SFT 기반 모델의 성능을 크게 개선할 수 있음을 보였습니다.
• 전이 및 오류 국소화 (D3):
  • 한 태스크 (예: GSM8K) 에서 학습된 보상이 다른 태스크 (예: MMLU-PRO) 나 다른 모델 (Llama vs Qwen) 에 적용되더라도 긍정적인 성능 향상을 보였습니다.
  • 오류 국소화: Dense 보상 모델은 올바른 추론 단계에서는 높은 점수를 주고, 오류가 발생한 첫 번째 토큰에서 급격히 점수가 떨어지는 것을 보여주어, 추론 실패의 원인을 진단하는 데 유용함을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 순수한 모방 (Imitation) 과 보상 기반 최적화 (Reward-driven Optimization) 사이의 간극을 메우는 중요한 단계입니다.

• 외부 검증자 불필요: 복잡한 수학적 검증기나 전문가의 세밀한 단계별 라벨링 없이도, 전문가의 최종 답이 포함된 시연 데이터만으로 고품질의 과정 기반 (Process-level) 보상을 학습할 수 있음을 보였습니다.
• 해석 가능성: 학습된 보상 모델은 단순히 점수를 매기는 것을 넘어, 모델이 어디서 추론을 잘못했는지 해석 가능한 피드백을 제공합니다. 이는 추론 실패 진단 및 테스트 타임 개입 (Test-time intervention) 에 활용될 수 있습니다.
• 실용성: 학습된 보상은 모델 훈련을 가속화하고, 추론 시 성능을 극대화하는 재순서화 도구로 즉시 활용 가능하여, LLM 의 추론 능력을 향상시키는 범용적인 프레임워크를 제시합니다.

결론적으로, AIRL 기반의 학습된 추론 보상 모델은 LLM 이 복잡한 추론 태스크에서 더 견고하고 정확한 사고 과정을 학습하도록 돕는 강력한 도구임을 입증했습니다.