기술 요약: MulFeRL

문제 정의

검증 가능한 보상을 활용한 강화 학습(RLVR)은 대규모 언어 모델(LLM), 특히 수학 및 코드 생성 분야에서 추론 능력을 향고하기 위한 표준적인 접근 방식이 되었습니다. 그러나 표준 RLVR은 결과 중심의 스칼라 보상(예: 정답/오답의 이진 신호)에 의존합니다. 저자들은 모델의 성능이 높아짐에 따라, 이러한 방식이 특히 **실패한 샘플(failed samples)**에 대해 스칼라 보상이 희소하고 정보가 부족해지면서 병목 현상에 직면하게 된다고 주장합니다.

모델이 완전히 잘못된 솔루션을 대량으로 생성할 때, 표준 RLVR은 왜 추론이 무너졌는지 또는 어떻게 개선해야 하는지를 설명하지 못한 채 단순히 실패만을 나타내는 0에 가까운 혹은 음수의 보상을 할당합니다. 이는 다음과 같은 문제를 야기합니다:

1. 부적절한 크레딧 할당(Poor credit assignment): 그래디언트 추정치가 노이즈가 심해집니다.
2. 학습 정체(Training plateaus): 그룹 내에 대비되는 요소가 존재하지 않는 "전원 실패(all-failed)" 롤아웃 그룹에서 학습 신호가 붕괴됩니다.
3. 샘플 비효де율성(Sample inefficiency): 스칼라 보상이 유용한 대비를 제공하지 못하는 어려운 문제에서 학습이 진전되는 데 어려움을 겪습니다.

인간은 언어적 피드백을 활용하여 오류를 국지화하고 목표 솔루션과의 간극을 메우는 반면, 기존의 RL 스타일 피드백 방법들은 스칼라 보상이 가장 정보력이 낮은 "전원 실패" 케이스를 타겟팅하기보다는 샘플 전체에 피드백을 광범위하게 할당하는 경향이 있습니다.

방법론: MulFeRL

본 논문은 MulFeRL(Multi-turn Feedback-guided Reinforcement Learning)을 제안합니다. 이는 실패한 샘플을 위해 언어적 피드백을 안정적이고 학습 가능한 학습 신호로 변환하도록 설계된 이벤트 트리거형 다회차(multi-turn) RLVR 프레임워크입니다. 이 프레임워크는 **진보 유도(Progress Induction)**와 **진보 크레딧 할당(Progress Credit Assignment)**이라는 두 가지 주요 단계를 통해 작동합니다.

1. 이벤트 트리거형 진보 유도 (Event-Triggered Progress Induction)

MulFeRL은 $K$개의 샘플이 모두 검증에 실패한(FAILED 상태) 롤아웃 그룹을 타겟으로 합니다. 이 상태에서 표준 RLVR은 학습 신호를 제공하지 못합니다.

• 조건화를 위한 피드백(Feedback as Conditioning): 피드백을 직접 최적화하는 대신, MulFeRL은 언어적 피드백을 조건부 개입(conditioning intervention)으로 사용합니다. 그룹이 FAILED 상태일 때, 피드백 제공자(예: LLM 시뮬레이터)는 지배적인 실패 모드를 식별하고 수정을 제안하는 실행 가능한 피드백을 생성합니다.
• 재생성(Regeneration): 이 피드백은 컨텍스트에 주입되며, 모델은 새로운 $K$개의 롤아웃을 재생성합니다.
• 목표: 목표는 모델을 FAILED 상태에서 CONTRASTIVE(성공과 실패가 혼재된 상태) 또는 SOLVED(모두 성공한 상태) 상태로 전이시키는 것입니다. 이러한 전이는 "검증자에 의해 인증된 진보(verifier-certified progress)"를 구성합니다.

2. 진보 크레딧 할당 (Progress Credit Assignment)

진보가 유도되면, MulFeRL은 두 가지 상호 보완적인 목적 함수를 사용하여 전이의 성격에 따라 크레딧을 할당합니다.

• 상태 내 크레딧 (Within-State Credit - GRPO): 재생성된 그룹이 CONTRASTIVE(정답과 오답이 모두 포함됨) 상태인 경우, MulFeRL은 표준 그룹 상대 정책 최적화(GRPO)를 적용합니다. 이는 동일한 피드백 조건부 컨텍스트 내에서 성공적인 롤아웃과 실패한 롤아웃 사이의 상대적 이점을 활용합니다.
• 상태 간 크레딧 (Cross-State Credit - FCO): 재생성된 그룹이 SOLVED(모두 정답) 상태가 된 경우, 그룹 내 대비가 사라져(모든 보상이 1임) 표준 GRPO를 사용할 수 없게 됩니다. 이를 해결하기 위해 MulFeRL은 **피드백-대비 최적화(Feedback-Contrastive Optimization, FCO)**를 도입합니다. FCO는 현재의 SOLVED 그룹과 직전의 FAILED 그룹 사이의 쌍을 구성합니다. 이는 피드백에 조건화된 성공적인 궤적의 상대적 점수를 원래 프롬프트에 조건화된 실패한 궤적보다 높이도록 최적화하며, 이 전이를 선호도 학습(preference learning) 과제로 취급합니다.

3. 구조화된 피드백 주입 (Structured Feedback Injection)

모델이 재생성 중에 피드백을 효과적으로 활용할 수 있도록, MulFeRL은 고정 슬롯 주입(fixed-slot injection) 메커니즘을 사용합니다. 언어적 피드백은 프롬프트 뒤에 단순히 붙이는 것이 아니라, 추론 템플릿 내의 전용 <feedback> 태그 안에 삽입됩니다. 이 설계는 다음과 같은 효과를 가집니다:

• 피드백을 명시적인 조건화 신호로 취급합니다.
• 피드백을 추론 컨텍스트 내에 긴밀하게 결합합니다.
• 정밀한 토큰 마스킹을 가능하게 하여, 모델이 피드백 토큰 자체를 최적화하는 것이 아니라 피드백을 바탕으로 추론하는 법을 배우도록 보장합니다.

주요 기여

1. 저신호 영역을 위한 새로운 프레임워크: MulFeRL은 언어적 피드백을 사용하여 진보를 유도하는 다회차 루프를 도입함으로써, "전원 실패" 샘플에서의 RLVR의 특정 한계를 해결하고, 이를 검증 가능한 학습 기회로 전환합니다.
2. 피드백-대비 최적화 (FCO): "보상 포화" 상태의 진보(FAILED $\to$ SOLVED 전이)를 처리하기 위한 새로운 목적 함수를 도입했습니다. 이를 통해 피드백이 모든 실패를 성공으로 바꾼 경우에도 모델이 학습할 수 있게 합니다.
3. 구조화된 피드백 통합: 피드백을 단순 프롬프팅이 아닌 고정된 추론 슬롯에 주입하는 것이 모델의 피드백 조건화 및 재생성 능력을 크게 향상시킨다는 것을 입증했습니다.
4. 이벤트 트리거형 라우팅: 검증자의 그룹 상태(CONTRASTIVE vs. SOLVED vs. FAILED) 관찰에 따라 학습 신호를 동적으로 라우팅하여, 사용 가능한 변별 신호가 존재할 때만 업데이트가 적용되도록 보장합니다.

실험 결과

저자들은 OpenR1-Math의 샘플 서브셋에서 MulFeRL을 평가하였으며, 5개의 수학적 추론 벤치마크(AMC 2023, AIME 2024, OlympiadBench, MATH-500, Minerva-Math)와 3개의 도메인 외(OOD) 과학/일반 추론 작업(MMLU-Pro, GPQA-Diamond, TheoremQA)에서 테스트를 진행했습니다.

• 성능 향상: MulFeRL은 SFT, 자기 증류(SDPO), 그리고 다양한 RL 기반 방법들(GRPO, Dr.GRPO, Critique-GRPO, RLTF-FM)을 포함한 강력한 베이스라인들을 일관되게 능가했습니다.
  • Qwen2.5-7B-Base 백본에서, MulFeRL은 평균 Pass@1 **46.26%**를 달성하여 가장 우수한 RL 베이스라인인 Critique-GRPO(42.83%)를 크게 앞질렀습니다.
  • Qwen3-4B-Inst 백본에서, MulFeRL은 평균 Pass@1 **68.36%**에 도달하여 Critique-GRPO(63.65%) 및 기타 베이스라인들을 능가했습니다.
• 일반화 능력: 모델은 주로 수학 데이터로 학습되었음에도 불구하고 과학 및 일반 추론 작업에서 강력한 도메인 외 일반화 성능을 보여주었습니다.
• 절제 연구(Ablation Studies): 핵심 구성 요소를 제거했을 때 성능 저하가 발생했습니다:
  • 피드백 가이드 재생성을 제거했을 때 가장 큰 하락이 발생하여, 실패 상태로부터 진보를 유도하는 것의 필요성을 확인했습니다.
  • FCO를 제거하면 성능이 크게 저하되어, FAILED $\to$ SOLVED 전이를 포착하는 역할을 검증했습니다.
  • 구조화된 피드백 주입을 제거하면 일관된 하락이 나타나, 고정 슬롯 설계의 중요성을 강조했습니다.
• 시뮬레이터 강건성: 본 방법론은 더 약한 피드백 시뮬레이터(예: 베이스 모델 또는 GPT-4o-mini)를 사용할 때도 효과적이었으나, 더 강력한 시뮬레이터(GPT-4o)를 사용할 때 추가적인 이득을 얻었습니다.

의의 및 주장

본 논문은 MulFeRL이 직접적인 피드백 최적화나 단순 모방의 함정에 빠지지 않으면서, 언어적 피드백의 풍부함을 활용하여 RLVR의 "희소 보상" 병목 현상에 대한 견고한 해결책을 제공한다고 주장합니다.

• 메커니즘: 저자들은 성능 향상이 단순히 피드백에 노출되었기 때문이 아니라, 진보 유도(피드백을 통해 실패를 성공으로 전환)와 피드백 인지 크레딧 할당(FCO를 사용하여 이러한 전이로부터 학습)이라는 구체적인 메커니즘 덕분임을 강조합니다.
• 효율성 vs 비용: 저자들은 다회차 재생성 및 검증 오버헤드로 인해 MulFeRL의 훈련 비용이 더 높다는 점을 인정합니다. 그러나 이 방법이 실패한 샘플로부터 더 밀도 높은 학습 신호를 추출함으로써, 버려질 수 있는 샘yle로부터 더 적은 최적화 단계만으로도 강력한 성능에 도달할 수 있는 더 높은 샘플 효율성을 가진다고 주장합니다.
• 한계점: 논문은 이 접근 방식이 신뢰할 수 있는 결과 검증과 유용한 피드백에 의존한다는 점을 언급합니다. 또한, 현재 설계는 모든 실패 그룹에 대한 롤아웃 수준의 피드백에 집중하고 있어, 부분적으로 정답인 솔루션에 대한 더 미세한(fine-grained) 개선을 놓칠 수 있음을 지적하며, 향후 연구에서 단계별(step-level) 피드백으로 확장될 수 있음을 시사합니다.

결론적으로, MulFeRL은 언어적 피드백을 검증자로 게이트된 학습 신호로 변환함으로써 RL 학습이 어려운 실패 샘플에서도 계속 진행될 수 있게 하며, 이를 통해 도메인 내 및 도메인 외 작업 모두에서 우수한 추론 능력을 이끌어낼 수 있음을 입증합니다.