FAPO: Flawed-Aware Policy Optimization for Efficient and Reliable Reasoning

이 논문은 강화 학습에서 정답을 도출했지만 추론 과정에 결함이 있는 '결함-긍정' 롤아웃의 양면성을 분석하고, 이를 초기 단계에서는 유용한 단서로 활용하다가 후기 단계에서는 신뢰할 수 있는 추론으로 전환시키는 파라미터 없는 페널티를 적용한 '결함 인지 정책 최적화 (FAPO)'를 제안하여 효율적이고 신뢰할 수 있는 추론 능력을 향상시키는 방법을 제시합니다.

핵심

🎓 배경: 왜 이 연구가 필요할까요?

최근 거대 언어 모델 (LLM) 은 강화학습 (RL) 을 통해 수학이나 논리 문제를 풀면서 점점 똑똑해지고 있습니다. 기존 방식은 **"정답을 맞히면 점수 1 점, 틀리면 0 점"**처럼 결과만 보고 학습시켰습니다.

하지만 여기서 치명적인 문제가 생깁니다.
학생이 문제를 풀 때, 논리적으로 완전히 틀린데 운 좋게 정답을 맞히는 경우가 종종 있습니다.

• 예시: 복잡한 수학 문제를 풀다가 중간에 실수해서 엉뚱한 계산이 나왔는데, 우연히 그 숫자가 정답과 같아지는 경우.
• 기존의 문제점: 선생님은 "정답을 맞혔으니 잘했다!"라고 점수를 줍니다. 학생은 "아, 이렇게 대충 풀어도 정답이 나오네?"라고 생각하며, **실수가 섞인 나쁜 습관 (결함 있는 추론)**을 계속 반복하게 됩니다.

이런 '나쁜 습관'이 쌓이면, 나중에 더 어려운 문제를 풀 때 그 나쁜 습관이 발목을 잡아 성능이 더 이상 오르지 않게 됩니다.

---

💡 해결책: FAPO (결함을 알아보는 똑똑한 선생님)

저자들은 이 문제를 해결하기 위해 FAPO라는 새로운 학습 방식을 제안했습니다. 핵심은 **"정답이 맞더라도, 그 과정에 결함이 있으면 벌점을 주되, 학습 초기에는 관대하게 대한다"**는 것입니다.

1. 비유: "초보 운전사"와 "숙련된 운전사"

• 학습 초기 (워밍업 단계):
  • 학생이 아직 운전 (문제 해결) 을 제대로 못 할 때, **운이 좋게 정답을 맞히는 것 (결함 있는 정답)**도 일단은 칭찬해 줍니다.
  • 이유: 학생이 "정답을 맞히는 기분"을 먼저 경험하게 해서 자신감을 주고, 빠르게 기본기를 다지게 하기 위함입니다. (이걸 '발판'으로 활용합니다.)
• 학습 후기 (정교화 단계):
  • 학생이 어느 정도 실력이 붙으면, 결함이 있는 정답에는 "아직은 부족해, 과정이 엉망이야"라고 벌점을 줍니다.
  • 이유: 이제부터는 '운'이 아닌 '실력'으로 정답을 맞추는 진짜 능력을 길러야 하기 때문입니다.

FAPO 는 이 시기를 자동으로 조절합니다. 학생이 약할 때는 관대하다가, 실력이 늘면 엄격해지는 지능적인 선생님 역할을 하는 것입니다.

2. 핵심 도구: "GenRM" (결함 탐지 로봇)

이 방식을 구현하기 위해 저자들은 **GenRM(Generative Reward Model)**이라는 새로운 도구를 만들었습니다.

• 기존 방식: 정답만 보고 "O/X"를 판단했습니다.
• GenRM: 학생이 풀이 과정을 하나하나 읽어보며 **"어디서 논리가 틀렸는지"**를 정확히 찾아냅니다.
  • 마치 숙제를 채점할 때, "정답은 맞았지만 3 단계에서 계산 실수가 있었네?"라고 구체적으로 지적하는 것입니다.
  • 이 로봇은 매우 빠르고 정확하게 결함을 찾아내어, FAPO 가 언제 벌점을 줄지 결정하는 눈 역할을 합니다.

---

🚀 FAPO 의 효과 (실제 성과)

이 방법을 적용한 결과, 다음과 같은 놀라운 변화가 있었습니다.

1. 더 빠른 성장: 학습 초반에는 결함 있는 정답도 활용해서 빠르게 실력을 키웠습니다.
2. 더 튼튼한 실력: 학습이 진행될수록 나쁜 습관 (결함) 이 사라지고, 논리적으로 완벽한 문제 해결 능력을 갖췄습니다.
3. 안정성: 학습 중 성능이 떨어지거나 불안정해지는 현상이 줄었습니다.
4. 비용 절감: 더 많은 시간을 쓰거나 긴 답변을 요구하지 않아도, 같은 시간 안에 더 좋은 결과를 냈습니다.

---

📝 한 줄 요약

"FAPO 는 인공지능이 문제를 풀 때, '운 좋게 맞힌 정답'을 학습 초기에는 발판으로 쓰다가, 실력이 늘면 그 나쁜 습관을 과감히 버리게 도와주는 똑똑한 학습 시스템입니다."

이처럼 FAPO 는 인공지능이 단순히 정답만 맞추는 '가짜 전문가'가 아니라, 논리적이고 신뢰할 수 있는 '진짜 전문가'로 성장하도록 돕는 혁신적인 방법입니다.

기술 요약

FAPO: Flawed-Aware Policy Optimization (결함 인지 정책 최적화) 기술 요약

본 논문은 ICLR 2026에 발표된 것으로, 검증 가능한 보상 (Verifiable Rewards) 을 활용한 강화학습 (RLVR) 이 대형 언어 모델 (LLM) 의 추론 능력을 향상시키는 과정에서 발생하는 '결함 있는 긍정적 롤아웃 (Flawed-Positive Rollouts)' 문제를 해결하기 위해 제안된 FAPO(Flawed-Aware Policy Optimization) 알고리즘을 다룹니다.

1. 문제 정의 (Problem Definition)

기존의 RLVR 패러다임에서는 모델이 다양한 추론 경로를 탐색하고, 최종 정답이 맞는 경우를 '긍정적 신호 (Positive Signal)'로 활용하여 정책을 최적화합니다. 그러나 최근 연구들은 모델이 정답은 맞지만 추론 과정에 결함이 있는 경우 (Flawed-Positive) 가 빈번하게 발생함을 지적했습니다.

• 주요 결함 패턴: 정답 추측 (Answer-guessing), 추론 건너뛰기 (Jump-in-reasoning) 등.
• 핵심 문제: 기존 규칙 기반 보상 시스템은 '완벽하게 올바른 롤아웃'과 '결함이 있지만 정답인 롤아웃'을 동일하게 긍정적 보상 (+1) 으로 처리합니다.
• 부정적 영향:
  • 초기 단계: 모델이 아직 완전한 해결책을 만들지 못할 때, 이러한 결함 있는 경로가 정답에 도달하는 '단거리 (Shortcut)' 역할을 하여 초기 학습 속도를 높입니다.
  • 후기 단계: 모델이 성숙해지면, 이러한 신뢰할 수 없는 추론 패턴이 강화되어 모델의 추론 신뢰도를 떨어뜨리고 성능의 상한선을 제한합니다.

2. 방법론 (Methodology)

FAPO 는 결함 있는 긍정적 롤아웃의 양면적 역할을 인식하고, 학습 단계에 따라 동적으로 보상 전략을 조정하는 무모수 (Parameter-free) 보상 페널티 메커니즘을 도입합니다.

2.1. 생성형 보상 모델 (GenRM) 개발

결함 있는 롤아웃을 정확하게 탐지하기 위해 생성형 보상 모델 (Generative Reward Model, GenRM) 을 제안합니다.

• 과정 수준 보상 (Process-level Reward): 단순히 정답 여부만 판단하는 것이 아니라, 추론 과정 중 오류가 발생한 구체적인 위치 (Step) 를 식별합니다.
• RL 기반 학습: GenRM 은 정답 여부뿐만 아니라 오류 위치의 정확도에 따라 페널티를 받는 RL 방식으로 학습됩니다. 이는 모델이 단순히 '예/아니오'를 추측하는 것을 방지하고 실제 오류 탐지 능력을 기르도록 유도합니다.
• 성능: 제안된 FAPO-GenRM-4B는 기존 판별형 PRM 이나 대형 LLM 기반 판정자보다 오류 탐지 정밀도 (Precision) 와 재현율 (Recall) 에서 우수한 성능을 보입니다.

2.2. FAPO 알고리즘 (적응형 학습 전략)

GenRM 을 통해 탐지된 결함 있는 긍정적 롤아웃에 대해 동적인 보상 조정을 수행합니다.

• 초기 학습 단계 (Warm-up): 모델의 추론 능력이 부족할 때는 결함 있는 긍정적 샘플도 긍정적 보상을 받아 모델이 정답에 도달하는 능력을 빠르게 습득하도록 합니다.
• 후기 학습 단계 (Refinement): 모델의 능력이 향상되면, 결함 있는 긍정적 샘플에 보상 페널티 (Reward Penalty) 를 부여합니다. 이는 모델이 신뢰할 수 없는 추론 패턴을 버리고, 완전하고 신뢰할 수 있는 추론 경로를 학습하도록 유도합니다.
• 수학적 기반: 그룹 상대적 정책 최적화 (GRPO) 프레임워크 내에서, 긍정적 샘플 중 '완벽한 것'과 '결함이 있는 것'의 비율 ($\alpha, \beta$) 에 따라 최적화 방향이 자연스럽게 전환되도록 설계되었습니다.

3. 주요 기여 (Key Contributions)

1. 결함 있는 긍정적 롤아웃의 체계적 분석: RL 학습 과정에서 이러한 샘플이 초기에는 학습의 발판 (Stepping Stone) 이 되지만, 후기에는 신뢰성 있는 추론을 방해하는 '이중적 효과'를 가진다는 것을 실험적으로 증명했습니다.
2. FAPO 알고리즘 제안: 추가적인 하이퍼파라미터 없이도 학습 단계에 따라 자동으로 최적화 방향을 전환하는 효율적이고 안정적인 정책 최적화 방법을 제시했습니다.
3. 고정밀 오류 탐지 모델 (GenRM): 과정 수준의 오류를 정밀하게 위치시킬 수 있는 경량화된 생성형 보상 모델을 개발하여, RLVR 시스템에 통합 가능한 오류 탐지 솔루션을 제공했습니다.
4. 토큰 예산 증가 없이 성능 향상: 더 긴 응답 (Longer CoT) 을 생성하지 않고도, 추론 과정의 신뢰성을 높여 최종 정확도를 개선했습니다.

4. 실험 결과 (Results)

실험은 수학 (AIME24, AIME25) 및 일반 도메인 (GPQA-Diamond) 작업에서 Qwen2.5-7B/32B 모델을 기반으로 수행되었습니다.

• 성능 향상: FAPO 는 베이스라인 대비 AIME24 에서 +4.7, AIME25 에서 +3.1, GPQA-Diamond 에서 +1.5의 평균 정확도 향상을 보였습니다.
• 프로세스 신뢰도: FAPO 를 적용한 모델은 결함 있는 긍정적 롤아웃의 비율이 지속적으로 감소하여, 추론 과정의 신뢰성이 크게 향상되었습니다.
• 학습 안정성: 베이스라인 모델은 학습 후기 단계에서 성능이 하락하거나 불안정해지는 경향이 있었으나, FAPO 는 학습 곡선이 매끄럽고 후기까지 안정적인 성능 향상을 유지했습니다.
• 효율성: GenRM 을 비동기적으로 분산 처리하여 도입함으로써, 전체 학습 시간의 증가를 20% 미만으로 억제하면서도 대규모 RL 시스템에 적용 가능한 효율성을 입증했습니다.

5. 의의 및 결론 (Significance)

FAPO 는 RLVR 분야에서 '정답만 보는 것'에서 '올바른 추론 과정을 보는 것'으로의 패러다임 전환을 이끕니다.

• 신뢰성 있는 추론: 모델이 단순히 정답을 맞히는 것이 아니라, 논리적으로 타당한 추론 경로를 학습하도록 유도하여 LLM 의 일반화 능력과 신뢰성을 높입니다.
• 확장성: 제안된 방법은 다양한 모델 아키텍처와 도메인에 적용 가능하며, 대규모 RL 시스템에서의 실용성을 입증했습니다.
• 미래 지향성: 생성형 보상 모델 (GenRM) 과 적응형 보상 전략을 결합함으로써, 향후 더 복잡하고 신뢰성이 요구되는 AI 에이전트 개발의 기반을 마련했습니다.

요약하자면, FAPO 는 강화학습 과정에서 발생하는 '속임수 (Shortcut)'를 초기에는 학습의 발판으로 활용하다가, 모델이 성장하면 이를 배제하여 효율적이고 신뢰할 수 있는 추론 능력을 함양하는 혁신적인 접근법입니다.