기술 요약: 실패 접두사 조건부 학습을 통한 포화 문제에서의 추론 모델 훈련

문제 정의

검증 가능한 보상을 활용한 강화 학습 (RLVR) 이 대규모 언어 모델 (LLM) 의 추론 능력을 크게 향상시키면서, 새로운 병목 현상이 등장했습니다: 문제 포화입니다. 모델이 개선됨에 따라 훈련 문제 중 점점 더 많은 수가 "포화" 상태가 되어, 모델이 거의 모든 롤아웃에서 정답을 내놓게 됩니다. 이러한 문제들에서 보상 신호는 퇴화합니다. 이진 보상 (정답 시 1, 오답 시 0) 의 경우, 정확도가 100% 에 가까워질수록 보상 분포의 분산은 0 에 수렴합니다. 결과적으로 정책 경사가 소멸하여 표준 RLVR 훈련이 멈추게 됩니다.

포화에 대한 자연스러운 대응은 더 어렵고 포화되지 않은 문제를 수집하는 것이지만, 최첨단 모델이 기존 벤치마크에서 인간 수준의 성능에 도달함에 따라 이 접근법은 점점 더 비용이 많이 들고 어려워집니다. 이 논문은 포화된 문제들에도 드물게 발생하는 오답 추론 궤적 형태의 귀중한 학습 신호가 존재하지만, 모델이 거의 생성하지 않기 때문에 표준 샘플링 하에서는 이러한 신호에 접근하기 어렵다고 주장합니다.

방법론: 실패 접두사 조건부 학습

저자들은 포화 문제의 학습 신호를 해제하고, 오답이 발생하기 쉬운 추론 상태로 탐색을 전환하기 위해 설계된 실패 접두사 조건부 학습 (Failure-Prefix Conditioning) 방법을 제안합니다.

핵심 메커니즘

기존 질문 프롬프트에서 탐색을 시작하는 대신, 이 방법은 드문 오답 궤적의 접두사에 모델을 조건부로 설정합니다. 절차는 다음과 같습니다:

1. 포화 문제 식별: 기본 모델이 거의 완벽한 롤아웃 정확도 (예: 128/120 개 이상의 정답) 를 달성하는 질문을 선택합니다.
2. 드문 오답 샘플링: 포화된 질문에 대한 단일 오답 궤적이 발견될 때까지 롤아웃을 생성합니다.
3. 접두사 구성: 오답 궤적을 다양한 길이 (예: 전체 길이의 10% 에서 90%) 에서 잘라내어 후보 접두사를 생성합니다.
4. 목표 난이도 선정: 각 후보 접두사에 대해, 모델이 해당 접두사에서 계속할 때의 롤아웃 정확도를 추정합니다. 그리고 롤아웃 정확도가 목표 값 $\tau$에 가장 가까운 접두사 길이를 선택합니다.
   • 주요 실험에서는 이진 보상에 대한 보상 분산과 기대 경사 신호를 최대화하므로 $\tau = 0.5$를 선택합니다.
5. 훈련: 모델은 원래 질문과 선택된 실패 접두사를 연결한 새로운 데이터셋으로 RLVR(특히 GRPO) 을 통해 훈련됩니다.

변형

• 고정 절단: 여러 후보 접두사에 대한 정확도 추정의 계산 오버헤드를 줄이기 위해, 더 낮은 비용의 변형은 최적의 $\tau$를 검색하지 않고 고정된 비율 $\gamma$(예: 50%) 에서 오답 궤적을 단순히 잘라냅니다.
• 반복적 갱신: 훈련이 진행됨에 따라 모델이 개선되면, 이전에 유용했던 접두사들이 덜 효과적 (오프-폴리시) 이 될 수 있습니다. 저자들은 업데이트된 모델에서 실패 접두사를 재샘플링하여 데이터셋을 재구성하는 반복적 접근법을 제안하며, 이를 통해 초기 성능 정체기를 넘어 지속적인 개선을 가능하게 합니다.

주요 기여

1. 방법론 제안: 포화 문제에서 효과적인 RLVR 훈련을 가능하게 하기 위해 오답이 발생하기 쉬운 상태로 탐색을 유도하는 실패 접두사 조건부 학습 기법 도입.
2. 강건성 향상: 이 방법이 모델의 오해의 소지가 있는 초기 추론 단계에서 회복하는 능력을 향상시켜, 표준 RLVR 베이스라인에 비해 잘못된 중간 상태에 대해 더 강건한 모델을 만든다는 것을 입증.
3. 반복적 확장: 실패 접두사를 반복적으로 갱신하면 성능 정체기 이후 추가적인 향상을 얻을 수 있음을 입증하여, 포화된 데이터에서의 지속적 학습을 위한 경로를 제시.

실험 결과

저자들은 DeepSeek-R1-Distill-Qwen-1.5B 모델을 MATH 훈련 세트에 적용하여 많은 질문이 이미 포화 상태인 영역에서 이 방법을 평가했습니다.

• 성능 향상: 전체 MATH 세트 또는 포화된 부분집합만 사용한 표준 RLVR 은 미미한 향상만 보였습니다 (평균 정확도 약 40.9% 대 기본값 40.6%). 반면, 실패 접두사 조건부 학습은 평균 정확도 **44.5%**를 달성하여 +3.9 포인트의 향상을 보였습니다.
• 새로운 데이터와의 비교: 포화된 문제에서 실패 접두사 조건부 학습의 성능은 새로 수집된 중간 난이도 문제와 동일한 수로 훈련한 경우와 비슷하거나 약간 더 좋았습니다 (44.5% 대 44.0%). 이는 학습 신호가 적절히 해제된다면 포화된 문제도 새로운 데이터만큼 가치 있을 수 있음을 시사합니다.
• 강건성 분석: 오해의 소지가 있는 접두사 (잘못된 중간 단계) 로 테스트했을 때, 실패 접두사 조건부 학습으로 훈련된 모델은 베이스라인보다 정확도 저하가 현저히 느렸습니다. 예를 들어, 30% 잘못된 접두사의 경우 기본 모델의 정확도는 12.0 포인트 하락한 반면, 실패 접두사 모델은 6.5 포인트만 하락했습니다.
• 트레이드오프: 약간의 트레이드오프가 관찰되었습니다: 오류에 대한 강건성이 향상되는 반면, 올바른 중간 접두사가 제공되었을 때 베이스라인에 비해 정확도 향상 폭이 약간 작았습니다. 그러나 전체적인 강건성 향상이 우세하여 더 나은 전반적인 성능으로 이어졌습니다.
• 반복적 이득: 업데이트된 모델에서 재샘플링된 접두사를 사용한 실패 접두사 조건부 학습의 두 번째 반복은 평균 정확도를 **45.0%**로 끌어올려 초기 정체기를 돌파했습니다.

중요성과 주장

이 논문은 포화된 문제가 소진된 자원이 아님을 입증합니다. 포화된 문제에는 표준 샘플링 하에서는 접근할 수 없을 뿐인 귀중한 학습 신호가 포함되어 있습니다. 오답이 발생하기 쉬운 상태에 명시적으로 조건을 부여함으로써, 실패 접두사 조건부 학습은 이러한 신호를 효과적으로 복원합니다.

저자들은 이 방법이 비싸고 어려운 새로운 더 어려운 훈련 데이터 수집 작업에 대한 실용적인 대안을 제공한다고 주장합니다. 이는 최첨단 모델이 표준 RLVR 이 간과하는 희소하지만 정보량이 풍부한 오답 모드를 활용하여 기존 데이터셋에서 계속 개선될 수 있게 합니다. 이 연구는 추론 모델의 향후 발전 방향이 새로운 포화되지 않은 문제의 획득에만 의존하는 것이 아니라, 표적화된 탐색 전략을 통한 기존 데이터의 더 나은 활용에 있을 수 있음을 시사합니다.

이 논문은 한계에 대해 겸손하게 서술하며, 드문 오답을 식별하기 위한 계산 오버헤드가 필요하다는 점, 상대적으로 작은 모델에서 테스트되었다는 점, 그리고 현재 올바른 추론 준수에 있어 추가 조사가 필요한 트레이드오프가 나타난다는 점을 지적합니다.