Scaf-GRPO: Scaffolded Group Relative Policy Optimization for Enhancing LLM Reasoning

이 논문은 복잡한 추론 문제에서 발생하는 '학습 절벽' 문제를 해결하기 위해 모델의 학습이 정체될 때만 단계별 힌트를 제공하는 점진적 훈련 프레임워크인 Scaf-GRPO 를 제안하고, 이를 통해 Qwen2.5-Math-7B 모델의 AIME24 벤치마크 성능을 기존 GRPO 대비 44.3% 향상시켰음을 입증합니다.

핵심

🏗️ 핵심 비유: "혼자서 못 하는 문제를 어떻게 가르칠까?"

지금까지 AI(대형 언어 모델) 는 수학이나 논리 문제를 풀 때, **정답을 맞히면 칭찬 (보상)**을 받고 틀리면 **무시 (0 점)**를 받으며 학습했습니다.

하지만 여기서 큰 문제가 생깁니다.
AI 가 자신의 능력 밖인 아주 어려운 문제를 만나면, 아무리 시도해봐도 항상 틀립니다.

• 결과: AI 는 계속 0 점만 받습니다.
• 문제: 0 점만 받으면 AI 는 "어떻게 고쳐야 할지" 전혀 알 수 없습니다. (학습 신호가 사라지는 '학습 절벽' 현상)
• 기존 방법의 한계: 다른 연구들은 이때 "정답의 앞부분을 보여주고 나머지를 쓰게" 했습니다. 하지만 이는 AI 가 정답을 **따라만 쓰는 것 (모방)**일 뿐, 스스로 생각하는 능력을 키워주지 못합니다. 마치 자전거 바퀴를 붙여주어 타게 하는 것과 비슷합니다.

✨ Scaf-GRPO 의 해결책: "지혜로운 선생님"

이 논문이 제안한 Scaf-GRPO는 "스케일링 (비계)" 개념을 적용합니다.
건축에서 비계는 건물을 지을 때 임시로 세우는 발판입니다. 건물이 스스로 서면 비계는 제거하죠. 이 방법도 비슷합니다.

1. 혼자서 해보게 하기 (Phase 1):
   먼저 AI 가 스스로 문제를 풀게 합니다. 만약 AI 가 혼자서 풀 수 있다면, 선생님 (힌트) 은 개입하지 않습니다. AI 가 스스로 성장할 기회를 주는 것입니다.

2. 절대적 절벽을 감지하기:
   AI 가 아무리 노력해도 계속 틀리는 '진짜 어려운 문제'를 감지합니다. 이때부터는 선생님이 개입합니다.

3. 단계별 힌트 제공 (Phase 2):
   정답을 바로 알려주는 게 아니라, 가장 추상적인 힌트부터 시작해 점차 구체적으로 도와줍니다.

   • 1 단계 (지식 힌트): "이 문제는 어떤 공식을 써야 해?" (가장 약한 도움)
   • 2 단계 (계획 힌트): "이 공식을 어떻게 적용할지 큰 그림을 그려봐." (중간 도움)
   • 3 단계 (해결 힌트): "이 숫자를 대입해서 계산해봐." (구체적인 도움)

   AI 가 가장 약한 힌트만으로도 문제를 풀 수 있다면, 그 힌트만 받고 학습합니다. 만약 그래도 안 되면 조금 더 구체적인 힌트를 줍니다.

   • 핵심: AI 가 스스로 답을 찾아내는 과정을 경험하게 하여, 힌트가 없어도 나중에 그 문제를 혼자 풀 수 있게 만드는 것입니다.

🚀 왜 이 방법이 더 좋은가요?

• 기존 방법 (정답 앞부분 보여주기): 자전거 바퀴를 떼어내면 바로 넘어집니다. AI 가 정답을 외우는 것뿐입니다.
• Scaf-GRPO (단계별 힌트): AI 가 스스로 균형을 잡는 법을 배웁니다. 비계 (힌트) 는 일시적으로만 쓰이고, AI 는 그 경험을 통해 실제 능력을 키웁니다.

📊 실제 성과

이 방법을 적용한 실험 결과, 기존 방식 (Vanilla GRPO) 보다 수학 문제 해결 능력이 44% 이상 향상되었습니다. 특히 AI 가 혼자서는 절대 풀 수 없던 '학습 절벽'에 막혀 있던 문제들도, 이 방법을 통해 해결할 수 있게 되었습니다.

💡 요약

이 논문은 **"AI 가 어려운 문제에 부딪혀 멈춰서지 않도록, 정답을 다 알려주는 대신 '가장 필요한 최소한의 힌트'를 단계적으로 주어 스스로 성장하게 만든다"**는 혁신적인 아이디어를 제시합니다.

마치 아이가 자전거를 탈 때, 처음엔 부모님이 뒤에서 잡아주다가 (힌트), 아이가 균형을 잡으면 손을 떼어주는 (비계 제거) 것과 같은 원리입니다. 이를 통해 AI 는 더 이상 정답을 외우는 기계가 아니라, 스스로 문제를 해결하는 지능을 갖추게 됩니다.

기술 요약

Scaf-GRPO: LLM 추론 능력 강화를 위한 계단식 그룹 상대적 정책 최적화 (Scaffolded Group Relative Policy Optimization) 기술 요약

본 논문은 ICLR 2026 에 제출된 것으로, 대형 언어 모델 (LLM) 의 복잡한 추론 능력을 향상시키기 위해 제안된 새로운 강화 학습 프레임워크인 Scaf-GRPO를 소개합니다. 이 연구는 검증 가능한 보상 (Verifiable Rewards) 을 기반으로 한 강화 학습 (RLVR) 의 근본적인 한계인 "학습 절벽 (Learning Cliff)" 문제를 해결하는 데 중점을 둡니다.

1. 문제 정의: 학습 절벽 (The Learning Cliff)

기존의 RLVR 방법론 (예: GRPO) 은 모델이 정답을 도출했을 때만 보상을 받도록 설계되어 있습니다. 그러나 모델이 현재 능력 범위를 훨씬 벗어난 매우 어려운 문제에 직면할 경우, 모든 탐색 시도가 실패하여 지속적인 0 보상 신호를 받게 됩니다.

• 보상 신호 손실: 어려운 문제 집합에 대해 모델은 일관되게 0 보상을 받습니다.
• 기울기 소멸 (Vanishing Gradients): GRPO 와 같은 알고리즘에서는 보상의 평균과 표준편차를 기반으로 '이점 (Advantage)'을 계산합니다. 모든 보상이 0 이면 이점 신호도 0 으로 붕괴되어, 정책 업데이트를 위한 학습 기울기가 사라집니다.
• 결과: 모델은 이러한 "진짜로 어려운 (True-hard)" 문제들을 학습할 수 없게 되어, 학습이 정체되는 "학습 절벽" 현상이 발생합니다.

기존의 해결책인 "오프-폴리시 가이드 (Off-policy guidance)" 방식 (예: 정답의 일부인 프리픽스를 제공하고 나머지를 생성하게 하는 LUFFY 등) 은 분포 불일치 (Distributional Mismatch) 를 초래하거나 모델의 탐색 능력을 제한한다는 단점이 있었습니다.

2. 방법론: Scaf-GRPO 프레임워크

Scaf-GRPO 는 교육학의 계단식 (Scaffolding) 이론에서 영감을 받아, 모델이 독립적으로 학습할 수 있을 때는 개입하지 않고, 학습이 정체될 때만 계층적이고 점진적인 힌트를 제공하는 온-폴리시 (On-policy) 프레임워크입니다.

핵심 메커니즘

1. 학습 진단 및 면제 기간 (Phase 1):

   • 훈련 초기 (예: 15%) 에는 가이드 없이 모델이 순수하게 온-폴리시 탐색을 하도록 합니다.
   • 이 기간 동안 모델이 스스로 해결할 수 있는 "가짜로 어려운 (Pseudo-hard)" 문제들을 학습하게 하여, 불필요한 힌트 의존성을 방지합니다.
   • 면제 기간 후에도 여전히 0 보상을 지속적으로 받는 문제들을 "진짜로 어려운 (True-hard)" 문제로 분류합니다.

2. 계층적 힌트 유도 탐색 (Phase 2):

   • "진짜로 어려운" 문제가 감지되면, 사전 정의된 3 단계 힌트 계층 구조를 순차적으로 적용합니다.
   • 힌트 계층:
     1. 지식 힌트 (Knowledge): 문제 해결에 필요한 핵심 개념이나 공식을 제시.
     2. 계획 힌트 (Planning): 해결을 위한 고수준 전략적 프레임워크 제시.
     3. 해결 힌트 (Solution): 구체적인 계산 단계 제시.
   • 점진적 탐색: 가장 추상적인 힌트 (지식) 부터 시작하여 모델이 정답을 도출할 때까지 힌트의 구체성을 높여갑니다. 모델이 스스로 해결할 수 있는 최소한의 힌트만 제공하여 모델의 자율성을 유지합니다.

3. 온-폴리시 배치 증강 및 손실 함수:

   • 기존 GRPO 의 손실 함수 수학적 형태를 변경하지 않습니다.
   • 대신, 모든 시도가 실패한 배치에 **최소한의 힌트로 성공한 하나의 궤적 (Trajectory)**을 추가하여 배치를 증강시킵니다.
   • 이렇게 생성된 성공 궤적은 모델의 현재 정책 ($\pi_\theta$) 에서 힌트가 포함된 프롬프트 ($q \oplus h$) 로 샘플링되었으므로, 온-폴리시 비율을 유지하며 안정적인 학습 신호를 복원합니다. 이는 다른 정책에서 가져온 궤적을 사용하는 오프-폴리시 방법의 불안정성을 피합니다.

3. 주요 기여

1. 새로운 학습 프레임워크 제안: "학습 절벽" 문제를 해결하기 위해 고정된 솔루션 프리픽스 대신, 프롬프트 내에 계층적이고 점진적인 힌트를 제공하는 Scaf-GRPO 를 제안했습니다. 이는 정책의 일관성을 유지하면서도 모델의 탐색 자율성을 보존합니다.
2. 탁월한 성능 입증: 다양한 수학 벤치마크 (AIME, MATH, Olympiad 등) 에서 Qwen2.5-Math-7B 모델을 대상으로 실험한 결과, 기존 GRPO 대비 상대적으로 44.3% (AIME24 기준), 강력한 프리픽스 기반 방법인 LUFFY 대비 9.2% 의 성능 향상을 달성했습니다.
3. 범용성 및 견고성 검증: Qwen 시리즈뿐만 아니라 Llama, Long-Chain-of-Thought (LongCoT) 모델 등 다양한 아키텍처와 규모 (1.5B~7B) 에서 일관된 성능 개선을 보여주어 모델에 구애받지 않는 프레임워크임을 입증했습니다.

4. 실험 결과

• 주요 벤치마크 성능 (Qwen2.5-Math-7B):
  • AIME24: Vanilla GRPO (30.0%) → Scaf-GRPO (43.3%)
  • 평균 점수 (7 개 벤치마크): Vanilla GRPO (45.2%) → Scaf-GRPO (50.9%)
  • OOD 일반화 (GPQA-Diamond): Vanilla GRPO 대비 15.5% 향상.
• 학습 효율성: 힌트 유도 탐색은 샘플의 약 17.4% 에서만 트리거되지만, 0 보상을 가진 샘플을 고가치 학습 신호로 전환하여 전체 훈련 시간을 단축하고 최적 성능에 더 빠르게 도달하게 합니다.
• 기술적 분석:
  • 면제 기간의 중요성: 초기 면제 기간 없이 처음부터 힌트를 제공하면 모델이 힌트에 의존하게 되어 성능이 저하됨 (약 9.2% 감소).
  • 계층적 구조의 효과: 추상적 개념부터 구체적 단계까지의 점진적 가이드가 직접적인 해결책 제공보다 일반화 능력 향상에 더 효과적임.

5. 의의 및 결론

Scaf-GRPO 는 LLM 이 스스로 도달할 수 없었던 문제 영역을 극복할 수 있도록 돕는 강력한 방법론을 제시합니다. 기존의 오프-폴리시 가이드 방식이 가진 분포 불일치 문제를 해결하면서도, 모델이 어려운 문제를 학습할 수 있는 기회를 제공하여 **자율적 추론 (Autonomous Reasoning)**의 한계를 확장합니다.

이 연구는 단순히 정답을 맞추는 것을 넘어, 모델이 복잡한 추론 기술을 내면화 (Internalization) 하고 독립적인 문제 해결 능력을 기르도록 하는 교육적 접근이 RLVR 에서 얼마나 중요한지를 보여줍니다. 향후 자동화된 힌트 생성 및 적응형 계단식 메커니즘을 통해 더욱 확장될 수 있을 것으로 기대됩니다.