🤖 AI

VERIFY-RL: Verifiable Recursive Decomposition for Reinforcement Learning in Mathematical Reasoning

이 논문은 수학적 추론 학습 시 미분 규칙과 같은 기호 연산을 활용해 하위 문제의 복잡도 감소와 정답 포함성을 수학적으로 검증할 수 있는 'Verify-RL' 프레임워크를 제안하여, 기존의 휴리스틱한 분해 방식보다 훨씬 높은 문제 해결 정확도를 달성했습니다.

원저자: Kaleem Ullah Qasim, Jiashu Zhang, Hao Li, Muhammad Kafeel Shaheen

게시일 2026-02-10

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kaleem Ullah Qasim, Jiashu Zhang, Hao Li, Muhammad Kafeel Shaheen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 기존 방식의 문제점: "엉터리 지도와 잘못된 조언" 🗺️❌

기존에도 AI에게 어려운 문제를 쉬운 문제로 쪼개서 가르치는 '커리큘럼 학습'이라는 방법이 있었습니다. 하지만 기존 방식은 마치 **"어려운 수학 문제를 풀기 위해, 옆에 있는 친구(기존 AI)에게 '이거 좀 더 쉬운 문제로 만들어줘'라고 부탁하는 것"**과 같았습니다.

문제는 이 친구가 가끔 엉터리 문제를 만들어준다는 점입니다.

"이 문제보다 쉬운 문제야!"라고 가져왔는데, 막상 풀어보니 더 어렵거나 (난이도 오류)
"이걸 풀면 원래 문제를 푸는 데 도움이 될 거야!"라고 했는데, 전혀 상관없는 문제이거나 (연관성 오류)
심지어 수학 법칙에도 맞지 않는 이상한 문제를 던져주기도 합니다.

이렇게 잘못된 '쉬운 문제'들로 공부하면, AI는 혼란에 빠지고 결국 실력이 늘지 않거나 잘못된 습관이 생기게 됩니다.

2. VERIFY-RL의 해결책: "완벽한 수학 공식 가이드북" 📘✅

연구진은 이 문제를 해결하기 위해, AI에게 친구의 조언을 듣게 하는 대신 **'수학의 절대 법칙(미분 공식)'**을 직접 이용하기로 했습니다.

이것은 마치 **"수학 문제를 쪼갤 때, 반드시 검증된 공식(연쇄 법칙, 곱의 법칙 등)만을 사용하도록 강제하는 완벽한 가이드북"**을 준 것과 같습니다. 이 가이드북은 세 가지 엄격한 검사(V1, V2, V3)를 통과해야만 합니다.

V1 (진짜 쉬워졌니?): 쪼개진 문제가 원래 문제보다 구조적으로 확실히 단순해야 합니다. (계단이 아래로 내려가야 함)
V2 (도움이 되니?): 작은 문제를 푸는 과정이 큰 문제를 푸는 정답 안에 반드시 포함되어 있어야 합니다. (퍼즐 조각이 전체 그림의 일부여야 함)
V3 (수학적으로 맞니?): 반드시 검증된 수학 공식(미분 규칙)을 통해서만 쪼개져야 합니다. (근거 없는 추측 금지)

이 방식은 사람이 일일이 확인하는 게 아니라, 컴퓨터가 수학적으로 **"이 문제는 100% 완벽하게 쪼개졌어!"**라고 즉시 검증할 수 있습니다. 이를 논문에서는 **'구조에 의한 검증(Verification by construction)'**이라고 부릅니다.

3. 결과: "수학 천재로 거듭난 AI" 🎓🚀

이렇게 '완벽하게 검증된 쉬운 문제'부터 시작해서 점점 어려운 문제로 나아가는 커리큘럼으로 AI를 훈련시켰더니 놀라운 결과가 나왔습니다.

난이도 높은 문제 정답률 폭등: 가장 어려운 수학 문제(D5 단계)를 맞히는 확률이 기존 모델보다 2배 이상(32% $\rightarrow$ 68%) 뛰어올랐습니다.
효율적인 학습: AI가 엉터리 문제 때문에 헤매지 않으니, 훨씬 더 똑똑하고 간결하게 정답을 찾아내기 시작했습니다.

요약하자면... 📝

이 논문은 AI에게 수학을 가르칠 때, **"대충 쉬워 보이는 문제"**를 던져주는 것이 아니라, **"수학 법칙에 근거하여 확실히 쉽고, 확실히 도움이 되는 문제"**를 순서대로 배치하여 학습시키는 것이 얼마나 강력한지를 증명한 연구입니다.

마치 초등 수학부터 고등 수학까지 빈틈없는 완벽한 학습 로드맵을 AI에게 제공하여, AI가 수학의 원리를 제대로 깨우치게 만든 것이라고 할 수 있습니다.

[기술 요약] VERIFY-RL: 수학적 추론을 위한 검증 가능한 재귀적 분해 기반 강화학습

1. 문제 정의 (Problem Statement)

대규모 언어 모델(LLM)의 수학적 추론 능력을 향상시키기 위해 복잡한 문제를 쉬운 하위 문제로 나누어 단계적으로 학습시키는 **커리큘럼 학습(Curriculum Learning)**이 널리 사용됩니다. 그러나 기존의 문제 분해(Decomposition) 방식은 다음과 같은 치명적인 한계가 있습니다.

휴리스틱(Heuristic) 의존성: 기존 방식(예: LADDER)은 모델이 스스로 "더 쉬운 문제"를 생성하도록 유도하는데, 이 과정에서 생성된 하위 문제가 실제로 더 쉬운지, 부모 문제 해결에 도움이 되는지, 혹은 수학적으로 타당한 관계인지 보장할 수 없습니다.
학습 노이즈 발생: 검증되지 않은 분해 방식은 부적절한 하위 문제를 생성하며, 이는 학습 과정에서 모델에게 잘못된 패턴을 학습시키거나 해결 불가능한 문제를 제공하여 학습 불안정성을 초래합니다. (논문에서는 기존 방식의 약 21.6%가 검증 실패함을 지적)

2. 제안 방법론 (Methodology: VERIFY-RL)

본 논문은 미분(Symbolic Differentiation)의 수학적 규칙을 활용하여, 모든 문제 분해가 수학적으로 증명 가능한 구조를 갖도록 하는 VERIFY-RL 프레임워크를 제안합니다.

A. 세 가지 검증 가능 속성 (V1–V3)

모든 부모-자식 문제 관계는 다음 세 가지 조건을 반드시 만족해야 하며, 이를 심볼릭 연산(SymPy 등)을 통해 자동 검증합니다.

V1: 구조적 단순성 (Easier): 자식 문제의 중첩 깊이(Nesting Depth)가 부모 문제보다 엄격히 낮아야 함 ( $\delta(c) < \delta(p)$ ).
V2: 솔루션 포함성 (Helpful): 자식 문제의 해(derivative)가 부모 문제의 해의 구성 요소(인수 또는 항)로 포함되어야 함 ( $\sigma(c) \preceq \sigma(p)$ ).
V3: 규칙 유도성 (Related): 분해가 미분 규칙(연쇄 법칙, 곱의 법칙, 합의 법칙)을 통해 공식적으로 유도되어야 함.

B. 프레임워크 구성 요소

검증된 재귀적 분해 (Verified Recursive Decomposition): 미분 규칙을 기반으로 문제를 분해하고, 위 세 가지 속성을 통과한 경우에만 분해 트리(Decomposition Tree)에 포함시킵니다. 이를 통해 "구조에 의한 검증(Verification by Construction)"을 달성합니다.
커리큘럼 구성 (Curriculum Construction): 분해된 트리에서 위상 정렬(Topological Sort)을 수행하여, 난이도 $D_1$ 에서 $D_5$ 까지 점진적으로 어려워지는 학습 순서를 생성합니다.
강화학습 (Reinforcement Learning): 생성된 커리큘럼을 바탕으로 GRPO(Group Relative Policy Optimization), PPO, DPO 알고리즘을 적용합니다. 특히 GRPO는 그룹 내 상대적 이점을 사용하여 수학적 추론의 변동성을 줄이는 데 효과적임을 보여줍니다.
보상 함수 (Reward Function): 복잡한 신경망 보상 모델 대신, 심볼릭 계산을 통한 **정확도(Accuracy)**와 형식(Format) 기반의 규칙 기반 보상을 사용하여 보상 해킹(Reward Hacking)을 방지합니다.

3. 주요 기여 (Key Contributions)

수학적 보증이 있는 분해 프레임워크: 휴리스틱이 아닌 미분 규칙에 기반하여 V1, V2, V3 속성을 모두 만족하는 분해 이론을 정립했습니다.
완전한 검증 성공률: 모델 생성 방식이 78.4%의 검증 성공률을 보이는 반면, VERIFY-RL은 규칙 기반 설계를 통해 100%의 검증 성공률을 달성했습니다.
효율적인 커리큘럼 알고리즘: 분해 트리를 활용하여 수학적 선행 학습 관계가 보장된 학습 경로를 자동 생성합니다.

4. 실험 결과 (Results)

Qwen3(0.6B, 1.5B, 3B) 및 DeepSeek-R1-Distill 모델을 대상으로 실험한 결과는 다음과 같습니다.

성능 향상: 가장 어려운 문제( $D_5$ )에 대한 정확도가 기존 모델 대비 최대 112% 향상되었습니다. (Qwen3-1.5B 기준 32% $\rightarrow$ 68%)
전체적인 개선: 모델 규모와 상관없이 전체적인 정확도가 약 40% 상대적 향상을 보였습니다.
알고리즘 비교: GRPO가 PPO나 DPO보다 수학적 추론 작업에서 가장 안정적이고 높은 성능을 기록했습니다.
어블레이션 연구 (Ablation Study):
- 커리큘럼 순서가 가장 큰 기여를 했으며, 쉬운 문제에서 어려운 문제로 가는 순서가 필수적임을 확인했습니다.
- V1(단순성)과 V2(도움됨) 속성이 결여될 경우 성능이 급격히 하락하여, 검증된 분해의 중요성을 입증했습니다.
토큰 효율성: 학습된 모델은 정답을 맞히면서도 불필요하게 긴 추론을 늘어놓지 않고, 더 간결하고 정확한 추론 과정을 생성하는 경향을 보였습니다.

5. 의의 (Significance)

본 논문은 LLM의 추론 능력을 높이기 위한 커리큘럼 학습에서 **"무엇이 올바른 하위 문제인가?"**라는 근본적인 질문에 대해, 수학적 규칙을 통한 **형식적 검증(Formal Verification)**이라는 명확한 해답을 제시했습니다. 이는 단순히 데이터를 늘리는 것이 아니라, 데이터 간의 논리적 구조와 선행 관계를 수학적으로 보장하는 것이 모델의 추론 성능 향상에 얼마나 결정적인지를 보여준 중요한 연구입니다.