CORE: Concept-Oriented Reinforcement for Bridging the Definition-Application Gap in Mathematical Reasoning

이 논문은 수학 문제 해결 능력과 실제 개념 이해 사이의 간극을 해소하기 위해, 검증 가능한 개념 설명을 감독 신호로 활용하여 추론 경로를 강화하는 새로운 RL 프레임워크인 CORE 를 제안합니다.

핵심

🎓 1. 문제: "공식 외우는 것" vs "원리 이해하기"

지금까지의 AI 는 수학 문제를 풀 때 아주 똑똑해 보였습니다. 하지만 그 실체는 **'패턴 암기'**에 가까웠습니다.

• 비유: Imagine (상상해 보세요) 어떤 학생이 수학 시험을 볼 때, 문제 지문을 읽자마자 "아, 이거 '피타고라스 정리' 문제구나!"라고 외운 공식만 대입해서 정답을 맞춥니다.
• 문제점: 하지만 문제의 숫자나 순서만 살짝 바꿔도 (예: "삼각형의 변의 길이가 3, 4, 5 가 아니라 5, 12, 13 이라면?") 그 학생은 당황해서 틀립니다. 공식 (개념) 을 외웠을 뿐, 왜 그 공식이 쓰이는지 이해하지 못하기 때문입니다.

저자들은 AI 가 **"정의를 입으로 읊조릴 수는 있어도 (기억), 실제 문제에 적용하지는 못한다 (이해)"**는 치명적인 간극을 발견했습니다.

💡 2. 해결책: CORE (개념 중심 강화 학습)

이 간극을 메우기 위해 개발한 CORE는 AI 에게 "정답만 맞으면 돼"가 아니라 **"이 문제를 풀 때 어떤 개념을 사용했는지 보여줘"**라고 가르치는 새로운 훈련 방식입니다.

세 가지 핵심 비유로 설명해 드릴게요.

① 교과서와 퀴즈 만들기 (데이터 준비)

• 비유: AI 에게 무작위 문제집을 주는 대신, 수학 교과서를 가져와서 "이 장은 '선형 독립'이라는 개념을 배우는 거야"라고 명확히 짚어주고, 그 개념과 딱 맞는 연습 문제를 준비합니다.
• 효과: AI 가 문제와 개념을 명확하게 연결하도록 기초를 다집니다.

② "개념 힌트"를 주입하는 훈련 (CORE-CR)

• 비유: AI 가 문제를 풀다가 막히면, AI 가 스스로 "아, 내가 이 개념을 잊어버렸구나!"라고 깨닫게 합니다. 이때 AI 가 틀린 답을 고르면, "이 문제는 '피타고라스 정리'를 써야 해!"라고 짧게 힌트를 주고 다시 풀게 합니다.
• 핵심: AI 가 틀렸을 때, 단순히 "틀렸어"라고 점수만 깎는 게 아니라, 올바른 개념을 떠올리게 하는 힌트를 주입해서 다시 생각하게 만듭니다. 마치 선생님이 "네가 그 공식을 썼다면 왜 안 될까? 이 공식은 언제 쓰는 거지?"라고 질문하며 유도하는 것과 같습니다.

③ "개념을 생각한 사고 과정"을 모방하게 하기 (CORE-KL)

• 비유: AI 가 개념을 모른 채 푼 사고 과정과, 개념을 알고 푼 사고 과정을 비교합니다.
• 핵심: AI 에게 "네가 원래 푼 방식보다, 개념을 알고 푼 방식이 훨씬 더 논리적이야. 너의 뇌 (모델) 가 그 논리적인 사고 과정을 따라가도록 훈련해라"라고 가르칩니다. 이는 AI 가 개념을 자연스럽게 떠올리는 습관을 들게 합니다.

🚀 3. 결과: 진짜 실력이 늘었습니다

이 훈련을 받은 AI 는 다음과 같은 변화를 보였습니다.

1. 유연한 사고: 문제의 숫자나 순서가 바뀌어도 당황하지 않고, **"아, 이건 여전히 '피타고라스 정리'가 필요한 상황이구나"**라고 판단해 정답을 맞춥니다.
2. 다른 문제에도 적용: 교과서에서 본 적이 없는 새로운 유형의 수학 문제 (외부 벤치마크) 를 풀 때도 훨씬 잘합니다.
3. 가짜 지시어에 속지 않음: 문제 지문에 헷갈리게 하는 말 (예: "이건 삼각형이 아니야"라고 속이는 말) 이 있어도, 핵심 개념을 보고 진짜 문제를 파악합니다.

🌟 요약

이 논문은 **"AI 에게 정답을 맞히는 법을 가르치는 게 아니라, 수학적 개념을 이해하고 적용하는 법을 가르쳐야 진짜 똑똑해진다"**는 것을 증명했습니다.

마치 주사위 게임에서 운으로 이기는 것을 넘어, 수학의 원리를 이해하여 어떤 상황에서도 이길 수 있는 전략을 세우게 만든 것과 같습니다. CORE 는 AI 가 단순히 "패턴을 반복하는 기계"가 아니라, "진짜 이해하는 지능"으로 성장하게 하는 중요한 디딤돌이 됩니다.

기술 요약

1. 문제 정의 (Problem Definition)

대규모 언어 모델 (LLM) 은 복잡한 수학 문제를 해결하는 데 능숙해졌으나, 개념적 이해 (Conceptual Understanding) 가 필요한 상황에서는 여전히 한계를 보입니다.

• 정의 - 적용 간극 (Definition-Application Gap): 모델은 수학 개념의 정의를 정확히 암기하거나 재진술할 수 있지만, 실제 문제 해결 과정에서 해당 개념을 올바르게 식별하고 적용하는 데 실패합니다.
• 기존 RLVR 의 한계: 기존의 검증 가능한 보상 (Verifiable Rewards) 을 활용한 강화학습 (RLVR) 은 최종 정답의 정확성만을 보상 신호로 사용합니다. 이는 모델이 문제의 표면적 패턴 (키워드, 형식) 을 재사용하도록 학습시킬 뿐, 어떤 개념이 언제, 어떻게 적용되어야 하는지에 대한 세밀한 개념적 신호 (Fine-grained conceptual signal) 를 제공하지 못합니다.
• 결과: 모델은 절차적 패턴 매칭에 의존하여 문제를 풀지만, 개념 선택 오류나 적용 실패가 빈번하게 발생합니다.

2. 방법론 (Methodology: CORE Framework)

저자들은 CORE (Concept-Oriented REinforcement) 라는 새로운 강화학습 프레임워크를 제안합니다. 이는 명시적인 수학 개념을 제어 가능한 감독 신호로 변환하여 모델의 추론 과정을 개념 기반 (Concept-grounded) 으로 유도합니다.

2.1 데이터 구축 (Dataset Curation)

• 소스: '고급 대수학 (3 판)'이라는 검증된 교재를 기반으로 합니다. 이 교재는 개념 정의, 예시, 그리고 해당 개념과 직접적으로 연결된 연습 문제로 구성되어 있어 '개념 - 연습' 매핑이 명확합니다.
• 정제: 기존 영어 코퍼스의 오염 (Contamination) 문제를 피하기 위해 중국어 교재를 영어로 번역하여 사용했습니다.
• 개념 탐침 (Concept Probes): 교재의 236 개 개념 정의에서 생성된 1,110 개의 고품질 객관식 퀴즈를 생성하여 모델의 개념 이해도를 정량적으로 평가하는 도구로 활용했습니다.

2.2 진단 실험 (Gap Diagnostics)

• 모델이 개념 정의를 정확히 암기할 수 있음에도 불구하고, 문제의 조건이 미세하게 변경되거나 (예: 분자와 분모의 위치 변경) 개념이 명시적으로 요구될 때 실패하는 현상을 확인했습니다. 이는 모델이 개념적 추론이 아닌 표면적 휴리스틱에 의존하고 있음을 시사합니다.

2.3 CORE 의 세 가지 학습 레시피 (Training Recipes)

CORE 는 기존 정책 경사 (Policy Gradient) 알고리즘 (예: GRPO) 을 기반으로 하며, 다음과 같은 세 가지 변형을 제공합니다:

1. CORE-Base (표준 RL): 생성된 개념 정렬 퀴즈 (Concept-aligned quizzes) 를 사용하여 표준 GRPO 알고리즘으로 직접 학습합니다.
2. CORE-CR (개념 유도 궤적 교체, Concept-Guided Trajectory Replacement):
   • 그룹 내 모든 모델 응답이 틀린 경우 (개념적 실패), 해당 실패 궤적을 개념 텍스트가 포함된 프롬프트로 다시 생성된 새로운 궤적으로 교체합니다.
   • 교체된 궤적에는 추가 보상 (Reward Bonus) 을 부여하여 모델이 개념을 활용한 추론을 강화하도록 유도합니다.
3. CORE-KL (개념 유도 KL 정규화, Concept-Guided KL-Regularization):
   • 모델이 개념을 명시적으로 유도받았을 때의 추론 궤적과, 유도받지 않았을 때의 추론 궤적 간의 Forward KL 발산 (KL Divergence) 을 최소화하는 손실 항을 추가합니다.
   • 이는 모델이 외부 개념 힌트 없이도 내부적으로 개념 기반 추론을 수행하도록 강제합니다.

3. 주요 기여 (Key Contributions)

• 개념 중심 강화학습 프레임워크: 최종 정답뿐만 아니라 추론 과정의 개념적 정확성을 감독 신호로 포함하는 새로운 RL 파이프라인을 제안했습니다.
• 정의 - 적용 간극의 정량화 및 해소: 모델이 개념을 암기할 수는 있으나 적용하지 못하는 현상을 진단하고, 이를 해결하기 위한 구체적인 학습 전략 (궤적 교체, KL 정규화) 을 제시했습니다.
• 알고리즘 및 검증기 독립성 (Algorithm & Verifier Agnostic): 특정 RL 알고리즘이나 외부 검증 모델 (Verifier) 에 의존하지 않으며, 표준 정책 경사 알고리즘에 플러그인으로 적용 가능합니다.
• 자기지도 학습 가능성: 외부 '전문가' 모델 없이도 동일한 모델 패밀리 내에서 데이터 생성과 학습을 수행하여 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

여러 모델 (Qwen2-Math-7B, DeepSeek-R1-Distill-Qwen-1.5B, Qwen2.5-Math-1.5B, Llama-3-8B-Instruct) 에서 광범위한 실험이 수행되었습니다.

• 도메인 내 (In-domain) 성능: 교재 기반 개념 - 연습 세트에서 CORE 변형 모델들은 베이스라인 (Vanilla, SFT) 대비 일관된 성능 향상을 보였습니다. (예: Qwen2-Math-7B 에서 TEXTBOOK 벤치마크 9.3% 향상, THEOREMQA 9.6% 향상).
• 도메인 외 (Out-of-domain) 일반화: GSM8K, MATH, MMLU-STEM, SVAMP 등 다양한 수학 벤치마크에서도 성능이 향상되었습니다. 이는 모델이 단순한 데이터 과적합이 아닌, 전용 가능한 추론 능력을 습득했음을 의미합니다.
• 강건성 (Robustness): 관련 없는 개념 (Distractors) 이 문제 앞에 추가되었을 때, CORE 로 학습된 모델들은 베이스라인보다 정확도 하락폭이 훨씬 작았습니다. 이는 모델이 불필요한 휴리스틱에 덜 의존하고 핵심 개념에 집중함을 시사합니다.
• 개념 선택 및 적용 분석: 진단 실험 결과, CORE 로 학습된 모델들은 정답을 도출할 때 명시적으로 관련 개념을 언급하고 올바르게 적용하는 비율이 높았습니다.
• 자기지도 학습 검증: 외부 대형 모델을 사용하지 않고 Qwen2-Math-7B 스스로 생성한 퀴즈로 학습하더라도 CORE-CR 은 유의미한 성능 향상을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 수학 추론 능력을 단순한 계산이나 패턴 매칭을 넘어 진정한 개념적 역량 (Genuine Conceptual Competence) 으로 발전시키는 데 중요한 기여를 합니다.

• 근본적 해결: 최종 정답의 정확성만 추구하는 기존 RL 의 한계를 넘어, 추론 과정의 '개념적 정당성'을 학습에 통합함으로써 정의와 적용 사이의 간극을 메웠습니다.
• 범용성: 수학뿐만 아니라 원리 기반 추론이 필요한 다른 분야에서도 개념 중심의 학습 신호를 활용하여 모델의 추론 능력을 향상시킬 수 있는 가능성을 제시합니다.
• 실용성: 아키텍처 변경 없이 기존 RL 파이프라인에 쉽게 적용 가능하여, 실제 모델 학습에 즉시 도입할 수 있는 실용적인 방법론을 제공합니다.

요약하자면, CORE는 LLM 이 수학적 개념을 단순히 '아는' 것을 넘어, 문제 해결 과정에서 이를 올바르게 '사용'하도록 만드는 효과적인 강화학습 전략을 제시한 연구입니다.