💬 NLP

MathFimer: Enhancing Mathematical Reasoning by Expanding Reasoning Steps through Fill-in-the-Middle Task

이 논문은 기존 외부 모델이나 높은 계산 비용 없이 'Fill-in-the-middle' 태스크를 활용하여 수리 추론 데이터의 중간 단계를 확장하는 새로운 프레임워크인 MathFimer 를 제안하고, 이를 통해 다양한 벤치마크에서 모델 성능을 향상시킨다는 점을 보여줍니다.

원저자: Yuchen Yan, Yongliang Shen, Yang Liu, Jin Jiang, Xin Xu, Mengdi Zhang, Jian Shao, Yueting Zhuang

게시일 2026-02-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuchen Yan, Yongliang Shen, Yang Liu, Jin Jiang, Xin Xu, Mengdi Zhang, Jian Shao, Yueting Zhuang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수학 천재 만들기: '빈칸 채우기'로 사고력을 업그레이드하다

이 논문은 인공지능 (LLM) 이 수학 문제를 풀 때, **어떻게 하면 더 똑똑하고 상세하게 생각할 수 있게 할 수 있을까?**라는 질문에서 시작합니다.

기존의 AI 는 문제를 풀 때 '단계별 사고 (Chain-of-Thought)'를 하지만, 그 단계들이 너무 간략하거나 생략된 경우가 많아요. 마치 요리 레시피에 "재료를 섞으세요"라고만 적혀 있고, '어떻게 섞는지', '몇 번 저어야 하는지'가 빠져있는 것과 비슷하죠.

이 논문은 이를 해결하기 위해 코딩 (프로그래밍) 에서 쓰이는 '빈칸 채우기 (Fill-in-the-middle)' 기술을 수학에 적용한 MathFimer라는 새로운 방법을 제안합니다.

🍳 비유로 이해하는 MathFimer 의 원리

1. 기존 방식의 문제점: "더 큰 주방장 고용하기"

지금까지 AI 의 수학 실력을 올리려면, 이미 존재하는 문제를 더 잘 풀 수 있는 **더 강력한 AI(주방장)**를 고용해서 상세한 레시피를 다시 써달라고 요청했죠.

단점: 더 큰 AI 는 비싸고, 전기를 많이 먹으며, 때로는 완전히 새로운 (하지만 틀릴 수도 있는) 레시피를 만들어냅니다.

2. MathFimer 의 아이디어: "레시피의 빈칸 채우기"

이 논문은 "새로운 주방장을 고용할 필요 없이, 이미 있는 레시피의 빈칸을 채워주자"고 말합니다.

상황: "계란을 깨고 -> [여기서 뭐 하지?] -> 팬에 부어라"라고 되어 있는 레시피가 있다고 칩시다.
작동: MathFimer 는 이 [여기서 뭐 하지?] 부분에 "소금 한 꼬집을 넣고, 젓가락으로 10 초간 저어라" 같은 구체적인 중간 단계를 찾아서 채워줍니다.
핵심: 원래 정답은 그대로 유지하면서, 그 사이사이에 더 많은 설명과 논리를 추가하는 것입니다.

🛠️ 어떻게 작동할까요? (3 단계 프로세스)

1 단계: 레시피 분해하기 (데이터 준비)

기존에 잘 풀린 수학 문제 답안지를 가져옵니다. 그리고 AI 가 "어디서부터 어디까지가 한 단계인가?"를 분석해서, **앞부분 (Prefix)**과 **뒷부분 (Suffix)**으로 잘게 나눕니다.

예시: "문제를 읽고 -> [빈칸] -> 식을 세우고 -> 답을 낸다"
여기서 [빈칸] 부분을 AI 가 다시 채우도록 훈련합니다.

2 단계: 빈칸 채우기 훈련 (모델 학습)

수천만 개의 수학 문제에서 중간 단계를 지우고, AI 가 그 빈칸을 채우도록 훈련시킵니다. 마치 수학 문제집의 해설지에 있는 '중간 계산 과정'을 AI 가 직접 찾아서 써보게 하는 것과 같습니다. 이렇게 훈련된 모델을 MathFimer라고 부릅니다.

3 단계: 레시피 업그레이드 (실제 적용)

훈련이 끝난 MathFimer 를 다른 수학 문제집에 적용합니다. 기존에 "A+B=C"라고만 적혀 있던 답안을, "A 와 B 를 더하면 C 가 되는데, 그 이유는 ~이기 때문입니다"라고 상세하게 설명이 추가된 답안으로 바꿉니다.

🌟 왜 이 방법이 좋을까요?

비용 절감 (가장 큰 장점): 더 강력한 AI 를 새로 만들 필요 없이, 기존 데이터를 활용해서 효율적으로 업그레이드합니다.
정확도 향상: AI 가 중간 과정을 자세히 생각할수록, 최종 답이 틀릴 확률이 줄어듭니다. 마치 복잡한 수학 문제를 풀 때, 한 단계씩 꼼꼼히 계산하는 것과 같습니다.
신뢰성: 완전히 새로운 답을 만들어내는 게 아니라, 이미 검증된 정답의 사이사이에 설명을 덧붙이는 것이므로, 답이 틀어질 위험이 적습니다.

📊 실제 결과

실험 결과, MathFimer 로 중간 단계를 보강한 데이터로 학습한 AI 는 **GSM8K(초등 수학)**와 MATH(경시대회 수학) 같은 유명한 시험에서 기존 AI 보다 훨씬 높은 점수를 받았습니다. 특히, AI 가 스스로 생각한 과정 (Reasoning) 이 훨씬 더 풍부하고 논리적으로 변했습니다.

💡 결론

이 논문은 **"AI 가 수학 문제를 풀 때, '정답'만 외우는 게 아니라 '과정'을 더 자세히 이해하게 하면, 훨씬 똑똑해진다"**는 것을 증명했습니다. 마치 학생에게 해설지를 줄 때, "정답은 5 입니다"라고만 알려주는 대신, "왜 5 가 나오는지 단계별로 자세히 설명"해 주는 것과 같은 효과를 내는 것입니다.

이 방법은 AI 의 수학 능력을 높이는 데 있어, 저렴하고 효율적이며 확실한 방법을 제시했다는 점에서 매우 의미 있습니다.

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 수학적 추론 능력을 향상시키기 위해 'Chain-of-Thought (CoT, 사고의 사슬)' 방식이 표준으로 자리 잡았습니다. 그러나 기존 CoT 데이터의 추론 단계 (reasoning steps) 의 세분화와 완성도가 모델 성능을 제한하는 주요 요인임을 발견했습니다.

기존의 추론 단계 확장 방법들은 다음과 같은 한계를 가집니다:

외부 모델 의존성: 더 강력한 외부 모델을 필요로 하여 비용이 많이 들고, "더 큰 모델이 더 큰 모델을 만든다"는 비효율적인 순환 구조를 만듭니다.
높은 계산 비용: 몬테카를로 트리 서치 (MCTS) 등 복잡한 탐색 알고리즘을 사용하여 상당한 연산 자원을 소모합니다.
신뢰성 문제: 기존 인간 검증 데이터를 기반으로 하지 않고 완전히 새로운 추론 사슬을 생성하는 경우, 오류가 발생할 가능성이 높아집니다.

따라서, 기존의 인간 검증된 솔루션의 유효성을 해치지 않으면서, 더 효율적이고 신뢰할 수 있는 방법으로 추론 단계를 확장할 수 있는 방법이 필요했습니다.

2. 제안 방법론: MathFimer (Methodology)

저자들은 코드 추론 분야의 "Fill-in-the-middle (FIM, 중간 채우기)" 작업에서 영감을 받아 MathFimer라는 새로운 프레임워크를 제안했습니다. 이 방법은 기존 CoT 데이터의 중간 단계를 누락시키고, 이를 모델이 재구성하도록 훈련하여 추론 단계를 확장합니다.

주요 단계:

데이터 구성 (NuminaMath-FIM):
- 고품질 수학적 추론 데이터셋인 NuminaMath-CoT를 기반으로 합니다.
- 각 문제의 해답을 단계별로 분해한 후, 임의의 한 단계 (Middle) 를 제거하고 앞선 단계 (Prefix) 와 뒤따르는 단계 (Suffix) 를 쌍으로 구성합니다.
- 특수 토큰 (<|fim_prefix|>, <|fim_middle|>, <|fim_suffix|>) 을 사용하여 FIM 학습 데이터를 생성합니다. 총 250 만 개의 학습 샘플을 구축했습니다.
모델 훈련 (MathFimer-7B):
- 수학 특화 베이스 모델인 Qwen2.5-Math-7B를 사용하여 위 FIM 데이터로 지도 학습 (SFT) 을 수행합니다.
- 모델은 주어진 앞뒤 문맥을 바탕으로 누락된 중간 추론 단계를 생성하도록 학습됩니다.
추론 단계 확장 (Step Expansion):
- 훈련된 MathFimer-7B 모델을 사용하여 기존 데이터셋 (MathInstruct, MetaMathQA 등) 의 인접한 두 단계 사이에 누락된 상세한 중간 단계를 삽입합니다.
- 유사도 필터링: 생성된 단계가 기존 단계와 너무 유사할 경우 (유사도 임계값 $\eta=0.8$ 초과), 중복으로 간주하여 제거합니다.
- PRM 검증: 생성된 단계의 품질을 검증하기 위해 Qwen2.5-Math-PRM-7B를 사용하여 과정 보상 모델 (Process Reward Model) 점수를 산출하고, 낮은 점수의 단계를 필터링할 수 있습니다.

3. 주요 기여 (Key Contributions)

새로운 프레임워크 제안: 코드 완성 기술에서 영감을 받아 수학적 추론 단계 확장을 위한 MathFimer를 제안했습니다. 이는 외부 모델 없이 기존 데이터의 구조를 유지하면서 세부 단계를 주입하는 방식입니다.
데이터셋 및 모델 공개: 250 만 개의 FIM 학습 데이터인 NuminaMath-FIM과 이를 기반으로 훈련된 MathFimer-7B 모델을 공개하여, 수학적 추론 데이터셋을 개선하는 실용적이고 확장 가능한 솔루션을 제공합니다.
성능 입증: 다양한 베이스 모델 (Llama 3.1, Qwen2.5-Math 등) 과 데이터셋 (GSM8K, MATH 등) 에 대한 광범위한 실험을 통해, MathFimer 로 확장된 데이터로 훈련된 모델이 기존 데이터로 훈련된 모델보다 일관되게 높은 성능을 보임을 입증했습니다.

4. 실험 결과 (Results)

성능 향상: GSM8K 와 MATH 벤치마크에서 일관된 성능 향상을 보였습니다.
- 예: Meta-Llama3.1-8B + MathInstruct-CoT 데이터의 경우, MathFimer 확장 후 평균 정확도가 27.75% 에서 31.52% 로 3.77%p 향상되었습니다.
- 예: Qwen2.5-Math-72B + MetaMathQA 데이터의 경우, 52.71% 에서 57.14% 로 4.43%p 향상되었습니다.
반복 확장 (Iteration): 단계 확산을 반복 (Iterative expansion) 할수록 추론 사슬이 더욱 정교해지며 성능이 추가적으로 향상됨을 확인했습니다 (3 회 반복 시 GSM8K 에서 +15.54%p 향상).
모델 크기 영향: MathFimer-1.5B, 7B, 72B 를 비교한 결과, 모델 크기가 커져도 확장 품질의 차이가 크지 않아 상대적으로 작은 모델로도 효과적인 단계 확장이 가능함을 보였습니다.
타 도메인 일반화: 수학 데이터로 훈련된 MathFimer 를 적용하여 훈련된 모델이 논리 추론 (BBH, LogicBench) 및 과학 추론 (GPQA) 등 **수학 외의 도메인 (OOD)**에서도 추론 능력을 향상시킴을 확인했습니다.
비교 우위: 프롬프트 기반 (Prompt-based) 단계 확장이나 DPO, RL 기반 방법들보다 계산 효율성이 높으며 동등하거나 더 나은 성능을 달성했습니다.

5. 의의 및 결론 (Significance)

MathFimer 는 고성능 외부 모델이나 고비용의 RL/탐색 알고리즘 없이도, 기존 데이터의 구조를 유지하면서 추론의 세분화를 통해 LLM 의 수학적 추론 능력을 획기적으로 향상시킬 수 있음을 증명했습니다.

실용성: 기존 검증된 데이터의 신뢰성을 유지하면서 추가적인 추론 단계를 자동 생성하여 데이터 품질을 높이는 비용 효율적인 접근법입니다.
확장성: 이 방법은 수학뿐만 아니라 논리, 과학 등 다양한 추론 도메인으로 일반화될 수 있으며, RL(강화 학습) 등 다른 최적화 기법과 결합하여 시너지 효과를 낼 수 있는 기반을 제공합니다.

결론적으로, 이 연구는 **추론 단계의 세분화 (Granularity)**가 LLM 의 추론 능력 향상에 핵심적이며, 이를 달성하기 위한 FIM 기반 접근법이 매우 효과적임을 시사합니다.