🤖 AI

PyraMathBench: Evaluating and Improving Mathematical Capability in Large Language Models

이 논문은 대규모 언어 모델의 수치 처리와 수학적 추론의 통합을 평가하기 위해 설계된 포괄적인 계층적 벤치마크인 PyraMathBench를 소개하며, 수치 계산과 추상적 추론의 약점을 해결함으로써 모델 성능을 크게 향상시키는 SOLVE 모듈과 IRPO 학습 방법을 제안한다.

원저자: Zetian Ouyang, Linlin Wang, Gerard de Melo, Liang He

게시일 2026-06-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zetian Ouyang, Linlin Wang, Gerard de Melo, Liang He

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

대규모 언어 모델(LLM)을 시를 쓰고 역사책을 완벽하게 요약할 수 있는 똑똑하고 박식한 학생이라고 상상해 보십시오. 하지만 이들에게 수학 문장제를 건네주면 종종 비틀거립니다. 그들은 이야기를 이해할 수는 있지만 실제 숫자 계산에서 실패하거나, 숫자를 "환각(hallucinate)" 현상처럼 지어내기도 합니다.

**"PyraMathBench"**라는 논문은 이 학생들을 테스트하는 새로운 방법과 그들이 학습하도록 돕는 새로운 방법을 소개합니다. 다음은 쉬운 용어로 풀이한 내용입니다.

1. 문제점: 수학적 실패의 "블랙박스"

현재 우리가 AI의 수학 능력을 테스트할 때는 보통 최종 정답만을 확인합니다. 맞았는가? 예 또는 아니오.

결함: 만약 답이 틀렸다면, 우리는 왜 틀렸는지 알 수 없습니다. AI가 문제를 오해한 것일까요? 수학 규칙을 잊어버린 것일까요? 아니면 단순히 산수를 틀린 것일까요(마치 버튼이 고장 난 계산기처럼)?
비유: 이는 학생의 에세이를 오직 최종 성적으로만 채점하는 것과 같습니다. 만약 "C" 학점을 받았다면, 글씨체가 나빴는지, 질문을 이해하지 못했는지, 아니면 철자 오류를 범했는지 알 수 없습니다. 문제를 해결하려면 과정을 살펴봐야 합니다.

2. 해결책: PyraMathBench ("피라미드" 테스트)

저자들은 PyraMathBench라는 거대한 새로운 벤치마크를 구축했습니다. 이것을 수학적 기술의 피라미드라고 생각하십시오.

구조: 단순히 AI에게 어려운 문제를 주는 대신, 그들은 이를 세분화했습니다. 저자들은 7,404개의 실제 세계 수학 이야기를 가져와 이를 **32,505개의 작은 조각(하위 과제)**으로 나누었습니다.
층위:
- 기저부 (수치 파싱): AI가 텍스트에서 숫자를 찾아낼 수 있는가? 이미지에서 숫자를 읽을 수 있는가?
- 중간층 (이해 및 계산): AI가 이야기를 수학 방정식으로 바꿀 수 있는가? 실제로 덧셈을 하거나 방정식을 풀 수 있는가?
- 상층부 (복합 추론): 이 모든 것을 종합하여 원래의 어려운 문제를 해결할 수 있는가?
결과: 모든 층위에서 AI를 테스트한 결과, 연구진은 많은 최상위권 AI들이 사실 기초적인 부분에서 매우 형편없다는 것을 발견했습니다. 그들은 논리에는 똑똑할지라도, 이미지 속 숫자를 인식하지 못하거나 단순한 산수에서 혼란을 겪곤 합니다.

3. 진단: 무엇이 문제인가?

11개의 서로 다른 AI 모델(GPT-4, Llama, DeepSeek 같은 유명 모델 포함)을 테스트한 결과, 두 가지 주요 약점을 발견했습니다.

숫자 "읽기"의 미숙함: 모델들은 텍스트 혹은 이미지 속의 숫자를 놓치는 경우가 많습니다. 사진 속의 시계를 보고 시간을 잘못 추측하거나, 문장제 문제에서 결정적인 숫자를 무시하기도 합니다.
환각 현상: 숫자를 모를 때, 이야기를 이어가기 위해 숫자를 그냥 지어내 버리곤 합니다.

4. 해결책: SOLVE와 IRPO

AI가 더 나아지도록 돕기 위해, 저자들은 **스마트 튜터(Smart Tutor)**와 개인 트레이너(Personal Trainer) 같은 두 가지 새로운 도구를 만들었습니다.

SOLVE (스마트 튜터):
- 문제점: AI는 외부 도구(계산기나 코드 인터프리터 등)를 사용하려고 시도하지만, 요청 형식을 잘못 작성하여 실패하는 경우가 많습니다(예: 잘못된 코드 구문 작성). 이는 마치 학생이 계산기를 쓰려고 하지만 버튼을 엉뚱한 순서로 누르는 것과 같습니다.
- 해결책: SOLVE는 번역기 역할을 하는 모듈입니다. AI가 아무리 엉망인 방식(심지어 "손글씨" 스타일이라도)으로 도움을 요청하더라도, SOLVE가 이를 깔끔하게 정리하여 계산기에 완벽한 요청을 전달합니다. 또한, AI가 스스로 해결할 수 있을 만큼 똑똑한지 판단하여 도구 호출로 시간을 낭비하지 않도록 조절합니다.
IRPO (개인 트레이너):
- 문제점: 표준적인 학습 방법은 AI에게 최종 정답에 대해서만 보상을 줍니다. 이 방법은 AI에게 과정 중에 계산기를 얼마나 효과적으로 사용하는지 가르치지 못합니다.
- 해결책: IRPO는 새로운 학습 방법입니다. AI의 전체 사고 과정을 관찰합니다. AI가 적절한 시점에 계산기를 호출하면 보상을 줍니다. 만약 스스로 해결할 수 있는 문제에 계산기를 호출하면 벌칙을 줍니다. 이를 통해 AI가 언제 생각하고 언제 도구를 사용해야 하는지 배우게 합니다.

5. 결과

이러한 해결책을 Qwen-2.5 모델에 적용했을 때:

모델의 수학 점수가 5.0점 상승했습니다.
모델은 언제 계산기를 사용하고 언제 스스로 수학 문제를 풀어야 하는지 훨씬 더 잘 알게 되었습니다.

요약

이 논문은 AI를 수학에 더 능숙하게 만들기 위해서는 단순히 최종 점수만 봐서는 안 된다고 주장합니다. 우리는 AI가 어디에서 실패하는지 정확히 보기 위해 수학을 작은 기술의 피라미드로 분해해야 합니다. 일단 균열(숫자 인식 능력 부족 등)을 발견하면, **스마트한 도구(SOLVE)**와 **더 나은 학습법(IRPO)**을 구축하여 혼란스러워하던 학생을 수학 천재로 바꿀 수 있습니다.

기술 요약: PyraMathBench

문제 정의

과학 연구에서 금융 분석에 이르기까지 다양한 응용 분야에서 수치적 추론(numerical reasoning)이 중추적인 역할을 수행함에도 불구하고, 현재의 대규모 언어 모델(LLM)은 수학적 과업 수행에 있어 상당한 어려움을 겪고 있습니다. 기존의 벤치마크들은 수치 처리 결함(예: 토큰화 오류, 계산 실수, 환각 현상)과 수학적 추론 오류(예: 논리적 해석 오류)를 분리하여 평가하는 데 실패하는 경우가 많습니다. 결과적으로, 모델이 실패했을 때 그 원인이 계산 능력의 부재 때문인지, 아니면 문제 구조를 이해하는 능력의 부재 때문인지 불분명합니다. 또한, 기존 프레임워크는 기초적인 기술이 복잡한 추론에 어떻게 영향을 미치는지 보여주는 과업 간 상관관계를 결여한 채, 각 능력을 고립된 상태로 테스트하는 경향이 있습니다. 아울러, 멀티모달 LLM(MLLM)은 시각적 수학 문제를 평가받지만, 현재의 평가는 실제 시각적 데이터 추출이 아닌 텍텍스트 단서에 대한 의존도를 구분하지 않음으로써 이들의 시각적 추론 능력을 과대평가하는 경점히 있습니다.

방법론

1. PyraMathBench (PMB)

저자들은 수치 처리와 수학적 추론 사이의 시너지를 평가하기 위해 설계된 포괄적인 계층적 벤치마크인 PyraMathBench를 소개합니다.

규모 및 구조: 이 벤치마크는 7,404개의 수학 문장제 문제(MWP) 및 시각적 추론 문제로부터 파생된 32,505개의 질문으로 구성됩니다.
계층적 분류 체계: 피아제의 인지 발달 이론에서 영감을 받아, 과업을 4가지 핵심 인지 측면과 14가지 구별된 하위 과업으로 분해했습니다:
1. 복합 추론(Complex Reasoning): 수학 문장제 문제(MWP) 및 시각적 추론 문제(VRP).
2. 이해(Understanding): 질문 추상화(QA), 과업 분해(TD), 수학 지식(MK).
3. 계산(Calculation): 산술, 방정식 풀이(ES), 정렬, 공식 적용(FA).
4. 수치 파싱(Numerical Parsing): 숫자 변환(NC), 단위 변환(UC), 숫자 인식(NR), 시각적 데이터 정량화(VDQ), 객체 카운팅(OC).
데이터 구축: 데이터는 6개의 기존 데이터셋(예: GSM8K, MATH, MathVista) 및 연습 문제 모음에서 가져왔습니다. 하위 과업은 고등학교 수학에 능통한 6명의 전문가에 의해 주석이 달렸으며, 이는 합성 생성 방식이 아닌 실제 세계의 문제를 엄격하게 분해했음을 보장합니다. 데이터셋에는 단일 모달 및 멀티모달 과업이 모두 포함되어 있습니다.
평가 지표: 수치형 정답에는 상대 오차(0–100 척도)에 기반한 커스텀 점수 함수를 사용하며, 텍스트형 정답에는 MathBERT 임베딩과 코사인 유사도를 사용합니다.

2. 제안된 솔루션: SOLVE 및 IRPO

수치 계산 및 도구 활용의 약점을 해결하기 위해, 저자들은 두 가지 개선 방안을 제안합니다:

SOLVE (Smart Optimization & Learning-based VErsatile module): 유연성과 적응성을 높이기 위해 설계된 도구 통합 모듈입니다.
- 퍼지 호출 인식(Fuzzy Call Recognition): 경직된 "플러그 앤 플레이(plug-and-play)" 모듈과 달리, SOLVE는 다양한 형식(LaTeX, Python, 비정형 텍스트)의 도구 호출을 수용하고 이를 표준화하여 파싱 실패를 줄입니다.
- 동적 난이도 평가: IRT-2PL(문항 반응 이론)을 활용하여, SOLVE는 과업의 난이도와 모델의 현재 숙련도( $\theta$ )를 추정합니다. 모델이 과업을 올바르게 해결할 확률이 임계값(0.95)을 초과하면, SOLVE는 효율성을 최적화하기 위해 도구 호출을 건너뜁니다.
IRPO (Interactive Relative Policy Optimization): 그룹 상대 정책 최적화(GRPO)를 확장한 새로운 강화 학습(RL) 프레임워크입니다.
- 이중 스트림 샘플링(Dual-Stream Sampling): IRPO는 기본 정책( $\pi_\theta$ )과 도구 증강 정책( $\pi^\tau_\theta$ )으로부터 동시에 출력을 샘플링합니다.
- 보상 함수: 보상 함수는 다각적입니다. 모델이 역량을 갖춘 경우(하위 과업 정확도 기준) 불필요한 도구 호출을 처벌하고, 복잡한 하위 문제를 해결하는 데 도움이 될 때 도구 사용을 보상합니다. 또한 동적 베이스라인과 도구 없는 솔루션의 성공 확률을 모델링하는 로지스틱 함수를 포함합니다.

주요 결과

벤치마크 평가

11개의 대표적인 LLM(DeepSeek-R1, GPT-4o, Qwen-2.5, Llama-3.1 포함)에 대한 실험 결과는 다음과 같습니다:

성능 격차: DeepSeek-R1 및 GPT-4o와 같은 상위 모델들은 복합 추론(MWP)에서는 우수한 성능을 보이지만, 질문 추상화(Question Abstraction), 방정식 풀이(Equation Solving), 수치 파싱(Numerical Parsing) 측면에서는 상당한 약점을 보입니다.
수학 특화 모델: 놀랍게도, 수학 특화 모델(예: DeepSeek-Math, Qwen2.5-Math)은 질문 추상화 명령을 무시하거나 일관되지 않은 답변 형식을 사용하는 등의 이유로, 일반 모델인 Llama-3.1보다 여러 하위 과업에서 낮은 성능을 보였습니다.
멀티모달 한계: MLLM은 시각적 수치 파싱 하위 과업(NR, VDQ, OC)에서 매우 낮은 점수(평균 20 미만)를 기록했습니다. 분석 결과, 이들은 객체 수를 세거나 시계를 읽는 것과 같은 단순한 시나리오에서도 이미지에서 데이터를 추출하기보다는 주로 텍스트 정보에 의존하는 것으로 나타났습니다.
상관관계 분석: 피어슨 상관계수 분석 결과, 질문 추상화(QA), 방정식 풀이(ES), **공식 적용(FA)**에 대한 성능이 전체 MWP 성능과 가장 강력한 상관관계를 보였습니다. 이 영역들이 현재 LLM의 주요 병목 구간임을 나타냅니다.

SOLVE 및 IRPO를 통한 개선

제안된 방법들을 Qwen-2.5 및 Llama-3.1-8B에 적용한 결과 유의미한 향상이 있었습니다:

베이스라인 vs. PPM: 단순한 "플러그 앤 플레이" 도구 호출은 파싱 오류와 컨텍스트 비대화로 인해 오히려 성능을 저하시켰습니다(예: Qwen-2.5가 91.1에서 82.8로 하락).
SOLVE의 영향: SOLVE를 통합함으로써 퍼지 도구 호출을 처리하고 불필요한 호출을 건너뜀으로써 점수가 향상되었습니다(Qwen-2.5: 95.8; Llama-3.1: 74.8).
IRPO의 영향: IRPO를 통한 추가 학습은 가장 높은 점수를 달성했습니다(Qwen-2.5: 96.1; Llama-3.1: 76.1). 이는 Qwen-2.5의 바닐라 베이스라인 대비 5.0%의 향상을 보여줍니다.
비교: IRPO는 여러 라운드에 걸쳐 도구 호출에 대한 의사결정 과정을 명시적으로 최적화함으로써, 특히 성능이 낮은 모델에서 GRPO보다 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 PyraMathBench가 "정답 중심"의 평가에서 과정 중심의 계층적 평가로의 필수적인 전환을 제공한다고 주장합니다. 복잡한 문제를 원자적 인지 과업으로 분해함으로써, 이 벤치마크는 연구자들이 특정 실패 모드(예: 계산 오류와 추론 오류의 구분)를 정확히 짚어낼 수 있게 합니다.

저자들은 제안된 SOLVE와 IRPO 프레임워크가 현재 LLM의 발전을 저해하는 "도구 호출 파싱 실패"와 "비효%율적인 도구 사용"을 효과적으로 완화한다고 단언합니다. 결과는 내부 추론과 외부 도구 호출 사이의 시너지를 강화하는 것이 수학적 역량을 진전시키는 데 결정적임을 시사합니다. 결론적으로, 현재 모델들이 높은 수준의 추론에서는 가능성을 보이고 있으나, 기초적인 수치 처리 및 멀티모달 데이터 추출 능력은 실세계의 수학적 문제를 해결하는 데 여전히 큰 장벽으로 남아 있습니다.

한계점

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

분해의 모호성: 과업 분해에는 여러 가지 유효한 버전이 존재할 수 있으며, 이는 특히 "이해(Understanding)" 측면에서 결과에 영향을 미칠 수 있습니다.
범위: 분류 체계는 14가지 하위 과업을 다루고 있지만, 가능한 모든 원자적 언어 능력을 포괄하지는 않습니다.
언어: 본 연구는 현재 영어로 제한되어 있습니다.
도메인 특수성: SOLVE 및 IRPO 방법은 수학 문장제 문제(MWP)에 최적화되어 있으며, 형식적 증명이나 순수 대수 조작과 같은 다른 수학적 영역으로 직접 일반화되지 않을 수 있습니다.