🤖 AI

MIRA-Math: A Benchmark for Minimal Information Requesting and Mathematical Reasoning

이 논문은 해결사가 최종 답을 계산하기 전 엄격한 예산 내에서 단 하나의 누락된 원자적 사실을 식별하고 요청해야 하는 2,310개의 수학 문제로 구성된 결정론적 벤치마크인 MIRA-Math를 소개하며, 이를 통해 언어 모델의 정보 탐색 능력과 추론 능력을 분리하여 평가할 수 있게 한다.

원저자: Charbel Al Bateh, Samer Saab Jr

게시일 2026-07-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Charbel Al Bateh, Samer Saab Jr

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 복잡한 퍼즐(스도쿠나 수학 문제 같은)을 풀려고 노력하고 있다고 상상해 보세요. 보통, 테스트를 보거나 스마트한 컴퓨터 프로그램을 사용할 때는 그림을 완성하는 데 필요한 모든 조각이 주어집니다. 당신은 그저 그것들을 올바르게 맞추기만 하면 됩니다.

하지만 현실 세계에서는 정보가 누락되는 경우가 많습니다. 게임의 규칙은 알지만 점수는 모를 수도 있습니다. 레시피는 알고 있지만 소금을 얼마나 넣어야 할지는 모를 수도 있죠.

MIRA-Math는 AI 모델(우리가 현재 사용하는 스마트한 챗봇 같은)이 이러한 특정한 상황, 즉 자신이 무엇을 모르는지 알고, 일을 끝내기 위해 정확히 어떤 정보가 필요한지 물어보는 능력을 다룰 수 있는지 확인하기 위해 설계된 새로운 "테스트"입니다.

다음은 이 논문을 쉬운 비유를 사용하여 설명한 내용입니다.

1. "빠진 재료" 게임

대부분의 AI 수학 테스트는 요리사에게 전체 레시피와 모든 재료를 준 다음 케이크를 구우라고 요청하는 것과 같습니다. 테스트의 목적은 "케이크를 구울 수 있는가?"입니다.

MIRA-Math는 다릅니다. 이 테스트는 AI에게 의도적으로 불완전한 레시피를 제공합니다.

설정: AI는 수학 문제를 보지만, 하나의 결정적인 숫자나 사실이 숨겨져 있습니다 (마치 빠진 재료처럼 말이죠).
목표: AI는 무언가 누락되었음을 깨닫고, 평이한 영어로 그것을 요청한 다음, 그 새로운 사실을 사용하여 문제를 풀어야 합니다.
함정: AI에게는 엄격한 "예산"이 있습니다. 질문을 몇 번밖에 할 수 없습니다. 만약 잘못된 것을 묻거나, 너무 모호하게 묻는다면 실패하게 됩니다.

2. "엄격한 사서"

이 테스트를 공정하고 정밀하게 만들기 위해, 논문은 특별한 캐릭터인 **고정 정보 보유자(Fixed Information Holder)**를 도입합니다 (생각해 보면 매우 엄격하고 글자 그대로만 받아들이는 사서와 같습니다).

사서의 역할: 이 사서는 누락된 단 하나의 사실을 쥐고 있습니다. 그들은 문제를 푸는 데 도움을 주지 않습니다. 힌트를 주지도 않습니다. 설명도 하지 않습니다.
규칙:
- 만약 당신이 "빠진 숫자가 무엇인가요?"라고 묻는다면 (너무 모호함), 사서는 "그런 것은 가지고 있지 않습니다"라고 답합니다.
- 만약 당신이 "변수 X의 값은 무엇입니까?"라고 묻는다면 (정밀함), 그리고 사서가 그 특정 사실을 가지고 있다면, 사서는 그것을 건네줍니다.
- 만약 당신이 가지고 있지 않은 것을 요구한다면, 사서는 "아니오"라고 답합니다.

이 설정은 AI가 단순히 수학을 잘하는 것이 아니라, 질문을 얼마나 정밀하게 할 수 있는지를 테스트합니다.

3. 두 가지 유형의 도전 과제

연구진은 2,310개의 서로 다른 퍼즐을 만들었으며, 이를 두 가지 카테고리로 나누었습니다.

유형 A ("고정된 슬롯"): AI는 누락된 조각이 어디에 있는지 알고 있습니다.
- 비유: "생년월일: ______"라고 적힌 빈칸이 있는 양식을 상상해 보세요. AI는 날짜를 물어봐야 한다는 것을 알고 있습니다. 테스트는 다음과 같습니다: 날짜를 올바르게 요청할 수 있는가, 그리고 그 정보를 사용하여 문제를 풀 수 있는가?
유형 B ("숨겨된 슬롯"): AI는 누락된 조각이 어디에 있는지 찾아내야 합니다.
- 비유: 열 개의 줄 중 하나가 비어 있는 양식을 상상해 보세요. 하지만 어느 줄인지는 알려주지 않습니다. AI는 전체 양식을 살펴보고, "아, '전화번호' 줄이 비어 있구나"라고 파악한 다음, 그 특정 항목에 대해 물어봐야 합니다. 이는 AI가 먼저 문제를 진단해야 하므로 더 어렵습니다.

4. 테스트가 밝혀낸 것들

연구진은 많은 다양한 AI 모델(매우 똑똑한 모델부터 작은 모델까지)을 테스트했고, 몇 가지 놀라운 사실을 발견했습니다.

질문하는 능력과 푸는 능력은 서로 다른 기술입니다: 어떤 AI가 올바른 질문을 던지는 데 능숙하다고 해서, 그 후에 계산을 잘한다는 뜻은 아닙니다.
- 예시: 한 AI는 (훌륭한 탐정처럼) 완벽한 누락 사실을 요청했지만, 그 후 계산을 (서툰 회계사처럼) 실패했습니다.
- 예시: 또 다른 AI는 수학 계산은 완벽하게 해냈지만, 잘못된 사실을 요청하여 결국 답을 얻지 못했습니다.
연습이 항상 도움이 되는 것은 아닙니다: 연구진은 AI에게 질문하는 법에 대한 예시(예: "치트 시트" 또는 "4-shot 프롬프팅")를 보여주는 시도를 했습니다. 때로는 이것이 도움이 되었지만, 종종 AI를 더 나쁘게 만들었습니다.
- 왜 그럴까요? AI가 예시를 너무 경직되게 복제하기 시작했기 때문입니다. 당면한 특정 문제를 보는 대신, 예시에서 본 패턴을 그대로 반복하여, 정작 다른 질문이 필요한 상황에서도 똑같은 패턴을 반복했습니다.

5. 이것이 왜 중요한가

저자들은 이 벤치마크가 의사를 위한 진단 도구와 같다고 말합니다.

현재의 테스트는 학생이 모든 노트(정보)를 가지고 있을 때 문제를 풀 수 있는지를 알려줍니다.
MIRA-Math는 학생이 자신의 지식에 공백이 있음을 식별하고, 그 공백을 채우기 위해 효과적으로 소통할 수 있는지를 알려줍니다.

논문은 결론적으로, AI가 실제 세상에서 진정으로 유용해지려면 정보가 불완전한 상황을 다루는 능력이 필요하며, 이를 위해 정확히 무엇을 물어봐야 하는지 알고, 그 답변을 올바르게 사용하는 법을 익혀야 한다고 강조합니다.

요약하자면: MIRA-Math는 단순히 AI가 수학을 할 수 있는지를 테스트하는 것이 아니라, AI가 자신이 무엇을 모르는지 인정하고, 혼란에 빠지거나 추측하지 않고 문제를 해결하기 위해 올바른 질문을 던질 수 있는지를 테스트하는 것입니다.

기술 요약: MIRA-Math

문제 정의

현재의 수학적 추론 벤치마크(예: GSM8K, MATH)는 일반적으로 문제를 해결하는 데 필요한 모든 사실을 제공하며, 모델이 완전한 상태로부터 최종 답안을 계산하는 능력만을 평가합니다. 반면, 광범위한 대화형 벤치마크들은 수학적 추론을 도구 사용, 정보 검색, 웹 네비게이션 및 장기 대화 관리와 혼동하는 경향이 있습니다. 이는 진단적 격차를 발생시킵니다. 즉, 모델이 실패했을 때 그 원인이 누락된 정보를 식착하지 못해서인지, 정보를 정밀하게 요청하지 못해서인지, 아니면 획득한 정보를 올바른 솔루션에 통합하지 못해서인지를 구분하기 어렵게 만듭니다.

MIRA-Math는 **최소 정보 요청(minimal information requesting)**을 위한 벤치마크를 도입함으로써 이 문제를 해결합니다. 핵심 문제는 수학적 문제의 전체 잠재 상태(latent state)는 유일한 답을 결정하지만, 해결사의 관점은 의도적으로 불완전하여 정확히 하나의 필수적인 원자적 사실(atomic fact)이 누락된 상태로 정의됩니다. 해결사는 누락된 사실을 인식하고, 엄격한 예산(budget) 내에서 자연어로 이를 요청하며, 반환된 사실을 통합하여 정확한 최종 답안을 도출해야 합니다.

방법론

과업 정식화

각 인스턴스는 유일한 타겟 답안 $y = f(z)$ 를 결정하는 잠재적 완전 상태 $z$ 로부터 생성됩니다. 해결사는 개인화된 뷰 $v_A = \phi_A(z)$ 를 받으며, 여기에는 하나의 필수적인 원자적 사실이 생략되어 있습니다. 벤치마크는 두 가지 조건을 강제합니다:

전역적 적정성 (Global Well-Posedness): 전체 상태(뷰 + 누락된 사실)는 정확히 하나의 일관된 답안을 산출합니다.
지역적 미결정성 (Local Underdetermination): 해결사의 개인 뷰만으로는 여러 개의 일관된 답안이 도출될 수 있습니다.

상호작용 프로토콜

평가는 두 에이전트를 포함합니다:

해결사 (Agent A): 개인 뷰와 요청 예산 $B$ 를 받습니다. 자유 형식의 자연어 요청을 보내거나 최종 답안을 제공합니다.
정보 보유자 (Agent B): 누락된 원자적 사실만을 보유하고 있는 고정되고 제약된 LLM(실험에서는 gpt-4o-mini로 구현됨)입니다. 이 에이전트는 구조화된 출력 프로토콜에 따라 작동합니다:
- 제공 (Offer): 요청이 보유한 사실과 의미적으로 일치하면, has_exact_match=true와 함께 해당 사실을 반환합니다.
- 거절 (Decline): 요청이 일치하지 않으면, 고정된 거절 메시지를 반환합니다.
- 보유자는 문제를 풀거나, 설명하거나, 협상하거나, 추가적인 힌트를 자발적으로 제공하지 않습니다.

데이터셋 구축

MIRA-Math는 22개의 유형화된 수학적 계열(대수학, 확률, 선형 시스템, 신호 처리, 마르코프 체인 등 포함)에서 파생된 2,310개의 인스턴스를 포함합니다. 데이터셋은 두 가지 유형으로 나뉩니다:

유형 A (고정 힌트 슬롯): 누락된 정보가 구조적으로 결정되어 있습니다 (예: 베이즈 규칙 인스턴스의 경우 항상 사전 확률(prior)이 누락됨).
유형 B (가변 힌트 슬롯): 누락된 위치가 인스턴스마다 다릅니다 (예: 선형 시스템의 누락된 계수 또는 회로의 누락된 저항). 이는 해결사가 요청하기 전에 결핍된 슬롯을 먼저 찾아내도록 요구합니다.

릴리스에는 재현성을 보장하기 위해 생성 코드, 정확한 검증기(verifiers), 정형 힌트 명세 및 원시 상호작용 로그가 포함되어 있습니다.

지표

본 벤치마크는 다음 지표를 사용하여 정보 획득과 수학적 통합을 분리합니다:

요청 적중률 (Request Hit Rate): 총 메시지 대비 수락된 요청의 비율.
첫 번째 요청 성공률 (First-Request Success): 첫 번째 요청이 수락된 인스턴스의 비율.
트레이스 수준 분해 (Trace-Level Decomposition): 인스턴스를 세 가지 서로소 범주로 분류합니다:
1. 정형 힌트 획득 실패 (No Canonical Hint Acquired): 해결사가 올바른 사실을 요청하는 데 실패함.
2. 힌트 획득 후 통합 실패 (Hint Acquired, Integration Failed): 힌트는 얻었으나 잘못된 답안을 계산함.
3. 성공 (Success): 힌트를 획득하고 올바른 답안을 계산함.

주요 결과

프런티어 모델 및 소형 모델(gpt-5.1, Gemma-4, gemini-2.5-flash, Grok-4.20, Llama-3.1-8B 포함)에 대한 실험 결과, 요청하는 능력과 푸는 능력은 분리 가능한 기술임이 드러났습니다:

기술의 괴리 (Divergence of Skills): 높은 요청 성능이 반드시 높은 최종 답안 정확도를 보장하지는 않습니다. 예를 들어, gemini-2.5-flash는 제로샷 설정에서 가장 높은 요청 적중률을 기록했으나, 최종 정확도는 gpt-5.1이나 Gemma-4보다 낮았습니다. 반대로, Gemma-4는 가장 높은 요청 지표를 달성하지 않고도 가장 높은 제로샷 최종 정확도를 달축했습니다.
실패 모드 (Failure Modes):
- 획득 실패 (Acquisition Failures): 모델들은 종종 특정 누락 슬롯을 식별하지 못하거나 너무 모호하게 질문하여 반복적인 거절을 초래합니다.
- 통합 실패 (Integration Failures): 강력한 모델들은 종종 정형 힌트를 성공적으로 획득하지만, 이후의 정밀 산술, 기호 재구성 또는 답안 정규화 단계에서 실패합니다.
프롬프팅 효과 (Prompting Effects): 최소한의 요청 예시를 제공하는 4-샷 프롬프팅이 성능을 일관되게 향상시키지는 못했습니다. 누락된 슬롯이 가변적인 유형 B 계열의 경우, 퓨샷 예시가 때때로 "예시 앵커링(exemplar anchoring)"을 유발하여, 모델이 특정 누락 슬롯에 적응하기보다 제시된 요청 형태를 모방하게 함으로써 오히려 성능을 저하시킬 수 있음이 나타났습니다.
유형 A vs. 유형 B: 유형 B 계열이 최종 정확도 측면에서 일률적으로 더 어렵지는 않았습니다 (강력한 모델들은 유형 A보다 유형 B에서 더 좋은 성능을 보이는 경우가 많았습니다). 그러나 유형 A 계열은 요청 자체는 쉽지만 다운스트림 계산이 까다로운 작업(예: 정밀한 중국인의 나머지 정리 재구성)을 포함하고 있었습니다.

의의 및 주장

본 논문은 MIRA-Math를 기존의 정보 완비형 수학 벤치마크를 대체하는 도구가 아니라, 숨겨진 구조와 평가의 간극을 드러내는 진단 도구로 규정합니다. 주요 의의는 다음과 같습니다:

특정 병목 구간의 격리: 수학적 문제를 인식하고, 누락된 원자적 사실을 식별하며, 이를 정밀하게 요청하는 능력을 최종 답안 계산 능력과 분리하여 명시적으로 측정합니다.
데이터 중심 설계: 책임 있는 데이터셋 설계의 최신 트렌드에 따라, 생성기, 검증기 및 원시 로그를 제공하여 커뮤니티가 단순히 집계된 정확도에 의존하는 대신 "요청-후-해결(request-to-solve)" 파이프라인을 감사할 수 있도록 재현성을 우선시합니다.
평가의 정교화: 결과는 표준 수학 벤치마크에서의 성능이 정보 획득 역량을 반드시 의미하지는 않는다는 점을 보여줍니다. 모델은 수학에는 강할 수 있지만, 무엇이 누락되었는지 식별하지 못하면 MIRA-Math에서 실패할 수 있으며, 반대로 질문은 잘하지만 수학은 못할 수도 있습니다.

저자들은 MIRA-Math가 미래 모델들을 위한 베이스라인 스위트이자, 언어 모델이 수학적 정보를 추측하는 대신 누락된 정보를 요청하는 시점을 연구하기 위한 분석 도구 역할을 한다고 결론짓습니다. 단, 이는 개방형 협업, 인간의 의사소통, 또는 실제 의사결정 능력을 측정하려는 것이 아님을 명시합니다.