Technische Samenvatting: MIRA-Math

Probleemstelling

Huidige benchmarks voor wiskundig redeneren (bijv. GSM8K, MATH) bieden doorgaans alle noodzakelijke feiten om een probleem op te lossen, waarbij enkel het vermogen van het model wordt beoordeeld om een definitief antwoord te berekenen vanuit een volledige staat. Daartegenover staan brede interactieve benchmarks die wiskundig redeneren vaak vermengen met toolgebruik, informatieopzoeking, webnavigatie en langdurig dialoogbeheer. Dit creëert een diagnostische kloof: het is moeilijk te isoleren of een model faalt omdat het niet kan identificeren welke informatie ontbreekt, omdat het die informatie niet precies kan opvragen, of omdat het de verkregen informatie niet in een correcte oplossing kan integreren.

MIRA-Math adresseert dit door een benchmark te introduceren voor minimale informatieverzoeken. Het kernprobleem wordt gedefinieerd als het oplossen van wiskundige problemen waarbij de volledige latente staat een uniek antwoord heeft, maar het zicht van de oplosser doelbewust incompleet is, waarbij precies één noodzakelijk atomair feit ontbreekt. De oplosser moet het ontbrekende feit herkennen, het in natuurlijke taal opvragen onder een strikt budget, en het teruggegeven feit integreren om tot een exact eindantwoord te komen.

Methodologie

Taakformalisering

Elke instantie wordt gegenereerd vanuit een latente volledige staat $z$ die een uniek doelantwoord $y = f(z)$ bepaalt. De oplosser ontvangt een private view $v_A = \phi_A(z)$ die één noodzakelijk atomair feit weglaat. De benchmark handhaaft twee voorwaarden:

1. Globale Welgedetermineerdheid: De volledige staat (view + ontbrekend feit) levert exact één consistente oplossing op.
2. Lokale Onderdeterminatie: De private view van de oplosser alleen levert meerdere consistente antwoorden op.

Interactieprotocol

De evaluatie betreft twee agenten:

• Oplosser (Agent A): Ontvangt de private view en een verzoekbudget $B$. Het doet vrije natuurlijke taalverzoeken of geeft een definitief antwoord.
• Informatiehouder (Agent B): Een vaste, beperkte LLM (in experimenten geïmplementeerd als gpt-4o-mini) die alleen het ontbrekende atomaire feit bezit. Deze werkt volgens een gestructureerd output-protocol:
  • Aanbod: Als het verzoek semantisch overeenkomt met het vastgehouden feit, geeft het de het feit terug met has_exact_match=true.
  • Afwijzing: Als het verzoek niet overeenkomt, geeft het een vastgelegde afwijzingsmelding terug.
  • De houder lost niet op, legt niet uit, onderhandelt niet en geeft geen extra hints.

Datasetconstructie

MIRA-Math bevat 2.310 instanties afgeleid van 22 getypeerde wiskundige families (variërend van algebra, kansrekening, lineaire systemen, signaalverwerking, Markov-ketens, etc.). De dataset is verdeeld in twee typen:

• Type A (Vaste Hint Slot): De ontbrekende informatie is structureel bepaald (bijv. een Bayes-regel instantie waarbij altijd de prior wordt weggelaten).
• Type B (Variabele Hint Slot): De positie van het ontbrekende element varieert per instantie (bijv. een ontbrekende coëfficiënt in een lineair systeem of een ontbrekende weerstand in een circuit), waardoor de oplosser de afwezige plek moet lokaliseren voordat hij deze kan opvragen.

De release bevat generatiercode, exacte verifieerders, canonieke hint-specificaties en ruwe interactielogs om reproduceerbaarheid te garanderen.

Metrieken

De benchmark scheidt informatieverwerving van wiskundige integratie aan de hand van de volgende metrieken:

• Request Hit Rate: De ratio van geaccepteerde verzoeken ten opzichte van het totaal aantal berichten.
• First-Request Success: Het deel van de instanties waarbij het eerste verzoek wordt geaccepteerd.
• Trace-Level Decompositie: Instanties worden geclassificeerd in drie disjuncte categorieën:
  1. Geen Canonieke Hint Verkregen: De oplosser slaagde er niet in de juiste informatie op te vragen.
  2. Hint Verkregen, Integratie Mislukt: De oplosser kreeg de hint, maar berekende het verkeerde antwoord.
  3. Succes: De oplosser verkreeg de hint en berekende het correcte antwoord.

Belangrijkste Resultaten

Experimenten over frontier- en kleine modellen (inclusief gpt-5.1, Gemma-4, gemini-2.5-flash, Grok-4.20 en Llama-3.1-8B) laten zien dat verzoeken en oplossen afzonderlijke vaardigheden zijn:

1. Divergentie van Vaardigheden: Hoge prestaties bij het opvragen garanderen geen hoge nauwkeurigheid van het eindantwoord. Zo behaalde gemini-2.5-flash de hoogste request hit rate in zero-shot settings, maar had een lagere uiteindelijke nauwkeurigheid dan gpt-5.1 en Gemma-4. Omgekeerd behaalde Gemma-4 de hoogste zero-shot eindnauwkeurigheid zonder de hoogste request-metrieken te behalen.
2. Foutmodi:
   • Acquisitiefouten: Modellen falen vaak bij het identificeren van de specifieke ontbrekende slot of vragen te vaag, wat leidt tot herhaalde afwijzingen.
   • Integratiefouten: Sterkere modellen verkrijgen vaak succesvol de canonieke hint, maar falen bij de daaropvolgende exacte rekenkunde, symbolische reconstructie of antwoordnormalisatie.
3. Prompting Effecten: Four-shot prompting (het geven van voorbeelden van minimale verzoeken) verbeterde de prestaties niet uniform. In Type B-families, waar de ontbrekende slot varieert, veroorzaakten few-shot voorbeelden soms "exemplar anchoring", waardoor modellen de getoonde verzoekvormen imiteerden in plaats van zich aan te passen aan de specifieke ontbrekende slot, wat de prestaties potentieel verslechterde.
4. Type A vs. Type B: Type B-families (variabele slots) waren niet uniform moeilijker qua eindnauwkeurigheid; sterke modellen presteerden vaak beter op Type B dan op Type A. Echter, Type A-families bevatten taken waarbij het verzoek eenvoudig was, maar de downstream berekening broos was (bijv. exacte Chinese overschotstelling reconstructie).

Betekenis en Claims

Het artikel positioneert MIRA-Math niet als een vervanging voor benchmarks met volledige informatie, maar als een diagnostisch instrument om verborgen structuren en evaluatiekloven bloot te leggen. De primaire betekenis ligt in:

• Isolatie van een Specifieke Bottleneck: Het meet expliciet het vermogen om ondergedetermineerde problemen te herkennen, het ontbrekende atomaire feit te identificeren en het precies op te vragen, en scheidt dit van het vermogen om het eindantwoord te berekenen.
• Data-Centrisch Ontwerp: In lijn met recente trends in verantwoord datasetontwerp, geeft de release prioriteit aan reproduceerbaarheid door generators, verifieerders en ruwe logs te publiceren, zodat de gemeenschap de "verzoek-tot-oplossing" pijplijn kan auditeren in plaats van enkel te vertrouwen op geaggregeerde nauwkeurigheid.
• Verfijning van Evaluatie: De resultaten tonen aan dat de prestaties van een model op standaard wiskundige benchmarks niet noodzakelijkerwijs wijzen op competentie in informatieverwerving. Een model kan sterk zijn in wiskunde, maar falen in MIRA-Math als het niet kan identificeren wat ontbreekt, of het kan goed zijn in vragen, maar falen in de wiskunde.

De auteurs concluderen dat MIRA-Math dient als een baseline suite voor toekomstige modellen en een analyse-instrument om te bestuderen wanneer taalmodellen vragen om ontbrekende wiskundige informatie in plaats van te gokken, zonder te claimen dat het open einde samenwerking, menselijke communicatie of real-world besluitvorming meet.