Riepilogo Tecnico: MIRA-Math

Definizione del Problema

Gli attuali benchmark di ragionamento matematico (ad es., GSM8K, MATH) forniscono tipicamente tutti i fatti necessari per risolvere un problema, valutando solo la capacità del modello di calcolare una risposta finale da uno stato completo. Al contrario, i benchmark interattivi più ampi spesso confondono il ragionamento matematico con l'uso di strumenti, il recupero di informazioni, la navigazione web e la gestione del dialogo a lungo termine. Ciò crea un divario diagnostico: è difficile isolare se un modello fallisca perché non riesce a identificare le informazioni mancanti, perché non riesce a richiederle con precisione o perché non riesce a integrare le informazioni acquisite in una soluzione corretta.

MIRA-Math affronta questo problema introducendo un benchmark per la richiesta di informazioni minime. Il problema centrale è definito come la risoluzione di problemi matematici in cui lo stato latente completo determina un'unica risposta, ma la visione del risolutore è deliberatamente incompleta, priva esattamente di un unico fatto atomico necessario. Il risolutore deve riconoscere il fatto mancante, richiederlo in linguaggio naturale sotto un budget rigoroso e integrare il fatto ricevuto per produrre una risposta esatta finale.

Metodologia

Formalizzazione del Task

Ogni istanza è generata da uno stato completo latente $z$ che determina un'unica risposta target $y = f(z)$. Il risolutore riceve una visione privata $v_A = \phi_A(z)$ che omette un unico fatto atomico necessario. Il benchmark impone due condizioni:

1. Ben Determinazione Globale: Lo stato completo (visione + fatto mancante) produce esattamente un'unica risposta coerente.
2. Sottodeterminazione Locale: La visione privata del risolutore da sola produce molteplici risposte coerenti.

Protocollo di Interazione

La valutazione coinvolge due agenti:

• Risolutore (Agente A): Riceve la visione privata e un budget di richieste $B$. Emette richieste in linguaggio naturale libero o fornisce una risposta finale.
• Detentore dell'Informazione (Agente B): Un LLM fisso e vincolato (implementato come gpt-4o-mini negli esperimenti) che possiede solo il fatto atomico mancante. Opera secondo un protocollo di output strutturato:
  • Offerta: Se la richiesta corrisponde semanticamente al fatto detenuto, restituisce il fatto con has_exact_match=true.
  • Rifiuto: Se la richiesta non corrisponde, restituisce un messaggio di declinazione fisso.
    Il detentore non risolve, non spiega, non negozia e non offre suggerimenti extra.

Costruzione del Dataset

MIRA-Math contiene 2.310 istanze derivate da 22 famiglie matematiche tipizzate (che coprono algebra, probabilità, sistemi lineari, elaborazione dei segnali, catene di Markov, ecc.). Il dataset è diviso in due tipi:

• Tipo A (Slot del Suggerimento Fisso): L'informazione mancante è strutturalmente determinata (ad es., un'istanza della regola di Bayes che omette sempre la probabilità a priori).
• Tipo B (Slot del Suggerimento Variabile): La posizione mancante varia per ogni istanza (ad es., un coefficiente mancante in un sistema lineare o una resistenza mancante in un circuito), richiedendo al risolutore di localizzare lo slot assente prima di richiederlo.
  Il rilascio include codice di generazione, verificatori esatti, specifiche canoniche dei suggerimenti e log di interazione grezzi per garantire la riproducibilità.

Metriche

Il benchmark separa l'acquisizione delle informazioni dall'integrazione matematica utilizzando le seguenti metriche:

• Tasso di Successo della Richiesta (Request Hit Rate): Rapporto tra richieste accettate e messaggi totali.
• Successo al Primo Tentativo (First-Request Success): Frazione di istanze in cui la prima richiesta viene accettata.
• Decomposizione a Livello di Traccia: Le istanze sono classificate in tre categorie disgiunte:
  1. Nessun Suggerimento Canonico Acquisito: Il risolutore ha fallito nel richiedere il fatto corretto.
  2. Suggerimento Acquisito, Integrazione Fallita: Il risolutore ha ottenuto il fatto ma ha calcolato la risposta errata.
  3. Successo: Il risolutore ha acquisito il fatto e calcolato la risposta corretta.

Risultati Chiave

Gli esperimenti condotti su modelli frontier e piccoli (inclusi gpt-5.1, Gemma-4, gemini-2.5-flash, Grok-4.20 e Llama-3.1-8B) rivelano che richiedere e risolvere sono abilità separabili:

1. Divergenza delle Abilità: Un'alta prestazione nelle richieste non garantisce un'alta accuratezza della risposta finale. Ad esempio, gemini-2.5-flash ha ottenuto il più alto tasso di successo nelle richieste in setting zero-shot, ma ha avuto un'accuratezza finale inferiore rispetto a gpt-5.1 e Gemma-4. Viceversa, Gemma-4 ha ottenuto la più alta accuratezza finale zero-shot senza aver raggiunto le metriche di richiesta più elevate.
2. Modalità di Fallimento:
   • Fallimenti di Acquisizione: I modelli spesso falliscono nell'identificare lo specifico slot mancante o chiedono in modo troppo vago, portando a rifiuti ripetuti.
   • Fallimenti di Integrazione: I modelli più forti spesso acquisiscono con successo il suggerimento canonico ma falliscono nel calcolo aritmetico esatto a valle, nella ricostruzione simbolica o nella normalizzazione della risposta.
3. Effetti del Prompting: Il prompting four-shot (fornire esempi di richieste minime) non ha migliorato uniformemente le prestazioni. Nelle famiglie di Tipo B, dove lo slot mancante varia, gli esempi few-shot hanno talvolta indotto l'"ancoraggio all'exemplar", causando ai modelli di imitare le forme di richiesta dimostrate piuttosto che adattarsi allo specifico slot mancante, degradando potenzialmente le prestazioni.
4. Tipo A vs. Tipo B: Le famiglie di Tipo B (slot variabili) non erano uniformemente più difficili in termini di accuratezza finale; i modelli forti spesso performavano meglio sul Tipo B rispetto al Tipo A. Tuttavia, le famiglie di Tipo A contenevano compiti in cui la richiesta era facile ma il calcolo a valle era fragile (ad es., la ricostruzione esatta del teorema del resto cinese).

Significato e Rivendicazioni

Il paper posiziona MIRA-Math non come un sostituto dei benchmark matematici a informazione completa, ma come uno strumento diagnostico per esporre strutture nascoste e lacune di valutazione. La sua importanza primaria risiede in:

• Isolare un Collo di Bottiglia Specifico: Misura esplicitamente la capacità di riconoscere problemi sottodeterminati, identificare il fatto atomico mancante e richiederlo con precisione, separando questa capacità dalla capacità di calcolare la risposta finale.
• Design Centrato sui Dati: Seguendo le recenti tendenze nel design responsabile dei dataset, il rilascio privilegia la riproducibilità fornendo generatori, verificatori e log grezzi, permettendo alla comunità di auditare la pipeline "richiesta-risoluzione" anziché affidarsi solo all'accuratezza aggregata.
• Raffinare la Valutazione: I risultati dimostrano che la prestazione di un modello sui benchmark matematici standard non implica necessariamente competenza nell'acquisizione di informazioni. Un modello può essere forte nella matematica ma fallire MIRA-Math se non riesce a identificare cosa manca, o può essere bravo a chiedere ma fallire la matematica.

Gli autori concludono che MIRA-Math serve come suite di baseline per i futi modelli e come strumento di analisi per studiare quando i modelli linguistici chiedono informazioni matematiche mancanti invece di indovinare, senza pretendere di misurare la collaborazione aperta, la comunicazione umana o il processo decisionale nel mondo reale.