💬 NLP

Model Capability Dominates: Inference-Time Optimization Lessons from AIMO 3

Nonostante l'ipotesi che strategie di ragionamento diversificate possano ridurre la correlazione degli errori nel voto a maggioranza, l'esperienza nel concorso AIMO 3 dimostra che la capacità intrinseca del modello è il fattore dominante, rendendo inefficaci le ottimizzazioni al momento dell'inferenza rispetto al semplice utilizzo di modelli più potenti.

Autori originali: Natapong Nitarach

Pubblicato 2026-03-31

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Natapong Nitarach

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🧠 Il Grande Esperimento Matematico: Perché "Più Testi" non significa "Più Intelligenza"

Immagina di dover risolvere un esame di matematica molto difficile (livello Olimpiadi Internazionali). Hai a disposizione un solo computer potente e 5 ore di tempo. La tua missione è ottenere il punteggio più alto possibile.

L'autore del paper, Natapong, ha provato una strategia molto intelligente: non affidarsi a un solo tentativo, ma far lavorare il computer molte volte e prendere la risposta che esce più spesso. È come se avessi 8 amici che lavorano sullo stesso problema e decidi di seguire la risposta che la maggior parte di loro ha dato.

1. L'Idea Geniale (e perché sembrava funzionare)

La teoria diceva: "Se faccio ragionare il computer in 8 modi diversi (ad esempio, chiedendogli di iniziare dai piccoli numeri, o di lavorare all'indietro, o di classificare il problema), i suoi errori saranno diversi. Se gli errori sono diversi, la 'votazione' finale sarà più intelligente."

È come se avessi 8 giudici in una gara di cucina:

Giudice A: "Prova prima con il sale."
Giudice B: "Prova prima con lo zucchero."
Giudice C: "Prova a cuocere al forno."

L'idea era che, mescolando questi approcci diversi, si sarebbe ottenuto un piatto perfetto.

2. La Svolta: La Realtà Colpisce

L'autore ha provato tutto questo. Ha creato 23 esperimenti diversi, ha cambiato le regole, ha mescolato i "giudici" in tutti i modi possibili.
Risultato? Niente è migliorato. Anzi, spesso è peggiorato.

Ecco le scoperte principali, spiegate con metafore:

Il Computer è già "Distratto" a sufficienza:
Il computer (un modello chiamato gpt-oss-120b) è stato impostato per essere un po' "creativo" (temperatura alta). Anche se gli dai lo stesso identico compito, lui pensa in modo leggermente diverso ogni volta, come se avesse un po' di caffè in più.
- Metafora: È come chiedere a 8 persone di disegnare un gatto. Anche se non cambi le istruzioni, ognuna disegnerà un gatto leggermente diverso. Non serve cambiare le istruzioni per ottenere varietà; la creatività è già lì. Aggiungere strategie diverse (come "disegna il gatto all'indietro") ha solo confuso i disegni, rendendoli peggiori.
L'Intelligenza è più importante della Strategia:
L'autore ha provato a usare modelli più piccoli o diversi. Risultato: anche con le strategie migliori, un modello "stupido" (o più piccolo) non ha mai battuto un modello "genio" (più grande).
- Metafora: Immagina di avere un'auto da corsa (il modello grande) e un'auto utilitaria (il modello piccolo). Puoi guidare l'utilitaria con la tecnica perfetta, fare le curve all'indietro e usare la mappa migliore, ma non vincerai mai contro l'auto da corsa che va dritta. La potenza del motore (la capacità del modello) conta 10 volte più di quanto tu sappia guidare.
Il Paradosso della Diversità:
Più l'autore ha cercato di rendere i ragionamenti diversi, più il punteggio è sceso.
- Metafora: Se chiedi a un esperto di matematica di risolvere un problema, lui lo fa bene. Se gli chiedi di risolverlo "come se fosse un bambino di 5 anni" o "come se fosse un alieno", lui si confonde e sbaglia. Le istruzioni strane hanno solo abbassato la sua intelligenza naturale.

3. La Conclusione: Cosa abbiamo imparato?

Il paper ci insegna una lezione fondamentale per il futuro dell'Intelligenza Artificiale:

Non serve ingegnarsi troppo: Se hai un modello potente, non perdere tempo a inventare trucchi strani per farlo ragionare in 100 modi diversi.
La potenza bruta vince: La cosa più importante è avere il modello più intelligente possibile (il "cervello" più grande).
La strategia è un gioco d'azzardo: Invece di cercare la strategia perfetta, l'autore suggerisce di fare molte "scommesse" (invia molte volte la stessa richiesta al modello potente) e sperare che una volta esca il punteggio perfetto. È come comprare molti biglietti della lotteria con lo stesso numero vincente, piuttosto che cercare di indovinare il numero giusto con la matematica.

In Sintesi

Immagina di dover scalare una montagna altissima (i problemi di matematica).

L'approccio vecchio: "Proviamo a usare 100 corde diverse, 100 scarponi diversi e 100 mappe diverse per vedere se troviamo una via più facile."
La scoperta di questo paper: "No, la strada è la stessa. L'unico modo per arrivare in cima è avere più gambe (un modello più potente). Se hai gambe da atleta, arrivi in cima. Se hai gambe da gatto, non arriverai mai, anche se usi la scala migliore del mondo."

Il messaggio finale: Smetti di cercare trucchi magici per far ragionare meglio l'AI. Usa l'AI più potente che puoi permetterti e lasciala lavorare. La capacità del modello è il re, tutto il resto è solo rumore di fondo.

Titolo: Il Dominio delle Capacità del Modello: Lezioni dall'Ottimizzazione al Tempo di Inferenza su AIMO 3

1. Problema e Contesto

Il paper affronta una sfida centrale nell'uso dei Large Language Models (LLM) per il ragionamento matematico di alto livello (livello Olimpiadi Internazionali di Matematica - IMO).

Contesto: La strategia standard per migliorare l'accuratezza è il voto a maggioranza (Majority Voting) su più tentativi di inferenza (Self-Consistency), basato sul Teorema di Condorcet. Questo teorema presuppone che gli errori siano indipendenti.
Il Problema: In pratica, gli errori degli LLM sono fortemente correlati. Un modello con lo stesso prompt commette gli stessi errori sistematici indipendentemente dal seed casuale. Questo riduce drasticamente la dimensione del campione efficace ( $N_{eff}$ ), rendendo inefficace l'aumento del numero di tentativi se non si riduce la correlazione ( $\rho$ ).
Ipotesi di partenza: L'idea intuitiva è assegnare strategie di ragionamento strutturalmente diverse (es. "caso piccolo prima", "lavorare all'indietro") a diversi "votanti" per decorrelare gli errori. Il paper testa questa ipotesi con un approccio chiamato Diverse Prompt Mixer.

2. Metodologia e Architettura del Sistema

L'autore ha implementato un sistema di inferenza completo su una singola GPU NVIDIA H100 80GB con un limite di tempo rigido di 5 ore per risolvere 50 problemi IMO.

Modello: Utilizzo di gpt-oss-120b (116.8B parametri totali, 5.1B attivi tramite MoE - Mixture of Experts), servito localmente tramite vLLM con quantizzazione FP8.
Pipeline di Inferenza:
1. Budgeting: Divisione equa del tempo residuo tra i problemi rimanenti.
2. Tentativi Paralleli: Lancio di $N=8$ thread concorrenti con seed diversi ma prompt identici (baseline) o variati.
3. Reasoning con Strumenti: Ogni tentativo può generare ed eseguire codice Python (in un sandbox Jupyter persistente) per calcoli simbolici e numerici.
4. Early Stopping: Arresto anticipato se 4 su 8 tentativi concordano su una risposta non banale.
5. Voto Ponderato: Selezione finale basata su un voto a maggioranza ponderato dall'entropia (le risposte a bassa entropia/altamente confidenti pesano di più).
Esperimenti: Sono stati condotti oltre 23 esperimenti su 3 modelli diversi (gpt-oss-120b, Qwen3.5-35B-A3B, Nemotron-Super-120B) testando diverse configurazioni di prompt e parametri.

3. Contributi Chiave e Risultati

A. Fallimento del "Diverse Prompt Mixer"
L'ipotesi che mescolare prompt con strategie diverse (es. 2 prompt "Original", 2 "Small Cases", 2 "Work Backwards", ecc.) migliorasse le prestazioni si è rivelata falsa.

Risultato: Maggiore diversità nei prompt ha portato a un peggioramento monotono delle prestazioni.
Dati: La configurazione baseline (8 prompt identici) ha ottenuto una media di 39.7/50. Le configurazioni miste (es. "Equal mix") sono scese a 38 o 36. Strategie isolate come "Small Cases First" o "Classify Then Solve" hanno ottenuto punteggi inferiori (37 e 36 rispettivamente).
Analisi: Le strategie alternative, sebbene diverse, sono intrinsecamente meno efficaci per questo modello specifico rispetto al prompt originale, riducendo l'accuratezza per singolo tentativo ( $\bar{p}$ ) più di quanto riducano la correlazione ( $\rho$ ).

B. La Temperatura è Sufficiente

A una temperatura alta ( $T=1.0$ ), il modello esplora già percorsi di ragionamento sufficientemente diversi anche con lo stesso prompt.
La correlazione degli errori è già vicina allo zero (o addirittura negativa, $\hat{\rho} \approx -0.11$ ), il che significa che gli errori sono già decorrelati dalla casualità intrinseca del campionamento. Aggiungere diversità strutturale tramite prompt è ridondante e dannoso.

C. Il Dominio delle Capacità del Modello (Model Capability)
Questo è il risultato più significativo del paper.

Gap di Capacità: Esiste un divario di 17 punti tra il modello migliore (gpt-oss-120b con $\hat{p} \approx 0.69$ ) e gli altri modelli testati.
Confronto: Nessun trucco di inferenza (ottimizzazione del prompt, temperatura, voto a maggioranza) è riuscito a colmare questo divario.
- gpt-oss-120b (5.1B attivi): 39.7/50
- Nemotron-Super-120B (12B attivi, ma solo 3 tentativi per limiti di tempo): 23/50
- Qwen3.5-35B-A3B (3B attivi): 23/50
Anche confrontando a parità di risorse computazionali ( $N=3$ tentativi), gpt-oss-120b (36 punti) supera Nemotron (23 punti) di 13 punti, confermando che la capacità intrinseca del modello è il fattore determinante.

D. Ottimizzazione al Tempo di Inferenza (Inference-Time Optimization)
Il paper dimostra che, una volta configurato un sistema di base solido (modello capace, temperatura alta, uso di strumenti), il "landscape" di ottimizzazione è piatto. Tentare di migliorare ulteriormente tramite ingegneria dei prompt o mixing di strategie non porta a guadagni significativi e spesso danneggia la performance media.

4. Significato e Conclusioni

Lezione Principale: Per problemi matematici al limite delle capacità attuali dei modelli (IMO-level), la capacità del modello domina di un ordine di grandezza rispetto a qualsiasi ottimizzazione al tempo di inferenza.
Implicazioni per le Competizioni:
- Non vale la pena spendere risorse in complesse strategie di "Diverse Prompt Mixer" se il modello di base non è robusto a tali variazioni.
- La strategia ottimale per competizioni con budget di tempo limitato è: utilizzare il modello più grande che si adatta alla memoria, mantenere una temperatura alta ( $T \approx 1.0$ ) per massimizzare la diversità stocastica, e trattare ogni submission come un "biglietto della lotteria" (ripetere la configurazione base molte volte) piuttosto che cercare di ingegnerizzare il prompt.
Limiti e Futuro: Il fallimento del mixer di prompt è dovuto alla mancanza di robustezza dei modelli attuali ai cambiamenti di formato delle istruzioni (training su dataset con pochi formati di prompt). Il paper suggerisce che il "Diverse Prompt Mixer" potrebbe funzionare solo in futuro, quando i modelli saranno addestrati su dati con formati di istruzioni diversificati (Mixture of Formats), ma ciò richiede un intervento a livello di training, non di inferenza.

In sintesi, il paper smonta l'idea che la diversità strategica tramite prompt possa compensare limiti di capacità o decorrelare efficacemente errori in modelli già ben calibrati, affermando che la strada maestra per il progresso nelle competizioni matematiche AI rimane l'aumento delle capacità del modello base.