💻 computer science

OpenDeepThink: Parallel Reasoning via Bradley--Terry Aggregation

OpenDeepThink è un framework di calcolo al momento dell'esecuzione basato sulla popolazione che potenzia il ragionamento degli LLM aggregando confronti a coppie di tipo Bradley-Terry per selezionare, mutare ed evolvere soluzioni candidate, ottenendo significativi miglioramenti delle prestazioni su benchmark oggettivi come Codeforces senza richiedere la ritaratura del modello.

Autori originali: Shang Zhou, Wenhao Chai, Kaiyuan Liu, Huanzhi Mao, Qiuyang Mang, Jingbo Shang

Pubblicato 2026-05-15

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Shang Zhou, Wenhao Chai, Kaiyuan Liu, Huanzhi Mao, Qiuyang Mang, Jingbo Shang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover risolvere un puzzle molto difficile, come un problema matematico complesso o una sfida di programmazione insidiosa. Di solito, quando chiedi a un'intelligenza artificiale di risolverlo, essa cerca di ragionare sul problema in un'unica linea retta. Se commette un piccolo errore all'inizio, l'intera risposta crolla e deve ricominciare da capo.

Il documento introduce un nuovo metodo chiamato OpenDeepThink. Invece di chiedere all'IA di ragionare in una singola linea, questo metodo chiede all'IA di ragionare in una folla.

Ecco come funziona, scomposto in passaggi semplici utilizzando analogie:

1. La "Festa di Brainstorming" (Campionamento Parallelo)

Invece di chiedere all'IA una sola risposta, OpenDeepThink le chiede di generare 20 risposte diverse contemporaneamente.

Analogia: Immagina di essere un insegnante che chiede a 20 studenti di risolvere un problema di matematica. Non aspetti solo il bambino più intelligente; lasci che tutti scrivano immediatamente la loro soluzione. Alcuni saranno brillanti, alcuni saranno nella media e alcuni saranno completamente sbagliati.

2. Il "Torneo" (Confronto a Coppie)

Ora hai 20 soluzioni, ma come scegli la migliore? Di solito, potresti chiedere all'IA: "Questa risposta è buona?". Ma il documento afferma che l'IA è scarsa nel giudicare il proprio lavoro nel vuoto (tende ad essere eccessivamente sicura di sé o parziale).

La Soluzione: Invece di chiedere "Questa è buona?", all'IA viene chiesto di confrontare due risposte fianco a fianco. "Tra la Soluzione A e la Soluzione B, quale è migliore e perché?"
L'Analogia: Pensa a un torneo sportivo. È difficile dire chi sia il "miglior giocatore al mondo" solo guardandoli. Ma se metti il Giocatore A contro il Giocatore B in una partita, è molto più facile vedere chi vince. L'IA agisce come l'arbitro, osservando coppie di soluzioni che si sfidano e dichiarando un vincitore per ogni coppia.

3. La "Classifica" (Aggregazione Bradley–Terry)

Dopo che l'IA ha confrontato molte coppie, non si limita a contare le vittorie. Utilizza una speciale formula matematica (chiamata Bradley–Terry) per creare una classifica globale.

L'Analogia: Immagina una classifica di lega nel calcio. Se la Squadra A batte la Squadra B, e la Squadra B batte la Squadra C, la matematica sa che la Squadra A è probabilmente più forte della Squadra C, anche se non si sono ancora affrontate. Questo crea una "classifica" affidabile delle 20 soluzioni.

4. L'"Evoluzione" (Mutazione e Selezione)

È qui che avviene la magia. Il sistema non si limita a scegliere il vincitore e fermarsi. Evolve le soluzioni attraverso diversi round (generazioni).

Il 25% inferiore (I Perdenti): Le soluzioni peggiori vengono scartate.
Il 25% superiore (L'Elite): Le migliori soluzioni vengono mantenute al sicuro, ma hanno anche la possibilità di migliorare.
Il 75% centrale (I Mutatori): L'IA prende le "critiche" (le ragioni per cui una soluzione ha battuto un'altra) e le utilizza per riscrivere le soluzioni.
- L'Analogia: Immagina un allenatore che parla con i giocatori. Invece di dire semplicemente "Hai fatto bene", l'allenatore dice: "Hai perso perché la tua velocità di corsa era troppo bassa". I giocatori usano poi quel feedback specifico per cambiare la loro strategia. L'IA potrebbe riscrivere completamente una soluzione se il feedback suggerisce che è necessario un approccio totalmente nuovo.

5. Lo "Scontro Finale"

Dopo alcuni round di questo ciclo di "torneo e allenamento", il sistema effettua un ultimo confronto, molto dettagliato, delle migliori soluzioni rimaste per scegliere la singola risposta migliore da presentare.

Perché è una cosa importante?

Nessuna "Lista di Trucchi" Necessaria: Di solito, per sapere se un'IA ha ragione, hai bisogno di un umano o di un programma informatico che verifichi la risposta (un "verificatore"). OpenDeepThink non ne ha bisogno. Capisce la risposta migliore facendo sì che l'IA si confronti con se stessa.
Migliore nei Problemi Difficili: Il documento ha testato questo metodo su problemi di programmazione molto difficili (come quelli nella programmazione competitiva). Hanno scoperto che questo metodo ha fatto sì che un'IA di alto livello (Gemini 3.1 Pro) si comportasse come se fosse un esperto di livello molto superiore, aumentando la sua "valutazione delle competenze" di oltre 400 punti.
Conosce i suoi Limiti: Il metodo funziona benissimo su argomenti con risposte chiare di giusto/sbagliato (come matematica o programmazione). Tuttavia, su argomenti soggettivi (come scrivere un saggio o discutere di storia), a volte peggiora. Questo perché confrontare "opinioni" è più difficile che confrontare "fatti". Se l'arbitro (l'IA) non riesce a distinguere tra un'opinione buona e una cattiva, l'intero sistema si confonde.

Il Costo

Il compromesso è velocità e costo. Poiché l'IA deve generare 20 risposte, confrontarle a coppie e riscriverle diverse volte, richiede molta potenza di calcolo e tempo (circa 27 minuti per problema nel loro test). È come assumere un intero team di esperti e una giuria di giudici per risolvere un solo problema, invece di chiedere a una sola persona.

In breve: OpenDeepThink trasforma il ragionamento dell'IA da una "corsa solitaria" a un "torneo di squadra". Facendo sì che l'IA si confronti con se stessa e impari dai propri errori attraverso il confronto, risolve problemi difficili molto meglio di quanto potrebbe fare da sola.

Riepilogo Tecnico: OpenDeepThink

Enunciato del Problema

I paradigmi attuali per la scalabilità del calcolo al momento del test (test-time compute) nei Modelli Linguistici di Grande Dimensione (LLM) si concentrano principalmente sull'estensione della profondità di un singolo tracciato di ragionamento (ad esempio, catene di pensiero più lunghe o ricerca ad albero). Sebbene efficaci, questi approcci sequenziali soffrono di una fragilità critica: un singolo errore iniziale può deviare l'intera traiettoria. Al contrario, gli approcci paralleli come il campionamento Best-of-N, che generano più candidati, affrontano un "collo di bottiglia nella selezione". Selezionare il candidato migliore da un pool richiede tipicamente verificatori basati su verità fondamentale (non disponibili in compiti a risposta aperta), modelli di ricompensa addestrati o giudici LLM puntuali. Il documento nota che la valutazione puntuale da parte di un LLM è intrinsecamente rumorosa e positivamente distorta, rendendola inaffidabile per distinguere soluzioni corrette da quelle errate in assenza di verifica esterna.

Metodologia: OpenDeepThink

Gli autori introducono OpenDeepThink, un framework di calcolo al momento del test basato su popolazione, progettato per scalare la larghezza del ragionamento senza richiedere verificatori esterni o infrastrutture specifiche di dominio. Il sistema mantiene una popolazione di $n$ soluzioni candidate e le evolve per $T$ generazioni utilizzando un singolo LLM ( $\pi$ ) che funge sia da generatore che da giudice.

La pipeline opera in tre fasi distinte per generazione:

Campionamento Parallelo e Confronto a Coppie:
- Il sistema si inizializza con $n$ soluzioni candidate.
- In ogni generazione, i candidati vengono accoppiati casualmente ( $K$ pari per candidato).
- Il giudice LLM esegue confronti a coppie, determinando quale soluzione abbia maggiori probabilità di essere accettata da un ipotetico giudice online. Crucialmente, il giudice produce anche razionali in linguaggio naturale (critiche) che spiegano il verdetto.
- Per mitigare il bias di posizione, l'ordine di presentazione dei candidati viene randomizzato.
Aggregazione Bradley–Terry:
- Invece di affidarsi alle percentuali di vittoria grezze, il sistema aggrega gli esiti a coppie utilizzando il modello Bradley–Terry (BT).
- Il modello BT stima un punteggio di abilità globale ( $s_i$ ) per ogni candidato massimizzando la verosimiglianza logaritmica dei confronti osservati, tenendo conto della forza degli avversari affrontati. Questo "verificatore morbido" converte voti a coppie rumorosi in una classificazione globale coerente.
- Selezione: Il 25% superiore dei candidati viene preservato come "élite". Il 25% inferiore viene scartato. Il 50% centrale e le élite (per un totale del 75% superiore) procedono alla mutazione.
Mutazione Guidata dal Feedback:
- I candidati nel 75% superiore vengono mutati sulla base delle critiche in linguaggio naturale aggregate dai loro confronti a coppie.
- Il prompt di mutazione permette esplicitamente al modello di affinare la soluzione corrente o abbandonarla completamente per un approccio fondamentalmente diverso. Questo è progettato per impedire al modello di limitarsi a "correggere" una strategia difettosa.
- Il processo si ripete per $T$ generazioni.
Selezione Finale:
- Dopo l'ultima generazione, viene eseguita una ronda più densa di confronti a coppie ( $M$ pari) sulla popolazione rimanente.
- Una classificazione finale Bradley–Terry seleziona la soluzione da inviare.

L'intera pipeline è progettata per essere "imbarazzantemente parallela" all'interno di ogni turno, richiedendo una profondità sequenziale di sole otto chiamate LLM (un campione iniziale, due turni per generazione per $T=3$ , e un turno finale di selezione).

Contributi Chiave

Un Framework Senza Verificatore: OpenDeepThink elimina la necessità di casi di test basati su verità fondamentale o modelli di ricompensa addestrati, utilizzando giudizi LLM a coppie aggregati tramite Bradley–Terry come verificatore morbido.
Evoluzione Basata su Popolazione: A differenza dei metodi di auto-affinamento che iterano su una singola traiettoria, OpenDeepThink mantiene una popolazione diversificata, permettendo agli errori di emergere attraverso il confronto diretto piuttosto che l'auto-valutazione.
Trasferibilità Cross-Modello: Il framework dimostra che un singolo set di iperparametri può scalare efficacemente il ragionamento su modelli di capacità variabile (Gemini 3.1 Pro, 3 Flash e 2.5 Pro) senza riaggiustamento.
Dataset CF-73: Gli autori rilasciano CF-73, un set curato di 73 problemi di Codeforces annotati da esperti (valutati da 2000 a 3100) con il 99% di accordo tra valutazione locale e verdetto ufficiale, progettato specificamente per evitare contaminazione dal pre-addestramento.

Risultati Sperimentali

Il framework è stato valutato su 192 problemi di programmazione competitiva (CF-73 e NOI-119) e 82 domande del benchmark multi-dominio HLE, utilizzando Gemini 3.1 Pro come modello base.

Programmazione Competitiva (Codeforces):
- OpenDeepThink ha aumentato l'Elo effettivo di Codeforces di Gemini 3.1 Pro di +405 punti (da ~~2851 a ~3256) in otto round sequenziali (~~27 minuti di tempo reale).
- Questo guadagno è paragonabile al miglioramento di +411 punti ottenuto da "Gemini 3 Deep Think" rispetto al modello base su LiveCodeBench Pro.
- Su problemi "Difficili" (dove il pass@1 base è ~11%), il framework ha migliorato il tasso di successo al 36% tramite evoluzione e al 50% tramite selezione.
- Il framework è stato trasferito con successo a modelli più deboli (Gemini 3 Flash) e più forti (Gemini 2.5 Pro) senza sintonizzazione degli iperparametri.
Cross-Dominio (Benchmark HLE):
- I risultati sono stati misti e dipendenti dal dominio. Nei domini oggettivamente verificabili (Matematica, Biologia, Fisica), il framework ha mostrato guadagni (ad esempio, +17 punti in Fisica).
- Nei domini soggettivi (Umanistiche, Scienze Sociali), le prestazioni sono diminuite significativamente (ad esempio, -25 punti in Umanistiche).
- Gli autori attribuiscono ciò all'affidabilità del giudice a coppie: dove il giudice può discriminare in modo affidabile la correttezza, l'aggregazione BT amplifica il segnale; dove il giudizio è ambiguo, la selezione iterativa amplifica il rumore.
Studi di Ablazione:
- A Coppie vs. Puntuale: La valutazione a coppie ha raggiunto il 86% di accuratezza su un set diagnostico rispetto al 59% della valutazione puntuale, confermando la superiorità del confronto relativo rispetto alla valutazione assoluta.
- Segnale di Feedback: Il feedback negativo (critiche su cosa è andato storto) ha guidato quasi tutti i miglioramenti della mutazione; il feedback positivo ha fornito benefici trascurabili.
- Evoluzione vs. Selezione: Su problemi facili, la selezione (aggregazione BT) è stata il fattore dominante. Su problemi difficili, il processo evolutivo di mutazione è stato il principale motore di miglioramento.

Significato e Affermazioni

Il documento ipotizza che OpenDeepThink affronti un collo di bottiglia fondamentale nella scalabilità del calcolo al momento del test: l'incapacità di selezionare il candidato migliore da un pool parallelo senza verifica esterna. Combinando aggregazione Bradley–Terry a coppie con mutazione guidata dal feedback, il framework permette agli LLM di migliorare iterativamente la qualità del ragionamento in domini a risposta aperta.

Gli autori affermano che l'efficacia del framework è strettamente legata all'affidabilità del giudice a coppie. Agisce come un "verificatore morbido" che può aumentare significativamente le prestazioni in domini con criteri di correttezza oggettivi (come la programmazione competitiva) ma può degradare le prestazioni in domini soggettivi dove il giudice non può distinguere in modo affidabile il ragionamento corretto da quello errato. Il lavoro suggerisce che i futuri sforzi di scalabilità dovrebbero concentrarsi su design basati su popolazione che sfruttano il confronto relativo piuttosto che l'auto-valutazione assoluta, a condizione che il meccanismo di giudizio sottostante sia robusto.