Immagina di cercare di risolvere un puzzle davvero complicato, ma ogni volta che ti avvicini alla soluzione, il tuo cervello si incastra in un loop. Continui a pensare: "Ho ragione, ho ragione", e non correggi mai l'errore che hai commesso tre passaggi prima. Questo è un problema comune per i programmi informatici super intelligenti che chiamiamo Grandi Modelli Linguistici (LLM). Sono bravissimi a parlare e scrivere, ma quando provano a ragionare su problemi matematici o scientifici complessi, spesso inciampano nei propri piedi. Per risolvere questo problema, gli scienziati hanno cercato di insegnare a questi modelli a "riflettere su se stessi", ovvero a guardare indietro al proprio lavoro e dire: "Aspetta, questo non ha senso". Ma spesso, i modelli si rivelano testardi. Una volta che pensano di avere una buona risposta, si rifiutano di cambiarla, anche se sono in errore. Questo articolo, scritto da ricercatori di Microsoft e di un'università di New York, pone una grande domanda: come possiamo far sì che questi modelli cambino davvero idea e trovino risposte migliori senza limitarsi a girare in tondo? Si rivolgono a un'antica idea della filosofia chiamata "Dialettica Hegeliana". Immaginala come un club di dibattito molto strutturato e ad alta posta in gioco. Invece di dire solo "ho ragione", il modello è costretto a interpretare due personaggi: uno che propone un'idea e un altro che agisce come un critico severo per trovare i difetti di quell'idea. Poi, un terzo personaggio interviene per fondere le due visioni opposte in un'idea nuova e migliore che mantenga le parti migliori di entrambe. È un modo per costringere il computer a diventare più intelligente argomentando con se stesso, piuttosto che limitarsi a ripetere ciò che già pensa.

Gli autori propongono un nuovo framework in cui un LLM mette in scena questo dramma filosofico passo dopo passo. Lo chiamano un processo "auto-dialettico". Ecco come avviene la magia: prima, il modello elabora un'idea iniziale, che loro chiamano "Proposizione". Successivamente, deve generare un' "Idea Opposta". Questa non è solo una supposizione casuale; il modello riceve l'istruzione di agire come un critico che trova difetti o lacune specifici nell'idea originale. Questo passaggio è chiamato "Sublimazione". Infine, il modello cerca di unire queste due visioni opposte per creare un' "Idea Unificata", o "Speculazione". Questa nuova idea non è un semplice compromesso; dovrebbe essere una soluzione di livello superiore che risolva i problemi della prima idea mantenendone i punti di forza. I ricercatori hanno testato questo metodo su diversi tipi di compiti, tra cui la risoluzione di problemi matematici testuali (come i dataset GSM-8k e GSM-hard), la gestione di enigmi di logica simbolica e la risposta a domande di conoscenza complessa (MMLU Pro). Hanno scoperto che questo metodo ha aiutato i modelli a migliorare significativamente in questi compiti rispetto ai modi standard di istruirli (prompting). Ad esempio, in un difficile test di matematica chiamato GSM-Symbolic, il loro metodo ha aumentato l'accuratezza di un modello chiamato GPT-4o-mini da 0,709 a 0,770, e per il modello Qwen 2.5-7B da 0,587 a 0,623.

Una delle parti più interessanti dello studio è stata capire quanto il modello debba essere "creativo" durante questo processo. I ricercatori hanno usato qualcosa chiamato "temperatura" per controllare questo aspetto. Immagina la temperatura come un cursore per l'immaginazione del modello. Un'impostazione bassa rende il modello molto concentrato e propenso a restare ancorato alla risposta più ovvia, mentre un'impostazione alta lo rende più selvaggio e propenso a tentare combinazioni strane e nuove. Il team ha testato due modi per usare questo cursore: mantenerlo su un'impostazione costante per tutto il tempo, o utilizzare uno "schema di annealing dinamico". Lo schema di annealing è come iniziare un viaggio con una temperatura alta (molta esplorazione creativa e selvaggia) e abbassare lentamente il cursore verso una temperatura bassa (raffinamento attento e concentrato) man mano che il processo procede. Hanno scoperto che nessuno dei due metodi era perfetto per ogni situazione. Per alcuni modelli e compiti, la temperatura costante funzionava meglio, mentre per altri, lo schema dinamico che passava da creativo a concentrato produceva i risultati migliori. Ad esempio, nel test di matematica GSM-8k, lo schema di annealing dinamico ha aiutato GPT-4o a raggiungere un'accuratezza di 0,955, superando leggermente il suo punteggio a temperatura costante di 0,953. Tuttavia, per il modello Qwen 2.5-7B nello stesso test, la temperatura costante è stata leggermente migliore. Ciò suggerisce che il modo "migliore" di regolare la creatività del modello dipende dal problema specifico e dal particolare "cervello elettronico" utilizzato.

Per assicurarsi che le nuove idee elaborate dai modelli fossero effettivamente buone, i ricercatori hanno dovuto essere cauti. Poiché non avevano esperti umani a disposizione per controllare ogni singolo problema matematico o idea scientifica, hanno inventato un sistema chiamato "Votazione a Maggioranza Multi-Agente" (MAMV). Immagina un tavolo rotondo con diversi modelli di IA seduti intorno. Ognuno vota indipendentemente se la nuova idea unificata è valida (ha senso?) e nuova (è effettivamente nuova?). Se la maggioranza dei giudici IA dice "sì", l'idea viene accettata. Se dicono "no", il processo si ferma. Questo ha permesso al team di testare il loro metodo su larga scala senza bisogno di un team di professori umani. I risultati hanno mostrato che questa autocritica strutturata era molto più efficace del semplice chiedere al modello di "riprovare" o "pensare più intensamente". I modelli che utilizzavano questo approccio hegeliano erano più bravi a individuare i propri errori logici e a correggerli, portando a risposte più accurate in matematica e scienza.

Tuttove, gli autori sottolineano con cautela che questo non è un bacchetta magica che risolve tutto. Hanno scoperto che se il modello diventa troppo creativo (temperatura troppo alta), potrebbe proporre idee totalmente fuori tema o prive di senso. Se è troppo concentrato (temperatura troppo bassa), potrebbe semplicemente ripetere lo stesso errore all'infinito. Inoltre, misurare quanto un'idea sia "nuova" è molto difficile. Il modello potrebbe pensare di aver scoperto una brillante nuova teoria, ma potrebbe solo stare ricordando qualcosa che ha letto durante il suo addestramento. I ricercatori ammettono che il loro metodo genera idee che potrebbero non essere sempre scientificamente corrette e che una vera validazione richiederebbe ancora esperti umani. Hanno inoltre notato che a volte i modelli rimanevano bloccati in un loop in cui non riuscivano a generare un'idea opposta valida, o finivano per ripetere gli stessi paragrafi. Nonostante queste limitazioni, il documento suggerisce che trattare l'auto-riflessione come un dibattito strutturato, piuttosto che come un semplice comando di "controlla il tuo lavoro", è un modo potente per aiutare l'IA a pensare con più chiarezza. Costringendo il modello a confrontarsi con i propri difetti e a sintetizzare una risposta migliore, potremmo costruire sistemi che non si limitano a sembrare intelligenti, ma che in realtà ragionano meglio.