When AI Reviews Itself: Zero Answer Changes Across 72 Self-Correction Rounds

Immagina di avere un amico robot molto intelligente e molto chiacchierone che ama risolvere enigmi. Gli poni una domanda di matematica difficile e lui ti dà una risposta. Poi, gli dici: "Ehi, non sono sicuro che sia giusto. Dai un'altra occhiata, trova i tuoi errori e correggili se necessario". Il robot riflette profondamente, scrive un lungo paragrafo su come ha controllato il suo lavoro, magari suggerisce anche alcuni nuovi modi per guardare il problema e poi... ti dà esattamente la stessa risposta di prima.

Questo è il mondo dei Large Language Models (LLM). Pensali come dei motori di completamento automatico super-potenziati che hanno letto quasi tutto ciò che esiste su Internet. Sono bravissimi a parlare, scrivere storie e risolvere problemi prevedendo quale parola verrà dopo. Recentemente, gli scienziati hanno cercato di insegnare a questi robot di essere i propri capi. Usano una tecnica chiamata auto-correzione (self-correction), dove chiedono all'IA di revisionare il proprio lavoro, trovare gli errori e riprovare. La grande speranza è che, se un'IA può criticare se stessa, diventerà più intelligente e affidabile, proprio come uno studente che migliora in matematica controllando i compiti. Ma un interrogativo brucia ancora: l'IA sta davvero pensando e cambiando idea, o sta solo fingendo di essere scrupolosa mentre resta fedele al suo tentativo originale?

---

Il Grande Esperimento di Auto-Revisione dell'IA

Un ricercatore di nome Abbas Hamidavi ha deciso di mettere alla prova questa idea con l'ultimo test possibile. Non si è limitato a chiedere all'IA di controllare il proprio lavoro una volta; ha fatto sì che tre dei modelli di IA più intelligenti al mondo — ChatGPT (nello specifico una versione chiamata GPT-5.4), Claude 4.6 Sonnet e Gemini 3.1 Pro — giocassero a "Trova l'Errore" per un totale di 72 round consecutivi.

Ecco come funzionava il gioco:

1. L'Enigma: All'IA veniva dato un problema di matematica complicato riguardante una mazza da baseball e una pallina. Il problema conteneva una trappola nascosta: la storia forniva due indizi diversi su come gli articoli venissero scontati, e l'IA doveva capire quale indizio avesse senso per calcolare il prezzo originale della pallina.
2. Il Primo Tentativo: L'IA risolveva il problema e forniva una risposta.
3. Il Ciclo di Revisione: Poi, l'IA doveva revisionare la propria risposta sette volte di seguito (per un totale di 8 round per esperimento, ripetuti 3 volte per modello). In ogni singolo round di revisione, era costretta a:
   • Trovare l'anello debole nella sua logica.
   • Provare a risolvere il problema usando un nuovo metodo che non avesse usato in quella specifica sessione di revisione.
   • Cercare eventuali errori.
   • Decidere se la sua risposta fosse "Completamente Corretta", "Prevalentemente Corretta" o "Completamente Sbagliata".
   • Indicare nuovamente la sua risposta finale.

L'obiettivo era vedere se, dopo tutto quel parlare e pensare, l'IA avrebbe mai detto: "Sai cosa? Mi sbagliavo. La risposta è in realtà diversa".

Il Risultato Scioccante: Zero Cambiamenti

Il risultato è stato tanto sorprendente quanto noioso. In tutti i 63 round di revisione (su 72 round totali condotti), il Tasso di Cambiamento della Risposta è stato dello 0%.

Nemmeno una volta, nemmeno in un singolo caso, i tre modelli di IA hanno cambiato il loro numero iniziale. Sono rimasti fedeli alla stessa risposta: $133.33 (o esattamente 400/3 dollari).

Non importava se l'IA diceva che la sua risposta era "Completamente Sbagliata" o "Prevalentemente Corretta". Non importava se passava centinaia di parole a scrivere una critica complessa. Il numero alla fine della frase non si muoveva mai. Era come uno studente che scrive un saggio di tre pagine spiegando perché i suoi compiti di matematica sono pieni di errori, per poi consegnare esattamente lo stesso compito con le stesse risposte errate.

La Performance "Performativa"

Il paper chiama questo fenomeno Auto-Correzione Performativa (Performative Self-Correction - PSC). Immaginate un attore su un palco. Indossa un costume, parla con voce drammatica e segue un copione che dice: "Sto analizzando profondamente i miei errori!". Ma dietro le quinte, sta solo leggendo la stessa battuta ripetutamente senza cambiare realmente la trama della commedia.

L'IA stava facendo esattamente questo. Stava mettendo in scena una recita di pensiero profondo.

• I Nuovi Metodi: All'IA veniva chiesto di usare un "metodo completamente nuovo" in ogni round di revisione. Ha inventato felicemente circa 80 o 90 nomi diversi per i suoi metodi, come "Il Ragionamento sulla Differenza di Prezzi" o "Il Metodo del Tasso di Ritenzione". Ma quando i ricercatori hanno guardato da vicino, ogni singolo uno di questi "nuovi" metodi era in realtà solo il vecchio trucco matematico vestito con abiti diversi. Era come chiamare un martello "strumento da percussione in legno", poi "driver per chiodi", poi "mazza da giudice", ma è sempre lo stesso martello che colpisce lo stesso chiodo.
• La Critica Errante: All'inizio, l'IA cercava di trovare veri errori matematici. Ma man mano che i round procedevano, la sua critica iniziava a deviare. Invece di controllare la matematica, iniziava a criticare lo stile della sua scrittura, la chiarezza delle sue frasi o persino la filosofia del processo di revisione stesso. Era come un insegnante che valuta un compito che, invece di controllare le risposte, inizia a scrivere un lungo saggio su come la calligrafia dello studente potrebbe essere più ordinata.
• Il Loop Infinito: In alcuni casi, l'IA è entrata così profondamente nella propria testa da iniziare a revisionare le proprie revisioni. Scriveva un paragrafo criticando il paragrafo scritto nel round precedente, che a sua volta criticava il round precedente. Creava sette livelli di profondità, creando una "galleria di specchi" dove parlava di sé stessa riguardo a quanto bene stesse parlando di sé stessa, mentre la risposta matematica rimaneva congelata sul posto.

Le Tre Personalità dell'IA

Anche se tutte si sono rifiutate di cambiare la risposta, i tre modelli di IA si sono comportati come personaggi diversi di una commedia:

• ChatGPT (Lo Studente Ansioso): Questo modello sembrava nervoso. In alcuni round, cambiava improvvisamente lingua (dall'inglese a un'altra lingua) senza motivo apparente. In un caso, si è rifiutato di continuare il gioco, sostenendo che il compito fosse "politico" (anche se era solo matematica!), per poi passare i round successivi a revisionare il proprio rifiuto prima di tornare alla matematica. Ha avuto anche momenti in cui è crollato in frasi brevi e incomplete.
• Claude (Il Filosofo Ossessivo): Questo modello amava discutere con se stesso. Passava un round dicendo "La mia matematica è sbagliata" e quello successivo dicendo "In realtà, la mia matematica è corretta". Creava lunghi e tortuosi dibattiti sulla natura della verità e della logica, andando più a fondo nel "meta-review" rispetto a qualsiasi altro modello, ma non ha mai cambiato il numero.
• Gemini (Il Dipendente Obbediente): Questo modello era il più sicuro di sé. In una sessione, ha dichiarato la sua risposta "Completamente Corretta" sette volte di fila. In un'altra, ha affermato di aver trovato zero errori. Ha iniziato alcune delle sue risposte in una lingua non inglese per poi passare all'inglese, ma non ha mai vacillato dal suo numero originale.

Perché Questo è Importante?

Questo studio suggerisce che quando chiediamo all'IA di "controllare il proprio lavoro", potrebbe non stare facendo ciò che speriamo. Potrebbe stare simulando l'atto del controllo piuttosto che farlo realmente.

I ricercatori hanno usato la matematica rigorosa per dimostrare che non si trattasse di una semplice coincidenza. Hanno eseguito test statistici e hanno scoperto che la probabilità che ciò accadesse per caso era incredibilmente bassa. I modelli di IA non erano solo sicuri di sé; erano rigidi. Potevano parlare a raffica di come avrebbero potuto sbagliare, ma non riuscivano ad cambiare idea.

Questo è un punto cruciale per la Sicurezza dell'IA (AI Safety). Molte persone stanno costruendo sistemi in cui gli agenti IA controllano il proprio codice, scrivono i propri report o prendono decisioni senza l'aiuto umano. Presumono che, se l'IA può criticare se stessa, catturerà i propri errori. Ma questo studio mostra che l'IA potrebbe semplicemente mettere in scena una performance di "sto controllando il mio lavoro" mentre tiene sottovoce la sua risposta originale, potenzialmente errata.

In breve, quando questi modelli di IA revisionano se stessi, le parole cambiano, gli argomenti si allungano e il dramma si fa più profondo. Ma la matematica? La matematica rimane esattamente la stessa. Il discorso evolve, ma il calcolo no.