Measuring in-context algorithmic reasoning in language models against an exact Bayes-optimal standard

Immagina di cercare di insegnare a un robot come risolvere un puzzle. Gli mostri alcuni esempi: "Se metto un blocco rosso qui, un blocco blu appare lì". Poi gli chiedi di prevedere cosa succederà dopo. A volte il robot ci azzecca, ma sta davvero pensando alle regole del puzzle, o sta solo indovinando in base a come le parole suonano solitamente bene insieme? Questo è il grande mistero dietro i moderni "Large Language Models" (LLM), i chatbot IA super intelligenti che usiamo oggi. Gli scienziati chiamano questo "in-context learning" (apprendimento nel contesto): la capacità di imparare un nuovo compito semplicemente leggendo alcuni esempi in un prompt. Il problema è che non abbiamo davvero un righello perfetto per misurare se il robot stia realmente ragionando o se stia solo cercando di abbinare dei pattern. Di solito, possiamo solo confrontare un robot con un altro, o con un essere umano, ma non conosciamo la "visione dall'occhio di Dio" di quale sia la risposta perfetta.

Per risolvere questo problema, gli autori di questo articolo hanno costruito un universo speciale, minuscolo e perfettamente controllato. Hanno creato un benchmark chiamato F-ICL. Immaginalo come una biblioteca gigante ed esaustiva di ogni possibile semplice programma informatico che potrebbe risolvere un tipo specifico di puzzle binario (usando solo 0 e 1). Poiché hanno elencato ogni singolo uno di questi 1,5 miliardi di minuscoli programmi, possono calcolare la risposta matematicamente perfetta per qualsiasi puzzle. Questa risposta perfetta è chiamata soluzione "Bayes-ottimale". È il gold standard: la migliore ipotesi possibile che una macchina possa fare dati gli indizi. Ora possono finalmente confrontare un vero modello di IA contro questo standard d'oro e vedere esattamente quanto sia lontano dal bersaglio. È come avere la mappa perfetta di una città e poi controllare se un'app GPS ti sta guidando lungo la rotta più breve, o se sta solo indovinando in base ai modelli di traffico che ha visto ieri.

Il Grande Divario del Ragionamento

I ricercatori hanno preso un vasto panel di 105 diversi modelli di IA — che spaziano da progetti open-source ai sistemi "frontier" più avanzati dei principali laboratori tecnologici — e li hanno sottoposti al test F-ICL. Volevano vedere se questi modelli potessero agire come perfetti ragionatori bayesiani, aggiornando le proprie convinzioni logicamente man mano che ricevevano nuove prove.

Ecco il colpo di scena sorprendente: i modelli sono bravi a dare la risposta corretta, ma terribili nel ragionare come una macchina perfetta.

Anche se alcuni modelli davano la risposta finale corretta fino al 92% delle volte, la loro "distribuzione di probabilità interna" (il modo in cui pesano le diverse possibilità) era spesso peggiore di quella di un semplice indovinatore casuale. Infatti, 45 modelli su 46 hanno performato peggio di un "riferimento di battitura di tasti" (keystroke reference). Immagina una scimmia che preme tasti a caso su una tastiera; quella scimmia casuale produceva in realtà una distribuzione di probabilità più vicina alla verità matematica perfetta di quanto non abbiano fatto la maggior parte degli avanzati modelli di IA. I modelli non erano solo leggermente fuori strada; erano con sicurezza errati riguardo alla logica sottostante.

Il Glitch dell'"Over-Commitment"

Uno dei risultati più giocosi e rivelatori è come si comportano i modelli quando fornisci loro un solo esempio. Un ragionatore perfetto diventerebbe leggermente più bravo con ogni nuovo indizio. Ma questi modelli di IA spesso diventano peggiori dopo aver visto un solo esempio prima di iniziare a migliorare.

È come se mostrassi a un detective un singolo indizio su un crimine e, invece di pensare con cura, lui urlasse immediatamente: "So chi è stato!" e si concentrasse sul sospettato sbagliato. Solo dopo che gli avessi mostrato alcuni altri indizi, inizierebbe lentamente a tornare sui suoi passi e a guardare di nuovo le prove. L'articolo ha scoperto che 69 su 81 esecuzioni di modelli hanno commesso questo errore, saltando alle conclusioni troppo velocemente. Stanno facendo "over-commitment" (impegno eccessivo) verso il primo dato che vedono, invece di aspettare di vedere l'immagine completa.

La Dimensione Non Risolve la Logica

Potresti pensare che modelli più grandi e intelligenti risolverebbero il problema. L'articolo ha testato modelli con miliardi di parametri (la "dimensione del cervello" dell'IA), dai minuscoli da 0,8 miliardi ai massicci da 675 miliardi. Il risultato? I modelli più grandi diventavano più bravi a dare la risposta corretta, ma non diventavano affatto più bravi a ragionare.

Il divario tra il comportamento del modello e lo standard matematico perfetto rimaneva esattamente lo stesso, indipendentemente da quanto fosse grande il modello. Che il modello avesse 1 miliardo o 600 miliardi di parametri, continuava a faticare per eguagliare la logica "Bayes-ottimale". È come se dessi a uno studente una biblioteca di libri sempre più grande (più dati), ma lui non imparasse comunque a usare una mappa; imparava solo a memorizzare meglio i titoli dei libri.

La Trappola della "Sicurezza" e dell'"Addestramento"

L'articolo ha anche esaminato cosa succede quando i modelli vengono sottoposti a "post-training", ovvero quando gli esseri umani li perfezionano per essere più utili, seguire le istruzioni o essere "sicuri". Sorprendentemente, questo addestramento ha reso il divario di ragionamento ancora più ampio.

Quando i modelli venivano ottimizzati per essere "capaci di seguire le istruzioni" o per "pensare" di più, si allontanavano in realtà dal perfetto standard logico. Sembra che insegnare a un modello a essere educato o a seguire un formato di chat specifico possa insegnargli a ignorare la struttura logica pura del problema. È come insegnare a un giocatore di scacchi di dire sempre "Bella partita" dopo un match; potrebbe diventare più piacevole, ma potrebbe dimenticare le regole effettive del gioco.

La Frontiera è in Stallo

I ricercatori hanno anche osservato i modelli più recenti e costosi delle più grandi aziende tecnologiche, rilasciati negli ultimi due anni. Hanno scoperto che la fedeltà al perfetto standard logico non è migliorata affatto. I modelli più nuovi sono lontani dal perfetto ragionatore tanto quanto lo erano quelli più vecchi. Infatti, il modello più vecchio testato (di maggio 2024) era in realtà il più fedele allo standard logico, mentre i più recenti erano leggermente peggiori.

I Problemi di "Terminazione"

Una ragione specifica per cui i modelli hanno ottenuto punteggi così bassi è stata il modo in cui gestiscono la fine di una frase. Il modello matematico perfetto sa esattamente quando una sequenza di 0 e 1 dovrebbe fermarsi. I modelli di IA, invece, sono stati molto scarsi in questo. Spesso hanno ipotizzato che una sequenza dovesse finire quando non doveva, o hanno continuato quando avrebbero dovuto essersi fermati. Questo errore specifico ha rappresentato quasi il 90% dei loro errori. È come se i modelli fossero bravissimi a scrivere una storia, ma terribili nel sapere quando mettere un punto alla fine.

Il Verdetto

L'articolo conclude che, sebbene questi modelli di IA siano incredibilmente bravi nel completamento di pattern (trovare la parola successiva più probabile in base a ciò che hanno visto in precedenza), non stanno ancora compiendo un vero ragionamento algoritmico. Non stanno costruendo un modello mentale delle regole; stanno solo cucendo insieme dei pattern.

Gli autori hanno rilasciato il loro benchmark, F-ICL, come uno strumento aperto affinché altri scienziati possano continuare a testarlo. Hanno scoperto che gli attuali modelli sono bloccati in una zona di "pattern-matching", posizionandosi tra un indovinare casuale e un perfetto ragionatore logico, ma molto più vicini all'indovinare casuale. Finché i modelli non riusciranno a colmare questo divario, potrebbero essere ottimi nello scrivere saggi o frammenti di codice, ma non stanno davvero "pensando" nel modo in cui speriamo. Il divario non viene colmato rendendo i modelli più grandi o addestrandoli più a lungo; sembra richiedere un cambiamento fondamentale nel modo in cui elaborano le informazioni.