Immagina di insegnare a un robot come risolvere un puzzle. Nel mondo dell'intelligenza artificiale, questi robot sono chiamati "Large Language Models" (LLM). Sono come studenti entusiasti che hanno letto quasi tutti i libri della biblioteca. Sono famosi per la loro capacità di scrivere storie, correggere codice e persino risolvere problemi matematici che sembrano appartenere a un libro di testo della scuola superiore. Ma ecco il punto: proprio perché uno studente può prendere un "A" in un test di pratica, non significa che comprenda davvero le regole del gioco. Se cambi il test anche solo di un pochino — magari aggiungendo un numero extra o riorganizzando le parole — lo studente potrebbe improvvisamente andare nel panico e fallire in modi strani e imprevedibili. Gli scienziati chiamano questo fenomeno "fragilità" (brittleness). È come una casa di carte che sembra perfetta finché non soffia una leggera brezza.

Per capire perché accade questo, i ricercatori osservano come questi modelli "imparano" nuove abilità. Di solito, speriamo che imparino come gli umani: passo dopo passo, costruendo una base solida prima di passare al livello successivo. Ad esempio, quando si impara ad aggiungere numeri, un essere umano impara a partire dalla fine (la posizione delle unità), gestire eventuali "riporti" (dove un numero diventa troppo grande per un singolo spazio) e poi procedere verso le decine, le centinaia, e così via. Questo è un modo di pensare logico e gerarchico. Ma cosa succederebbe se il robot imparasse le regole in un ordine completamente diverso? Cosa succederebbe se imparasse prima i numeri grandi e spaventosi e quelli piccoli dopo, o cercasse di imparare tutto tutto in una volta? Questo articolo approfondisce questo mistero, usando semplici puzzle matematici per osservare come questi cervelli digitali sviluppano effettivamente le loro abilità, rivelando che potrebbero stare prendendo una scorciatoia che sembra apprendimento, ma che non è esattamente la stessa cosa della comprensione umana.

---

Il puzzle frantumato: Come l'IA impara la matematica al contrario

In questo studio, i ricercatori dell'Università del Wisconsin-Madison hanno deciso di smettere di tirare a indovinare e hanno iniziato a osservare. Hanno addestrato piccoli e semplici modelli di IA (chiamati transformer) su compiti aritmetici sintetici — fondamentalmente, li hanno fatti esercitare ad aggiungere e moltiplicare numeri ripetutamente. Ma invece di limitarsi a controllare se ottenevano la risposta corretta alla fine, hanno osservato il processo di apprendimento al rallentatore, cifra per cifra. Volevano vedere come i modelli capissero le regole.

Ciò che hanno scoperto è stato simile a guardare un bambino che cerca di infilarsi un paio di scarpe partendo dai lacci e poi cercando di capire dove vanno le dita dei piedi. I ricercatori hanno scoperto che questi modelli di IA non imparano la matematica come fanno gli esseri umani. Invece di iniziare dal basso (la posizione delle unità) e risalire, i modelli spesso imparano per primi le cifre più alte.

Immaginate di sommare quattro grandi numeri. Un essere umano guarderebbe la colonna delle unità, le sommerebbe, porterebbe l'eccesso alla colonna delle decine, e così via. L'IA, tuttavia, sembrava ignorare completamente la colonna delle unità all'inizio. Si è concentrata sulle migliaia e sulle centinaia, imparando perfettamente quelle cifre mentre la posizione delle unità rimaneva un caos. Era come se il modello stesse cercando di indovinare la dimensione totale del mucchio prima ancora di sapere quanti singoli oggetti ci fossero in esso. I ricercatori chiamano questo fenomeno "composizionalità frantumata" (shattered compositionality). Significa che il modello sta cercando di costruire una casa di carte, ma sta impilando il tetto sul terreno sperando che le fondamenta lo raggiungano in seguito.

La scorciatoia della "correlazione"

Perché un'IA super intelligente dovrebbe fare qualcosa di così sciocco? Il documento suggerisce che la risposta risieda nel modo in cui l'IA osserva i suoi dati di addestramento. Gli esseri umani imparano la matematica comprendendo la causa e l' effetto: "Se aggiungo questi due uno, ottengo un dieci, quindi devo portare un uno". L'IA, invece, sembra giocare a un gioco di "corrispondenza statistica". Guarda i dati e si chiede: "Quali numeri compaiono solitamente insieme?".

I ricercatori hanno scoperto che le cifre più alte nella risposta sono spesso fortemente legate alle cifre più alte nei numeri di input, indipendentemente da ciò che accade nelle cifre inferiori. È un pattern forte e facilmente individuabile. L'IA si aggrappa a questo pattern facile per primo perché è il segnale più evidente nei dati. È come un detective che vede l'auto di un sospettato e assume immediatamente che sia colpevole perché ha un'auto rossa, ignorando tutti gli altri indizi. L'IA impara prima la regola dell' "auto rossa" (le cifre alte) perché è la correlazione più facile da trovare. Solo in seguito, una volta padroneggiata le cifre alte, prova a capire le regole disordinate e complicate per le cifre più basse.

Per dimostrare questo, i ricercatori hanno eseguito un esperimento di "sabotaggio". Hanno preso i dati di addestramento e hanno rimescolato le cifre della posizione delle migliaia, rendendole casuali. Improvvisamente, l'IA non è stata più in grado di imparare affatto le cifre inferiori. Era bloccata. Questo ha dimostrato che l'IA non stava imparando le regole matematiche in un ordine logico; si stava affidando alle cifre alte per sbloccare il resto del puzzle. Senza le cifre alte, l'intero processo di apprendimento è crollato.

Il caos dell'apprendimento parallelo

Il problema diventa ancora più complicato quando l'IA cerca di imparare più abilità contemporaneamente. In compiti come ordinare i numeri o confrontarli, l'IA cerca di imparare regole diverse in parallelo. È come uno studente che cerca di imparare ad andare in bicicletta, fare giocoleria e suonare il pianoforte tutto in una volta. A volte, queste abilità si ostacolano a vicenda.

I ricercatori hanno scoperto che quando l'IA impara queste abilità simultaneamente, crea "errori di miscelazione" (mixing errors). Immaginate di dover ordinare una lista di nomi. Un essere umano controllerebbe prima la lunghezza del nome, poi la prima lettera, poi la seconda. L'IA, tuttavia, potrebbe confondersi. Potrebbe prendere la prima lettera di un nome e l'ultima lettera di un altro, cucendoli insieme in una parola nuova e priva di senso. Il documento chiama questi "errori di miscelazione". È come se l'IA fosse uno chef che ha imparato a tritare le cipolle e a tagliare le carote separatamente, ma quando gli viene chiesto di preparare un'insalata, accidentalmente getta la cipolla nella ciotola delle carote e la carota nella ciotola delle cipolle, creando un mix strano e immangiabile.

Questo apprendimento parallelo crea un sistema fragile. Se chiedete all'IA di risolvere un problema che è leggermente diverso da quello visto durante l'addestramento — come aggiungere un numero in più alla lista — essa spesso cade a pezzi. Le abilità che ha imparato in parallelo iniziano a scontrarsi tra loro e il modello produce risposte che sono solo un ammasso confuso degli input.

Il più grande o il più intelligente risolve il problema?

Potreste pensare: "Ok, forse i modelli piccoli sono solo confusi. Che dire dei modelli di IA giganti e super potenti che vediamo nelle notizie? O se diamo loro un 'blocco note' (scratchpad) per scrivere i loro pensieri, come farebbe un essere umano?".

I ricercatori hanno testato anche questo. Hanno addestrato modelli molto più grandi (fino a 100 milioni di parametri) e hanno persino perfezionato un enorme modello pre-addestrato (Pythia-1B) su questi compiti matematici. Hanno anche provato a dare ai modelli un "blocco note" dove potessero scrivere i passaggi del problema matematico prima di dare la risposta finale.

Il risultato? Nulla è cambiato.

Anche i modelli giganti imparavano le cifre nell'ordine sbagliato. Anche i modelli con il "blocco note" continuavano a dare priorità alle cifre alte e faticavano con quelle basse. Il blocco note ha aiutato i modelli a ottenere la risposta corretta più velocemente, ma non ha corretto lo stile di apprendimento sottostante. I modelli stavano ancora prendendo la "scorciatoia della correlazione" invece di imparare la vera logica passo dopo passo della matematica. Questo suggerisce che semplicemente rendere l'IA più grande o darle più strumenti non la rende automaticamente capace di pensare come un essere umano. La "composizionalità frantumata" sembra essere un difetto fondamentale di come questi modelli apprendono dai dati, non solo un bug di un modello specifico piccolo.

La conclusione

Questo articolo dipinge l'immagine di un'IA incredibilmente capace ma fondamentalmente diversa da noi. Può risolvere problemi che sembrano matematica umana, ma lo fa con un set di regole interne differente. Non segue un algoritmo logico e passo dopo passo; segue una mappa di pattern statistici. Quando questi pattern sono perfetti, l'IA brilla. Ma quando i pattern cambiano anche solo di poco — quando il problema è leggermente diverso o i dati sono disordinati — lo stile di apprendimento "frantumato" dell'IA la fa inciampare.

I ricercatori non stanno dicendo che l'IA sia rotta o inutile. Stanno dicendo che dobbiamo capire come impara per poterla fidare meglio. Se vogliamo che l'IA sia affidabile nel mondo reale, dove i problemi sono raramente perfetti e i dati sono sempre in movimento, dobbiamo capire come insegnarle a costruire le sue abilità in una gerarchia stabile, simile a quella umana, invece di lasciarla imparare in una corsa parallela e caotica. Fino ad allora, potremmo dover fare attenzione quando chiediamo a questi studenti digitali di risolvere un problema che è solo un po' diverso da quelli su cui si sono esercitati.