On the Expressive Power of Transformers

Il Progetto del Cervello: Perché Alcuni Enigmi Sono Più Difficili di Altri

Immaginate di cercare di insegnare a un robot come leggere. Potreste pensare che il robot debba solo guardare le lettere una alla volta, come una persona che scansiona una pagina. Ma i robot moderni super-intelligenti, chiamati Modelli di Linguaggio di Grandi Dimensioni (LLM), non funzionano così. Invece di leggere da sinistra a destra, usano un trucco speciale chiamato "Transformer". Pensate al Transformer come a un enorme team di detective che lavorano in una stanza. Quando vedono una frase, ogni detective può istantaneamente gridare agli altri detective per dire: "Ehi, sto guardando questa parola, e si connette a quella parola là!". Questo permette loro di comprendere il contesto e le relazioni in un attimo, invece di limitarsi a memorizzare una lista di regole.

Ma ecco la grande domanda che tiene svegli gli scienziati durante la notte: quanto sono davvero intelligenti questi detective? Possono risolvere qualsiasi enigma, o ci sono alcuni rompicapi che li metteranno sempre in difficoltà? Per trovare la risposta, i ricercatori non si limitano a eseguire test; osservano il "cervello" del robot attraverso la lente della matematica dell'informatica. Confrontano il Transformer con una famiglia di macchine matematiche chiamate "circuiti". Immaginate questi circuiti come fabbriche con catene di montaggio. Alcune fabbriche sono molto semplici, con linee brevi e pochi operai (questi sono chiamati AC0). Altre hanno linee più lunghe e strumenti più potenti che possono contare e confrontare numeri enormi (questi sono TC0). Capendo a quale tipo di fabbrica il Transformer somiglia di più, gli scienziati possono prevedere esattamente quali tipi di problemi può risolvere e dove incontra un muro. Questo è importante perché, se conosciamo i limiti di questi modelli, possiamo smettere di aspettarci che facciano la magia e iniziare a costruirli per ciò che sono effettivamente capaci di fare.

La Grande Scoperta del Paper: L'Interruttore di Potenza del Transformer

Nel loro articolo, "On the Expressive Power of Transformers", i ricercatori Phokion G. Kolaitis e Rik Sengupta agiscono come architetti che ispezionano un nuovo edificio high-tech. Non stanno solo guardando quanto sia bello l'edificio; stanno misurando la sua capacità di carico per vedere esattamente cosa può sostenere. La loro scoperta principale è che la potenza del Transformer non è fissa; cambia drasticamente in base ad alcune "manopole" o impostazioni, specificamente quanta precisione (quante cifre decimali può usare per i calcoli) e se gli è permesso pensare ad alta voce (una tecnica chiamata Chain-of-Thought).

Per prima cosa, guardiamo il Transformer senza alcun tempo di pensiero extra. Gli autori spiegano che se date al Transformer un'impostazione di attenzione "hard" semplice (dove sceglie solo una parola su cui concentrarsi) o se limitate la sua matematica a una precisione molto bassa (come usare solo pochi bit di informazione), esso è sorprendentemente debole. Infatti, in queste condizioni, il Transformer è matematicamente equivalente alla tipologia più semplice di fabbrica di circuiti, AC0. Ciò significa che può gestire la logica di base, come controllare se una frase ha un numero pari di parole, ma fatica con compiti che richiedono di contare o confrontare grandi numeri. È come un detective che può individuare un cappello rosso ma non sa contare quanti cappelli rossi ci sono nella stanza.

Tuttavia, la storia diventa molto più interessante quando si alza la precisione. Se al Transformer è permesso usare una matematica più precisa (specificamente, un numero di bit che cresce con la lunghezza del testo, come $\Theta(\log n)$), esso sale di livello. Diventa potente quanto la fabbrica di circuiti TC0. Questo è un salto significativo! Ora, il Transformer può gestire domande sulla "maggioranza" e compiti di conteggio più complessi. È come dare al detective una calcolatrice; improvvisamente, può risolvere enigmi che prima erano impossibili. Ma anche con questo aggiornamento, il paper suggerisce che esiste ancora un soffitto. Senza aiuto extra, questi modelli sono probabilmente bloccati nel regno TC0 e non possono facilmente risolvere problemi che richiedono un ragionamento logico profondo e passo dopo passo, tipico di classi informatiche più complesse come PTIME (tempo polinomiale).

Il vero elemento di svolta, secondo il paper, è la Chain-of-Thought (CoT). Immaginate che il Transformer non sia più solo un detective che osserva una scena del crimine; ora, gli è permesso scrivere un diario dei suoi pensieri prima di dare la risposta finale. Può generare "token" intermedi (piccole note) che rialimenta in se stesso per aiutarlo a risolvere il problema. Gli autori dimostrano che questo semplice cambiamento rompe i limiti precedenti.

• Se al Transformer è permesso scrivere un breve diario (proporzionale alla lunghezza del testo, o $O(n)$), può risolvere problemi che richiedono tempo quadratico (come $n^2$).
• Se può scrivere un diario molto lungo (proporzionale a un polinomio della lunghezza del testo, o $poly(n)$), diventa abbastanza potente da simulare qualsiasi algoritmo informatico standard, raggiungendo la classe PTIME.
• E se ha uno spazio di pensiero illimitato e precisione illimitata, può simulare una Macchina di Turing, che è la definizione teorica di un computer universale capace di risolvere qualsiasi problema computabile.

Il paper è molto chiaro su cosa significhi questo: il Transformer non è intrinsecamente "onnipotente" o "inutile". La sua capacità di risolvere problemi difficili dipende interamente da quanto "carta da scarabocchio" (Chain-of-Thought) e quanta "precisione matematica" gli date. Senza queste risorse, è limitato a una logica semplice e superficiale. Con esse, può scalare la scala della complessità fino a simulare un computer completo.

Gli autori evidenziano anche alcune limitazioni specifiche. Sostengono che i modelli di attenzione "hard" (dove il robot sceglie solo una parola) sono strettamente più deboli dei modelli di attenzione "soft" (dove pesa molte parole) e non possono nemmeno raggiungere la piena potenza della classe di circuiti più semplice in alcuni casi. Inoltre, sottolineano che, sebbene il Transformer possa teoricamente simulare una Macchina di Turing con abbastanza Chain-of-Thought, questa è un limite teorico. Nel mondo reale, non abbiamo memoria infinita o tempo infinito per generare infiniti pensieri intermedi, quindi i modelli del mondo reale avranno sempre un soffitto pratico inferiore al massimo teorico.

In breve, Kolaitis e Sengupta hanno mappato la "rete elettrica" dei Transformer. Mostrano che questi modelli non sono scatole nere magiche; sono macchine con risorse limitate. Se volete che risolvano un enigma difficile, non potete semplicemente chiedere loro di "sforzarsi di più"; dovete dare loro gli strumenti giusti: più precisione, più livelli e, soprattutto, la capacità di pensare passo dopo passo. Il paper conclude che comprendere questi limiti è crucialo. Ci aiuta a smettere di aspettarci che questi modelli facciano l'impossibile e a iniziare a progettarli per essere la migliore versione possibile di ciò che sono: riconoscitori di pattern incredibilmente potenti, ma in definitiva limitati.