The Changing Geometry of Grammar: Dimensionality and Neighborhood Reorganization across Transformer Layers

Nelle menti digitali dei moderni modelli linguistici, le parole non restano ferme. Quando un computer legge una frase, trasforma ogni parola in una lunga lista di numeri, un punto che fluttua in uno spazio vasto e invisibile con centinaia di dimensioni. Questi punti non sono sparsi casualmente; si raggruppano, formando sottili fogli curvi all'interno di quel vuoto ad alta dimensionalità. Gli scienziati chiamano questi fogli varietà (manifold), e lo spessore del foglio racconta una storia su quanta informazione la parola stia trasportando. Se una parola è libera di cambiare in molte direzioni, il foglio è spesso e complesso. Se la parola è strettamente vincolata dai suoi vicini, il foglio diventa sottile e semplice. Questa compressione dell'informazione è un modo fondamentale con cui questi modelli comprendono il mondo, ma finora, i ricercatori hanno faticato a vedere come il compito specifico che una parola svolge in una frase — se sia un sostantivo pesante come "gatto" o un connettore leggero come "il" — plasmi questa geometria.

Un team di ricercatori si è posto l'obiettivo di mappare questo paesaggio nascosto, chiedendosi se il ruolo grammaticale di una parola detti il percorso che essa compie attraverso gli strati di una rete neurale. Si sono concentrati sulla distinzione tra parole a classe aperta, che portano un significato ricco come i nomi e i verbi, e parole a classe chiusa, che servono a uno scopo strutturale come le preposizioni e i pronomi. Alimentando quattro diversi tipi di modelli linguistici con migliaia di frasi, hanno tracciato come la forma dei dati cambi strato dopo strato. Hanno scoperto che questi due tipi di parole non percorrono la stessa strada. Le parole a classe chiusa si espandono in uno spazio più ampio e complesso nelle prime fasi del processo, per poi collassare nuovamente in una forma stretta e semplice molto prima dei loro corrispettivi carichi di contenuto. Ciò suggerisce che il modello prima distende queste parole strutturali per capire come si collegano alle altre parti della frase, e una volta stabilito tale collegamento, le ripiega su se stesse, avendo estratto tutta l'informazione relazionale necessaria.

I ricercatori hanno scoperto che questo ripiegamento geometrico non è solo una fluttuazione casuale, ma una precisa riorganizzazione del vicinato attorno a ciascuna parola. Man mano che una parola si muove più in profondamente nella rete, i suoi vicini più prossimi nello spazio matematico cambiano. Per le parole strutturali, questo cambiamento avviene in modo rapido e decisivo. Una parola come "il" potrebbe iniziare il suo viaggio circondata da altri determinativi, ma mentre la rete elabora la frase, si stacca da quel gruppo e si avvicina al sostantivo specifico che modifica. Questo spostamento nei vicini corrisponde esattamente al momento in cui la rappresentazione interna della parola diventa più semplice e compressa. Al contrario, le parole di contenuto come "elefante" o "correre" mantengono una geometria più complessa e aperta per più tempo, riflettendo la necessità continua di integrare i loro significati specifici con l'evoluzione del contesto della frase.

Lo studio ha anche rivelato che l'architettura del modello conta profondamente. I modelli che leggono le frasi in entrambe le direzioni contemporaneamente, come gli encoder, risolvono queste connessioni strutturali precocemente, causando i cambiamenti geometrici negli strati centrali. I modelli che leggono strettamente da sinistra a destra, come i decoder, seguono un percorso diverso, con questi spostamenti geometrici che avvengono più tardi, man mano che il contesto si accumula. Nonostante queste differenze architettoniche, il nucleo della scoperta rimane valido: il percorso che una parola compie attraverso la rete è un riflesso diretto della sua funzione grammaticale. I ricercatori lo hanno dimostrato mostrando che un computer poteva guardare esclusivamente la forma dei punti dati — il loro spessore e il modo in cui i loro vicini cambiavano — e indovinare correttamente se una parola fosse una parola funzionale o una parola di contenuto, o persino identificare la sua specifica categoria grammaticale, senza mai vedere la parola stessa.

Questo lavoro suggerisce che la grammatica di una frase non è solo un insieme di regole che il modello segue, ma una realtà fisica all'interno della sua struttura matematica. Il modello non si limita a memorizzare il significato di una parola; rimodella fisicamente lo spazio attorno a quella parola per risolvere l'enigma di come essa si inserisca nella frase. Nel momento in cui una parola strutturale trova il suo partner nella frase, il modello collassa le dimensioni extra che aveva avuto bisogno di esplorare, lasciando dietro di sé una rappresentazione compatta ed efficiente. È come se il modello costruisse un'impalcatura temporanea per sostenere la frase e, una volta che la struttura è sicura, rimuovesse l'impalcatura, lasciando solo la forma essenziale del significato. Questa danza geometrica di espansione e contrazione fornisce una nuova finestra su come l'intelligenza artificiale comprenda l'equilibrio delicato tra le parole che trasportano il significato e le parole che lo tengono insieme.