🤖 machine learning

A Geometric Perspective on Next-Token Prediction in Large Language Models: Three Emerging Phases

Riutilizzando le lenti di rappresentazione come strumenti diagnostici geometrici per tracciare l'evoluzione dei sottospazi di lettura predittiva attraverso i livelli, questo studio rivela che i grandi modelli linguistici elaborano la previsione del token successivo attraverso tre fasi geometriche distinte – Multiplexing di Semina, Sovrascrittura di Sollevamento e Convergenza Focale – in cui l'aumento della profondità del modello migliora principalmente la disambiguazione dei candidati piuttosto che espandere la capacità rappresentazionale.

Autori originali: Gianfranco Lombardo, Giuseppe Trimigno, Stefano Cagnoni

Pubblicato 2026-05-12

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Gianfranco Lombardo, Giuseppe Trimigno, Stefano Cagnoni

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un Large Language Model (LLM) come una fabbrica enorme e multistrato, dove un'unità di informazione (una parola) viaggia dal piano terra fino al tetto. Ad ogni piano, una squadra di lavoratori aggiunge un po' di nuova informazione al pacco prima di passarlo al livello superiore. Il grande mistero che questo articolo risolve è: come decide la fabbrica quale parola produrre successivamente e dove avviene effettivamente tale decisione?

Gli autori non si sono limitati a chiedersi cosa il modello prevede ad ogni piano; hanno chiesto dove risiede la previsione all'interno della macchina della fabbrica e come si muove mentre sale.

Ecco la storia della loro scoperta, scomposta in concetti e analogie semplici.

Lo Strumento: La "Lente di Rappresentazione"

Di solito, se si dà un'occhiata all'interno della fabbrica ai piani intermedi, i lavoratori sembrano confusi. Stanno tenendo un miscuglio disordinato di possibilità e, se si tenta di indovinare la parola finale basandosi su ciò che stanno tenendo, si sbaglia. Questo perché i lavoratori stanno mantenendo l'informazione in una "sovrapposizione", come un mago che tiene un mazzo di carte coperte, dove tutte le carte sono mescolate insieme.

I ricercatori hanno utilizzato uno strumento speciale chiamato Lente di Rappresentazione. Immagina questo come un paio di occhiali magici che possono ruotare e mettere a fuoco la visione dei lavoratori. Invece di guardare semplicemente il mucchio disordinato di carte, la lente trova l'angolo specifico in cui la "carta vincente" (la parola successiva corretta) è effettivamente visibile, anche se sepolta sotto altre carte.

La Scoperta: Un Dramma in Tre Atti

Tracciando come la "carta vincente" si muove attraverso la fabbrica utilizzando questi occhiali, gli autori hanno scoperto che il processo non è casuale. Segue una rigorosa danza geometrica in tre stadi che avviene in quasi ogni modello testato (dai piccoli modelli da 1 miliardo di parametri a quelli enormi da 32 miliardi).

Fase 1: La "Multiplexing di Semina" (L'Assemblea della Folla)

Cosa succede: Mentre l'informazione entra nella fabbrica, i lavoratori iniziano a lanciare fuori molti possibili prossimi termini contemporaneamente. Non scelgono ancora un vincitore.
L'Analogia: Immagina una stanza affollata dove tutti stanno gridando idee diverse. La stanza è piena di rumore, ma l'idea "corretta" è già lì, mescolata tra centinaia di altre.
La Geometria: La fabbrica sta espandendo il suo "rank" (la sua capacità di contenere molte idee diverse). La parola corretta è presente, ma è solo una voce in un coro. È visibile alla lente magica, ma non è ancora la voce più forte.

Fase 2: L'"Overriding di Sollevamento" (Il Filtro Silenzioso)

Cosa succede: Questa è la parte più lunga del viaggio (circa il 60% dell'altezza della fabbrica). I lavoratori smettono di aggiungere nuovi tipi di idee. Invece, iniziano a ridurre silenziosamente il volume delle idee sbagliate e ad aumentare il volume di quella giusta.
L'Analogia: Immagina un ingegnere del suono in una sala di controllo. Non sta portando nuovi cantanti; sta semplicemente sfumando lentamente il rumore di fondo e potenziando il cantante principale. Il cantante principale è ancora circondato dalla folla, ma sta diventando il fulcro chiaro.
La Geometria: Il "rank" (il numero di idee attive) rimane stabile. I lavoratori sono molto precisi qui, apportando minuscoli aggiustamenti quasi invisibili che non cambiano la forma della stanza, ma cambiano chi viene ascoltato. È qui che il modello svolge il lavoro pesante: disambiguazione (capire quale tra i molti candidati è effettivamente corretto).

Fase 3: La "Convergenza Focale" (Il Riflettore)

Cosa succede: Nell'ultimo tratto, la fabbrica compie una mossa massiccia e decisiva. Sversa tutta la sua energia in una singola direzione.
L'Analogia: L'ingegnere del suono taglia improvvisamente l'alimentazione a tutti gli altri nella stanza. Il riflettore si accende istantaneamente sul cantante principale. La folla tace e il cantante è ora l'unica cosa che conta.
La Geometria: I lavoratori smettono di essere gentili. Compiono enormi aggiornamenti potenti che si allineano perfettamente con la direzione dell'output finale. Il "rank" si riduce perché stanno concentrando tutta la loro energia su un solo vincitore. La lente magica può ora vedere la risposta chiaramente senza alcun aiuto.

La Grande Conclusione: Modelli Più Grandi = Filtri Migliori, Non Iniziatori Migliori

La scoperta più sorprendente riguarda come la dimensione del modello influenzi questo processo.

Gli autori hanno scoperto che man mano che si rende la fabbrica più grande (aggiungendo più piani/strati):

Fase 1 (La Folla) rimane più o meno della stessa dimensione.
Fase 3 (Il Riflettore) rimane più o meno della stessa dimensione.
Fase 2 (Il Filtro Silenzioso) diventa molto più lunga.

La Metafora: Se hai una fabbrica piccola, la stanza del "filtraggio" è piccola. Se hai una fabbrica gigantesca, la stanza del "filtraggio" è enorme.

Questo significa che quando costruiamo modelli AI più grandi e intelligenti, non stiamo necessariamente rendendoli migliori nell'iniziare con le idee giuste o nel concludere il lavoro. Stiamo dando loro una stanza molto più grande e dettagliata per setacciare la confusione e capire quale tra le molte possibilità è quella giusta. Il potere extra dei grandi modelli è usato principalmente per la disambiguazione dei candidati: prendere un mucchio disordinato di "forse questo, forse quello" e trasformarlo in un singolo, sicuro "sì".

Riepilogo

L'articolo rivela che la previsione del prossimo token non è un lampo improvviso di intuizione alla fine. È un viaggio geometrico:

Semina: Getta tutto nel mix.
Sollevamento: Filtra silenziosamente il rumore (è qui che il modello diventa più grande).
Convergenza: Bloccati sul vincitore con alta energia.

La "magia" dei grandi modelli linguistici risiede in quella fase centrale, dove hanno lo spazio e il tempo per separare con cura il segnale dal rumore.

Riepilogo Tecnico: Una Prospettiva Geometrica sulla Predizione del Prossimo Token nei Modelli Linguistici di Grande Dimensione

Enunciato del Problema

Comprendere come i Modelli Linguistici di Grande Dimensione (LLM) elaborino e affinino le informazioni predittive attraverso la loro profondità rimane una sfida centrale nell'interpretabilità meccanica. Sebbene l'architettura transformer applichi aggiornamenti additivi a un flusso residuo condiviso, l'evoluzione geometrica delle informazioni necessarie per la predizione del prossimo token non è chiara. I metodi di rilevamento standard, come il LogitLens, soffrono di "deriva rappresentazionale", dove gli stati intermedi non sono allineati con la base di smappatura finale, rendendoli "ciechi" ai segnali predittivi presenti nei primi livelli. Inoltre, il principio della sovrapposizione suggerisce che le caratteristiche predittive possano esistere in direzioni sovrapposte, nascoste all'interno del flusso residuo ad alta dimensionalità. Questo articolo affronta la domanda: Dove risiede l'informazione predittiva nel flusso residuo e come evolve la sua struttura geometrica mentre si propaga attraverso la profondità della rete?

Metodologia

Gli autori propongono un framework che riutilizza le lenti rappresentazionali (mappe affini apprese addestrate a prevedere il prossimo token dai flussi residui intermedi) come strumenti diagnostici geometrici piuttosto che come semplici meccanismi di decodifica.

Lenti Rappresentazionali: Seguendo l'approccio TunedLens, gli autori addestrano correzioni affini per livello $(A_\ell, b_\ell)$ per allineare le rappresentazioni intermedie alla distribuzione di output finale tramite distillazione KL.
Sottospazio di Lettura Predittiva: Invece di analizzare l'intera matrice di correzione, gli autori eseguono la Decomposizione ai Valori Singolari (SVD) sulla matrice di correzione $A_\ell$ . Definiamo il sottospazio di lettura predittiva $S^{(k)}_\ell$ come il sottospazio di dimensione $k$ generato dai $k$ vettori singolari destri principali. Questo sottospazio rappresenta le direzioni dominanti nel flusso residuo dove è concentrata l'informazione predittiva.
Traiettoria sulla Varietà di Grassmann: La sequenza di sottospazi $\{S^{(k)}_\ell\}_{\ell=1}^L$ è trattata come una traiettoria sulla varietà di Grassmann $Gr(k, d)$. L'evoluzione di questa traiettoria è quantificata utilizzando la Similarità del Sottospazio di Lettura (RSS), definita come la media del coseno degli angoli principali tra sottospazi consecutivi.
Analisi della Risoluzione: Gli autori variano il parametro di risoluzione $k$ (dall'1% al 50% della dimensione nascosta $d$ ) per tracciare un fronte di Pareto tra Visibilità (discriminabilità geometrica tra livelli) e Ritenzione di Energia (fedeltà spettrale). Identificano un regime intermedio ( $k \in \{5\%, 10\%, 15\%\}$ ) che bilancia queste metriche.
Rilevamento delle Fasi: Il profilo RSS mostra una forma unimodale (salita, plateau, discesa). Utilizzando un criterio Kneedle a due stadi sul profilo levigato, gli autori rilevano due punti di rottura ( $\hat{b}_1, \hat{b}_2$ ) che partizionano la profondità della rete in tre fasi geometriche distinte.
Configurazione Sperimentale: Il framework è applicato a otto modelli appartenenti a due famiglie (QWEN2.5 e OLMO2) che variano da 1 miliardo a 32 miliardi di parametri, addestrati sul dataset SlimPajama. Le metriche includono il rango effettivo degli stati nascosti, l'ortogonalità degli aggiornamenti ( $|\cos(\Delta_\ell, h_{\ell-1})|$ ) e il rapporto tra le norme degli aggiornamenti FFN e MHA.

Contributi Chiave

Il paper apporta due contributi principali:

Un Framework Geometrico per l'Analisi per Profondità: Un metodo per tracciare la traiettoria dell'informazione predittiva sulla varietà di Grassmann, rivelando che l'informazione predittiva è presente fin dai livelli più profondi ma è nascosta in sovrapposizione, richiedendo una proiezione a bassa dimensionalità per la decodifica.
Identificazione di Tre Fasi Geometriche Emergenti: L'analisi rivela una struttura tripartita coerente nel passaggio in avanti dei modelli autoregressivi, caratterizzata da comportamenti geometrici distinti riguardo al rango, all'ortogonalità degli aggiornamenti e alla stabilità del sottospazio.

Risultati e Caratterizzazione delle Fasi

In tutti i modelli e le scale, il profilo di similarità segue una distribuzione unimodale, definendo tre fasi:

Fase 1: Semina e Multiplexing

Comportamento Geometrico: Il sottospazio predittivo si riorienta e si stabilizza (RSS in aumento). Il rango effettivo degli stati nascosti aumenta, raggiungendo un picco vicino alla fine di questa fase.
Aggiornamenti: Gli aggiornamenti sono approssimativamente ortogonali al flusso residuo. In QWEN2.5, i contributi FFN dominano; in OLMO2, i contributi sono più bilanciati.
Stato Predittivo: Il token finale è presente tra i candidati principali (Hit@1 $\approx$ 20-33%) ma non dominante. Il LogitLens rimane inefficace, indicando che il segnale è sovrapposto.
Scalabilità: La durata di questa fase scala debolmente con la profondità del modello (pendenza $\le$ 0.26), suggerendo un costo fisso per la semina dei candidati.

Fase 2: Sollevamento e Sovrascrittura

Comportamento Geometrico: Il sottospazio predittivo rimane altamente stabile (RSS quasi in plateau). Il rango effettivo degli stati nascosti si stabilizza.
Aggiornamenti: Gli aggiornamenti sono massimamente ortogonali al flusso residuo (minimo $|\cos(\Delta_\ell, h_{\ell-1})|$ ). Il rango degli aggiornamenti raggiunge il picco in questa fase.
Stato Predittivo: La distribuzione dei candidati si concentra progressivamente (Hit@1 sale a $\approx$ 56%, il rapporto Hit@5/Hit@1 diminuisce). Il LogitLens rimane basso, implicando che la disambiguazione avviene all'interno del sottospazio senza un allineamento esplicito alla base finale.
Scalabilità: Questa fase si espande linearmente con la profondità del modello (pendenza $\approx$ 0.6–1.0), indicando che la capacità aggiuntiva del modello è assorbita principalmente dalla disambiguazione dei candidati.

Fase 3: Convergenza Focale

Comportamento Geometrico: Il sottospazio predittivo si riorienta bruscamente verso la direzione di smappatura (RSS in discesa). Il rango effettivo degli aggiornamenti diminuisce, concentrandosi su meno direzioni.
Aggiornamenti: Gli aggiornamenti diventano altamente allineati con il flusso residuo (massimo $|\cos(\Delta_\ell, h_{\ell-1})|$ ). Le norme degli aggiornamenti crescono bruscamente (fino a 10 $\times$ ), e i contributi FFN dominano in tutte le famiglie.
Stato Predittivo: La distribuzione dei candidati collassa su una previsione dominante. Le prestazioni del LogitLens migliorano significativamente (Hit@1 $\approx$ 30-50%), indicando che il token finale è ora direttamente leggibile.
Scalabilità: La larghezza di questa fase rimane approssimativamente costante o scala molto debolmente con la profondità.

Significato e Affermazioni

Il paper afferma che la capacità aggiuntiva degli LLM più profondi è utilizzata principalmente per la disambiguazione dei candidati (Fase 2) piuttosto che per la semina iniziale dei candidati (Fase 1) o la convergenza finale (Fase 3). Ciò suggerisce che il carico computazionale fondamentale della predizione del prossimo token nei transformer profondi risiede nella risoluzione di rappresentazioni sovrapposte all'interno di un sottospazio geometrico stabile.

I risultati sono in linea con, ma estendono in modo distintivo, le teorie di campo medio della dinamica dei transformer (ad esempio, Bruno et al.), mappando le fasi di "allineamento", "calore" e "accoppiamento" sulla progressione geometrica osservata. Il lavoro stabilisce che l'informazione predittiva non viene generata tardivamente nella rete ma è presente all'inizio, nascosta in sovrapposizione, e geometricamente raffinata attraverso un processo di aggiornamenti ortogonali e concentrazione del sottospazio.

Limitazioni: Gli autori notano che l'analisi è limitata ad architetture dense, decoder-only con connessioni residue standard. Le interpretazioni si basano su evidenze correlazionali, e le interventi causali (ad esempio, patching delle attivazioni) sono suggeriti come lavoro futuro per fornire una base meccanica più solida.