Differential syntactic and semantic encoding in LLMs

Questo articolo dimostra che le informazioni sintattiche e semantiche nel LLM DeepSeek-V3 sono parzialmente codificate in modo lineare e distribuite in modo differenziale tra i livelli, come dimostrato dalla possibilità di disaccoppiare tali segnali sottraendo i centroidi medi delle rappresentazioni.

L'essenziale

Immagina un Modello Linguistico di grandi dimensioni (LLM) come DeepSeek-V3 come una gigantesca biblioteca a più piani. All'interno di questa biblioteca, ogni frase che digiti viene trasformata in un'impronta digitale unica e ad alta dimensionalità (un vettore) mentre attraversa i diversi piani (strati) dell'edificio.

La grande domanda che questo articolo si pone è: Come organizza la biblioteca queste impronte digitali? Nello specifico, mantiene la "struttura" della frase (sintassi) separata dal "significato" della frase (semantica), o sono tutte mescolate insieme in un grande frullato?

Ecco cosa hanno scoperto i ricercatori, spiegato in modo semplice:

1. Il trucco della "Media" (Trovare il nucleo)

I ricercatori hanno realizzato che se hai un gruppo di frasi che appaiono grammaticalmente identiche (ad esempio, "Il gatto si è seduto", "Il cane ha corso", "L'uccello ha volato"), condividono uno "scheletro" comune.

• L'analogia: Immagina di scattare una foto a 100 persone diverse che indossano esattamente lo stesso tipo di cappello. Se medi tutte quelle foto insieme, i volti si sfocano, ma il cappello diventa super nitido e chiaro.
• Il metodo: Lo hanno fatto matematicamente. Hanno preso frasi con la stessa struttura grammaticale e hanno mediato le loro impronte digitali per creare un "Centroide Sintattico" (il cappello della pura grammatica). Hanno fatto lo stesso per frasi con lo stesso significato ma parole diverse per creare un "Centroide Semantico" (il cappello del puro significato).

2. Il test della "Sottrazione" (Rimuovere il cappello)

Una volta ottenuti questi vettori "puri" di grammatica e significato, hanno provato a rimuoverli dalle impronte digitali delle frasi originali.

• L'analogia: Immagina di avere una foto di una persona che indossa un cappello. Se sottrai digitalmente il vettore "cappello" dalla foto, il cappello scompare. Se la foto assomiglia ancora alla persona, sai che il cappello era un livello separato. Se anche il viso della persona scompare, cappello e viso erano mescolati insieme.
• Il risultato: Quando hanno sottratto il "Cappello Grammaticale" da una frase, la frase ha perso la capacità di abbinarsi ad altre frasi che avevano la stessa grammatica. Quando hanno sottratto il "Cappello del Significato", ha perso la capacità di abbinarsi a frasi che significavano la stessa cosa.
• La conclusione: Questo dimostra che il modello codifica grammatica e significato in modo lineare. Sono come ingredienti distinti in una ricetta che possono essere separati matematicamente, piuttosto che una reazione chimica in cui diventano una nuova sostanza.

3. La scoperta della "Planimetria" (Dove risiedono le cose)

La biblioteca ha molti piani. I ricercatori hanno scoperto che grammatica e significato vivono su piani diversi.

• Grammatica (Sintassi): È come le fondamenta e i piani inferiori. È presente fin dall'inizio e rimane coerente fino alla cima. Il modello conosce la struttura di una frase quasi immediatamente.
• Significato (Semantica): È come i piani intermedi. Quando una frase entra nella biblioteca, il modello guarda prima le parole e la struttura (piani bassi). Poi, mentre la frase si sposta verso il centro, il modello capisce cosa significa effettivamente. Quando raggiunge l'ultimo piano (dove il modello scrive la sua risposta), il significato è ancora lì, ma il focus si sposta sulla generazione dell'output.
• L'analogia: Pensa a leggere un libro. Prima, riconosci le lettere e le parole (grammatica). Poi, a metà del paragrafo, capisci la storia (significato). Non hai bisogno di riconoscere di nuovo le lettere per capire la storia, ma hai bisogno delle lettere per iniziare.

4. La strada a senso unico (Asimmetria)

Ecco la parte più interessante: la separazione non è perfettamente uguale.

• La grammatica è indipendente: Se rimuovi il "Significato" da una frase, la "Grammatica" rimane perfettamente intatta. Lo scheletro rimane in piedi anche se togli la carne.
• Il significato è dipendente: Se rimuovi la "Grammatica" da una frase, il "Significato" diventa un po' traballante. Non scompare completamente, ma diventa più difficile da riconoscere.
• L'analogia: Immagina una casa. Se rimuovi i mobili (significato), la struttura della casa (grammatica) è chiaramente ancora una casa. Ma se rimuovi muri e tetto (grammatica), i mobili (significato) sono solo un mucchio di cose a terra; è difficile capire cosa dovevano essere.

Riepilogo

L'articolo mostra che in questi giganteschi modelli di IA:

1. Grammatica e Significato sono distinti: Sono codificati separatamente, non mescolati in modo irrimediabile.
2. Sono lineari: Puoi "sottrarre" matematicamente l'uno dall'altro.
3. Vivono in posti diversi: La grammatica è ovunque (specialmente all'inizio), mentre il significato raggiunge il picco nel mezzo dell'elaborazione del modello.
4. La grammatica è la fondazione robusta: Puoi togliere il significato senza rompere la grammatica, ma togliere la grammatica rende più difficile mantenere il significato.

Ciò suggerisce che, anche se questi modelli sono addestrati semplicemente prevedendo la parola successiva, sviluppano naturalmente una struttura che assomiglia molto a come i linguisti umani pensano che funzioni il linguaggio: un quadro strutturale che sostiene un livello di significato.

Sommario tecnico

Riepilogo Tecnico: Codifica Differenziale Sintattica e Semantica negli LLM

Enunciato del Problema

Questo studio indaga come i Modelli Linguistici di Grande Formato (LLM) codifichino le informazioni sintattiche (strutturali) e semantiche (di significato) all'interno delle loro rappresentazioni interne ad alta dimensionalità. Sebbene il successo degli LLM abbia stimolato l'interesse nel decodificare dove e come sia immagazzinata la competenza linguistica, permane un significativo disaccordo riguardo alla relazione tra sintassi e semantica. Le tradizioni generative spesso postulano una rigorosa autonomia della sintassi, mentre gli approcci funzionalisti le considerano profondamente intrecciate. Il paper mira a risolvere questa questione determinando se questi due componenti siano codificati linearmente, come siano distribuiti attraverso i livelli della rete e in quale misura possano essere disaccoppiati in modelli addestrati senza priors linguistici espliciti.

Metodologia

Gli autori utilizzano un approccio geometrico basato su operazioni lineari per sondare le rappresentazioni del modello DeepSeek-V3 (671 miliardi di parametri), con una replica qualitativa su modelli più piccoli (Qwen2-7b, Gemma3-12b, Pythia-6.9b).

1. Costruzione del Dataset

Lo studio si basa su coppie di frasi corrispondenti generate utilizzando altri LLM (Gemini, ChatGPT, DeepSeek):

• Corrispondenza Sintattica: Coppie di frasi che condividono lo stesso modello di Parte del Discorso (POS) ma esprimono significati non correlati ("gemelli sintattici").
• Corrispondenza Semantica: Coppie di frasi costituite da una frase originale e la sua parafrasi in inglese, nonché traduzioni della frase originale in sei lingue (arabo, cinese, tedesco, italiano, spagnolo, turco).

2. Costruzione dei Centroidi e Ablazione

Per isolare specifici tipi di informazione, gli autori costruiscono "centroidi" mediando le rappresentazioni nascoste:

• Centroide Sintattico ($S_i$): La media delle rappresentazioni di tutti i "gemelli sintattici" che condividono un modello POS specifico. Questo media la varianza semantica mantenendo la struttura sintattica.
• Centroide Semantico ($T_i$): La media delle rappresentazioni di tutte le traduzioni di una frase $X_i$ (escludendo l'originale e la sua parafrasi in inglese). Questo media la varianza sintattica e lessicale mantenendo il contenuto semantico.

Procedura di Ablazione: Gli autori rimuovono informazioni specifiche da un vettore di frase $X_i$ sottraendone la proiezione sul rispettivo centroide.

• Ablazione sintattica: $X_i \perp S_i = X_i - \frac{X_i \cdot S_i}{|S_i|^2} S_i$
• Ablazione semantica: $X_i \perp T_i = X_i - \frac{X_i \cdot T_i}{|T_i|^2} T_i$

3. Misura della Similarità

Invece di metriche lineari come l'Allineamento del Kernel Centrato (CKA), che gli autori notano forniscono segnali deboli in alta dimensionalità, essi impiegano una misura di similarità basata sul rango derivata dallo Squilibrio Informativo. Questa metrica quantifica quanto bene i vicini più prossimi in uno spazio di rappresentazione predicono i vicini più prossimi in un altro.

4. Aggregazione delle Rappresentazioni

Vengono utilizzati due metodi per aggregare gli stati nascosti a livello di token in vettori a livello di frase:

• Concatenazione: Concatenare gli ultimi $N$ token (preserva l'informazione posizionale).
• Media: Mediare le rappresentazioni degli ultimi $N$ token (rimuove l'informazione posizionale).

Risultati Chiave

1. Codifica Lineare di Sintassi e Semantica

Lo studio rileva che sia la sintassi che la semantica sono almeno parzialmente codificate in modo lineare. Sottrarre i centroidi sintattici o semantici dai vettori di frase riduce significativamente la similarità tra le coppie corrispondenti (gemelli sintattici o parafrasi), rispettivamente. Ciò suggerisce che una proporzione significativa delle informazioni rilevanti è catturata da queste direzioni lineari.

2. Profili Differenziali dei Livelli

I profili di codifica attraverso i livelli per sintassi e semantica differiscono:

• Sintassi: La similarità sintattica è elevata nei livelli iniziali e rimane relativamente costante in tutta la rete. È più prominente nelle rappresentazioni concatenate, suggerendo una dipendenza dall'informazione posizionale.
• Semantica: La similarità semantica è bassa nei livelli iniziali, sale fino a un picco nei livelli centrali e diminuisce leggermente negli strati finali di output. La similarità semantica è più forte nelle rappresentazioni medie.

3. Disaccoppiamento Asimmetrico

Una scoperta cruciale è l'asimmetria nel modo in cui sintassi e semantica si influenzano a vicenda:

• Rimozione della Semantica: L'ablazione del centroide semantico dai gemelli sintattici non riduce significativamente la loro similarità sintattica. La sintassi rimane robusta anche quando l'informazione semantica viene rimossa.
• Rimozione della Sintassi: L'ablazione del centroide sintattico dalle parafrasi riduce significativamente la loro similarità semantica, in particolare nei livelli centrali.
• Interpretazione: Ciò suggerisce che, mentre la semantica può essere parzialmente separata dalla sintassi, la sintassi è più autonoma. Rimuovere la struttura sintattica (ad esempio, l'ordine delle parole) degrada la capacità di recuperare il significato, mentre rimuovere il significato non distrugge lo scheletro sintattico.

4. Decomposizione della Norma

La decomposizione della norma quadrata dei vettori di frase rivela che:

• Il componente sintattico domina nei livelli iniziali.
• Il componente semantico domina nei livelli centrali.
• Insieme, questi centroidi spiegano una frazione significativa ma non totale (circa il 40% nei livelli centrali) della norma del vettore, lasciando una sostanziale componente "residua".

5. Effetti sui Sondaggi a valle

I metodi di ablazione impattano i compiti di sondaggio a valle come previsto:

• Classificazione POS: L'ablazione dei centroidi sintattici riduce drasticamente l'accuratezza; l'ablazione dei centroidi semantici ha un effetto minimo.
• Recall delle Parafrasi: L'ablazione dei centroidi semantici riduce drasticamente il recall; l'ablazione dei centroidi sintattici ha un effetto negativo più piccolo (sebbene presente).

Significato e Affermazioni

Il paper rivendica tre contributi principali ai campi dell'interpretabilità degli LLM e della linguistica computazionale:

1. Identificazione di un Nucleo Semantico: I risultati confermano che esiste un "nucleo semantico" nell'elaborazione degli LLM, concentrato specificamente negli strati interni della rete, distinto dall'elaborazione sintattica più stabile che attraversa tutti i livelli.
2. Evidenza per la Sovrapposizione Lineare: Lo studio fornisce ulteriore evidenza che una semplice sovrapposizione lineare è un meccanismo fondamentale per codificare caratteristiche linguistiche astratte (sintassi e significato) nelle reti profonde.
3. Autonomia Emergente della Sintassi: L'osservazione di una separazione imperfetta ma chiara tra sintassi e semantica in modelli addestrati senza priors linguistici espliciti suggerisce che l'autonomia della sintassi possa essere una proprietà intrinseca e ottimale delle rappresentazioni linguistiche. Questa scoperta colma il divario tra le teorie linguistiche generative (sintassi autonoma) e le visioni funzionaliste, implicando che tale distinzione potrebbe emergere universalmente nei sistemi cognitivi, dai cervelli umani agli LLM.

Gli autori mantengono una posizione modesta, riconoscendo che il loro approccio lineare cattura solo aspetti parziali di queste caratteristiche complesse e che una porzione significativa della norma di rappresentazione rimane inspiegata da questi centroidi. Suggeriscono che il lavoro futuro dovrebbe esplorare l'estrazione di caratteristiche non lineari e la dinamica temporale di queste codifiche.