Linear Representations of Hierarchical Concepts in Language Models

Titolo

Rappresentazioni Lineari di Concetti Gerarchici nei Modelli Linguistici

1. Il Problema

La ricerca si pone l'obiettivo di comprendere come e in che misura le relazioni gerarchiche (es. Tokyo ⊂ Giappone ⊂ Asia) siano codificate nelle rappresentazioni interne dei Large Language Models (LLM).
Sebbene lavori precedenti (es. Park et al., 2025) abbiano dimostrato che le relazioni gerarchiche sono rappresentate geometricamente nello strato di unembedding, esistono due limitazioni fondamentali che questo studio intende colmare:

1. Limitazione Strutturale: Le analisi precedenti si concentrano spesso su un singolo strato (quello finale), ignorando come le relazioni vengano elaborate e rappresentate attraverso gli strati intermedi del modello.
2. Limitazione dei Dati: I metodi esistenti sono spesso vincolati a entità corrispondenti a un singolo token, rendendo impossibile analizzare entità composte da più token (es. Babe Ruth o New York Times Company), che sono fondamentali per una comprensione reale della conoscenza del mondo.

2. Metodologia: Linear Hierarchical Encoding (LHE)

Gli autori propongono un nuovo framework chiamato Linear Hierarchical Encoding (LHE), basato sul concetto di Linear Relational Concepts (LRC).

• Costruzione del Dataset: È stato creato un dataset di gerarchie concettuali che copre cinque domini specifici: Luoghi, Persone, Organizzazioni, Organismi e Argomenti di Ricerca. Il dataset include entità sia a singolo che a multi-token.
• Approccio Lineare: L'ipotesi di base è che la relazione gerarchica (es. "fa parte di" o "è un tipo di") possa essere modellata come una trasformazione lineare che mappa la rappresentazione di un nodo figlio ($s$) alla rappresentazione del suo genitore ($o$) negli strati intermedi del modello.
• Funzionamento Tecnico:
  • Per ogni relazione gerarchica $r$ e per ogni profondità della gerarchia (depth), viene appresa una trasformazione lineare specifica $R_r(s) = W_r s + b_r$.
  • Viene calcolata una matrice Jacobiana media per stimare la mappatura lineare.
  • Viene definita una mappatura inversa per estrarre vettori concettuali ($v_{r,c}$) che agiscono come direzioni prototipo nello spazio delle rappresentazioni.
  • L'analisi viene condotta su strati intermedi specifici, permettendo di tracciare l'evoluzione della rappresentazione gerarchica attraverso il modello.

3. Contributi Chiave

1. Framework per Entità Multi-Token: Estensione dell'analisi delle gerarchie a entità complesse (multi-token), superando i limiti dei lavori precedenti basati su singoli token.
2. Analisi Cross-Layer: Investigazione sistematica di come le gerarchie siano codificate attraverso gli strati intermedi dei modelli, non solo nello strato di output.
3. Scoperta di Sottospazi a Bassa Dimensione: Identificazione del fatto che le informazioni gerarchiche sono concentrate in sottospazi a dimensionalità ridotta (circa 150-250 dimensioni per modelli con hidden state di 3000-5000 dimensioni).
4. Separazione tra Decodificabilità e Causalità: Dimostrazione che, sebbene le informazioni gerarchiche siano decodificabili in modo trasversale tra domini (accuratezza), le caratteristiche che influenzano causalmente le previsioni del modello sono specifiche del dominio.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro modelli decoder-only (Llama 3.2 3B, Llama 3.1 8B, Qwen3 8B, Qwen3 14B) su cinque domini.

• Efficacia del Metodo (Accuracy e Causality):
  • Accuracy: LHE supera significativamente i baseline (SVM e Input Averaging) nella capacità di decodificare la relazione genitore-figlio dalle rappresentazioni interne. L'accuratezza varia dal 50% al 90% a seconda del dominio e del modello.
  • Causality: Le direzioni apprese non sono solo correlazioni statistiche; l'intervento sui vettori nascosti (aggiungendo/sottraendo vettori concettuali) modifica causalmente le previsioni del modello (es. cambiando la previsione da "Francia" a "Germania" per la frase "Parigi è parte di").
• Dimensionalità: L'informazione gerarchica è codificata in un sottospazio a bassa dimensionalità (picco di performance a ~150-250 dimensioni).
• Specificità del Dominio vs. Struttura Condivisa:
  • Specificità: La capacità di interventare causalmente (Causality) è alta solo quando si opera nello stesso dominio di addestramento. Spostandosi tra domini (es. da "Luoghi" a "Persone"), l'efficacia dell'intervento crolla, indicando che i sottospazi causali sono specifici del dominio.
  • Struttura Condivisa: Nonostante la specificità dei sottospazi, l'analisi topologica (Topological Data Analysis - TDA) rivela che la forma strutturale delle rappresentazioni gerarchiche è altamente simile tra i diversi domini. Le gerarchie seguono una logica organizzativa comune (cluster per sottobosco, poi variazione per profondità).

5. Significato e Implicazioni

Questo lavoro fornisce prove empiriche robuste che i modelli linguistici rappresentano le gerarchie concettuali in modo altamente interpretabile e lineare.

• Interpretabilità: Conferma che le strutture concettuali complesse non sono "scatole nere" inaccessibili, ma possono essere mappate e manipolate tramite trasformazioni lineari semplici.
• Architettura dei Modelli: Suggerisce che, sebbene i modelli utilizzino sottospazi specifici per dominio per influenzare le previsioni (causalità), esiste un'organizzazione generale e condivisa per le gerarchie attraverso i domini.
• Futuro: Apre la strada a tecniche di "Representation Engineering" per controllare o correggere le conoscenze gerarchiche nei modelli, e suggerisce che la comprensione della geometria interna è cruciale per la trasparenza dell'AI.

In sintesi, il paper dimostra che i LLM codificano le gerarchie in modo lineare, utilizzabile e strutturato, offrendo una nuova lente per analizzare la conoscenza interna delle macchine.