Riepilogo Tecnico: La Geometria Gerarchica dei Concetti nei Modelli Linguistici Emerge dalle Co-occorrenze delle Parole

Enunciato del Problema

I Large Language Models (LLM) e gli embedding di parole esibiscono strutture geometriche in cui le relazioni semantiche, come l'iperonimia (la relazione "è un"), sembrano essere codificate tramite direzioni o sottospazi specifici. Lavori precedenti, in particolare Park et al. [13], hanno proposto un'"ipotesi di rappresentazione lineare" suggerendo che la geometria gerarchica derivi da un meccanismo funzionale in cui i vettori dei concetti sono ortogonali ai loro genitori, permettendo una manipolazione semantica pulita (ad esempio, guidare da "uccello" a "pesce" senza perdere la "animalità"). Tuttavia, l'origine di questa geometria rimane dibattuta: è il risultato di un design funzionale esplicito o una proprietà emergente della distribuzione dei dati? Questo articolo indaga se la geometria di divisione gerarchica osservata nei LLM e negli embedding di parole sia una conseguenza necessaria delle statistiche di co-occorrenza delle parole piuttosto che un meccanismo funzionale specifico per la gerarchia.

Metodologia

Quadro Teorico

Gli autori propongono una teoria distribuzionale basata sull'assunzione che le parole più vicine nel grafo degli iperonimi di WordNet co-occorrano più frequentemente nel testo.

1. Modello di Co-occorrenza: Definiscono una matrice di co-occorrenza normalizzata $M^\star$ (relata all'Informazione Mutua Puntuale) in cui le voci dipendono dalla distanza semantica tra le parole. Assumono una funzione kernel $f(\text{dist}(i, j))$ che è positiva e strettamente decrescente con la distanza.
2. Decomposizione Spettrale: L'articolo analizza la decomposizione in autovalori di $M^\star$ per parole che formano un albero binario perfetto di WordNet. Utilizzando una base di ondelette di Haar adattata alla gerarchia, dimostrano che gli autovettori di $M^\star$ si organizzano gerarchicamente:
   • Il principale autovettore (modo di scala) varia solo con la profondità.
   • Gli autovettori successivi (modi di ondelette) dividono i sottoalberi dai livelli grossolani a quelli fini.
   • Lo spettro esibisce un ordinamento "dal grossolano al fine", dove i modi non di scala dominanti corrispondono a divisioni tassonomiche di livello superiore prima dei rami secondari più fini.
3. Modello Parametrico: Per fare previsioni quantitative, gli autori istanziano il kernel con una funzione di decadimento esponenziale $f(d) = \alpha e^{-\beta d}$, adattando i parametri ai dati empirici di co-occorrenza.

Validazione Empirica

La teoria è testata contro due tipi di rappresentazioni:

1. Embedding Word2vec: Gli autori costruiscono embedding word2vec direttamente dai principali autovettori della matrice di co-occorrenza empirica derivata dal corpus Wikipedia. Campionano sottoalberi binari perfetti di profondità $L=3$ dalla gerarchia WordNet.
2. Rappresentazioni LLM: Analizzano i vettori di unembedding del modello Gemma 2B (e le attivazioni del flusso residuo di Llama 3.2-1B per robustezza). I vettori sono centrati e biancheggiati per ridurre l'anisotropia globale.

Metriche:

• Allineamento degli Sottospazi Eigen Top-k: Poiché gli autovettori teorici per sottospazi degeneri sono definiti solo a meno di una rotazione, gli autori confrontano l'allineamento dei sottospazi eigen top-$k$ tra le matrici Gram empiriche e le matrici Gram teoriche derivate dal kernel adattato.
• Ortogonalità dei Vettori Concetto: Riproducono la diagnosi di Park et al. [13], misurando la similarità coseno tra i vettori genitori e i vettori "di innovazione" (figlio meno genitore) per testare l'ortogonalità approssimata.

Contributi Chiave

1. Origine Distribuzionale della Gerarchia: L'articolo fornisce un semplice meccanismo statistico che dimostra come la geometria di divisione gerarchica emerga naturalmente dalle statistiche di co-occorrenza delle parole a coppie, senza richiedere vincoli funzionali espliciti o obiettivi di addestramento specifici per la gerarchia.
2. Organizzazione Spettrale dal Grossolano al Fine: Gli autori dimostrano e verificano che i principali autovettori della matrice Gram di co-occorrenza si organizzano gerarchicamente, separando prima i rami tassonomici ampi (ad esempio, piante contro animali) e poi progressivamente rami secondari più fini (ad esempio, uccelli contro pesci).
3. Estensione ai LLM: Lo studio dimostra che questa specifica firma spettrale si estende in modo sorprendente agli unembedding dei LLM (Gemma 2B), suggerendo che la geometria gerarchica nei LLM possa essere un sottoprodotto delle stesse statistiche di co-occorrenza che guidano word2vec.
4. Reinterpretazione dei Vettori Concetto: Mostrando che un modello guidato puramente dalla co-occorrenza riproduce il pattern di "innovazione ortogonale" osservato da Park et al., l'articolo sostiene che questa caratteristica geometrica non implica necessariamente un meccanismo funzionale per il ragionamento gerarchico, ma può derivare dalla struttura spettrale delle statistiche a coppie.

Risultati

• Allineamento Teorico vs Empirico: Sia negli embedding word2vec che negli unembedding di Gemma 2B, i sottospazi eigen top-$k$ delle matrici Gram empiriche si allineano significativamente meglio con le previsioni teoriche (basate sul kernel esponenziale adattato) rispetto alle linee di base con etichette mescolate. Questo allineamento vale per varie gerarchie semantiche (ad esempio, organismi, cognizione).
• Conferma Visiva: Le proiezioni dei nodi della tassonomia sulle componenti principali (PC) rivelano la divisione gerarchica prevista. Ad esempio, nella tassonomia degli organismi, la PC2 separa le piante dagli animali, mentre le PC degeneri 3-4 dividono gli uccelli dai pesci e i fiori dagli alberi.
• Robustezza: I risultati persistono attraverso diverse parametrizzazioni del kernel (esponenziale vs legge di potenza), diverse profondità dell'albero ($L=2$ e $L=3$) e diversi tipi di rappresentazione (unembedding biancheggiati, embedding non biancheggiati centrati e attivazioni interne del flusso residuo).
• Diagnostica dei Vettori Concetto: Il modello di co-occorrenza riproduce l'ortogonalità quasi perfetta delle innovazioni genitore-figlio trovata nei LLM, confermando che questo pattern è coerente con un'origine puramente statistica.

Significato e Affermazioni

L'articolo afferma di affinare la visione funzionale della geometria gerarchica negli spazi di rappresentazione. Sebbene la geometria sia reale e robusta, gli autori sostengono che essa non debba necessariamente derivare da direzioni esatte di concetti ortogonali guidate da un meccanismo funzionale specifico per la gerarchia. Invece, l'ortogonalità approssimata osservata nella pratica è una conseguenza della struttura spettrale indotta dalle statistiche delle parole a coppie.

Il lavoro supporta una visione più ampia in cui gli embedding di parole sono caratterizzati da attributi discreti, continui e gerarchici. Le parole con attributi simili co-occorrono più spesso, e questa regolarità statistica da sola dà origine alla elegante organizzazione geometrica degli embedding. Sebbene tale organizzazione possa essere utile per la funzione, l'articolo ipotizza che non sia guidata da essa. I risultati suggeriscono che la struttura gerarchica nei LLM è una proprietà emergente della distribuzione dei dati piuttosto che una necessità funzionale appresa.