Sintesi Tecnica: Cosa rende simili due modelli linguistici?

Definizione del Problema

I metodi tradizionali per confrontare i Large Language Models (LLM) si affidano a metriche di similarità geometrica (ad esempio, Analisi della Similarità Rappresentazionale, Analisi di Correlazione Canonica o regressione lineare) per determinare se due modelli condividano spazi rappresentazionali simili. Sebbene questi metodi possano confermare che le rappresentazioni siano allineate, essi funzionano come "scatole nere" che non riescono a spiegare il perché tale allineamento avvenga. Nello specifico, non possono distinguere se la similarità derivi da strategie linguistiche esplicite condivise (ad esempio, l'encoding delle stesse strutture sintattiche) o da bias lessicali superficiali.

Questo articolo affronta la questione se i modelli linguistici convergano a livello algoritmico della gerarchia di Marr (il livello delle rappresentazioni e delle operazioni) nonostante le divergenti scelte implementative (architettura e addestramento). Mira a identificare quali specifiche caratteristiche linguistiche guidino le somiglianze e le differenze tra i modelli, andando oltre la pura geometria verso un'interpretabilità basata sulle caratteristiche (feature-based).

Metodologia: Similarità della Firma Linguistica

Gli autori propongono un approccio innovativo utilizzando i Modelli di Encoding con Apprendimento Metrico (MLEM) per mappare l'attività neurale su caratteristiche linguistiche interpretabili.

1. Modelli di Encoding con Apprendimento Metrico (MLEM):

   • Invece di predire le caratteristiche dalla attività neurale (decodifica) o di adattare modelli di encoding univariati a singoli neuroni, gli MLEM apprendono una funzione di distanza su un insieme di caratteristiche dello stimolo interpretabili (ad esempio, tempo verbale, numero del soggetto, tipo di proposizione relativa).
   • Il modello apprende una matrice definita positiva simmetrica $W$ che pesa le singole caratteristiche e le loro interazioni.
   • L'obiettivo è massimizzare la correlazione di Spearman tra le distanze pairwise delle embedding neurali ($D_N$) e le distanze pairwise dei vettori delle caratteristiche ($D_F$) pesate da $W$. Ciò preserva la topologia relativa degli stimoli piuttosto che le scale assolute.

2. Firme Linguistiche (Profili di Importanza delle Caratteristiche):

   • Per ogni strato di un modello linguistico, gli autori calcolano le Importanze delle Caratteristiche (FI). Queste sono definite come la diminuzione media del punteggio di correlazione di Spearman dell'MLEM quando la matrice di distanza di una specifica caratteristica viene permutata casualmente.
   • Questo vettore FI costituisce la firma linguistica dello strato, quantificando quanto ogni caratteristica linguistica guidi l'organizzazione delle distanze neurali in quello strato.
   • La firma complessiva di un modello è definita dal profilo di queste FI per strato.

3. Misurazione della Similarità:

   • Livello di Strato: Le firme di due specifici strati vengono confrontate utilizzando la distanza Euclidea (L2).
   • Livello di Modello: Per confrontare interi modelli con diversi numeri di strati, gli autori utilizzano il Dynamic Time Warping Multidimensionale (DTW). Questo allinea i profili di importanza delle caratteristiche lungo l'asse della profondità, permettendo il confronto di modelli con diversi conteggi di strati o punti di emergenza delle caratteristiche spostati.
   • Modellazione Predittiva: Un secondo MLEM viene addestrato sulla matrice di similarità risultante a livello di modello per determinare quali proprietà del modello (ad esempio, architettura, scala, data di rilascio) meglio predicano la similarità della firma linguistica.

Setup Sperimentale

• Modelli: 43 modelli linguistici autoregressivi di 10 famiglie, che coprono da 100M a 14B di parametri.
• Architetture: Transformer Decoder (es. GPT-2, Llama-3.2, OLMo-2), Modelli a Spazio di Stato (Mamba, Mamba-2) e Reti Neurali Ricorrenti (RWKV-7).
• Dataset: Un dataset sintetico di 7.7k frasi generate tramite Grammatiche Context-Free (dataset delle Proposizioni Relative), bilanciato per mitigare le correlazioni tra 12 caratteristiche linguistiche (inclusi proprietà sintattiche, siti di attaccamento e frequenze lessicali).
• Valutazione: Gli stati nascosti dell'ultimo token sono stati estratti per tutti i modelli.

Risultati Chiave

1. Dinamiche per Strato

• Performance di Encoding: La performance dell'MLEM (correlazione di Spearman) segue un profilo coerente attraverso i modelli: bassa negli strati superficiali e profondi, con un picco negli strati intermedi (0.5–0.7). Ciò concorda con le scoperte precedenti secondo cui l'informazione sintattica è elaborata principalmente negli strati intermedi.
• Evoluzione delle Caratteristiche: Le caratteristiche sintattiche (Tipo di Proposizione Relativa, Sito di Attaccamento) mostrano la massima importanza negli strati intermedi.
• Traiettorie di Famiglia: I modelli all'interno della stessa famiglia tracciano traiettorie sorprendentemente simili in uno spazio PCA condiviso delle firme linguistiche, anche quando differiscono significativamente per numero di parametri e profondità. Alcune famiglie mostrano traiettorie "a ciclo" dove gli strati finali ritornano vicino alle firme degli strati iniziali, riflettendo potenzialmente i vincoli imposti dall'obiettivo di predizione del prossimo token.

2. Driver della Similarità dei Modelli

• Driver Primari: La similarità tra le firme linguistiche dei modelli è guidata più fortemente dalla data di rilascio e dalla famiglia del modello.
  • La Data di Rilascio funge da proxy per lo sviluppo generale degli LLM, riassumendo i cambiamenti correlati in architettura, normalizzazione, codifica posizionale e dati di addestramento.
  • La Famiglia del Modello indica che le firme linguistiche sono modellate da specifiche linee di discendenza architettonica piuttosto che solo dalla scala.
• Driver Secondari/Minori: Il numero di parametri, il conteggio dei token di addestramento e la profondità forniscono contributi minori.
• Classe di Architettura: Una volta tenuto conto della famiglia e della data di rilascio, la classe di architettura generale (Transformer vs. SSM vs. RNN) contribuisce poco a spiegare la similarità.

3. Convergenza vs. Divergenza

• I risultati supportano una versione parziale dell'Ipotesi della Rappresentazione Platonica. Sebbene diverse architetture possano condividere profili rappresentazionali, non collassano verso un unico endpoint all'aumentare della scala. Inveve, la convergenza è strutturata dalla famiglia del modello e dalla generazione.
• L'analisi a livello di caratteristiche conferma che firme simili corrispondono ad una reale organizzazione dello spazio neurale rispetto alle caratteristiche principali (validata tramite Scaling Multidimensionale), mentre firme dissimilar sono caratterizzate da pattern di clustering distinti.

Significato e Rivendicazioni

Il paper sostiene di fornire un metodo per collegare direttamente le descrizioni simboliche teoricamente motivate alle rappresentazioni neurali. Spostando il confronto dalla pura geometria a quello basato sulle caratteristiche, l'approccio:

1. Spiega l'Allineamento: Va oltre l'affermare che i modelli sono simili per spiegare il perché (ovvero, danno priorità alle stesse variabili linguistiche).
2. Contesta la Primazia di Scala/Architettura: Suggerisce che il "modo" in cui i modelli linguistici risolvono l'elaborazione del linguaggio è plasmato più dalla famiglia del modello e dalla generazione (data di rilascio) che dalla scala o dalle specifiche classi architettoniche.
3. Generalizzabilità: Gli autori postulano che questo framework di confronto basato sulle caratteristiche possa essere esteso ad altri domini (parlato, visione) e ad altri sistemi neurali (cervelli biologici) laddove gli stimoli possano essere accoppiati con esplicite caratteristiche teoriche.

Il lavoro non pretende di risolvere interamente il problema dell'interpretabilità, ma offre una metrica specifica e interpretabile per confrontare le "priorità linguistiche" di diversi sistemi neurali.