From Associations to Activations: Comparing Behavioral and Hidden-State Semantic Geometry in LLMs

1. Il Problema e l'Obiettivo

Il lavoro si pone l'obiettivo di determinare se la geometria semantica nascosta (hidden-state geometry) di un Large Language Model (LLM) possa essere recuperata e ricostruita esclusivamente attraverso il suo comportamento osservabile, simulando esperimenti di psicolinguistica classica.

Nella scienza cognitiva umana, la conoscenza semantica è una struttura latente non direttamente osservabile; si infersce attraverso il comportamento (es. associazioni di parole). Per gli LLM, invece, è possibile osservare sia il comportamento (output testuale) che le rappresentazioni interne (stati nascosti). La domanda centrale è: quanto delle strutture interne di un modello è recuperabile analizzando solo le sue risposte discrete a compiti comportamentali, senza accesso ai logit o ai parametri interni?

2. Metodologia

Gli autori hanno implementato un framework comparativo su larga scala che coinvolge otto modelli transformer istruiti (instruction-tuned) di diverse architetture (Falcon, Gemma, Llama, Mistral, Phi, Qwen, rnj).

A. Dati e Vocabolario

• Vocabolario: Un insieme condiviso di 5.000 sostantivi ad alta frequenza (derivati da SUBTLEX-US e C4).
• Volume dei dati: Sono stati raccolti oltre 17,5 milioni di trial comportamentali.

B. Paradigmi Comportamentali

Sono stati utilizzati due paradigmi psicolinguistici per costruire matrici di similarità comportamentale ($S_{beh}$):

1. Forced Choice (FC - Scelta Forzata): Al modello viene presentato un termine di richiamo (cue) e un set di 16 candidati; il modello deve selezionare esattamente 2 parole più correlate. Questo paradigma concentra le risposte su un supporto condiviso.
2. Free Association (FA - Associazione Libera): Al modello viene presentato un termine di richiamo e deve generare 5 parole associate. Questo paradigma è meno vincolato e produce risposte più sparse.

C. Estrazione degli Stati Nascosti

Per ogni modello e per ogni parola, sono stati estratti gli stati nascosti (hidden states) a diversi livelli (layer) del transformer utilizzando quattro strategie di contesto:

• Averaged: Media degli stati su 50 frasi naturali estratte dal corpus C4.
• Meaning: Prompt fisso di definizione ("Qual è il significato della parola...").
• Task (FC/FA): Il prompt specifico utilizzato nei paradigmi comportamentali (senza la lista di candidati per FC).

D. Analisi e Confronto

• Representational Similarity Analysis (RSA): Per confrontare la geometria degli stati nascosti ($S_{hid}$) con quella comportamentale ($S_{beh}$) calcolando la correlazione di Pearson tra le strutture di similarità a coppie.
• Analisi di Sovrapposizione dei Vicini (Nearest-Neighbor Overlap): Misura la consistenza locale tra i vicini più prossimi negli spazi comportamentali e nascosti.
• Regressione Ridge su parole tenute fuori (Held-out-words): Un protocollo di previsione per verificare se la similarità comportamentale può prevedere la similarità degli stati nascosti per parole non viste durante l'addestramento, superando baseline lessicali (FastText, BERT) e il consenso tra modelli.

3. Risultati Chiave

Allineamento Comportamento-Attivazione

• Superiorità della Scelta Forzata (FC): Il comportamento derivato dal paradigma FC si allinea significativamente meglio con la geometria degli stati nascosti rispetto all'associazione libera (FA).
  • FC: Correlazione RSA media che varia da $r \approx 0.34$ (Averaged) a $r \approx 0.46$ (Task-aligned).
  • FA: Correlazioni molto più basse ($r \approx 0.14 - 0.20$).
• Impatto del Contesto di Estrazione: L'allineamento è massimo quando gli stati nascosti sono estratti con prompt allineati al compito (Task FC/FA) o con prompt di significato, specialmente nei layer intermedi (10-20). L'uso di contesti naturali mediati (Averaged) sposta il picco di allineamento verso layer più profondi.

Predittività e Generalizzazione

• La similarità comportamentale (in particolare FC) predice le similarità degli stati nascosti su parole non viste (held-out words) oltre le baseline lessicali e il consenso cross-modello.
• L'aggiunta della similarità comportamentale FC a un modello di base (FastText + BERT + Consenso) migliora il $R^2$ medio di circa +0.022, dimostrando che le misure comportamentali contengono informazioni recuperabili sulla struttura semantica interna.

Ruolo del Consenso Cross-Modello

• La similarità condivisa tra diversi modelli (cross-model consensus) è un predittore molto forte della geometria interna di un singolo modello ($r \approx 0.79$), suggerendo l'esistenza di un sottospazio semantico "universale" o platonico condiviso tra LLM diversi.

4. Contributi Principali

1. Allineamento Comportamento-Attivazione: Dimostrazione empirica che la geometria semantica comportamentale, specialmente quella ottenuta tramite compiti a scelta forzata, riflette fedelmente la struttura degli stati nascosti dei transformer.
2. Recuperabilità delle Informazioni Interne: Evidenza che osservazioni comportamentali discrete (senza accesso ai logit) preservano una proiezione non banale della geometria semantica interna, rendendo possibile l'inferenza di stati cognitivi nascosti.
3. Dataset e Riproducibilità: Rilascio di un dataset su larga scala (17.5M+ trial) e di tutto il codice per l'analisi, permettendo studi futuri sulla relazione tra comportamento e rappresentazioni interne.
4. Analisi Stratificata: Mappatura dettagliata di quando (in quali layer) e come (con quale strategia di estrazione) il comportamento corrisponde alle attivazioni interne.

5. Significato e Implicazioni

• Validazione degli Strumenti di Misura: Il lavoro conferma che i compiti comportamentali non sono solo "scatole nere" di output, ma strumenti di misura ingegnerizzati capaci di svelare l'organizzazione semantica interna. La scelta forzata si rivela superiore all'associazione libera perché concentra le osservazioni, riducendo il rumore e aumentando il rapporto segnale-rumore nella ricostruzione della geometria.
• Interpretabilità: Offre un metodo per interrogare i modelli "black-box" (disponibili solo via API) per inferire la loro struttura semantica interna, senza bisogno di accesso ai pesi o agli stati interni.
• Teoria Cognitiva: Supporta l'ipotesi che il comportamento strutturato sia vincolato dagli stati interni, fornendo un ponte empirico tra la scienza cognitiva classica e l'analisi dei modelli di linguaggio moderni.
• Limitazioni: Lo studio è limitato a sostantivi inglesi ad alta frequenza e i risultati sono correlazionali (non dimostrano causalità diretta), ma aprono la strada a test causali futuri (es. manipolazione diretta delle attivazioni).

In sintesi, il paper stabilisce che il comportamento di un LLM, se misurato con protocolli rigorosi come la scelta forzata, funge da finestra affidabile sulla sua geometria semantica interna, permettendo di recuperare informazioni strutturali che altrimenti rimarrebbero nascoste.