💬 NLP

Do Language Models Encode Semantic Relations? Probing and Sparse Feature Analysis

Questo studio combina tecniche di probing lineare e interpretabilità meccanica per dimostrare che le relazioni semantiche nei modelli linguistici sono rappresentate in modo direzionalmente asimmetrico e stabile negli strati intermedi, con una causalità affidabile che dipende dalla capacità del modello.

Autori originali: Andor Diera, Ansgar Scherp

Pubblicato 2026-03-19

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Andor Diera, Ansgar Scherp

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina che i grandi modelli linguistici (come quelli che usi per scrivere email o generare immagini) siano delle enormi biblioteche magiche. Dentro queste biblioteche, non ci sono solo libri, ma milioni di piccoli "spiriti" (i neuroni) che lavorano insieme per capire il significato delle parole.

La domanda che si pongono gli autori di questo studio è: "Questi spiriti capiscono davvero la logica delle relazioni tra le parole, o si limitano a ricordare a caso?"

Per rispondere, hanno preso tre biblioteche di dimensioni diverse (una piccola, una media e una gigante) e hanno fatto un'indagine molto dettagliata. Ecco cosa hanno scoperto, spiegato con parole semplici:

1. La Mappa del Tesoro (Dove si nascondono le relazioni?)

Immagina che ogni parola abbia un "codice segreto" che dice come si relaziona alle altre (ad esempio, "cane" è un tipo di "animale", mentre "felice" è l'opposto di "triste").

Gli autori hanno scoperto che questi codici non sono nascosti in una sola stanza della biblioteca. Sono sparsi un po' ovunque, ma si concentrano soprattutto nel "cuore" della biblioteca (gli strati intermedi del modello).

Curiosità: Non è la parte che "ascolta" le parole (l'attenzione) a fare il lavoro pesante, ma la parte che "elabora" e "ragiona" (la rete neurale interna o MLP). È come se fosse il cuoco che prepara il piatto, non il cameriere che porta il menu.

2. Le Relazioni non sono tutte uguali

Hanno testato quattro tipi di relazioni, come se fossero quattro giochi diversi:

I Contrari (Antonimi): "Felice" vs "Triste". È il gioco più facile per la biblioteca. Anche le biblioteche piccole lo capiscono bene.
I Sinonimi: "Felice" vs "Gioioso". È il gioco più difficile. Le biblioteche faticano a distinguere parole che significano quasi la stessa cosa.
La Gerarchia (I Genitori e i Figli): Qui c'è un trucco.
- Iperonimi (Dal generale al specifico): "Animale" -> "Cane". La biblioteca è bravissima a capire che il cane è un animale. È come se avesse una forza magica che spinge verso l'alto.
- Iponimi (Dal specifico al generale): "Cane" -> "Animale". Qui la biblioteca inciampa. Se chiedi "Cosa è un cane?", a volte fa fatica a rispondere "Animale" con la stessa sicurezza. È come se fosse più facile salire le scale che scenderle.

3. L'Esperimento del "Chirurgo" (Intervento sui neuroni)

Per capire se queste relazioni sono reali o solo un'illusione, gli autori hanno usato una tecnica chiamata "patching" (come un chirurgo che toglie o inserisce un organo).
Hanno preso i "neuroni specifici" che sembrano gestire queste relazioni e hanno fatto due cose:

Li hanno spenti (Ablazione): Se spegni i neuroni giusti, la biblioteca smette di capire la relazione?
Li hanno accesi a caso (Iniezione): Se accendi questi neuroni su parole che non c'entrano nulla, la biblioteca inizia a vedere relazioni dove non ce ne sono?

Il risultato sorprendente:

Nelle biblioteche giganti (come Llama 3.1), questo intervento funziona perfettamente! Spegnendo i neuroni giusti, la biblioteca "dimentica" la relazione. Accendendoli, la "inventa". Questo prova che la relazione è davvero lì, codificata in modo solido.
Nelle biblioteche piccole, l'intervento funziona male. È come se i neuroni fossero troppo confusi o sparsi per essere manipolati con precisione.

4. Il Paradosso dei Contrari

C'è un paradosso interessante: parole come "felice" e "triste" appaiono spesso nelle stesse frasi (es. "Mi sento felice o triste oggi"). Quindi, matematicamente, sembrano molto simili.
Tuttavia, la biblioteca riesce a distinguerle! Anche se le parole sono vicine nel "mare" delle parole, la biblioteca ha dei fari interni che le separano. Se guardi solo la distanza tra le parole, sembra che siano uguali, ma se guardi come lavorano i neuroni interni, vedi che sono opposte.

In Sintesi: Cosa abbiamo imparato?

Le relazioni ci sono: I modelli non sono solo macchine che ripetono frasi; hanno una struttura logica interna.
La scala conta: Più la biblioteca è grande, più è precisa e più è facile "controllarla" spegnendo o accendendo i neuroni giusti.
C'è un pregiudizio: I modelli sono bravi a vedere le cose dal generale allo specifico (come un genitore che vede il figlio), ma meno bravi al contrario.
Non è magia, è ingegneria: Abbiamo trovato i "cavi" specifici che tengono insieme questi concetti. Questo significa che in futuro potremo "aggiustare" i modelli per renderli più intelligenti o meno biasati, agendo direttamente su questi cavi invece di doverli riaddestrare da zero.

È come se avessimo scoperto che dentro un orologio complesso non c'è solo un meccanismo che ticchetta, ma ingranaggi specifici che tengono insieme il concetto di "tempo" e "ordine", e ora sappiamo esattamente quali ingranaggi toccare per farli funzionare meglio.

Titolo: I Modelli Linguistici Codificano Relazioni Semantiche? Analisi tramite Probing e Caratteristiche Sparse

1. Il Problema

Sebbene i Large Language Models (LLM) dimostrino capacità impressionanti nella generazione del linguaggio, rimane poco chiaro se e come essi rappresentino internamente le relazioni semantiche strutturate tra i concetti. La ricerca esistente si è concentrata molto sull'identificazione di singoli concetti o proprietà linguistiche, ma l'analisi delle relazioni tra questi concetti (come sinonimia, antonimia, iperonimia e iponimia) è rimasta in gran parte inesplorata.
Esiste un divario nella comprensione di:

Se i segnali di relazione esistano effettivamente all'interno delle rappresentazioni interne dei modelli.
Dove siano localizzati questi segnali (quali layer o componenti).
Quanto siano manipolabili causalmente (se l'intervento su specifiche caratteristiche possa alterare la comprensione della relazione).
Se i modelli sviluppino una comprensione concettuale strutturata o si affidino semplicemente ad associazioni superficiali basate sulla co-occorrenza.

2. Metodologia

Gli autori hanno adottato un approccio ibrido che combina probing lineare e interpretabilità meccanica (mechanistic interpretability) su tre modelli di dimensioni crescenti:

Pythia-70M (6 layer, 70M parametri).
GPT-2-124M (12 layer, 124M parametri).
Llama 3.1-8B (32 layer, 8B parametri).

Dataset:
È stato costruito un dataset derivato da WordNet, contenente 1.000 coppie di parole per ciascuna delle quattro relazioni target (sinonimi, antonimi, iperonimi, iponimi) più un set di controllo casuale. Le coppie sono state inserite in prompt contestuali neutri.

Tecniche di Analisi:

Probing Lineare: Sono stati addestrati classificatori logistici multinomiali sulle attivazioni estratte da ogni blocco transformer (output dell'attenzione, output MLP e flusso post-residuo) per valutare quanto bene le relazioni siano codificabili a diversi livelli di profondità.
Sparse Autoencoders (SAE): Utilizzati per estrarre caratteristiche disaccoppiate (monosemantiche) dalle attivazioni del modello, affrontando il problema della polisemia dei neuroni.
Activation Patching (Intervento Causale): Per testare la causalità, gli autori hanno intervenuto sulle caratteristiche SAE selezionate (top-k):
- Necessità: Ablazione (rimozione) delle caratteristiche chiave da input che contengono la relazione per vedere se il segnale crolla.
- Sufficienza: Iniezione delle caratteristiche chiave in input neutri (senza relazione) per vedere se si genera un segnale relazionale.
Metriche Causali: Sono stati definiti indicatori come la differenza di logit semantico ( $\Delta LD_{sem}$ ), il tasso di inversione ( $\Delta FR$ ) e il tasso di caduta ($DR$) per quantificare l'impatto degli interventi.

3. Contributi Chiave

Confronto Sistematico: Una valutazione comparativa su scala (da 70M a 8B parametri) di come quattro tipi di relazioni semantiche vengano codificati.
Framework Integrato: Un approccio che unisce il probing tradizionale all'analisi delle caratteristiche sparse (SAE) per stabilire evidenze causali a livello di sonda (probe-level causality).
Mappatura della Localizzazione: Dimostrazione che l'informazione relazionale non è confinata in un singolo "layer di relazione", ma è diffusa, con picchi instabili e una concentrazione maggiore nei componenti MLP e nel flusso post-residuo rispetto all'attenzione.
Asimmetria Gerarchica: Scoperta di una forte asimmetria direzionale nelle relazioni gerarchiche (iperonimia vs. iponimia) e differenze nella robustezza tra sinonimia e antonimia.

4. Risultati Principali

A. Ordine di Difficoltà e Scala

Esiste un ordine di difficoltà costante attraverso tutti i modelli: Antonimia (più facile) > Iponimia > Iperonimia > Sinonimia (più difficile).
L'accuratezza aumenta con la scala del modello, ma la sinonimia rimane la relazione più difficile da decodificare, anche su Llama 3.1.
I segnali relazionali sono diffusi: si concentrano nei layer centrali (mid-layers) ma non mostrano una localizzazione netta in un singolo layer.

B. Componenti del Modello

L'output completo del blocco (post-residuo) contiene il segnale più forte.
Il componente MLP trasporta generalmente più evidenza recuperabile rispetto all'attenzione, specialmente nei modelli più grandi.
L'attenzione mostra vantaggi specifici per relazione ma deboli su scala.

C. Asimmetrie Relazionali

Antonimia vs. Sinonimia: Nonostante la similarità distribuzionale (le parole antonime spesso appaiono negli stessi contesti), i modelli riescono a separare linearmente gli antonimi meglio dei sinonimi. Le misure di similarità coseno falliscono nel distinguere queste relazioni, suggerendo che la codifica avviene in attivazioni interne specifiche e non nella similarità globale degli embedding.
Iperonimia vs. Iponimia (Asimmetria Gerarchica):
- L'Iperonimia (es. "cane" -> "animale") è codificata in modo ridondante: è facile da rafforzare (alta sufficienza) ma difficile da sopprimere (bassa necessità). È robusta alle perturbazioni.
- L'Iponimia (es. "animale" -> "cane") si basa su caratteristiche compatte: è sia necessaria che sufficiente, rendendola più vulnerabile all'ablazione.
- Questa asimmetria si riflette anche nel test di inversione dell'ordine delle parole: l'accuratezza crolla drasticamente quando si inverte l'ordine per l'iponimia, ma rimane stabile per l'iperonimia.

D. Causalità e Scala

La manipolazione causale tramite patching guidato da SAE è dipendente dalla capacità del modello.
Su Llama 3.1, l'intervento sulle caratteristiche SAE induce spostamenti causali affidabili e forti (es. $\Delta FR \ge 0.66$ per l'antonimia).
Su modelli più piccoli (Pythia, GPT-2), gli effetti sono deboli o instabili, suggerendo che la capacità di isolare e manipolare causalmente queste relazioni richiede una certa scala.

E. Robustezza Contestuale

I segnali relazionali sono in gran parte invarianti rispetto al prompt (la struttura della frase), anche se l'accuratezza di lettura (decodifica) può degradare con prompt nuovi. La perdita è nella calibrazione della lettura, non nella disponibilità delle caratteristiche.

5. Significato e Implicazioni

Questo studio chiarisce che i LLM non codificano le relazioni semantiche come semplici similarità vettoriali, ma attraverso caratteristiche strutturate e sensibili al ruolo.

Teorico: Dimostra che i modelli sviluppano una comprensione gerarchica asimmetrica, favorendo la generalizzazione (iperonimia) rispetto alla specificazione (iponimia).
Pratico: Fornisce un framework riproducibile per collegare le caratteristiche sparse alle evidenze causali. Questo può guidare interventi mirati per compiti che dipendono dalla conoscenza relazionale (es. completamento di ontologie, inferenza testuale, recupero consapevole della tassonomia).
Limiti: Le affermazioni sono limitate alla causalità a livello di sonda (probe-level) e non garantiscono un impatto diretto sulla generazione di token o sul comportamento end-to-end del modello. Inoltre, l'uso di WordNet introduce un bias lessicale specifico per l'inglese.

In sintesi, il lavoro conferma che le relazioni semantiche sono rappresentate in modo manipolabile e strutturato all'interno dei LLM, ma la loro codifica varia significativamente in base al tipo di relazione, alla scala del modello e alla direzione gerarchica.