Polysemanticity or Polysemy? Lexical Identity Confounds Superposition Metrics

Titolo

Polisemanticità o Polisemia? Le identità lessicali confondono le metriche di sovrapposizione

1. Il Problema

Nelle grandi reti neurali (LLM), il fenomeno della polisemanticità (un singolo neurone che si attiva per concetti apparentemente non correlati) è spesso interpretato come una prova della sovrapposizione (superposition). Secondo l'ipotesi della sovrapposizione, quando un modello non ha abbastanza dimensioni per rappresentare tutti i concetti appresi separatamente, li "comprime" nello stesso spazio di attivazione, utilizzando direzioni quasi ortogonali.

Tuttavia, gli autori identificano un fattore di confusione lessicale (lexical confound) che le metriche standard non riescono a distinguere:

• Quando un neurone si attiva sia per "banca" (istituto finanziario) che per "banca" (riva del fiume), le metriche attuali attribuiscono questo overlap alla compressione di due concetti diversi (sovrapposizione).
• Gli autori ipotizzano che, in molti casi, l'attivazione sia dovuta semplicemente alla forma lessicale condivisa (la parola "bank" stessa) e non alla compressione di concetti semantici distinti. Il modello potrebbe processare la forma della parola prima di disambiguare il significato.

Se non separati, questi segnali lessicali portano a una sovrastima della sovrapposizione e a una comprensione errata dell'architettura interna dei modelli.

2. Metodologia

Per isolare e quantificare questo fattore di confusione, gli autori propongono un approccio strutturato in tre fasi:

A. Decomposizione Fattoriale 2x2

Hanno costruito coppie di frasi incrociando due fattori binari: Stessa/Diversa Parola e Stesso/Diverso Significato. Questo genera quattro condizioni sperimentali:

1. SL (Same-Lemma): Stessa parola, stesso significato (es. "banca" finanziaria vs "banca" finanziaria). Overlap massimo (lessico + semantica).
2. PS (Polysemantic): Stessa parola, significato diverso (es. "banca" finanziaria vs "banca" fluviale). Overlap dovuto solo alla forma lessicale.
3. SYN (Synonym): Parola diversa, stesso significato (es. "banca" vs "istituto"). Overlap dovuto solo alla semantica.
4. CL (Cross-Lemma): Parola diversa, significato diverso. Baseline minima.

L'obiettivo è confrontare direttamente la condizione PS (solo lessico) con la SYN (solo semantica). Se PS > SYN, allora la forma lessicale è il driver principale dell'overlap.

B. Metrica di Contributo Lessicale ($R_{lex}$)

Hanno definito un rapporto normalizzato per quantificare la proporzione di overlap dovuta al lessico:
$$R_{lex} = \frac{\bar{M}_{PS} - \bar{M}_{SYN}}{\bar{M}_{SL} - \bar{M}_{CL}}$$
Dove $M$ rappresenta una metrica di sovrapposizione (cosine similarity, Jaccard, ecc.). Un valore $R_{lex} > 0$ indica che la forma della parola contribuisce più del significato all'attivazione condivisa.

C. Classificazione dei Neuroni e Intervento Causale

• Indice di Selettività del Senso (SSI): Classificano i neuroni in "sensibili al senso" (sense-selective, alta differenza di attivazione tra significati) e "ciechi al senso" (sense-blind, attivazione simile per entrambi i significati).
• Ablazione e Modifica: Utilizzano l'ablazione media (mean-ablation) e tecniche di editing del modello (come ROME) per verificare se rimuovere i neuroni "ciechi al senso" ha un impatto diverso rispetto alla rimozione di quelli "sensibili al senso" su compiti come la disambiguazione e l'editing della conoscenza.

3. Risultati Chiave

Lo studio è stato condotto su 9 modelli transformer (da 110M a 70B parametri, inclusi GPT-2, BERT, Pythia, LLaMA-2) e su 407 parole polisemiche.

1. Dominanza della Forma Lessicale:

   • In tutti i modelli e attraverso tutti i layer, la condizione PS (stessa parola, senso diverso) produce sistematicamente più overlap neuronale rispetto alla condizione SYN (parola diversa, stesso senso).
   • Il rapporto $R_{lex}$ è costantemente positivo, indicando che la forma lessicale è il driver principale dell'overlap, non la compressione concettuale.
   • Questo pattern si mantiene anche nei modelli più grandi (fino a 70B parametri) e in diverse architetture.

2. Impatto sugli Sparse Autoencoders (SAE):

   • Gli SAE, progettati per estrarre feature monosemantiche, ereditano questo confondimento.
   • Il 18-36% delle feature attivate per parole polisemiche si rivela "cieco al senso" (sense-blind): si attivano per la forma della parola indipendentemente dal significato.
   • Un esempio specifico (feature #5132 in un SAE di GPT-2) si attiva per 232 parole diverse e non correlate semanticamente, dimostrando che l'etichetta automatica "aggettivi intensificanti" era errata e basata su pattern superficiali.

3. Struttura Geometrica Compatta:

   • L'informazione sulla identità lessicale risiede in un sottospazio compatto (circa 20 dimensioni, <1% dello spazio di attivazione totale).
   • Rimuovendo queste dimensioni (proiezione LIS - Lexical Identity Subspace), il gap tra PS e SYN si riduce drasticamente o si inverte, dimostrando che il confondimento è localizzabile e rimovibile.

4. Conseguenze Causali e Pratiche:

   • Disambiguazione: I neuroni "sensibili al senso" sono cruciali per la disambiguazione (accuratezza 91%), mentre quelli "ciechi" sono quasi casuali (42%).
   • Editing della Conoscenza (ROME): Quando si modifica un modello per cambiare il significato di una parola (es. da "banca fluviale" a "prestito"), l'uso standard di ROME (che modifica tutti i neuroni attivi) danneggia anche il significato non target.
   • Filtrando i neuroni "ciechi al senso" e agendo solo su quelli "sensibili", l'editing diventa significativamente più selettivo (p = 0.002), preservando il significato originale non target.

4. Contributi Principali

1. Smascheramento del Confondimento: Dimostrazione empirica che una grande parte della "polisemanticità" misurata è in realtà un artefatto dell'identità lessicale, non della sovrapposizione di concetti.
2. Nuova Metrica ($R_{lex}$): Introduzione di un metodo fattoriale per separare quantitativamente l'overlap lessico da quello semantico.
3. Classificazione Neurale: Definizione operativa di neuroni "sense-selective" vs "sense-blind" e dimostrazione della loro diversa funzione causale.
4. Soluzioni Pratiche:
   • Proposta di un punteggio di polisemanticità corretto ($P_{adj}$) che sottrae l'inflazione lessicale.
   • Dimostrazione che l'editing dei modelli e la valutazione degli SAE devono filtrare le feature "sense-blind" per evitare danni collaterali.

5. Significato e Implicazioni

Questo lavoro mette in discussione l'interpretazione corrente della polisemanticità come semplice artefatto di compressione. Suggerisce che i modelli linguistici trattano la forma della parola come un segnale primario e distinto dal significato, e che le metriche attuali non riescono a distinguere i due.

Le implicazioni sono profonde per:

• Interpretabilità: Gli studi che usano SAE o analizzano l'attivazione dei neuroni devono controllare per l'identità lessicale, altrimenti rischiano di identificare feature che non sono concetti semantici ma solo "rilevatori di parole".
• Modifica dei Modelli: Le tecniche di editing della conoscenza (come ROME) devono essere affinate per evitare di alterare significati non intenzionali, agendo selettivamente sui neuroni che codificano il senso specifico.
• Teoria della Sovrapposizione: La sovrapposizione esiste ancora, ma la sua misurazione richiede prima la rimozione del segnale lessicale.

In sintesi, il paper fornisce gli strumenti per distinguere tra "il modello sta comprimendo due concetti" e "il modello sta semplicemente riconoscendo la stessa parola", migliorando la precisione dell'analisi meccanica dei LLM.