Sparse Auto-Encoders and Holism about Large Language Models

1. Il Problema

Il paper affronta una tensione fondamentale nella filosofia del linguaggio applicata ai Large Language Models (LLM): il modello semantico adottato dagli LLM è olistico o decomposizionale?

• La visione Olistica: In precedenza, si sosteneva che gli LLM (basati su architetture come i Transformer e Word2Vec) adottassero una semantica distribuzionale olistica. Secondo questa visione (defesa da Grindrod et al.), il significato di una parola non deriva da componenti atomiche interne, ma esclusivamente dalle sue relazioni di prossimità con tutte le altre parole nello spazio vettoriale ad alta dimensionalità. Il significato è costitutivo delle relazioni tra espressioni linguistiche.
• La Sfida Recente: Le recenti scoperte nel campo dell'interpretabilità meccanica, in particolare l'uso di Sparse Auto-Encoders (SAE), hanno identificato migliaia di "feature" (caratteristiche) latenti interpretabili all'interno degli LLM. Queste feature sembrano agire come unità atomiche (es. "re", "maschile", "ponte Golden Gate") che si combinano per formare il significato.
• Il Conflitto: La scoperta di queste feature suggerisce una visione decomposizionale (o composizionale), dove il significato di una parola è la somma di feature atomiche, minacciando la tesi olistica secondo cui il significato è puramente relazionale e non scomponibile in parti discrete.

2. Metodologia

L'autore utilizza un approccio filosofico-analitico supportato da un'analisi tecnica dello stato dell'arte nell'interpretabilità dei modelli:

• Analisi Concettuale: Esamina le definizioni di olistismo (basate su Dresner) e le obiezioni storiche (Fodor e Lepore) contro l'olismo, applicandole al contesto degli LLM.
• Valutazione Tecnica degli SAE: Analizza il funzionamento degli Sparse Auto-Encoders. Gli SAE sono reti neurali addestrate per ricreare gli stati di attivazione di un layer di un LLM, ma con un vincolo di sparsità (solo pochi neuroni nel layer nascosto si attivano alla volta). Questo vincolo forza il modello a imparare feature interpretabili invece di copiare semplicemente l'input.
• Ispezione Empirica delle Feature: L'autore esamina casi di studio reali tratti dalla letteratura sugli SAE (es. Bricken et al., Templeton et al., GEMMASCOPE). Analizza:
  • Esempi specifici di token (es. la parola "growing" in Moby Dick) e le feature che si attivano.
  • Campioni casuali di feature da diversi livelli di un modello (Gemma-2-2b).
  • Problemi tecnici noti negli SAE: superposizione (polysemanticity), interferenza, duplicazione delle feature, assorbimento delle feature e la tendenza delle feature a diventare troppo specifiche o composte man mano che si aumenta la dimensione dell'SAE.
• Valutazione della "Teoria della Composizione delle Feature": Verifica se le feature identificate dagli SAE possano effettivamente fungere da "mattoni atomici" del significato, confrontandole con le critiche filosofiche tradizionali alle teorie definizionali (es. il problema del residuo di Fodor).

3. Contributi Chiave

Il paper apporta diversi contributi originali al dibattito filosofico-tecnico:

1. Rifututo della Visione Decomposizionale Basata sugli SAE: L'autore dimostra che, sebbene gli SAE identifichino pattern interpretabili, questi non costituiscono una "grammatica atomica" del significato. Le feature sono spesso troppo specifiche (es. "riferimenti a sistemi di condizionamento dell'aria"), sintattiche, o legate a domini di nicchia (es. "codice per JIT compilation"), e non rappresentano concetti semantici fondamentali universali.
2. Analisi dei Limiti degli SAE come Strumenti Semantici: Viene evidenziato come l'addestramento alla sparsità porti a problemi strutturali (come l'assorbimento delle feature e la composizione non intuitiva) che impediscono agli SAE di tagliare il "significato" ai suoi giunti naturali. Le feature appaiono più come un dizionario piatto e arbitrario che come una struttura gerarchica di significati atomici.
3. Riformulazione dell'Olistismo: L'autore propone che le feature identificate dagli SAE non siano entità più fondamentali delle embedding delle parole, ma siano esse stesse unità di significato sullo stesso piano. Sia le parole che le feature sono organizzate in una rete di prossimità semantica.
4. La Condizione di Contabilità (Countability): Il contributo teorico principale è l'argomentazione che l'olismo può sopravvivere alla scoperta delle feature solo se queste ultime sono contabili (discrete). Se lo spazio delle feature fosse continuo e infinito (con infinite feature intermedie tra due feature esistenti), la visione a rete (holism) collasserebbe. L'autore sostiene che le nostre intuizioni semantiche e i dati empirici suggeriscono che, nonostante la rappresentazione continua dello spazio vettoriale, le feature semantiche rilevanti sono discrete.

4. Risultati

• Incompatibilità con l'Atomismo Semantico: L'analisi empirica mostra che le feature degli SAE non soddisfano i criteri per essere considerate "significati atomici" in senso filosofico classico (Katz & Fodor). Spesso mancano di generalità o sono troppo legate a contesti specifici (es. codice, domini tecnici).
• Conferma dell'Olistismo Relazionale: Le feature, proprio come le embedding delle parole, sono disposte in base alla prossimità semantica. Non esiste una gerarchia rigida dove le feature "costituiscono" le parole in modo assoluto; piuttosto, entrambi esistono in una rete di relazioni.
• Risposta al Problema del Continuo: Sebbene lo spazio vettoriale sia continuo, l'autore conclude che non ci si aspetta l'esistenza di "significati impossibili" (es. una feature a metà strada tra "sale" e "aria condizionata"). Questo suggerisce che lo spazio semantico effettivo è discreto o parzialmente discreto, permettendo di mantenere la visione olistica come una rete di nodi (parole e feature) collegati.

5. Significato

Il paper ha un'importanza significativa per due campi:

• Filosofia del Linguaggio e Meta-semantica: Fornisce una difesa aggiornata dell'olismo semantico contro una delle sfide tecniche più recenti e potenti (l'interpretabilità meccanica). Suggerisce che la scoperta di feature latenti non invalida la visione olistica, ma richiede solo un adattamento per includere le feature come nodi aggiuntivi nella rete semantica, a condizione che siano discrete.
• Interpretabilità dei Modelli (AI Safety): Mette in guardia contro l'interpretazione ingenua delle feature degli SAE come "verità fondamentali" o "concetti atomici" del modello. Avverte che la sparsità è un proxy imperfetto per il significato e che le feature identificate possono essere artefatti tecnici o troppo specifici per costituire una teoria completa della composizione del significato. Sottolinea la necessità di cautela nel passare dall'osservazione di pattern di attivazione a conclusioni filosofiche sulla natura del significato.

In sintesi, Grindrod conclude che la visione olistica di Grindrod et al. rimane valida: gli LLM catturano il significato attraverso una rete di relazioni di prossimità, e le feature scoperte dagli SAE sono parte integrante di questa rete, non i suoi mattoni costitutivi fondamentali.