💬 NLP

Cross-Layer Discrete Concept Discovery for Interpreting Language Models

Autori originali: Ankur Garg, Xuemin Yu, Hassan Sajjad, Samira Ebrahimi Kahou

Pubblicato 2026-06-11

📖 5 min di lettura🧠 Approfondimento

Autori originali: Ankur Garg, Xuemin Yu, Hassan Sajjad, Samira Ebrahimi Kahou

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un grande modello linguistico (come l'IA dietro questa conversazione) come una massiccia fabbrica a più piani. Le materie prime (parole) entrano dal piano inferiore, vengono lavorate e si spostano verso il piano superiore dove viene creato il prodotto finale (una risposta o una decisione).

Per molto tempo, gli scienziati che cercavano di capire come funziona questa fabbrica hanno guardato solo un singolo piano alla volta. Si affacciavano in una stanza al 3° piano e dicevano: "Ah, questa macchina sta facendo qualcosa!". Ma avevano perso un dettaglio cruciale: la fabbrica ha un sistema speciale di nastri trasportatori (chiamato "residual stream") che trasporta gli oggetti dal piano inferiore fino a quello superiore, mescolandoli con nuovi elementi lungo il percorso.

A causa di questo nastro trasportatore, se guardi solo un piano, vedi un groviglio disordinato di parti duplicate e confuse. Non puoi capire quale parte sia venuta da dove o cosa significhi realmente.

Il Problema: La "Foto Sfocata"

I metodi precedenti cercavano di pulire questo disordine, ma trattavano l'informazione come un liquido fluido e continuo (come l'acqua). Cercavano di trovare schemi nell'acqua, ma poiché l'acqua era così fluida, i modelli continuavano a dividersi e a mescolarsi. Era come cercare di identificare ingredienti specifici in uno smoothie guardando solo il liquido; sai che sono lì, ma non riesci a separare facilmente la fragola dalla banana.

La Soluzione: L'Aggiornamento della Fabbrica "CLVQ-VAE"

Gli autori di questo articolo hanno costruito un nuovo strumento chiamato CLVQ-VAE. Pensa a questo come a una smart sorting machine (macchina di smistamento intelligente) che si trova tra due piani della fabbrica.

Ecco come funziona, usando un'analogia semplice:

L'Encoder Adattivo (Il Nastro Trasportatore Intelligente): Invece di prendere semplicemente le materie prime dal piano inferiore, questa macchina le regola delicatamente. È come uno chef che prende un ingrediente grezzo e gli dà una piccola, precisa modifica per renderlo pronto per il passaggio successivo, senza cambiarne la natura fondamentale.
Il Collo di Bottiglia Discreto (La Macchina per Timbrare): Questa è la parte più importante. Inve fino a lasciare che l'informazione fluisca come un liquido sfocato, questa macchina costringe l'informazione a essere "timbrata" su un insieme finito di timbri predefiniti (chiamati codebook).
- Immagina di avere una scatola di 1.000 mattoncini LEGO specifici.
- Quando la macchina vede un'idea complessa, non cerca di costruire una nuova forma usando l'argilla. Invece dice: "Questa idea somiglia di più al Mattoncino #42".
- Questo trasforma un torbido continuo e disordinato in un'etichetta chiara e discreta. Costringe l'IA a dire: "Sto usando il mattoncino dell' 'Rabbia'", o "Sto usando il mattoncino dello 'Sport'", invece di un vago mix di entrambi.
Il Decoder (Il Ricostruttore): La macchina cerca poi di ricostruire il "piano superiore" della fabbrica usando solo questi specifici mattoncini LEGO. Se riesce a ricostruire il piano superiore usando solo il mattoncino della "Rabbia", allora sappiamo con certezza che la "Rabbia" era un concetto critico per la decisione dell'IA.

Perché Questo è Meglio (I Risultati)

Il paper ha testato questa nuova macchina contro i vecchi metodi (come guardare un solo piano o usare l'approccio del "liquido") su tre diversi compiti: recensioni di film, rilevamento di commenti tossici e classificazione di articoli di notizie.

Ecco cosa hanno scoperto:

Il "Test di Rimozione" (Fedeltà): Quando i ricercatori hanno preso i "mattoncini LEGO" (concetti) che la macchina aveva trovato e li hanno rimossi dal cervello dell'IA, le prestazioni dell'IA sono crollate. In alcuni casi, l'IA è diventata il 93% meno efficace nel suo lavoro. Questo prova che la macchina ha trovato le vere ragioni per cui l'IA prendeva le decisioni, non solo rumore casuale.
Il "Test del Giudice" (Valutazione tramite LLM): Hanno chiesto ad altri modelli di IA di agire come giudici e osservare i concetti trovati dalla nuova macchina rispetto a quelli vecchi. I concetti della nuova macchina sono stati classificati al primo posto il 66,7% delle volte. I giudici hanno percepito che questi concetti avessero più senso e fossero più coerenti.
Il "Test Umano" (Interpretabilità): Hanno mostrato nuvole di parole (visualizzazioni dei concetti) a volontari umani.
- Quando vedevano i concetti della nuova macchina, gli umani potevano indovinare cosa stesse pensando l'IA il 78% delle volte.
- Quando vedevano i concetti del vecchio metodo, gli umani indovinavano correttamente solo il 54% delle volte.
- Inoltre, diversi umani concordavano molto di più tra loro guardando i risultati della nuova macchina, il che significa che i concetti erano più chiari e meno confusi.

Il "Segreto del Successo"

Il paper evidenzia alcuni "trucchi" che hanno reso possibile questo lavoro:

Campionamento della Temperatura (Temperature Sampling): Invece di scegliere sempre il singolo mattoncino "migliore", la macchina a volte ne sceglie uno tra i 5 più vicini. È come dare alla macchina un po' di casualità per esplorare diverse opzioni, il che evita che rimanga bloccata nell'uso degli stessi pochi mattoncini ripetutamente.
Sferico vs Piatto: Hanno scoperto che organizzare i mattoncini in base alla direzione verso cui puntano (sferico) piuttosto che solo in base alla loro distanza (piatto) aiutava gli umani a comprendere meglio i concetti, anche se il metodo "piatto" era leggermente migliore nel prevedere i numeri grezzi dell'IA.

Riassunto

In breve, questo articolo introduce un modo per tradurre i pensieri disordinati e sovrapposti di una grande IA in un elenco pulito e organizzato di "concetti" distinti (come i mattoncini LEGO). Facendo questo attraverso più livelli dell'IA, possono vedere chiaramente cosa l'IA sta pensando e perché prende le sue decisioni, rendendo la "scatola nera" dell'IA molto più trasparente e comprensibile per gli esseri umani.

Sintesi Tecnica: Scoperta di Concetti Discreti Cross-Layer per l'Interpretazione dei Modelli di Linguaggio

Problema

L'interpretazione dei grandi modelli di linguaggio (LLM) è ostacolata dalla natura degli stream residui dei transformer, che mescolano e duplicano linearmente le caratteristiche attraverso gli strati adiacenti. I metodi di analisi a singolo strato spesso non riescono a catturare questa struttura cross-layer, perdendo pattern computazionali che sono visibili solo quando più strati vengono esaminati insieme. Sebbene approcci cross-layer recenti come gli Autoencoder Sparsi (SAE) affrontino il mescolamento tra strati, essi operano in spazi continui. In questi spazi, i concetti si "scindono" in molti neuroni senza confini chiari, costringendo all'uso di soglie arbitrarie o combinazioni di vettori multipli per isolare le attivazioni. Questo disallineamento con il ragionamento umano, che si basa su categorie discrete, limita l'interpretabilità di tali metodi.

Metodologia

Gli autori propongono CLVQ-VAE (Cross-Layer Vector Quantized-Variational Autoencoder), un framework progettato per scoprire concetti discreti e interpretabili mappando le rappresentazioni da uno strato inferiore ( $l$ ) a uno strato superiore ( $h$ ) attraverso un collo di bottiglia di quantizzazione vettoriale discreta. Il framework è composto da tre componenti principali:

Encoder Residuo Adattivo: Per preservare l'informazione semantica abilitando al contempo la riassegnazione del codice, questa componente applica un meccanismo di interpolazione apprendibile agli embedding di input dallo strato $l$ . Utilizza un coefficiente di miscelazione $\alpha$ (limitato a $[0, 0.5]$ ) per bilanciare l'embedding originale con una versione linearmente trasformata, prevenendo la distruzione delle caratteristiche linguistiche pur permettendo raffinamenti mirati per la ricostruzione cross-layer.
Quantizzatore Vettoriale: Agisce come un collo di bottiglia discreto, mappando gli output continui dell'encoder in un singolo vettore del codebook proveniente da un insieme appreso $E = \{e_j\}_{j=1}^K$ $E = {e_{j}}_{j = 1}^{K}$ . Per garantire una formazione stabile e un uso efficace del codebook, gli autori impiegano:
- Inizializzazione: K-means (Euclideo o Sferico) o inizializzazione casuale.
- Campionamento Stocastico: Inveve della selezione deterministica, il modello campiona dai top- $k$ vettori del codebook più vicini utilizzando una distribuzione di probabilità controllata dalla temperatura. Ciò incoraggia l'utilizzo uniforme del codebook e la diversità dei concetti.
- Aggiornamenti EMA: I vettori del codebook sono aggiornati tramite Medie Mobili Esponenziali (EMA) dei conteggi di assegnazione e dei vettori accumulati anziché tramite backpropagation diretta, garantendo stabilità.
Decoder Transformer: Un decoder transformer bidirezionale ricostruisce le attivazioni target dallo strato $h$ utilizzando i vettori quantizzati del codebook. Utilizza meccanismi di cross-attention per sfruttare le informazioni provenienti dagli output non quantizzati dell'encoder, delegando i dettagli di ricostruzione a basso livello affinché il codebook possa concentrarsi su concetti distinti e di alto livello.

Il modello è addestrato tramite una funzione di perdita combinata: una perdita di ricostruzione (Errore Quadratico Medio tra l'output del decoder e la rappresentazione target dello strato superiore) e una perdita di impegno (commitment loss), che incoraggia gli output dell'encoder a impegnarsi verso i vettori del codebook.

Contributi Chiave

Mappatura Cross-Layer Discreta: A differenza dei comuni VQ-VAE che ricostruiscono lo stesso strato, CLVQ-VAE agisce come un transcoder, collassando le ridondanti caratteristiche dello stream residuo dai livelli inferiori in vettori di concetto compatti e interpretabili negli strati superiori.
Meccanismo di Campionamento Stocastico: L'introduzione del campionamento top- $k$ basato sulla temperatura, combinato con gli aggiornamenti del codebook tramite EMA, fornisce un'esplorazione controllata dello spazio latente discreto, mantenendo la diversità del codebook e prevenendo il collasso.
Valutazione Esaustiva: Il framework è valutato su modelli basati su encoder (RoBERTa, BERT) e modelli solo decoder (LLaMA-2-7B, Qwen2.5-3B-Instruct) su tre dataset (ERASER-Movie, Jigsaw, AGNews).

Risultati

Il paper valuta CLVQ-VAE rispetto a clustering, VQ-VAE a singolo strato e baseline SAE lungo tre assi:

Fedeltà (Ablazione del Concetto): Rimuovere i concetti identificati dalle rappresentazioni delle frasi degrada significativamente l'accuratezza del modello. CLVQ-VAE ha ottenuto l'accuratezza perturbata più bassa in 5 casi su 12, con la rimozione dei concetti che ha causato cali di accuratezza fino al 93,2% (su RoBERTa/ERASER-Movie). Ha superato costantemente gli SAE, che mostravano cali inconsistenti o trascurabili, in particolare sui modelli decoder.
Coerenza Semantica (LLM-as-a-Judge): Un ensemble di LLM ha classificato i concetti di CLVQ-VAE al primo posto nel 66,7% dei confronti, con un rating medio di 1,890, superando il VQ-VAE a singolo strato, l'SAE e il clustering.
Interpretabilità Umana: In uno studio umano, gli annotatori sono riusciti a recuperare le predizioni del modello dalle visualizzazioni di CLVQ-VAE con un'accuratezza del 78,2%, rispetto al 54,1% del clustering. Gli annotatori hanno anche riportato una maggiore fiducia (8,44 contro 5,98) e hanno raggiunto un accordo inter-annotatore "quasi perfetto" ( $\kappa = 0,864$ ) con le visualizzazioni CLVQ-VAE.

Inoltre, gli autori hanno riscontrato un compromesso nelle strategie di inizializzazione: l'inizializzazione K-means tendeva a produrre una maggiore fedeltà funzionale (migliori risultati di perturbazione), mentre il K-means Sferico produceva concetti con maggiore coerenza semantica e allineamento umano.

Significato

Il paper sostiene che CLVQ-VAE fornisca un framework robusto per tradurre i meccanismi opachi dei modelli in concetti fedeli e interpretabili. Integrando l'apprendimento di rappresentazioni discrete con l'analisi cross-layer, l'approccio affronta i limiti degli SAE continui (scissione dei concetti) e delle analisi a singolo strato (mancanza di struttura cross-layer). I risultati validano che i concetti scoperti non sono solo funzionalmente critici per le predizioni del modello, ma si allineano anche con la comprensione umana, offrendo una via verso modelli di linguaggio più trasparenti e responsabili. Gli autori notano che, sebbene il metodo sia efficace, richiede una memoria sostanziale per l'estrazione delle attivazioni e un addestramento separato per diverse combinazioni di strati.