What are They Thinking? Delineation, Probing and Tracking of Concepts in LLMs

Sintesi Tecnica: Delimitazione, Sonda e Tracciamento dei Concetti negli LLM

Enunciazione del Problema
Man mano che i Modelli Linguistici di Grandi Dimensioni (LLM) influenzano sempre più il processo decisionale, sorge la necessità critica di comprendere i loro "processi di pensiero" interni. Sebbene ricerche precedenti abbiano dimostrato che sonde lineari possono rilevare proprietà linguistiche specifiche (ad esempio, parti del discorso, tempo verbale) e concetti (ad esempio, tempo, luogo, verità) all'interno degli embedding degli LLM, i metodi esistenti per il rilevamento dei concetti presentano limitazioni significative. Gli Autoencoder Sparsi (SAE), ad esempio, richiedono un addestramento non supervisionato computazionalmente costoso e mancano di controllo su quali concetti specifici vengano rilevati, rendendoli inadatti al monitoraggio mirato. Altri approcci, come sollecitare un LLM a identificare un concetto, sono troppo costosi per un monitoraggio continuo poiché richiedono invocazioni separate del modello. Questo articolo affronta la necessità di un metodo a basso costo e scalabile per creare sonde specifiche in grado di monitorare la presenza e l'assenza di concetti impliciti negli embedding degli LLM durante il normale funzionamento.

Metodologia
Gli autori propongono una pipeline in tre fasi per la creazione e l'utilizzo di sonde per i concetti:

1. Delimitazione del Concetto: L'innovazione centrale è un metodo semi-automatico per creare dataset binari di alta qualità per concetti specifici.

   • Generazione di Modelli: Gli autori hanno creato 30.000 modelli di frasi tratti da testi di Project Gutenberg, filtrati per garantire che si concentrassero su soggetti umani e contenessero strutture coerenti.
   • Generazione di Esempi: Utilizzando un LLM sollecitato (gpt-4o), hanno generato coppie di esempi per ogni concetto (presente vs. assente) imitando la struttura sintattica dei modelli mentre alteravano la semantica per riflettere il concetto target. Questo approccio mira a prevenire la "perdita di etichette" (label leakage), dove il modello potrebbe apprendere correlazioni spurie invece del concetto stesso.
   • Raffinamento ed Etichettatura: Per garantire l'affidabilità, un classificatore LLM sollecitato ha ridefinato tutti gli esempi generati. I prompt sono stati raffinati iterativamente per raggiungere un'accuratezza superiore al 90% su set di validazione etichettati manualmente. I dataset sono stati filtrati per conservare solo le coppie con etichette opposte, assicurando che la sonda apprenda il concetto piuttosto che somiglianze strutturali. Sono stati selezionati quattro concetti: ambizione, indagine, democrazia e invidia.

2. Addestramento e Valutazione della Sonda:

   • Addestramento: Sonde lineari (classificatori binari) sono state addestrate sugli embedding estratti da vari livelli degli LLM target. Gli autori hanno testato due strategie di embedding rappresentative: l'embedding dell'ultimo token (N-esimo) e la media di tutti gli embedding in un livello.
   • Compiti di Controllo: Per verificare che le sonde rilevino concetti codificati negli embedding piuttosto che apprendere il compito in modo indipendente, gli autori hanno impiegato compiti di controllo:
     • Randomizzazione: L'addestramento su embedding o etichette randomizzati ha portato a un'accuratezza che scendeva a circa il 50%, confermando che le sonde si basano su informazioni significative negli embedding.
     • Riduzione dei Parametri: Le sonde sono state vincolate a meno di 80 parametri (tramite PCA). Un'alta accuratezza è stata mantenuta anche con una compressione significativa, suggerendo che gli embedding codificano le caratteristiche in modo robusto.

3. Tracciamento del Concetto (Crescita e Decrescita):

   • Dataset di Storie: Gli autori hanno costruito 50 storie di tre paragrafi per ogni concetto. Il concetto target era presente solo nelle frasi di transizione che collegavano i paragrafi e assente altrove.
   • Monitoraggio Dinamico: Le sonde addestrate sono state applicate agli embedding di contesti in espansione (parola per parola). Ciò ha permesso agli autori di osservare come la probabilità della presenza del concetto fluttua mentre il contesto evolve, tracciando specificamente la "crescita e decrescita" (waxing and waning) del segnale del concetto.

Risultati Chiave

• Inferenza del Concetto: Lo studio conferma che gli LLM (testati sulle famiglie Llama-3-8B, Gemma-2 e Qwen2.5) inferiscono i quattro concetti target. Le sonde hanno raggiunto un'accuratezza significativamente superiore al 50% nella maggior parte dei livelli, con il livello di embedding (livello 0) che mostra un'accuratezza sorprendentemente alta (87%) per l'ambizione quando si utilizzano embedding medi, sebbene questo non si sia mantenuto per contesti più lunghi.
• Efficienza della Sonda: Le sonde hanno ottenuto prestazioni solide con pochissimi parametri. Per l'ambizione, l'accuratezza è rimasta superiore al 75% con soli 40 parametri e si è stabilizzata intorno agli 80 parametri, ben al di sotto della dimensione di embedding del modello (4.096 per Llama-3-8B).
• Dinamiche di Tracciamento: Le sonde hanno tracciato con successo la presenza e l'assenza di concetti in tempo reale mentre il contesto in ingresso si espandeva. Utilizzando gli embedding dell'ultimo token, l'output della sonda saliva sopra la soglia di 0,5 quando il concetto era presente nel testo e scendeva sotto di essa quando era assente. Al contrario, gli embedding medi cumulativi diluivano il segnale, non riuscendo a catturare queste dinamiche, indicando che l'inferenza del concetto negli LLM comporta più di semplici rappresentazioni "bag-of-words".
• Specificità del Livello: È stato riscontrato che diversi livelli in diversi modelli sono ottimali per tracciare specifici concetti. Ad esempio, in Llama-3-8B, il livello 13 era il migliore per tracciare l'ambizione, mentre il livello 31 era il migliore per l'indagine.

Significato e Affermazioni
L'articolo afferma di compiere i "primi passi" verso una capacità di creare ampi insiemi di sonde per il monitoraggio degli LLM. I suoi contributi principali sono:

1. Una metodologia riproducibile e semi-automatica per delimitare i concetti in dataset binari che minimizzano la perdita accidentale di etichette.
2. La dimostrazione che le sonde lineari possono rilevare concetti impliciti con alta accuratezza utilizzando parametri minimi (<80), rendendole computazionalmente economiche.
3. Evidenza che queste sonde possono servire come monitor continui a basso costo, capaci di tracciare la dinamica di "crescita e decrescita" dei concetti mentre il contesto si espande.
4. Il rilascio dei dataset creati (modelli ed esempi specifici per concetto) per consentire ulteriori ricerche nell'interpretabilità degli LLM.

Gli autori mantengono un tono modesto, riconoscendo limitazioni come la potenziale tendenza dei dati generati a seguire distribuzioni specifiche e la dipendenza da classificatori basati su LLM per l'etichettatura. Sostengono che, sebbene il loro lavoro attuale si concentri su quattro concetti, la scalabilità di questo processo potrebbe consentire il monitoraggio di nuovi modelli e l'esplorazione di legami causali tra concetti interni inferiti e output generati, avanzando così la sicurezza e l'interpretabilità degli LLM.