💻 computer science

DMDIntel: Interpreting Large Language Models via Dynamic Mode Decomposition

Questo articolo introduce DMDIntel, un nuovo framework di interpretabilità che sfrutta la decomposizione dei modi dinamici per scomporre gli stati latenti degli LLM in modi prominenti e classificare i token di input, dimostrando prestazioni superiori rispetto ai metodi di attribuzione allo stato dell'arte come PCA, integrated gradients e SHAP su molteplici dataset e famiglie di modelli.

Autori originali: Amogh Joshi, Animesh Mukherjee, Sergey Utyuzhnikov

Pubblicato 2026-08-14

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Amogh Joshi, Animesh Mukherjee, Sergey Utyuzhnikov

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di guardare un mago che tira fuori un coniglio da un cappello. Vedi il cappello, vedi il coniglio, ma la magia avviene nel breve istante tra i due, nascosta nelle maniche del mago. Per molto tempo, l'Intelligenza Artificiale (IA) è stata quel mago. Noi le diamo una frase e lei ci dà una risposta, ma nessuno sa davvero come abbia deciso quella risposta. L'IA è una "scatola nera" e gli scienziati sono disperati nel cercare di sbirciare all'interno per vedere quali parole il computer abbia effettivamente considerato importanti. Questo campo è chiamato "interpretabilità". Per capire il nuovo articolo, devi prima sapere due cose: come l'IA legge il testo e come di solito cerchiamo di sbirciare all'interno.

I modelli di IA, specificamente quelli chiamati "Large Language Models" (LLM), non leggono le parole come facciamo noi. Invece, trasformano ogni parola in una lunga lista di numeri (un vettore) e le passano attraverso una serie di strati, come una staffetta. Ad ogni strato, i numeri cambiano leggermente, mescolando il significato della parola corrente con le parole che l'hanno preceduta. Alla fine della corsa, il modello ha un insieme finale di numeri che decidono la risposta. Di solito, per capire quali parole contavano, gli scienziati usano strumenti che osservano lo stato "statico" del modello — come scattare una singola foto alla corsa a staffetta e indovinare chi stesse correndo più velocemente. Ma questo articolo suggerisce che guardare una singola foto faccia perdere l'intera storia. Sostiene che dovremmo guardare il film della corsa, osservando come i numeri evolvono da uno step all'altro, perché il segreto è nel movimento dell'IA.

Entra in scena DMDINTEL, un nuovo metodo introdotto da Amogh Joshi e dal suo team dell'IIT Kharagpur e dell'Università di Manchester. Pensa all'elaborazione interna dell'IA non come a una lista statica di numeri, ma come a un fiume che scorre. Mentre l'IA legge una frase, l' "acqua" (l'informazione nascosta) increspa e cambia forma con ogni nuova parola. I ricercatori hanno utilizzato uno strumento matematico chiamato Dynamic Mode Decomposition (DMD) — inventato originariamente per studiare come l'acqua vortica nella meccanica dei fluidi — per mappare queste increspature.

Ecco come funziona in pratica la loro analogia del "fiume": quando l'IA legge una frase, gli stati nascosti delle parole creano un pattern complesso e vorticoso. DMDINTEL scompone questo pattern in pochi "modi" o forme semplici e ripetitive, proprio come una complessa onda nell'oceano può essere descritta come una combinazione di alcune forme d'onda di base. Il team ha scoperto che osservando come queste forme crescono, si restringono o oscillano mentre l'IA legge la frase, potevano identificare quali parole fossero i "driver" della decisione finale. Hanno trattato l'IA come un sistema dinamico, il che significa che hanno guardato il cambiamento tra una parola e la successiva, piuttosto che solo la parola stessa.

I ricercatori hanno testato questa idea su tre diverse famiglie di modelli di IA (Llama, Qwen e Mistral) e su tre diversi compiti: capire se una recensione è positiva o negativa, individuare le fake news e rilevare l'incitamento all'odio. Hanno confrontato il loro metodo del "film sul fiume" con i vecchi metodi della "foto statica", che includono tecniche come Integrated Gradients, SHAP e Principal Component Analysis (PCA).

I risultati suggeriscono che DMDINTEL sia un detective molto migliore. Nei loro esperimenti, il nuovo metodo ha trovato costantemente le parole più importanti (la "ground truth") più spesso rispetto agli altri metodi. Ad esempio, quando l'IA decideva se una recensione fosse negativa, DMDINTEL classificava correttamente parole come "spazzatura" e "incapace" come i principali driver, mentre altri metodi venivano talvolta distratti da parole meno importanti come "programmato" o "conferenza". L'articolo mostra che, osservando l'evoluzione dei pensieri dell'IA, DMDINTEL cattura meglio la logica della frase. Suggerisce che il ragionamento dell'IA non riguarda solo le parole che restano ferme; riguarda il modo in cui il significato fluisce e si trasforma mentre la frase viene costruita.

Tuttavia, gli autori avvertono con cautela che questo non è un rimedio magico per ogni problema dell'IA. Il loro metodo funziona meglio quando l'IA sta solo leggendo una frase e dando una risposta semplice (come un compito di classificazione). Ammettono che se l'IA inizia a scrivere una storia lunga o a tradurre un intero libro parola per parola, la matematica diventa complicata perché l'IA inizia a reinserire le proprie nuove parole nel sistema. Ma per il compito specifico di spiegare perché un'IA ha etichettato una frase come "incitamento all'odio" o "fake news", questo nuovo modo di osservare la danza dei numeri suggerisce un quadro più chiaro e accurato della mente della macchina.

Riepilogo Tecnico: DMDINTEL – Interpretare gli LLM tramite la Decomposizione Modale Dinamica

1. Definizione del Problema

Il documento affronta la sfida dell'interpretabilità nei grandi modelli linguistici (LLM), specificamente riguardo l'attribuzione dell'input nei compiti di classificazione. Sebbene i metodi tradizionali come Integrated Gradients (IG), SHAP e Principal Component Analysis (PCA) siano efficaci nell'identificare quali token il modello stia seguendo, gli autori sostengono che presentino limitazioni significative:

Trattamento Discreto: Spesso trattano i token come entità discrete e isolate.
Mancanza di Contesto Temporale: Non riescono a catturare l'evoluzione sequenziale dell'informazione latente mentre il modello elabora una sequenza token per token.
Snapshot Frammentati: Forniscono una visione statica del ragionamento piuttosto che una narrazione continua di come gli stati nascosti evolvano per formare una predizione.

Il lavoro esistente sull'interpretabilità meccanicistica si concentra spesso sul probing statico o sulla mappatura di specifici circuiti, ma fatica a modellare il flusso dinamico di informazioni attraverso una sequenza.

2. Metodologia: Il Framework DMDINTEL

Il framework proposto, DMDINTEL, tratta un LLM decoder-only sottoposto a fine-tuning supervisionato come un sistema dinamico a tempo discreto. Modella l'evoluzione degli stati nascosti come un flusso nello spazio di embedding, approssimando la funzione non lineare del modello $F$ con un operatore surrogato lineare.

Flusso di Lavoro Principale

Formulazione del Sistema Dinamico:
La transizione di stato del modello è modellata come $h_{t+1} \approx F(w_{\le t})$ , dove $h_t$ è lo stato nascosto al token $t$ . Gli autori approssimano questa transizione utilizzando una relazione lineare $h_{t+1} = A h_t$ , dove $A$ è un operatore lineare surrogato.
Costruzione della Matrice dei Dati e Rimozione del Rumore:
- Selezione dello Strato: Un'euristica (Algoritmo 1) seleziona lo strato del decoder ottimale ( $\ell^*$ ) analizzando la similarità del coseno tra gli stati nascosti dei token e un vettore di "bias dell'istruzione" (derivato da un prompt vuoto). Lo strato selezionato bilancia la fedeltà del token di input con il bias di rispetto dell'istruzione, situandosi tipicamente nel punto di inflessione in cui la similarità con il bias dell'istruzione inizia a salire bruscamente.
- Rimozione del Bias: Per isolare il segnale della frase di input effettiva dal template del prompt, gli autori sottraggono il vettore di bias dell'istruzione ( $b$ ) dagli stati nascosti: $\hat{h}_i = h_i - b$ .
- Formazione della Matrice: Gli stati nascosti de-biassati formano una matrice di dati $X$ .
Decomposizione Modale Dinamica (DMD):
- DMD Standard: L'operatore lineare $A$ viene approssimato dalla matrice dei dati. La sua scomposizione in autovettori produce i modi DMD (strutture spazio-temporali) e gli autovalori (che quantificano crescita, decadimento e oscillazione).
- DMD di Ordine Superiore (HODMD): Per catturare le dipendenze a lungo termine e le dinamiche temporali che la DMD standard (che assume una natura markoviana $h_{t+1} = A h_t$ ) potrebbe perdere, gli autori impiegano anche l'HODMD. Questa costruisce una matrice di Hankel partendo da snapshot impilati, permettendo al sistema di modellare gli stati nascosti come combinazioni lineari di passaggi temporali precedenti.
Attribuzione dell'Input (Ranking dei Token):
- Classificazione dei Modi: I modi sono classificati in base alla loro significatività dinamica, specificamente utilizzando l'ampiezza modale iniziale o l'ampiezza media nel tempo.
- Scoring dei Token: Per ogni token $w_t$ , il contributo è misurato dalla variazione di stato $\Delta h_t = h_t - h_{t-1}$ . Si calcola la proiezione scalare di questa variazione sui primi $k$ modi dominanti. La somma delle magnitudo di queste proiezioni attraverso i primi modi produce un punteggio di proiezione ( $s_t$ ) per il token.
- Output Finale: I token sono classificati in base ai loro punteggi di proiezione per identificare i driver più influenti della predizione del modello.

3. Contributi Chiave

Framework DMDINTEL: Introduzione di una pipeline di attribuzione dell'input che decompone gli stati nascosti dell'LLM in modi spazio-temporali interpretabili per classificare i token di input.
Prospettiva Dinamica: Il primo lavoro che analizza l'evoluzione sequenziale degli stati nascosti nei decoder-only LLM come un sistema dinamico specificamente per l'attribuzione dell'input.
Validazione Empirica: Valutazione estesa su tre famiglie di modelli (Llama-3.2-3B, Qwen3-4B, Mistral-7B) e tre dataset di classificazione testuale diversificati (Sentiment, HateXplain, FakeEdit).
Superiorità delle Prestazioni: Dimostrazione che DMDINTEL supera costantemente i baseline allo stato dell'arte (PCA, IG, SHAP) nell'identificare i token di verità fondamentale (ground-truth) preservandone l'importanza di ranking.

4. Risultati Sperimentali

Gli autori hanno valutato il framework utilizzando Matched Count (MC), Rank-Biased Overlap (RBO) e Recall@k rispetto ai ranking della verità fondamentale (GT) generati da GPT-4.1.

Analisi del Sentiment: HODMD con ranking dell'ampiezza media nel tempo ha ottenuto le prestazioni migliori. Gli autori attribuiscono ciò alla necessità di fattori di ritardo per catturare le dinamiche di frasi multi-parola, che la DMD standard perde. DMDINTEL ha superato PCA, IG e SHAP in tutti i parametri.
HateXplain & FakeEdit: DMD standard con ranking basato sull'ampiezza si è dimostrato più efficace. Gli autori suggeriscono che per questi compiti, dove parole chiave specifiche (es. termini di incitamento all'odio o figure politiche) guidano la classificazione, l'evoluzione dello stato segue un processo quasi-markoviano che non richiede la memoria estesa dell'HODMD. DMDINTEL ha raggiunto il Recall@10 più alto, recuperando la maggior parte dei token GT.
Analisi Qualitativa: DMDINTEL ha mostrato un forte allineamento con il GT, classificando costantemente token semanticamente rilevanti (es. "trash", "unable", "fa**ot") vicino alla cima. Al contrario, IG spesso si concentrava su sottoinsiemi ristretti di parole chiave tossiche perdendo il contesto, mentre SHAP talvolta faceva emergere token contestualmente plausibili ma assenti nel GT.
Fedeltà (Perturbazione): Negli esperimenti di masking dei token, DMDINTEL ha causato costantemente cali significativi nell'accuratezza e nella confidenza del modello (spesso classificandosi al primo o secondo posto), confermando che i token identificati sono effettivamente critici per il processo decisionale del modello.
Robustezza: Il metodo ha mostrato stabilità tra diverse famiglie di modelli ed è stato relativamente insensibile a piccole variazioni nell'indice dello strato selezionato ( $\ell^*$ ).

5. Significato e Rivendicazioni

Il documento afferma che DMDINTEL offre una lente più robusta ed efficace per l'attribuzione dell'input rispetto ai metodi tradizionali statici o basati sul gradiente. Vedendo l'LLM come un sistema dinamico, il framework cattura la narrazione continua del ragionamento del modello piuttosto che frammenti isolati.

Gli autori sottolineano che:

Gli stati nascosti dei modelli sottoposti a fine-tuning, quando decomposti in strutture spazio-temporali a bassa dimensionalità, rivelano pattern interpretabili che fungono da indicatori robusti del flusso di informazione.
Questa prospettiva dinamica permette l'identificazione di token che guidano la classificazione dell'output con maggiore fedeltà, specialmente in compiti in cui il contesto sequenziale o specifici trigger a livello di token sono critici.
L'approccio colma con successo il divario tra il complesso comportamento non lineare del modello e le strutture lineari interpretabili (modi) senza richiedere la conoscenza preventiva delle equazioni che governano il sistema.

6. Limitazioni

Gli autori riconoscono specifici confini del loro lavoro attuale:

Ambito del Compito: Il framework è attualmente valutato solo su compiti di classificazione con output brevi (1-2 token). Si nota che applicarlo alla generazione auto-regressiva (es. traduzione automatica) è complesso perché i token generati vengono reinseriti nel modello, complicando la formulazione della matrice DMD.
Ambito del Modello: Lo studio si concentra su modelli di istruzione supervisionata per compiti specifici a valle. I modelli general-purpose istruiti per l'uso comune rilasciati dalle aziende rimangono inesplorati in questo contesto.