Recovering Lesion Parameters from Aphasic Picture Naming Error Profiles in Large Language Models

Sintesi Tecnica: Recupero dei Parametri di Lesione dai Profili di Errore di Denominazione di Immagini in Casi di Afasia

Definizione del Problema
Gli attuali metodi di interpretabilità per i Large Language Models (LLM) — inclusi classificatori di probing, visualizzazione dell'attenzione, tracciamento causale e patching delle attivazioni — descrivono principalmente gli stati interni del modello e le loro correlazioni con il comportamento. Tuttavia, questi metodi non testano direttamente se uno stato interno inferito sia causalmente sufficiente a produrre il comportamento osservato. Essi identificano ciò che correla con il comportamento, non cosa, se sottoposto a intervento, lo produrrebbe. Questo articolo affronta tale lacuna ponendo una domanda inversa: dato un output comportamentale specifico (un profilo di errore di denominazione di immagini afasico), è possibile recuperare i parametri di lesione specifici (indice dello strato, percentuale di modifica e magnitudo del rumore) che lo hanno prodotto? Inoltre, la struttura di questo problema inverso rivela proprietà fondamentali del calcolo dei transformer?

Metodologia
Lo studio utilizza il modello multimodale LLaVA-Vicuna 1.6 13B (che combina un encoder visivo CLIP con un decoder linguistico Vicuna a 40 strati). La metodologia prevede una fase di perturbazione in avanti seguita da una fase di mappatura inversa.

1. Perturbazione in Avanti (Generazione dei Dati):

   • Spazio dei Parametri: Gli autori hanno definito una griglia di 4.840 configurazioni variando tre parametri:
     • Indice dello Strato ($L$): 0–39 (solo strati del decoder linguistico).
     • Percentuale di Modifica ($M$): 0–100% (frazione di unità nascoste colpite).
     • Sigma del Rumore ($\sigma$): 1.0–2.0 (intensità del rumore Gaussiano).
   • Meccanismo di Lesione: Per una data configurazione $(L, M, \sigma)$, i pesi nello strato $L$ associati a una frazione $M$ di unità nascoste sono stati modificati moltiplicandoli per $(1 + \varepsilon)$, dove $\varepsilon \sim N(0, \sigma^2)$.
   • Output Comportamentale: Ogni modello perturbato è stato valutato sul Philadelphia Naming Test (PNT) di 175 item. Le risposte sono state classificate in una tassonomia clinica di sette tipi di errore: corretto, semantico, non correlato, formale, misto, neologismo e nessuna risposta.
   • Estrazione delle Caratteristiche: L'input del modello inverso è un vettore a 166 dimensioni comprendente:
     • Tier 1: Tassi di errore classificati da BERT.
     • Tier 2: 5 statistiche derivate (es. tasso di errore totale, entropia).
     • Tier 3: 12 statistiche a livello di testo (lunghezza, classi di caratteri).
     • Tier 4: 10 momenti di probabilità (metriche di incertezza).
     • Tier 5: 8 caratteristiche di diversità lessicale.
     • Tier 6: 116 statistiche di embedding di sentence-transformer.
   • Dataset: I 4.840 configurazioni sono stati suddivisi in 70/15/15 per training, validazione e test. Un set di validazione indipendente è stato generato utilizzando un seed casuale distinto per prevenire la fuga di dati (data leakage). Inoltre, dati comportamentali di 278 sopravvissuti a ictus (dataset CSTAR) sono stati utilizzati per il test out-of-distribution.

2. Architettura del Modello Inverso:

   • Una rete neurale multi-task è stata addestrata per mappare il profilo comportamentale a 166 dimensioni nuovamente ai tre parametri di perturbazione.
   • Encoder: Tre blocchi completamente connessi (256 $\to$ 128 $\to$ 64 unità) con batch normalization, ReLU e dropout.
   • Heads (Teste):
     • Testa dello Strato: Uno strato lineare per la classificazione a 40 vie (perdita Cross-Entropy).
     • Teste di Intensità: Due teste di regressione parallele per la Percentuale di Modifica e il Sigma del Rumore, utilizzando una perdita di log-verosimiglianza negativa gaussiana eteroscedastica per predire media e varianza.
   • Addestramento: Ottimizzato con AdamW su 500 epoche. La perdita totale è una somma pesata delle tre perdite dei task.

3. Framework di Validazione:

   • Validazione Controfattuale: Per verificare la sufficienza causale, i parametri predetti dal modello inverso sono stati applicati a un'istanza fresca e non perturbata del modello LLaVA-Vicuna. Il profilo di errore risultante è stato confrontato con il profilo target originale utilizzando la similarità del coseno e la correlazione di Pearson. Un'alta fedeltà è stata definita come similarità > 0.85 e correlazione > 0.90.
   • Applicazione Clinica: Il modello inverso addestrato (senza riaddestramento) è stato applicato ai 278 sopravvissuti all'ictus per testare se i parametri recuperati potessero discriminare tra le sindromi afasiche cliniche (es. Broca, Anomica, Globale).

Risultati Chiave

1. Recupero Parziale dei Parametri:

   • L'Intensità è Recuperabile: Il modello ha recuperato con successo l'intensità della perturbazione. La predizione della percentuale di modifica ha raggiunto $R^2 = 0.570$ e Pearson $r = 0.771$. La predizione del sigma del rumore ha raggiunto $R^2 = 0.315$ e $r = 0.581$.
   • La Localizzazione è Ambigua: La predizione dell'indice dello strato è stata significativamente meno accurata. L'accuratezza Top-1 è stata del 14.8% (il caso è 2.5%), sebbene l'accuratezza Within-5 sia stata del 77.6% (il caso è 27.5%). Ciò suggerisce che il modello può identificare il vicinato della lesione ma non lo strato esatto.

2. Fedeltà Controfattuale:

   • Nonostante la difficoltà nel individuare l'indice esatto dello strato, i parametri recuperati sono stati causalmente sufficienti per riprodurre il comportamento target. Sull'indipendente set di validazione full-grid (4.840 configurazioni), l'81.4% dei casi ha raggiunto una riproduzione ad alta fedeltà.
   • Crucialmente, le predizioni con indici di strato errati ma intensità corretta hanno spesso prodotto ricostruzioni ad alta fedeltà. Al contrario, l'intensità errata ha portato a una bassa fedeltà anche se lo strato era corretto. Ciò indica che l'intensità della perturbazione è il determinante primario della fedeltà comportamentale, mentre la localizzazione è secondaria.

3. Ridondanza Funzionale:

   • La dissociazione tra la bassa accuratezza di recupero dello strato e l'alta fedeltà controfattuale suggerisce una ridondanza funzionale tra gli strati del transformer. Molti strati della parte centrale dello stack producono impronte comportamentali funzionalmente equivalenti quando perturbati a intensità corrispondenti.
   • L'analisi per strato ha mostrato un pattern asimmetrico a forma di U: gli strati all'interfaccia di embedding (0–2) e all'interfaccia di output (36–39) erano più recuperabili rispetto alla parte centrale (3–35), in linea con la localizzazione delle informazioni ai confini della rete.

4. Generalizzazione Clinica (Out-of-Distribution):

   • Quando applicato a 278 sopravvissuti all'ictus, il modello inverso è stato discriminante per sindrome.
   • Percentuale di Modifica: Ha mostrato la discriminazione più forte ($\eta^2 = 0.288$), con gradienti di severità che si allineano alle sindromi cliniche (es. l'afasia Globale e di Broca sono mappate su percentuali di modifica più elevate rispetto all'afasia Anomica o ai controlli).
   • Indice dello Strato: Ha mostrato una discriminazione moderata ($\eta^2 = 0.130$), con le sindromi non fluenti più gravi mappate su strati più precoci.
   • Sigma del Rumore: Non ha discriminato significativamente tra le sindromi.
   • Le analisi di sensibilità attraverso cinque schemi di raggruppamento hanno confermato che questi risultati sono robusti e non guidati solo dai contrasti con il gruppo di controllo o da piccoli campioni.

Significato e Rivendicazioni

L'articolo rivendica di aver stabilito un framework metodologico generale per l'interpretabilità degli LLM basato sulla validazione controfattuale. I suoi contributi primari sono:

• Test di Sufficienza Causale: Si va oltre l'interpretabilità correlazionale dimostrando che gli stati interni inferiti (parametri di lesione) possono essere recuperati e riapplicati per riprodurre comportamenti specifici.
• Insight Architetturale: I risultati rivelano una proprietà dell'architettura dei transformer non catturata dai metodi di interpretabilità standard: la ridondanza funzionale. La scoperta che il comportamento è determinato più da quanto uno strato viene disturbato che da quale strato viene disturbato sfida l'assunto che comportamenti specifici mappino univocamente a strati specifici.
• Collegamento tra Dati Sintetici e Clinici: Lo studio dimostra che un modello inverso addestrato interamente su perturbazioni sintetiche di LLM può generalizzare a dati clinici reali, recuperando parametri che si allineano con le sindromi cliniche stabilite. Ciò suggerisce che la mappatura comportamento-perturbazione appresa cattura proprietà strutturali dell'elaborazione del linguaggio che trascendono la specifica distribuzione di addestramento dell'LLM.

Gli autori notano con modestia che queste scoperte sono una "prova di esistenza" per un modello multimodale specifico (LLaVA-Vicuna 13B) e che il grado di recuperabilità può variare tra diverse architetture transformer. Non pretendono di aver mappato specifici strati del transformer a specifiche regioni cerebrali, ma che la struttura del problema inverso rivela proprietà computazionali del modello stesso.