LAMP: Extracting Local Decision Surfaces From Large Language Models

Riassunto Tecnico: LAMP (Local Attribution Mapping Probe)

1. Il Problema: L'illusione della spiegabilità nelle LLM

Sebbene i Large Language Models (LLM) siano in grado di generare spiegazioni testuali (rationale) per le loro decisioni, la ricerca recente ha dimostrato che queste spesso non sono "fedeli" (faithful). I modelli possono fornire ragionamenti logici che però non riflettono il reale processo decisionale sottostante, agendo in modo incoerente con le spiegazioni fornite (fenomeno della razionalizzazione di pregiudizi o errori).

Il problema centrale è dunque: come possiamo verificare se le spiegazioni fornite da un modello "black-box" (senza accesso a gradienti o attivazioni interne) corrispondono effettivamente ai fattori che guidano le sue previsioni?

2. Metodologia: Il framework LAMP

Gli autori introducono LAMP, un metodo agnostico rispetto al modello che estrae una superficie di decisione locale approssimandola tramite un modello surrogato lineare. L'approccio si articola in tre fasi principali:

• Estrazione delle spiegazioni: Il modello viene interrogato per classificare un input e, contemporaneamente, per fornire una lista di fattori esplicativi ($f$) e i relativi pesi di importanza ($w$).
• Probing tramite perturbazione stocastica: Invece di analizzare il testo, LAMP opera nello "spazio dei fattori". Il vettore dei pesi originale viene perturbato aggiungendo un rumore stocastico ($\delta$). Il modello viene quindi ri-interrogato con questi nuovi pesi modificati per osservare come cambia la probabilità di output. Questo processo crea un dataset di coppie {pesi perturbati, probabilità risultanti}.
• Fitting del modello surrogato: Viene applicata una regressione lineare per trovare un vettore di coefficienti $\beta$ che mappi i pesi dei fattori alle probabilità predette. Questo $\beta$ rappresenta la "superficie di decisione locale": indica quanto e in che direzione ogni fattore dichiarato "sposta" effettivamente la decisione del modello.

Innovazioni tecniche chiave:

• Meta-aggregazione: Per evitare l'instabilità dovuta a liste di fattori troppo lunghe, LAMP utilizza un processo di sintesi per consolidare i fattori in un set ridotto di temi (es. 5 fattori principali), migliorando l'interpretabilità e la stabilità statistica.
• Determinazione del raggio di perturbazione ($\delta^*$): Gli autori derivano matematicamente un raggio ottimale per le perturbazioni basandosi su un'approssimazione di Taylor del secondo ordine, garantendo che il modello surrogato rimanga in una regione dove l'approssimazione lineare è valida (evitando l'errore dovuto alla curvatura della superficie).

3. Contributi Principali

1. Metodo Black-Box Efficiente: LAMP non richiede l'accesso ai pesi del modello, ai logit o ai gradienti, rendendolo applicabile a modelli proprietari (come GPT-4 o Claude).
2. Validazione della Coerenza: Fornisce un framework per misurare la "self-consistency" del modello: se i coefficienti $\beta$ sono significativi, il modello è coerente con le sue spiegazioni; se sono nulli, le spiegazioni sono puramente cosmetiche.
3. Strumento di Audit: Offre una modalità per "interrogare" i modelli in ambiti critici (medicina, sicurezza), permettendo agli esperti di vedere quali "manopole" (fattori) controllano effettivamente l'output.

4. Risultati Sperimentali

Il framework è stato testato su sentiment analysis (IMDB), rilevamento di contenuti nocivi (Pseudo-Harmful) e hate speech (HateBenchSet), oltre a casi clinici gastroenterologici.

• Qualità dell'approssimazione ($R^2$): I modelli surrogati hanno mostrato una capacità significativa di spiegare la varianza delle probabilità del modello originale.
• Predittività: I modelli LAMP sono stati in grado di prevedere con precisione le probabilità del modello LLM anche su testi riscritti (rewritten) per riflettere le perturbazioni dei fattori, superando metodi classici come LIME.
• Validità Interpretativa: Nel dominio medico, i coefficienti estratti da LAMP mostravano una correlazione con le aspettative dei medici, confermando che i fattori estratti non sono casuali ma riflettono segnali clinici reali.
• Confronto con Gradienti: Sebbene i metodi "white-box" (come Integrated Gradients) siano più precisi in termini di errore assoluto, LAMP produce surrogati con una linearità locale superiore e una maggiore interpretabilità semantica.

5. Significato e Conclusioni

LAMP rappresenta un passo fondamentale verso l'AI trasparente e affidabile. Dimostra che, nonostante la complessità non lineare delle LLM, le loro decisioni mostrano una struttura locale lineare che può essere mappata e verificata.

La sua importanza risiede nella capacità di trasformare le spiegazioni testuali (spesso ingannevoli) in parametri quantitativi e controllabili, permettendo agli utenti umani di passare dal "fidarsi ciecamente" al "validare sistematicamente" il comportamento dell'intelligenza artificiale, specialmente in applicazioni ad alto rischio come la diagnostica medica.