Probabilistic Attribution For Large Language Models

Sintesi Tecnica: Attribuzione Probabilistica per Modelli Linguistici di Grande Dimensione

Enunciato del Problema
La natura generativa dei Modelli Linguistici di Grande Dimensione (LLM) si basa sul calcolo di probabilità condizionate per campionare token di risposta in base al contesto precedente. Sebbene questi modelli siano sempre più implementati in ambiti ad alto rischio, la loro natura di "scatola nera" complica la valutazione della validità dell'output, dell'incertezza e dell'influenza specifica dei token di input sulle risposte generate. I metodi esistenti di Intelligenza Artificiale Spiegabile (XAI) ricadono spesso in due categorie: approcci specifici per il modello (ad esempio, mappe di salienza basate sui gradienti) che richiedono l'accesso all'architettura interna, e approcci agnostici rispetto al modello (ad esempio, SHAP, LIME) che si basano sulla perturbazione input-output ma possono mancare di stabilità o fedeltà causale. È necessario un metodo che interpreti il comportamento degli LLM attraverso la lente dei principi fondamentali statistici, indipendentemente dalla struttura computazionale sottostante, per comprendere meglio la sensibilità dei token, la stabilità del modello e la convergenza dell'addestramento.

Metodologia
Gli autori collocano l'inferenza degli LLM all'interno della teoria matematica dei processi stocastici. In questo quadro, un LLM è visto come definente una distribuzione di probabilità sulle sequenze di token, dove la misura di probabilità è costruita a partire dai dati di addestramento del modello. Il cuore della metodologia è il Punteggio di Attribuzione (AS), una metrica agnostica rispetto al modello progettata per quantificare l'importanza di un token specifico in un prompt data una risposta generata.

L'AS è derivata invertendo i log-probabilità del token successivo utilizzando la regola di Bayes. Nello specifico, per un prompt $p$ e una risposta $r$, il punteggio di attribuzione $A_\mu$ per il $\mu$-esimo token nel prompt è definito come il log-rapporto di due probabilità:

1. La probabilità della risposta $r$ dato l'intero prompt $p$.
2. La probabilità della risposta $r$ dato il prompt con il $\mu$-esimo token marginalizzato (cioè $p$ dove $p_\mu$ è consentito assumere qualsiasi valore nel vocabolario).

Matematicamente, $A_\mu = \log \frac{Pr(R=r | P=p)}{Pr(R=r | P - P_\mu = p - p_\mu)}$.

Poiché gli LLM non emettono direttamente probabilità per sequenze non contigue o marginalizzate, gli autori derivano un metodo per ricostruire il denominatore utilizzando esclusivamente le probabilità condizionate standard emesse dal modello (Equazioni 4–9). Ciò comporta la somma su tutti i possibili token del vocabolario per la posizione marginalizzata, ponderata dalla probabilità del contesto rimanente.

In complemento all'AS, gli autori introducono misure di Entropia Contestuale:

• Entropia Contestuale solo Prompt ($S^{(P)}$): L'entropia della distribuzione dei token in una posizione specifica condizionata solo ai token rimanenti del prompt.
• Entropia Contestuale Prompt+Risposta ($S^{(P+R)}$): L'entropia condizionata sia ai token rimanenti del prompt che alla risposta generata.
• Divergenza KL: La divergenza tra le distribuzioni dei token sotto i due contesti, utilizzata per rilevare anomalie in cui la risposta altera significativamente l'incertezza del modello riguardo a un token del prompt.

Inoltre, viene calcolata l'Entropia di Sostituzione misurando la distribuzione di frequenza delle corrispondenze esatte della risposta quando i token del prompt sono sostituiti dai primi 90% dei token candidati, fornendo una misura empirica della stabilità della risposta.

Contributi Chiave
Il documento delinea quattro contributi principali:

1. Attribuzione Agnostica rispetto al Modello: L'AS è applicabile a compiti di generazione di testo su qualsiasi LLM senza richiedere l'accesso ai pesi interni o ai gradienti, basandosi esclusivamente sui log-probabilità emessi.
2. Design Senza Parametri: Il metodo non richiede iperparametri (a differenza di LIME o ReAgent), migliorando la riproducibilità e l'oggettività.
3. Metriche di Stabilità e Convergenza: Le misure di entropia contestuale e di sostituzione fungono da indicatori della stabilità del modello e del grado in cui un modello ha convergito verso la distribuzione dei suoi dati di addestramento.
4. Sensibilità Integrata: Poiché il metodo è fondato su principi fondamentali statistici, il punteggio di attribuzione valuta intrinsecamente la correttezza dei risultati spiegabili come parte della sua metodologia centrale.

Risultati Sperimentali
Gli autori hanno valutato 8 LLM (che vanno da 137M a 1,7B di parametri, inclusi varianti di GPT-2, GPT-Neo, Llama e Qwen) su 7 prompt che coinvolgevano vari compiti (ad esempio, comprensione della lettura, recupero di fatti e query ingannevoli).

• Sensibilità dei Token: Valori AS elevati corrispondevano a token critici per la risposta specifica, mentre valori AS negativi indicavano token che il modello avrebbe preferito sostituire dato il contesto della risposta.
• Convergenza del Modello: L'analisi dell'entropia contestuale ha rivelato che i modelli più vecchi (GPT-2, GPT-Neo) presentavano un'entropia più alta a valori AS prossimi allo zero rispetto ai modelli moderni addestrati con istruzioni (ad esempio, Llama 3.1). Gli autori interpretano l'alta entropia a valori AS prossimi allo zero come "token di rumore"—token che contribuiscono poco alla probabilità della risposta e rimangono comunque non vincolati dal contesto—suggerendo una convergenza di addestramento inferiore nei modelli più vecchi.
• Rilevamento di Anomalie: Il quadro ha identificato con successo anomalie specifiche, come token in cui il modello preferiva una riformulazione del prompt (ad esempio, preferendo "in" a "?" in una domanda specifica) o in cui il contesto della risposta ampliava inaspettatamente la distribuzione dei token (aumentando l'entropia).
• Valutazione rispetto alle Baseline XAI: L'AS è stata confrontata con Input X Gradient, Gradient Shapley, LIME, Occlusion e ReAgent utilizzando metriche come Infidelity, Deletion/NAOPC, Comprehensiveness e Sufficiency. L'AS ha mostrato prestazioni competitive, spesso eguagliando o superando le prestazioni di altri metodi, sottolineando in particolare la sua robustezza su modelli diversi senza necessità di sintonizzazione specifica per l'architettura.
• Costo Computazionale: Il metodo è computazionalmente intensivo, richiedendo ore GPU proporzionali alla dimensione del vocabolario a causa della somma su tutti i possibili token di sostituzione. Tuttavia, gli autori notano un potenziale di ottimizzazione limitando le somme ai token con probabilità più elevate.

Significato e Affermazioni
Il documento afferma che, inquadrando gli LLM come processi stocastici, fornisce un quadro rigoroso e agnostico rispetto al modello per l'interpretabilità che evita assunzioni sulla "rappresentazione della conoscenza" interna. Il significato risiede nella capacità di:

• Quantificare l'influenza causale dei token del prompt sulle risposte senza accedere agli interni del modello.
• Diagnosticare la qualità dell'addestramento del modello (convergenza) attraverso l'analisi dell'entropia, identificando "token di rumore" che indicano un addestramento carente.
• Guidare gli utenti verso parti incerte o instabili di una generazione, migliorando così l'interpretabilità.
• Servire come baseline senza parametri per la regolazione degli iperparametri in altri metodi XAI più veloci.

Gli autori concludono che, sebbene l'approccio comporti costi computazionali più elevati, offre una comprensione più profonda e fondata statisticamente del comportamento degli LLM, consentendo l'identificazione di carenze nell'addestramento e l'ingegnerizzazione dei prompt per produrre risposte più coerenti.