The Attribution Contract: Feature Attribution for Generative Language Models

Riepilogo Tecnico: Il Contratto di Attribuzione

Enunciato del Problema
I metodi di attribuzione delle caratteristiche, progettati per identificare quali caratteristiche di input guidano l'output di un modello, affrontano un'ambiguità concettuale fondamentale quando applicati ai modelli linguistici generativi (LM). Nei contesti di classificazione classici, lo schema input-output è statico ($x \to f(x)$) e le caratteristiche sono chiaramente definite come componenti di input. Tuttavia, i LM generativi operano tramite processi dinamici in cui le uscite precedenti diventano input per le previsioni successive (nei modelli autoregressivi) o in cui la generazione procede attraverso un'iterativa rimozione del rumore (nei modelli di diffusione).

Questa differenza strutturale crea un'"ambiguità di attribuzione": spesso non è chiaro cosa costituisca una "caratteristica" o quale specifico "output" stia venendo spiegato. Ad esempio, in un modello autoregressivo, i token precedentemente generati sono sia output del modello sia input per la previsione successiva. Di conseguenza, lo stesso algoritmo di attribuzione può produrre risultati diversi a seconda che l'obiettivo sia spiegare una previsione locale del token successivo o l'influenza del prompt originale sull'intera sequenza generata. Il documento sostiene che molte delle discrepanze percepite nella letteratura riguardo all'attribuzione delle caratteristiche nei modelli generativi non sono conflitti tra algoritmi, ma piuttosto conflitti derivanti da contratti esplicativi non dichiarati o non corrispondenti.

Metodologia: Il Contratto di Attribuzione
Per risolvere questa ambiguità, gli autori introducono il Contratto di Attribuzione, una tupla di specifica formale $A = (S, C, O, P, E)$ che definisce la portata esplicativa di qualsiasi affermazione di attribuzione delle caratteristiche. I componenti sono:

• $S$ (Punteggio): La specifica quantità del modello che viene attribuita (ad esempio, logit, probabilità, perdita o verosimiglianza logaritmica).
• $C$ (Condizionamento): Quali variabili sono mantenute fisse durante il calcolo dell'attribuzione (ad esempio, mantenere fisso il prefisso generato attribuendo solo al prompt).
• $O$ (Output): Il target specifico che viene spiegato (ad esempio, un singolo token successivo, uno stato intermedio di diffusione o un intero segmento generato).
• $P$ (Processo): Il processo generativo assunto (ad esempio, catena autoregressiva $x \to y_1 \to \dots \to y_t$ o catena di diffusione $z_T \to \dots \to z_0 \to y$).
• $E$ (Caratteristiche Idonee): L'insieme delle caratteristiche autorizzate a ricevere attribuzione (ad esempio, solo i token del prompt, prompt più prefisso generato, o stadi di rimozione del rumore).

Il documento dimostra che il framework "Contratto di Attribuzione" consente l'istanziazione precisa di diversi contesti. Classifica i contesti esistenti e potenziali in:

1. Contesti Autoregressivi:
   • Token Successivo Locale: Attribuisce la previsione del token $y_t$ sia ai token del prompt che a quelli del prefisso generato.
   • Token Condizionato al Prompt: Attribuisce $y_t$ solo ai token del prompt, mantenendo fisso il prefisso generato.
   • Prompt a Livello di Segmento: Attribuisce la probabilità di un intero segmento generato $y_{1:T}$ ai token del prompt, mantenendo fisso il segmento.
2. Contesti di Diffusione:
   • A Livello di Stato: Attribuisce uno stato intermedio $z_t$ al prompt e agli stati precedenti.
   • A Livello di Stadio di Rimozione del Rumore: Attribuisce le proprietà dell'output finale a specifici stadi del processo di rimozione del rumore.
   • Da Prompt a Output: Attribuisce l'output finale $y$ ai token del prompt, trattando la catena di rimozione del rumore come il processo.

Contributi Chiave
Il documento apporta quattro contributi principali:

1. Identificazione dell'Ambiguità del Contratto: Identifica l'"ambiguità del contratto" come una modalità di fallimento distinta nell'attribuzione delle caratteristiche generativa, dove la mancanza di un contesto esplicativo specificato porta a interpretazioni errate.
2. Il Framework del Contratto di Attribuzione: Propone la tupla $(S, C, O, P, E)$ per definire esplicitamente il target, le caratteristiche idonee, il processo generativo, il regime di condizionamento e il punteggio attribuito per qualsiasi affermazione.
3. La Fallacia dell'Auto-Attribuzione: Definisce un errore interpretativo specifico in cui l'attribuzione ai token del prefisso generato (valida sotto un contratto di token successivo locale) viene erroneamente interpretata come risposta a una domanda a livello di prompt (ad esempio, "il documento sorgente ha causato questa allucinazione?"). Il documento illustra che rispondere a quest'ultima richiede un contratto condizionato al prompt in cui il prefisso è mantenuto fisso.
4. Valutazione Metodo-Contratto: Sostiene che i metodi di attribuzione delle caratteristiche nei LM generativi dovrebbero essere valutati come coppie metodo-contratto piuttosto che come algoritmi privi di contesto. Un metodo non può essere giudicato "buono" o "cattivo" in isolamento; la sua validità dipende dal fatto che sia allineato al contratto specifico che viene testato.

Risultati e Analisi
Il documento non presenta nuovi benchmark empirici o algoritmi innovativi, ma fornisce un'analisi teorica e una rivalutazione della letteratura esistente attraverso la lente del Contratto di Attribuzione.

• Riconciliazione della Letteratura: Gli autori dimostrano che i metodi spesso percepiti come in competizione (ad esempio, ContextCite vs Inseq) stanno effettivamente rispondendo a domande diverse definite da contratti diversi. ContextCite opera sotto un contratto da prompt a output, mentre Inseq opera tipicamente sotto un contratto di token successivo locale.
• Implicazioni per la Valutazione: Il documento dettaglia come le metriche di valutazione debbano cambiare in base al contratto. Ad esempio, valutare un'"attribuzione del prompt a livello di segmento" richiede di perturbare il prompt e misurare la variazione nella log-probabilità della generazione originale fissa, non rigenerando una nuova sequenza. Rigenerare una sequenza testerebbe un contratto diverso (ad esempio, da prompt a output).
• Specificità della Diffusione: L'analisi evidenzia che i modelli di diffusione richiedono contratti che tengano conto degli stati intermedi e degli stadi di rimozione del rumore, i quali non hanno alcun analogo diretto nei modelli autoregressivi.

Significato e Affermazioni
Il documento afferma che il Contratto di Attribuzione è necessario per portare rigore all'attribuzione delle caratteristiche nella modellazione generativa. Rendendo esplicito il contesto esplicativo, il framework:

• Chiarisce perché lo stesso metodo di attribuzione possa produrre mappe diverse a seconda dell'istanziazione.
• Previene la "fallacia dell'auto-attribuzione", assicurando che i praticanti non attribuisano erroneamente la causa di una generazione al prompt quando l'attribuzione è stata in realtà guidata dai token precedenti del modello stesso.
• Stabilisce che non esiste una singola "buona" mappa di attribuzione per i modelli generativi; la valutazione deve essere specifica per contratto.

Gli autori collocano questo lavoro non come una sostituzione degli algoritmi di attribuzione esistenti, ma come un livello di specifica necessario per rendere le affermazioni di tali metodi confrontabili e interpretabili. Il significato risiede nello spostare il discorso dal dibattito sugli algoritmi alla definizione delle precise domande esplicative che tali algoritmi intendono rispondere.