The Attribution Contract: Feature Attribution for Generative Language Models

Technische Samenvatting: Het Toewijzingscontract

Probleemstelling
Methoden voor feature-toewijzing, ontworpen om te identificeren welke input-features de output van een model bepalen, staan voor een fundamentele conceptuele ambiguïteit wanneer ze worden toegepast op generatieve taalkundige modellen (LM's). In klassieke classificatiescenario's is het input-output-schema statisch ($x \to f(x)$), en worden features duidelijk gedefinieerd als inputcomponenten. Generatieve LM's opereren echter via dynamische processen waarbij eerdere outputs input worden voor daaropvolgende voorspellingen (in autoregressieve modellen) of waarbij generatie verloopt via iteratieve denoising (in diffusiemodellen).

Deze structurele verschillen creëren een "toewijzingsambiguïteit": het is vaak onduidelijk wat een "feature" vormt of welke specifieke "output" wordt verklaard. Bijvoorbeeld, in een autoregressief model zijn eerder gegenereerde tokens zowel outputs van het model als inputs voor de volgende voorspelling. Bijgevolg kan hetzelfde toewijzingsalgoritme verschillende resultaten opleveren, afhankelijk van of het doel is om een lokale next-token-voorspelling te verklaren of de invloed van de oorspronkelijke prompt op de volledige gegenereerde sequentie. Het artikel betoogt dat veel waargenomen meningsverschillen in de literatuur over feature-toewijzing in generatieve modellen geen conflicten tussen algoritmen zijn, maar eerder conflicten die voortvloeien uit niet-gespecificeerde of mismatchende verklarende contracten.

Methodologie: Het Toewijzingscontract
Om deze ambiguïteit op te lossen, introduceren de auteurs het Toewijzingscontract, een formele specificatietuple $A = (S, C, O, P, E)$ die de verklarende reikwijdte van elke claim over feature-toewijzing definieert. De componenten zijn:

• $S$ (Score): De specifieke modelkwantiteit die wordt toegewezen (bijvoorbeeld logit, waarschijnlijkheid, verlies of log-waarschijnlijkheid).
• $C$ (Conditionering): Welke variabelen tijdens de toewijzingsberekening constant worden gehouden (bijvoorbeeld het gegenereerde prefix constant houden terwijl alleen wordt toegewezen aan de prompt).
• $O$ (Output): Het specifieke doel dat wordt verklaard (bijvoorbeeld een enkele next-token, een intermediaire diffusiestaat of een volledige gegenereerde span).
• $P$ (Proces): Het aangenomen generatieve proces (bijvoorbeeld autoregressieve keten $x \to y_1 \to \dots \to y_t$ of diffusieketen $z_T \to \dots \to z_0 \to y$).
• $E$ (In aanmerking komende features): De set features die toewijzing kunnen ontvangen (bijvoorbeeld alleen prompt-tokens, prompt plus gegenereerd prefix, of denoising-fasen).

Het artikel demonstreert dat het "Toewijzingscontract"-kader toelaat tot precieze instantiatie van verschillende settings. Het categoriseert bestaande en potentiële settings in:

1. Autoregressieve Settings:
   • Lokale Next-Token: Wijst de voorspelling van token $y_t$ toe aan zowel prompt- als gegenereerde prefix-tokens.
   • Prompt-geconditioneerde Token: Wijst $y_t$ alleen toe aan prompt-tokens, waarbij het gegenereerde prefix constant wordt gehouden.
   • Span-niveau Prompt: Wijst de waarschijnlijkheid van een volledige gegenereerde span $y_{1:T}$ toe aan prompt-tokens, waarbij de span constant wordt gehouden.
2. Diffusie Settings:
   • Staat-niveau: Wijst een intermediaire staat $z_t$ toe aan prompt en eerdere staten.
   • Denoising-fase: Wijst eigenschappen van de uiteindelijke output toe aan specifieke fasen van het denoising-proces.
   • Prompt-naar-Output: Wijst de uiteindelijke output $y$ toe aan prompt-tokens, waarbij de denoising-keten als proces wordt behandeld.

Belangrijkste Bijdragen
Het artikel levert vier primaire bijdragen:

1. Identificatie van Contractambiguïteit: Het identificeert "contractambiguïteit" als een distincte faalmodus in generatieve feature-toewijzing, waarbij het ontbreken van een gespecificeerde verklarende setting leidt tot misinterpretatie.
2. Het Toewijzingscontractkader: Het stelt de $(S, C, O, P, E)$-tuple voor om expliciet het doel, in aanmerking komende features, generatief proces, conditioneringsregime en toegewezen score voor elke claim te definiëren.
3. De Zelf-toewijzingsdwaling: Het definieert een specifieke interpretatiefout waarbij toewijzing aan gegenereerde-prefix-tokens (geldig onder een lokaal next-token-contract) onterecht wordt geïnterpreteerd als het beantwoorden van een prompt-niveau vraag (bijvoorbeeld "heeft het brondocument deze hallucinatie veroorzaakt?"). Het artikel illustreert dat het beantwoorden van de laatste een prompt-geconditioneerd contract vereist waarbij het prefix constant wordt gehouden.
4. Methode-Contract Evaluatie: Het betoogt dat feature-toewijzingsmethoden in generatieve LM's moeten worden geëvalueerd als methode-contractparen in plaats van als contextvrije algoritmen. Een methode kan niet op zichzelf "goed" of "slecht" worden beoordeeld; haar geldigheid hangt af van of deze overeenkomt met het specifieke contract dat wordt getest.

Resultaten en Analyse
Het artikel presenteert geen nieuwe empirische benchmarks of nieuwe algoritmen, maar biedt een theoretische analyse en herbeoordeling van bestaande literatuur door de lens van het Toewijzingscontract.

• Verzoening van Literatuur: De auteurs tonen aan dat methoden die vaak als concurrerend worden gezien (bijvoorbeeld ContextCite versus Inseq) eigenlijk verschillende vragen beantwoorden die worden gedefinieerd door verschillende contracten. ContextCite opereert onder een prompt-naar-output-contract, terwijl Inseq doorgaans opereert onder een lokaal next-token-contract.
• Evaluatie-implicaties: Het artikel detailleert hoe evaluatiemetrics moeten veranderen op basis van het contract. Bijvoorbeeld, het evalueren van een "span-niveau prompt-toewijzing" vereist het perturberen van de prompt en het meten van de verandering in de log-waarschijnlijkheid van de originele vaste generatie, niet het regenereren van een nieuwe sequentie. Het regenereren van een sequentie zou een ander contract testen (bijvoorbeeld prompt-naar-output).
• Diffusiespecificaties: De analyse benadrukt dat diffusiemodellen contracten vereisen die rekening houden met intermediaire staten en denoising-fasen, die geen direct analogon hebben in autoregressieve modellen.

Betekenis en Claims
Het artikel claimt dat het Toewijzingscontract noodzakelijk is om striktheid te brengen in feature-toewijzing in generatieve modellering. Door de verklarende setting expliciet te maken, stelt het kader:

• Het verduidelijkt waarom dezelfde toewijzingsmethode verschillende kaarten kan produceren afhankelijk van de instantiatie.
• Het voorkomt de "zelf-toewijzingsdwaling", waardoor practitioners niet de oorzaak van een generatie ten onrechte toewijzen aan de prompt wanneer de toewijzing eigenlijk werd gedreven door de eigen eerdere tokens van het model.
• Het vestigt dat er geen enkele "goede" toewijzingskaart bestaat voor generatieve modellen; evaluatie moet contract-specifiek zijn.

De auteurs positioneren dit werk niet als een vervanging voor bestaande toewijzingsalgoritmen, maar als een noodzakelijke specificatielaag om de claims van deze methoden vergelijkbaar en interpreteerbaar te maken. De betekenis ligt in het verschuiven van de discours van het debatteren over algoritmen naar het definiëren van de precieze verklarende vragen die die algoritmen bedoeld zijn te beantwoorden.