The Attribution Contract: Feature Attribution for Generative Language Models

Technisches Fazit: Der Attributionsvertrag

Problemstellung
Merkmalsattributionsmethoden, die entwickelt wurden, um zu identifizieren, welche Eingangsmerkmale die Ausgabe eines Modells antreiben, sehen sich bei ihrer Anwendung auf generative Sprachmodelle (LMs) einer fundamentalen begrifflichen Mehrdeutigkeit gegenüber. In klassischen Klassifikationsszenarien ist das Eingabe-Ausgabe-Schema statisch ($x \to f(x)$), und Merkmale sind klar als Eingabekomponenten definiert. Generative LMs hingegen operieren über dynamische Prozesse, bei denen frühere Ausgaben zu Eingaben für nachfolgende Vorhersagen werden (bei autoregressiven Modellen) oder bei denen die Generierung durch iterative Entrauschung erfolgt (bei Diffusionsmodellen).

Dieser strukturelle Unterschied erzeugt eine „Attributionsmehrdeutigkeit": Oft ist unklar, was ein „Merkmal" ausmacht oder welches spezifische „Ergebnis" erklärt wird. Beispielsweise sind in einem autoregressiven Modell zuvor generierte Tokens sowohl Ausgaben des Modells als auch Eingaben für die nächste Vorhersage. Folglich kann derselbe Attributionsalgorithmus unterschiedliche Ergebnisse liefern, je nachdem, ob das Ziel darin besteht, eine lokale nächste-Token-Vorhersage zu erklären oder den Einfluss des ursprünglichen Prompts auf die gesamte generierte Sequenz. Die Arbeit argumentiert, dass viele wahrgenommene Meinungsverschiedenheiten in der Literatur bezüglich der Merkmalsattribution in generativen Modellen keine Konflikte zwischen Algorithmen sind, sondern vielmehr Konflikte, die aus nicht genannten oder inkonsistenten erklärenden Verträgen resultieren.

Methodik: Der Attributionsvertrag
Um diese Mehrdeutigkeit aufzulösen, führen die Autoren den Attributionsvertrag ein, ein formales Spezifikationstuple $A = (S, C, O, P, E)$, das den erklärenden Umfang jeder Behauptung zur Merkmalsattribution definiert. Die Komponenten sind:

• $S$ (Score): Die spezifische Modellgröße, die attribuiert wird (z. B. Logit, Wahrscheinlichkeit, Verlust oder Log-Likelihood).
• $C$ (Conditioning): Welche Variablen während der Attributionsberechnung konstant gehalten werden (z. B. das generierte Präfix konstant halten und nur dem Prompt attribuieren).
• $O$ (Output): Das spezifische Ziel, das erklärt wird (z. B. ein einzelnes nächstes Token, ein interner Diffusionszustand oder ein vollständig generierter Span).
• $P$ (Process): Der angenommene Generierungsprozess (z. B. autoregressive Kette $x \to y_1 \to \dots \to y_t$ oder Diffusionskette $z_T \to \dots \to z_0 \to y$).
• $E$ (Eligible Features): Die Menge der Merkmale, die eine Attribution erhalten dürfen (z. B. nur Prompt-Tokens, Prompt plus generiertes Präfix oder Entrauschungsstufen).

Die Arbeit zeigt, dass das „Attributionsvertrag"-Rahmenwerk die präzise Instanziierung verschiedener Settings ermöglicht. Es kategorisiert bestehende und potenzielle Settings in:

1. Autoregressive Settings:
   • Lokales nächstes Token: Attribuiert die Vorhersage des Tokens $y_t$ sowohl Prompt- als auch generierten Präfix-Tokens.
   • Prompt-konditioniertes Token: Attribuiert $y_t$ nur Prompt-Tokens, wobei das generierte Präfix konstant gehalten wird.
   • Span-Ebene Prompt: Attribuiert die Wahrscheinlichkeit eines vollständigen generierten Spans $y_{1:T}$ Prompt-Tokens, wobei der Span konstant gehalten wird.
2. Diffusionssettings:
   • Zustandsebene: Attribuiert einen Zwischenzustand $z_t$ Prompt und vorherigen Zuständen.
   • Entrauschungsstufe: Attribuiert Eigenschaften der finalen Ausgabe spezifischen Stufen des Entrauschungsprozesses.
   • Prompt-zu-Ausgabe: Attribuiert die finale Ausgabe $y$ Prompt-Tokens, wobei die Entrauschungskette als Prozess behandelt wird.

Hauptbeiträge
Die Arbeit leistet vier primäre Beiträge:

1. Identifikation von Vertragsmehrdeutigkeit: Sie identifiziert „Vertragsmehrdeutigkeit" als einen distincten Fehlermodus in der generativen Merkmalsattribution, bei dem das Fehlen einer spezifizierten erklärenden Setting zu Fehlinterpretationen führt.
2. Das Attributionsvertrag-Rahmenwerk: Sie schlägt das $(S, C, O, P, E)$-Tuple vor, um Ziel, zulässige Merkmale, Generierungsprozess, Konditionierungsregime und attribuierten Score für jede Behauptung explizit zu definieren.
3. Der Selbstattributions-Fehlschluss: Sie definiert einen spezifischen interpretativen Fehler, bei dem eine Attribution an generierte Präfix-Tokens (gültig unter einem lokalen nächsten-Token-Vertrag) fälschlicherweise so interpretiert wird, als beantworte sie eine Prompt-Ebene-Frage (z. B. „Hat das Quelldokument diese Halluzination verursacht?"). Die Arbeit veranschaulicht, dass die Beantwortung Letzterer einen prompt-konditionierten Vertrag erfordert, bei dem das Präfix konstant gehalten wird.
4. Methoden-Vertrag-Evaluation: Sie argumentiert, dass Merkmalsattributionsmethoden in generativen LMs als Methoden-Vertrag-Paare und nicht als kontextfreie Algorithmen evaluiert werden sollten. Eine Methode kann nicht isoliert als „gut" oder „schlecht" beurteilt werden; ihre Validität hängt davon ab, ob sie mit dem spezifischen getesteten Vertrag übereinstimmt.

Ergebnisse und Analyse
Die Arbeit präsentiert keine neuen empirischen Benchmarks oder neuartigen Algorithmen, sondern bietet eine theoretische Analyse und Neubewertung bestehender Literatur durch die Linse des Attributionsvertrags.

• Versöhnung der Literatur: Die Autoren zeigen, dass Methoden, die oft als konkurrierend wahrgenommen werden (z. B. ContextCite vs. Inseq), tatsächlich unterschiedliche Fragen beantworten, die durch unterschiedliche Verträge definiert sind. ContextCite operiert unter einem Prompt-zu-Ausgabe-Vertrag, während Inseq typischerweise unter einem lokalen nächsten-Token-Vertrag operiert.
• Implikationen für die Evaluation: Die Arbeit detailliert, wie Evaluationsmetriken basierend auf dem Vertrag geändert werden müssen. Beispielsweise erfordert die Evaluation einer „Attribution auf Span-Ebene für den Prompt" die Perturbierung des Prompts und die Messung der Änderung der Log-Wahrscheinlichkeit der ursprünglichen festen Generierung, nicht das Regenerieren einer neuen Sequenz. Das Regenerieren einer Sequenz würde einen anderen Vertrag testen (z. B. Prompt-zu-Ausgabe).
• Diffusionsspezifika: Die Analyse hebt hervor, dass Diffusionsmodelle Verträge erfordern, die Zwischenzustände und Entrauschungsstufen berücksichtigen, die in autoregressiven Modellen kein direktes Analogon haben.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass der Attributionsvertrag notwendig ist, um der Merkmalsattribution in der generativen Modellierung Strenge zu verleihen. Durch die explizite Festlegung des erklärenden Settings ermöglicht das Rahmenwerk:

• Zu klären, warum dieselbe Attributionsmethode je nach Instanziierung unterschiedliche Karten produzieren kann.
• Den „Selbstattributions-Fehlschluss" zu verhindern und sicherzustellen, dass Praktiker die Ursache einer Generierung nicht dem Prompt zuschreiben, wenn die Attribution tatsächlich durch die eigenen vorherigen Tokens des Modells getrieben wurde.
• Zu etablieren, dass es keine einzelne „gute" Attributionskarte für generative Modelle gibt; die Evaluation muss vertragspezifisch sein.

Die Autoren positionieren diese Arbeit nicht als Ersatz für bestehende Attributionsalgorithmen, sondern als notwendige Spezifikationsschicht, um die Behauptungen dieser Methoden vergleichbar und interpretierbar zu machen. Die Bedeutung liegt darin, die Diskussion von der Debatte über Algorithmen hin zur Definition der präzisen erklärenden Fragen zu verschieben, die diese Algorithmen beantworten sollen.