🤖 machine learning

Barriers to Counterfactual Credit Attribution for Autoregressive Models

Dieser Beitrag untersucht die Herausforderungen bei der Implementierung einer kontrafaktischen Kreditzuweisung (CCA) in autoregressiven generativen Modellen und zeigt, dass CCA nicht autoregressiv komponierbar ist und dass das Nachrüsten bestehender Modelle zur Erfüllung von CCA eine Abfragekomplexität erfordert, die exponentiell in der Ausgabelänge ist.

Ursprüngliche Autoren: Aloni Cohen, Chenhao Zhang

Veröffentlicht 2026-05-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aloni Cohen, Chenhao Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Koch, der gerade eine köstliche neue Suppe erfunden hat. In früheren Zeiten hätten Sie, wenn Sie ein geheimes Gewürz eines bestimmten Bauern verwendet hätten, natürlich gesagt: „Diese Suppe schmeckt großartig wegen Bauern Johns Gewürz." Sie geben Anerkennung dort, wo sie gebührt.

Doch stellen Sie sich nun vor, Sie hätten einen magischen „Suppen-Roboter". Sie füttern ihn mit einer Zutatenliste (einer Datenbank), und er zaubert eine Suppe. Das Problem ist, dass der Roboter eine Blackbox ist. Er mischt alles so gründlich, dass man nicht erkennen kann, welches spezifische Gewürz dafür verantwortlich ist, dass die Suppe so schmeckt, wie sie schmeckt. Wenn man nicht sagen kann, was die Suppe beeinflusst hat, kann man den Bauern nicht für ihre Arbeit würdigen. Diese Arbeit argumentiert, dass wir einen Weg brauchen, den Roboter dazu zu zwingen, zu sagen: „Ich habe Bauern Johns Gewürz verwendet", immer dann, wenn dieses Gewürz tatsächlich für das Rezept unverzichtbar war.

Die Autoren nennen dies „Counterfactual Credit Attribution" (CCA) – also kontrafaktische Anerkennungszuweisung. Das ist eine ausgefallene Art zu sagen: „Wenn wir Bauern Johns Gewürz aus der Liste entfernen würden, würde die Suppe dann immer noch genauso schmecken?" Wenn die Antwort „Nein, sie würde anders schmecken" lautet, dann muss der Roboter Bauern John die Anerkennung zuteilwerden lassen.

Die Arbeit untersucht zwei natürliche Wege, diesen „Anerkennungs-verleihenden Roboter" zu bauen, und stellt fest, dass beide auf eine massive Mauer stoßen.

1. Der „Schritt-für-Schritt"-Ansatz (Autoregressive Modelle)

Die meisten modernen KI-Systeme (wie dasjenige, das diese Zusammenfassung schreibt) funktionieren wie eine Person, die eine Geschichte Wort für Wort schreibt. Es wählt ein Wort, dann das nächste, dann das nächste.

Die Idee: Vielleicht können wir dem Roboter einfach beibringen, für jedes einzelne Wort, das er wählt, Anerkennung zu verleihen. Wenn er ein Wort wählt, das von Bauern Johns Gewürz abhängt, würdigt er ihn. Dann fügen wir einfach alle diese Wörter zusammen, um die vollständige Suppe zu erhalten.

Das Problem: Die Arbeit beweist, dass dies nicht funktioniert.

Die Analogie: Stellen Sie sich vor, Sie bauen einen Turm aus Blöcken. Sie haben eine Regel: „Jedes Mal, wenn Sie einen Block platzieren, müssen Sie prüfen, ob er stabil ist." Sie befolgen diese Regel perfekt für jeden einzelnen Block. Doch wenn Sie einen Schritt zurücktreten, stürzt der gesamte Turm zusammen.
Die Realität: Die Autoren zeigen, dass selbst wenn der Roboter perfekt darin ist, für jedes einzelne Wort, das er generiert, Anerkennung zu verleihen, die finale Geschichte (die gesamte Sequenz) möglicherweise immer noch versagt, die Anerkennung ordnungsgemäß zu erteilen. Die „Anerkennung" geht verloren oder wird verzerrt, während sich die Wörter aufstauen. Es ist, als würde man versuchen, ein stabiles Haus zu bauen, indem man nur die Stabilität einzelner Ziegelsteine prüft; die Struktur als Ganzes könnte dennoch auseinanderfallen.

2. Der „Nachrüstungs"-Ansatz (Anerkennung später hinzufügen)

Die Idee: Was, wenn wir bereits einen Roboter haben, der großartig darin ist, Suppe zu machen, aber schrecklich darin, Anerkennung zu verleihen? Können wir einfach eine „Hülle" darum legen? Diese Hülle würde beobachten, wie der Roboter Suppe macht, und im Nachhinein entscheiden: „Okay, ich werde eine Notiz hinzufügen, die sagt: 'Anerkennung: Bauer John'."

Das Problem: Die Arbeit beweist, dass dies rechnerisch unmöglich ist (oder zumindest so schwierig, dass es so gut wie unmöglich ist).

Die Analogie: Stellen Sie sich vor, Sie haben einen Safe, der einen zufälligen 100-stelligen Code generiert. Sie möchten ein Etikett an den Safe anbringen, das sagt: „Dieser Code wurde von der Zahl 7 beeinflusst." Um dies zu tun, müssen Sie in den Safe hineinblicken, um zu sehen, ob die Zahl 7 tatsächlich verwendet wurde.
Die Realität: Die Autoren zeigen, dass Sie, um herauszufinden, ob der Roboter wirklich ein bestimmtes Datenelement (wie Bauern Johns Gewürz) benötigte, um seine Ausgabe zu generieren, den Roboter bitten müssten, die Suppe ** Billionen und Aber Billionen Mal** (exponentiell viele Abfragen) zu generieren, um sicherzugehen. Es ist, als würde man versuchen, ein einzelnes spezifisches Sandkorn an einem Strand zu finden, indem man jedes einzelne Sandkorn einzeln ausgräbt. Selbst wenn Sie nur eine „hinreichend gute" Vermutung wollen, besagt die Mathematik, dass Sie trotzdem fast den gesamten Strand ausgraben müssten.

Das große Fazit

Die Arbeit kommt zu dem Schluss, dass wir derzeit vor einem großen Hindernis stehen.

Wir können KI, die Anerkennung verleiht, nicht einfach dadurch bauen, dass wir sie bei jedem winzigen Schritt (wortweise) zur Anerkennung verleihenden KI machen.
Wir können bestehende KI nicht einfach reparieren, indem wir später eine Anerkennung-verleihende Schicht anfügen, ohne eine unmögliche Menge an Arbeit zu leisten.

Die Autoren weisen auch auf einen seltsamen Nebeneffekt hin: Um die strengen Regeln dieses „Anerkennungssystems" zu erfüllen, könnte der Roboter gezwungen sein, Anerkennung für Zutaten zu verleihen, die den Geschmack der Suppe kaum verändert haben. Es ist, als würde man gezwungen, einen Bauern für ein einziges Salzkorn zu danken, das den Geschmack tatsächlich nicht verändert hat, nur weil die Mathematik besagt, dass Sie es vielleicht benötigt haben.

Kurz gesagt: KI zu entwickeln, die ihren Quellen zuverlässig und effizient Anerkennung verleiht, ist viel schwieriger, als wir dachten, und die beiden offensichtlichsten Lösungen funktionieren nicht.

Technische Zusammenfassung: Barrieren für die kontrafaktische Kreditvergabe bei autoregressiven Modellen

Problemstellung

Generative KI verschleiert den Zusammenhang zwischen Eingaben und Ausgaben und erschwert so die Praxis, Anerkennung für vorherige Arbeiten zu erteilen. Während die kontrafaktische Kreditvergabe (Counterfactual Credit Attribution, CCA) kürzlich von Livni et al. [2024] als technische Bedingung für Lernalgorithmen eingeführt wurde (eine Abschwächung der Differential Privacy, die Stabilität gegenüber nicht anerkannten Eingaben erfordert), bleibt ihre Anwendung auf generative Modelle unerforscht.

Diese Arbeit leitet die Untersuchung von CCA für autoregressive Sprachmodelle ein. Konkret adressiert sie die Herausforderung, Anerkennung für einen Einsatzzeit-Datensatz (z. B. eine RAG-Datenbank oder Beispiele für In-Context-Learning) statt für den Trainingsdatensatz zu vergeben. Das Ziel ist die Entwicklung von Modellen, die sowohl eine generierte Sequenz als auch eine Kreditmenge $C \subseteq S$ ausgeben und dabei die CCA-Bedingung erfüllen: Wenn ein Dokument $s_i$ nicht anerkannt wird, sollte die Ausgabeverteilung von der Verteilung ununterscheidbar sein, bei der $s_i$ von der Eingabe ausgeschlossen wurde.

Methodik

Die Autoren untersuchen zwei natürliche Ansätze zur Konstruktion CCA-konformer autoregressiver Modelle:

Autoregressive Komposition: Entwicklung eines CCA-konformen Next-Token-Vorhersagemodells und dessen Anwendung zur Generierung von Sequenzen durch Aggregation der Kreditmengen einzelner Token.
Nachrüstung (Retrofitting): Ein bestehendes, nicht kreditvergebendes Modell wird mit einem Algorithmus umhüllt, der eine Kreditmenge zu seinen Ausgaben hinzufügt, wobei die ursprüngliche Generierungsverteilung erhalten bleibt.

Die Arbeit nutzt theoretische Analysen, einschließlich Gegenbeispielen, Untergrenzenbeweisen und Argumenten zur Orakelkomplexität, um die Machbarkeit dieser Ansätze zu bewerten.

Hauptbeiträge und Ergebnisse

1. Nicht-Komposition autoregressiver CCA

Das erste wichtige Ergebnis stellt den Standardansatz für Differential Privacy (DP) bei LLMs in Frage, bei dem ein privates Next-Token-Vorhersagemodell autoregressiv komponiert wird, um eine durchgängige Privatsphäre zu garantieren.

Ergebnis: CCA komponiert sich nicht autoregressiv.
Satz 4.2: Die Autoren konstruieren ein Gegenbeispiel, das zeigt, dass für jedes $\epsilon \ge 0$ und $\delta < 1$ ein Next-Token-Vorhersagemodell $\tilde{M}$ existiert, das die strengste $(0,0)$ -CCA-Bedingung erfüllt, dessen autoregressive Anwendung $G_{\tilde{M}}$ jedoch die $(\epsilon, \delta)$ -CCA-Bedingung nicht erfüllt.
Satz 4.3: Eine allgemeine Untergrenze für den CCA-Parameter $\epsilon'$ einer durch ein $\epsilon$ -CCA-Vorhersagemodell generierten Anwendung wird bewiesen. Kontraproduktivweise kann die Untergrenze für das $\epsilon'$ der Anwendung steigen, wenn das $\epsilon$ des Basis-Vorhersagemodells gegen 0 geht (d. h. es wird „besser" bei der Attribution). Dies macht die Kompositionsgarantie schwächer. Dies steht im scharfen Kontrast zu DP, wo Komposition gut verstanden und handhabbar ist.

2. Unmöglichkeit der CCA-Nachrüstung

Der zweite Ansatz, die Nachrüstung, beinhaltet das Hinzufügen einer Schicht zur Kreditattribution zu einem bestehenden Modell über Black-Box-Zugriff.

Ergebnis: CCA-Nachrüstung ist im schlimmsten Fall rechnerisch nicht durchführbar.
Satz 5.5: Die Autoren beweisen, dass jeder Algorithmus, der versucht, ein Modell nachzurüsten, um $(\epsilon, 0)$ -CCA (mit $\delta=0$ ) und kreditoptimal (Minimierung der erwarteten Anzahl kreditierter Elemente) zu sein, exponentiell viele Abfragen an das Basismodell in Abhängigkeit von der Ausgabelänge $\ell$ erfordert.
Härte-Konstruktion: Sie konstruieren eine Familie von Modellen $\{M_z\}$ , die durch einen versteckten String $z \in \{0,1\}^\ell$ indiziert sind. Um CCA zu erfüllen, muss der Nachrüstalgorithmus $z$ effektiv identifizieren. Während das Finden von $z$ aus dem Basismodell $\Omega(2^\ell)$ Abfragen erfordert, genügen für das Finden von $z$ aus einer optimalen CCA-Erweiterung nur polynomielle Abfragen. Diese Lücke impliziert, dass jeder Black-Box-Nachrüstalgorithmus exponentielle Abfragen an das Basismodell durchführen muss, um die notwendige Approximation zu erreichen.
Paradoxon des verschwindenden Einflusses: Die Analyse deckt ein konzeptionelles Problem auf: Die konstruierten Modelle sind bezüglich des Eingabedokuments funktionell ununterscheidbar (der Totalvariationsabstand verschwindet mit $2^{-\ell}$ ), dennoch ist die optimale CCA-Erweiterung erforderlich, um das Dokument mit einer konstanten Wahrscheinlichkeit $\gamma > 0$ zu kreditieren. Dies legt nahe, dass strenge CCA-Definitionen Attribution für Eingaben mit vernachlässigbarem Einfluss erzwingen könnten.

Bedeutung und Behauptungen

Die Arbeit beansprucht, die erste zu sein, die CCA im Kontext generativer autoregressiver Modelle formal untersucht. Ihre primäre Bedeutung liegt in der Identifizierung fundamentaler Barrieren für zwei intuitive Strategien zur Implementierung der Kreditvergabe:

Entkopplung von DP: Im Gegensatz zur Differential Privacy komponiert sich CCA nicht unter autoregressiver Generierung. Dies impliziert, dass das bloße Trainieren eines „kreditvergebenden" Next-Token-Vorhersagemodells nicht ausreicht, um CCA für den gesamten generierten Text zu garantieren.
Rechnerische Grenzen: Die Nachrüstung bestehender Modelle, um CCA zu erfüllen, ist unter Standard-Black-Box-Annahmen und strengen Optimalitätsanforderungen rechnerisch prohibitiv (exponentielle Abfragekomplexität).

Die Autoren schließen daraus, dass diese Ergebnisse die Schwierigkeit der Formalisierung der Kreditvergabe für generative KI hervorheben. Sie schlagen vor, dass eine Abschwächung der Definition (z. B. Zulassen von $\delta > 0$ oder Lockerung der Anforderung, dass das erweiterte Modell die ursprüngliche Ausgabeverteilung exakt erhält) notwendig sein könnte, um machbare Lösungen zu erreichen, wobei solche Abschwächungen zukünftigen Arbeiten vorbehalten bleiben. Die Arbeit schlägt keine neuen Algorithmen oder experimentellen Validierungen vor, sondern umreißt vielmehr die theoretischen Grenzen des aktuellen CCA-Rahmens bei der Anwendung auf autoregressive Generierung.