💻 computer science

Not All Explanations Simulate Equally: Comparing Verbalized Feature Attributions and Self-Generated Rationales

Diese Arbeit evaluiert und vergleicht die Simulierbarkeit von verbalisierten Merkmalsattribuierungen und selbst generierten Begründungen für Frage-Antwort-Modelle und zeigt auf, dass das Erklärungsformat, die Granularität und die Quelle das Vermögen eines LLM-Judges signifikant beeinflussen, das Modellverhalten in kontrafaktischen Szenarien vorherzusagen.

Ursprüngliche Autoren: Pingjun Hong, Benjamin Roth

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Pingjun Hong, Benjamin Roth

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu erraten, was ein sehr intelligenter, aber manchmal eigenartiger Roboter als Nächstes sagen wird. Sie haben eine Liste von Fragen, und der Roboter gibt Ihnen Antworten. Nun stellen Sie sich vor, Sie ändern ein Wort in der Frage (eine „kontrafaktische“ Änderung) und fragen: Können Sie vorhersagen, was der Roboter auf diese neue Frage antworten wird?

Dieses Paper handelt davon, verschiedene Arten von „Hinweisen“ (Erklärungen) zu testen, um zu sehen, welche tatsächlich einem Menschen (oder einer anderen KI) dabei helfen, diese Vorhersage korrekt zu treffen. Die Autoren nennen diesen Prozess Simulierbarkeit. Denken Sie an es wie einen „Kristallkugel-Test“: Gibt die Erklärung genug Informationen, um die Zukunft des Verhaltens des Roboters zu sehen?

Die Forscher verglichen zwei Haupttypen von Hinweisen:

1. Der „Highlighter“ vs. der „Geschichtenerzähler“

Typ A: Der Highlighter (Verbalisierte Merkmalsattributionen)
Stellen Sie sich vor, der Roboter liest einen langen Artikel und beantwortet eine Frage. Eine „Highlighter“-Erklärung zeigt auf die spezifischen Sätze oder Wörter im Text, die der Roboter verwendet hat, um seine Entscheidung zu treffen.

Die Ebene der Sätze: „Der Roboter stützte sich auf diesen ganzen Absatz.“
Die Ebene der Token (Wörter/Zeichen): „Der Roboter stützte sich auf das Wort ‚Apfel‘.“
Umgeschrieben: Sie baten eine superintelligente KI, den hervorgehobenen Teil in einen flüssigen, gut lesbaren Satz umzuwandeln.

Typ B: Der Geschichtenerzähler (Selbst generierte Rationalisierungen)
Dies ist der Fall, wenn der Roboter gebeten wird, sein eigenes Denken zu erklären, bevor oder nachdem er die Antwort gibt.

Post-hoc: „Hier ist meine Antwort. Übrigens, hier ist ein kurzer Grund dafür.“
Chain-of-Thought (Gedankenkette): „Lass mich Schritt für Schritt nachdenken... Zuerst habe ich mir X angesehen, dann habe ich Y in Betracht gezogen, also ist meine Antwort Z.“

2. Die Ergebnisse: Was hat tatsächlich funktioniert?

Die Forscher nutzten einen „Richter“ (eine andere leistungsstarke KI), um zu versuchen, die Antwort des Roboters auf die neue, geänderte Frage vorherzusagen. Sie gaben dem Richter die ursprüngliche Antwort und einen der oben genannten „Hinweise“.

Hier ist, was sie herausfanden, unter Verwendung einfacher Analogien:

„Der ganze Absatz“ gewinnt (Satz-Ebene):
Wenn der Hinweis auf einen ganzen Satz oder Absatz hinwies, konnte der Richter die nächste Bewegung des Roboters viel besser vorhersagen. Es war, als würde man ihm ein ganzes Kapitel eines Buches geben, um die Handlung zu verstehen.
- Analogie: Wenn man jemandem sagt: „Der Charakter ist wütend, weil er gerade den Brief gelesen hat“, kann die Person erraten, was die Figur als Nächstes tun wird.
„Ein einzelnes Wort“ scheitert (Token-Ebene):
Wenn der Hinweis nur auf einzelne Wörter hinwies (wie „Apfel“ oder „1805“), wurde der Richter verwirrt oder machte schlechtere Ergebnisse als zuvor. Der Kontext fehlte.
- Analogie: Wenn man nur sagt: „Der Charakter ist wütend, weil er das Wort ‚Brief‘ gesehen hat“, ist das zu vage. Man weiß nicht, was in dem Brief stand. Der Kontext fehlte.
Flüssigkeit ist eine Falle (LLM-Umschreibung):
Die Forscher versuchten, die Notizen des „Highlighters“ zu nehmen und eine superintelligente KI zu bitten, sie in schönes, flüssiges Englisch umzuschreiben. Sie dachten, dies würde helfen. Es tat es nicht.
- Analogie: Es ist, als würde man eine grobe Karte nehmen und einen Künstler bitten, sie mit schönen Farben und schicken Schriftarten neu zu zeichnen. Wenn die Karte immer noch nur eine einzige Straße statt des ganzen Viertels zeigt, hilft die hübsche Schrift nicht bei der Navigation. Die Information war wichtiger als der Stil.
Der „Schritt-für-Schritt“-Leitfaden ist der König (Chain-of-Thought):
Die absolut besten Hinweise waren die Chain-of-Thought-Erklärungen. Wenn der Roboter seine Argumentation Schritt für Schritt erklärte, konnte der Richter die zukünftigen Antworten des Roboters mit unglaublicher Genauigkeit vorhersagen.
- Analogie: Dies ist so, als würde der Roboter Ihnen seinen Schmierzettel zeigen. Anstatt nur zu sagen: „Die Antwort ist 42“, sagt er: „Ich habe 20 und 20 addiert, dann 18 abgezogen, also habe ich 22 erhalten, und dann noch einmal 20 addiert...“ Sie können der Logik perfekt folgen, sodass Sie genau wissen, was er als Nächstes tun wird.

3. Das große Fazit

Das Paper kommt zu dem Schluss, dass nicht alle Erklärungen gleichwertig sind.

Kontext ist König: Einen Textblock (einen Satz) zu geben, ist viel besser, als ein winziges Fragment (ein Wort) zu liefern.
Logik > Politur: Eine grobe, schrittweise logische Erklärung (Chain-of-Thought) ist weitaher nützlicher für die Vorhersage des Verhaltens als eine glatte, umgeschriebene Zusammenfassung eines Highlights.
Das „Warum“ zählt: Um zu verstehen, wie ein Modell in einer neuen Situation reagieren wird, muss man seinen Denkprozess sehen, nicht nur die Beweise, auf die es geschaut hat.

Kurz gesagt: Wenn Sie das Gehirn eines Roboters verstehen wollen, zeigen Sie mir nicht nur die Wörter, die er hervorgehoben hat. Zeigen Sie mir die Geschichte, die er sich selbst erzählt hat, um dorthin zu gelangen. Das ist der einzige Weg, um wirklich vorherzusagen, was er als Nächstes tun wird.

Technisches Resümee: Nicht alle Erklärungen simulieren gleichermaßen gleich gut

Problemstellung

Natürlichsprachliche Erklärungen für Large Language Models (LLMs) werden oft als eine einheitliche Schnittstelle zum Verständnis des Modellverhaltens behandelt. Diese Erklärungen stammen jedoch aus unterschiedlichen Quellen – von Eingabe-Feature-Attributionen (Identifizierung wichtiger Tokens oder Sätze) bis hin zu selbst generierten Rationalen (wie etwa Post-hoc-Rechtfertigungen oder Chain-of-Thought-Reasoning). Trotz der gemeinsamen Bezeichnung „Erklärung“ unterscheiden sich diese Objekte grundlegend in Quelle, Granularität, Format und beabsichtigter Verwendung.

Bisherige Evaluierungsprotokolle bewerten Erklärungen oft anhand typspezifischer Dimensionen, wie etwa der Treue (Faithfulness) zum Entscheidungsprozess, der Plausibilität für menschliche Leser oder der Übereinstimmung mit menschlichen Rationalen. Dieses Papier argumentiert, dass diese typspezifischen Metriken es schwierig machen, disparate Erklärungsformate auf einer gemeinsamen Basis zu vergleichen. Die zentrale adressierte Herausforderung lautet: Wie können wir verschiedene Arten von LLM-Erklärungen systematisch vergleichen, um zu bestimmen, welche davon das Verständnis und die Vorhersage des Modellverhaltens tatsächlich unterstützen?

Methodik

Die Autoren schlagen ein einheitliches Evaluierungsframework vor, das auf kontrafaktischer Simulierbarkeit basiert. Anstatt zu fragen, ob eine Erklärung isoliert betrachtet plausibel ist, fragt dieses Framework, ob die Erklärung einem Prädiktor hilft, das Verhalten des Modells unter neuen, perturbierten Eingaben präzise zu antizipieren.

Experimenteller Aufbau

Aufgabenformulierung: Die Evaluierung wird als kontrafaktisches Simulationsproblem formuliert. Gegeben sei eine ursprüngliche Eingabe $x = (c, q)$ (Kontext und Frage) und eine Modellantwort $y = M(x)$ . Eine kontrafaktische Eingabe $x_{cf} = (c, q_{cf})$ wird unter Verwendung desselben Kontextes, aber einer modifizierten Frage, konstruiert. Das Zielmodell $M$ erzeugt eine wahre kontrafaktische Antwort $y_{cf}$ .
Simulationsprotokoll: Ein LLM-Judge ( $P$ $P$ ) fungiert als Prädiktor, um $y_{cf}$ $y_{c f}$ zu erraten.
- Phase 1 (Baseline): Der Prädiktor sieht $x$ , $y$ und $x_{cf}$ , aber keine Erklärung.
- Phase 2 (Erklärung): Der Prädiktor sieht dieselben Eingaben plus eine Erklärung $e$ für die ursprüngliche Antwort $y$ .
- Metrik: Die Simulierbarkeit wird als Genauigkeitsgewinn ( $\Delta$ ) bei der Vorhersage von $y_{cf}$ gemessen, wenn die Erklärung bereitgestellt wird: $\Delta = \text{Score}(2) - \text{Score}(1)$ . Ein positives $\Delta$ zeigt an, dass die Erklärung das prädiktive Verständnis verbessert.
Verglichene Erklärungstypen:
- Verbalisierte Feature-Attributionen: Unter Verwendung des MExGen-Frameworks identifizieren die Autoren einflussreiche Eingabe-Spans (Sätze oder Tokens) und konvertieren diese in natürliche Sprache. Sie testen zwei Verbalisierungsstrategien:
  - Template-basiert: Deterministische Einfügung der am höchsten bewerteten Evidenz in feste Templates (Satz-Ebene, Token-Ebene und Hybrid).
  - LLM-Rewriter: Ein LLM schreibt die ausgewählten Attributions-Features in einen flüssigen Text um, ohne neue Informationen hinzuzufügen.
- Selbst generierte Rationale: Erklärungen, die von den Ziel-QA-Modellen selbst via Prompting generiert wurden:
  - Post-hoc: Das Modell antwortet zuerst und liefert dann eine Rechtfertigung.
  - Chain-of-Thought (CoT): Das Modell führt Schritt-für-Schritt-Schlussfolgerungen durch, bevor es antwortet.
Modelle und Daten: Die Experimente wurden auf dem SQuAD 2.0 Datensatz mit drei instruktionsgesteuerten Zielmodellen (Llama-3-8B, Qwen2.5-7B, Mistral-7B) und GPT-5-mini als primärem Judge durchgeführt. Die Robustheit wurde mittels DeepSeek-R1 und einem Teacher-Student-Trainingsparadigma überprüft.

Zentrale Beiträge

Einheitliches Evaluierungskriterium: Das Paper wendet die kontrafaktische Simulierbarkeit als einzelne Metrik an, um Attributions-basierte Erklärungen und selbst generierte Rationale zu vergleichen, was einen direkten Vergleich über Formate hinweg ermöglicht, die zuvor isoliert evaluiert wurden.
Kontrollierter Vergleich der Verbalisierung: Die Studie kontrastiert Template-basierte Verbalisierungen mit LLM-umgeschriebenen Versionen derselben Attributionsdaten, um die Effekte der Evidenz-Granularität (Satz vs. Token) von der linguistischen Flüssigkeit zu isolieren.
Analyse von Granularität und Quelle: Die Arbeit analysiert systematisch, wie die Quelle der Erklärung, die Verbalisierungsstrategie und die Feature-Granularität die Simulierbarkeit über mehrere Modelle hinweg beeinflussen.

Ergebnisse

Die Studie liefert mehrere distinkte Erkenntnisse darüber, was eine Erklärung „nützlich“ für die Simulation macht:

Granularität ist entscheidend: Satz-basierte Attributionen bieten die stärksten Simulierbarkeitsgewinne unter den Attributions-basierten Methoden. Token-basierte Attributionen (selbst wenn sie hoch bewertet sind) liefern oft nahezu null oder sogar negative Gewinne, was darauf hindeutet, dass isolierte Wörter nicht den notwendigen Kontext für die Vorhersage des Modellverhaltens bieten. Hybride Ansätze (Satz + Tokens) schneiden besser ab als reine Token-Ansätze, aber schlechter als rein satz-basierte Attributionen.
Flüssigkeit $\neq$ Nützlichkeit: LLM-umgeschriebene Erklärungen sind zwar flüssiger als Template-basierte, führen aber nicht signifikant zu einer Verbesserung der Simulierbarkeit. In einigen Fällen schneiden sie sogar schlechter ab. Dies deutet darauf hin, dass der Informationsgehalt (die ausgewählte Evidenz) die Simulierbarkeit stärker vorantreibt als die linguistische Form.
Varianz selbst generierter Rationale: Es gibt einen starken Kontrast zwischen Post-hoc-Erklärungen und CoT-Rationalen. Post-hoc-Erklärungen bieten moderate Verbesserungen, während CoT-Rationale die größten Gewinne bei der kontrafaktischen Vorhersage über alle Modelle und Metriken hinweg erzielen.
Cross-Modell-Transfer: CoT-Rationale enthalten substanzielle aufgabenspezifische Informationen, die über verschiedene Modelle hinweg generalisieren (Cross-Modell-Transfer), kodieren jedoch auch modellspezifische Signale.
Divergenz der Evaluierungsparadigmen: Während CoT-Rationale konsistente positive Gewinne sowohl in der LLM-Judge- als auch in der Teacher-Student-Evaluierung zeigen, weisen Attributions-basierte Erklärungen eine Diskrepanz auf. Sie performen gut im Judge-basierten (In-Context) Setting, zeigen aber schwache oder negative Gewinne im Teacher-Student (Training) Setting, was darauf hindeutet, dass Attributions-Signale zwar nützlich für die unmittelbare Vorhersage sind, aber nicht leicht als lernbare Supervision internalisiert werden können.

Bedeutung und Behauptungen

Das Paper behauptet, dass nicht alle natürlichsprachlichen Erklärungen dieselbe Rolle bei der Unterstützung des Verständnisses des Modellverhaltens spielen. Die Bedeutung dieser Ergebnisse liegt in der Verschiebung des Fokus der Evaluierung von der isolierten „Plausibilität“ oder „Treue“ hin zum funktionalen Nutzen: Hilft die Erklärung einem Nutzer (oder einem automatisierten Agenten) tatsächlich dabei, vorherzusagen, wie das Modell auf neue Eingaben reagieren wird?

Die Autoren kommen zu folgendem Schluss:

Das Erklärungsformat ist kritisch: Satz-basierte Evidenz ist der Token-basierten Evidenz für die Simulation überlegen.
Die Quelle zählt: CoT-Rationale sind derzeit der effektivste Erklärungstyp, um das Verhalten eines Modells zu antizipieren, und übertreffen sowohl Post-hoc-Rechtfertigungen als auch verbalisierte Attributionen.
Evaluierung muss kontextbewusst sein: Der Nutzen einer Erklärung hängt davon ab, ob sie für die unmittelbare In-Context-Vorhersage verwendet wird (wo CoT und Satz-Attributionen exzellieren) oder für das Training interner Modelle (wo CoT robust bleibt, Attributionen jedoch möglicherweise nicht transferierbar sind).

Letztlich bietet die Arbeit empirische Leitlinien für die Auswahl von Erklärungsformaten in QA-Settings und warnt vor der Annahme, dass alle natürlichsprachlichen Erklärungen gleichermaßen effektiv für die Simulation sind.