💬 NLP

Faithfulness Evaluation for Decoder-only LLM Attributions with Controlled Retained Information

Dieser Beitrag stellt das Evaluierungsframework $\pi$ -Soft-NC und $\pi$ -Soft-NS vor, um bei der Bewertung der Attributionszuverlässigkeit in Decoder-only-LLMs die Anzahl der beibehaltenen Wörter zu kontrollieren, sowie die Grad-ELLM-Methode, die Gradienten- und Aufmerksamkeits-Signale effektiv kombiniert, um eine starke auf Vollständigkeit ausgerichtete Leistung zu erzielen.

Ursprüngliche Autoren: Xin Huang, Antoni B. Chan

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xin Huang, Antoni B. Chan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Äpfel mit Birnen vergleichen

Stellen Sie sich vor, Sie sind ein Richter, der entscheiden muss, welcher Detektiv besser darin ist, ein Rätsel zu lösen. Sie haben zwei Detektive, Detektiv A und Detektiv B.

Detektiv A findet 5 Hinweise, aber alle sind sehr wichtig.
Detektiv B findet 50 Hinweise, aber nur 5 sind tatsächlich nützlich; der Rest ist nur Rauschen.

In der Vergangenheit versuchten Forscher, „Glaubwürdigkeit" (wie gut eine KI ihr eigenes Denken erklärt) zu messen, indem sie sahen, wie stark sich die Antwort der KI änderte, wenn man die Hinweise entfernte, auf die der Detektiv verwiesen hatte.

Der Fehler: Die alte Messmethode funktionierte so: Wenn Detektiv B Ihnen eine Liste mit 50 Hinweisen gab und Sie 45 davon entfernten, könnte sich die Antwort der KI stark ändern, einfach weil Sie so viele Wörter entfernt haben, nicht weil die Hinweise schlecht waren. Wenn Detektiv A Ihnen eine kurze Liste mit 5 Hinweisen gab, könnte das Entfernen dieser die Antwort weniger verändern, einfach weil es von vornherein weniger Wörter waren.

Die alten Metriken waren unfair. Sie verglichen einen Detektiv, der viele Informationen behielt, mit einem, der sehr wenig behielt, und ließen so denjenigen, der mehr Informationen behielt, besser darin aussehen, Dinge zu erklären, selbst wenn seine Logik chaotisch war.

Die Lösung: Die „Gleiche Behaltens"-Regel

Die Autoren dieses Papiers schlagen eine neue Regel für das Spiel vor: Jeder muss exakt die gleiche Menge an Informationen behalten.

Sie führen eine neue Methode namens $\pi$ -Soft-NC und $\pi$ -Soft-NS ein. Denken Sie an $\pi$ (Pi) als einen „Lautstärkeregler" für Informationen.

Wenn Sie den Regler auf 0,5 stellen, müssen sowohl Detektiv A als auch Detektiv B genau 50 % der Wörter im Satz behalten.
Wenn Sie ihn auf 0,1 stellen, müssen beide nur 10 % behalten.

Indem Sie beide Methoden zwingen, die gleiche Menge an Informationen zu „behalten", können Sie endlich sehen, wer tatsächlich die richtigen Wörter ausgewählt hat, um die Entscheidung der KI zu erklären, anstatt wer einfach die meisten Wörter ausgewählt hat.

Der neue Detektiv: Grad-ELLM

Die Autoren haben auch eine neue Detektivmethode namens Grad-ELLM entwickelt, um diese neue Regel zu testen.

Wie es funktioniert: Stellen Sie sich eine KI vor, die Wort für Wort eine Geschichte schreibt (wie eine Kettenreaktion). Um zu verstehen, warum die KI das nächste Wort gewählt hat, betrachtet Grad-ELLM gleichzeitig zwei Dinge:
1. Die „Attention"-Karte (Aufmerksamkeitskarte): Auf welche Wörter hat die KI geschaut? (Wie darauf, wen die KI in einem Raum anstarrt).
2. Die „Gradient"-Karte: Wie sehr hat die Änderung dieser Wörter das Ergebnis tatsächlich verändert? (Wie stark sich die Raumtemperatur ändert, wenn Sie einen bestimmten Heizkörper verschieben).

Grad-ELLM kombiniert diese beiden Ansichten. Es wählt nicht einfach das einzelne „wichtigste" Wort aus; es erstellt eine glatte, kontinuierliche Karte der Wichtigkeit über den gesamten Satz hinweg. Es ist wie eine Wärmebildkarte, die genau zeigt, wo die „Wärme" (Wichtigkeit) liegt, anstatt nur mit dem Finger auf einen Punkt zu zeigen.

Was sie herausfanden

Die Autoren testeten ihre neue Regel und ihren neuen Detektiv an berühmten KI-Modellen (Llama und Mistral) unter Verwendung von Aufgaben wie:

Sentiment-Analyse: Entscheiden, ob eine Filmrezension positiv oder negativ ist.
Offene Generierung: Antworten auf Fragen schreiben oder eine Geschichte fortsetzen.

Die Ergebnisse:

Die alte Regel war verzerrt: Wenn sie die alten Metriken verwendeten, sahen Methoden, die viele Wörter behielten, künstlich gut aus.
Die neue Regel enthüllt die Wahrheit: Unter der neuen „Gleiche Behaltens"-Regel erwies sich Grad-ELLM als hervorragend darin, breite Beweise zu finden. Es zeigte, dass die Entscheidung der KI durch eine breite Palette von Wörtern unterstützt wurde, die zusammenarbeiteten (wie ein Chor von Stimmen).
Kein einziger Gewinner: Interessanterweise war keine einzelne Methode in allem die Beste.
- Einige Methoden waren großartig darin, das eine oder zwei kritischsten Wörter zu finden (wie den „Rauchenden Revolver" zu finden).
- Grad-ELLM war großartig darin, das ganze Bild zu zeigen, wie viele Wörter zur Antwort beigetragen haben.

Das Fazit

Dieses Papier ist wie eine neue Waage für eine Bäckerei. Früher, wenn Sie einen Kuchen auf einer schweren Platte und einen Keks auf einer leichten Platte wogen, konnten Sie nicht sagen, welches Dessert tatsächlich schwerer war. Die Autoren fügten beiden Seiten eine Standardplatte hinzu.

Sie backten auch eine neue Art von Kuchen (Grad-ELLM), der seinen Geschmack gleichmäßig im gesamten verteilt, anstatt nur ein paar süße Stellen zu haben. Ihre neuen Waagen zeigen, dass zwar einige Methoden gut darin sind, die „süßen Stellen" zu finden, ihr neuer Kuchen aber besser darin ist, zu zeigen, wie das gesamte Dessert zusammengesetzt ist.

Kurz gesagt: Sie haben die Art und Weise korrigiert, wie wir KI-Erklärungen testen, damit wir nicht durch die Anzahl der Wörter getäuscht werden, und sie führten eine neue Methode ein, die ein vollständigeres, ehrlicheres Bild davon liefert, wie die KI denkt.

Technische Zusammenfassung: Bewertung der Zuverlässigkeit von Attributierungen für Decoder-only-LLMs mit kontrolliertem Informationserhalt

Problemstellung

Large Language Models (LLMs), insbesondere Decoder-only-Architekturen wie Llama und Mistral, werden zunehmend mittels Input-Attributionsmethoden evaluiert, um ihre Entscheidungsprozesse zu erklären. Der Vergleich der „Zuverlässigkeit" (Faithfulness) dieser Erklärungen bleibt jedoch herausfordernd.

Bestehende Metriken zur Zuverlässigkeit bei weichen Störungen (soft-perturbation), speziell Soft-NC (Normalized Soft Comprehensiveness) und Soft-NS (Normalized Soft Sufficiency), leiden unter einem kritischen Bias. Diese Metriken bewerten die Qualität der Attributierung, indem sie Eingaben basierend auf Attributionswerten stören. Unterschiedliche Attributionsmethoden erzeugen jedoch häufig Werteverteilungen mit unterschiedlichen Mittelwerten. Folglich behalten Methoden mit höheren durchschnittlichen Werten während der weichen Störung mehr Wörter bei, was ihre Zuverlässigkeitswerte künstlich aufbläht, einfach weil die gestörte Eingabe mehr Informationen enthält, und nicht weil die Attributierung genauer ist. Dieses Problem ist bei autoregressiven Decoder-only-LLMs besonders ausgeprägt, wo sich die Verteilungen der Attributionswerte über die Generierungsschritte hinweg erheblich unterscheiden können.

Methodik

1. $\pi$ -Soft-NC und $\pi$ -Soft-NS

Um den Bias bestehender Metriken zu adressieren, schlagen die Autoren $\pi$ -Soft-NC und $\pi$ -Soft-NS vor. Dies sind Evaluierungsrahmenwerke, die Attributionsmethoden unter einer kontrollierten Ziel-Wahrscheinlichkeit für den Erhalt ( $\pi$ ) vergleichen.

Mechanismus: Anstatt rohe Attributionswerte zu vergleichen, transformiert das Rahmenwerk jede Attributionsverteilung mittels einer Alpha-Transformation ( $\tilde{s}_i = s_i^\alpha$ ). Der Parameter $\alpha$ wird numerisch gelöst (z. B. mittels Bisektions-Suche), sodass die erwartete Erhaltswahrscheinlichkeit der transformierten Werte eine spezifische Zielgröße $\pi \in [0, 1]$ erreicht.
Fairer Vergleich: Indem verschiedene Methoden gezwungen werden, die gleiche erwartete Informationsmenge zu erhalten (gleicher $\pi$ ), isoliert die Evaluierung die Qualität und Kalibrierung der Attributionsverteilung von Unterschieden in der Störungsstärke.
Evaluierungsprotokolle: Die Autoren führen zwei Protokolle ein, um verschiedene Aspekte der Attributierung zu bewerten:
- Dynamic-Routing: Die Aufmerksamkeit des Transformers wird basierend auf der gestörten Eingabe dynamisch neu berechnet. Dies misst, wie Attributierungen nützliche Wörter unter sich ändernden Modellbedingungen identifizieren.
- Fixed-Routing: Die Aufmerksamkeitskarten werden aus der ursprünglichen, ungestörten Eingabe zwischengespeichert und während der Störung wiederverwendet. Dies isoliert den kausalen Beitrag des Token-Inhalts von einer Neuverteilung der Aufmerksamkeit.
Visualisierung: Das Durchlaufen von $\pi$ von 0 bis 1 erzeugt eine Kurve ( $\pi$ -Soft-NC/NS gegen $\pi$ ). Die Fläche unter der Kurve (AUC) fasst die Leistung zusammen. Hohe Werte bei niedrigem $\pi$ deuten auf kompakte, ausreichende Evidenz hin, während starke Leistung über hohes $\pi$ hinweg eine breite Vollständigkeit anzeigt.

2. Grad-ELLM

Die Autoren stellen Grad-ELLM vor, eine auf Gradienten basierende Attributionsmethode, die speziell für autoregressive Decoder-only-LLMs entwickelt wurde.

Inspiration: Sie adaptiert das Konzept der Gradienten-Aufmerksamkeits-Aggregation aus Grad-ECLIP (entwickelt für Dual-Encoder-Vision-Sprach-Modelle) auf sequenzielle Textgenerierung.
Mechanismus:
- Für jeden Decodierschritt wird die Attributierung bezüglich des Logits des nächsten Tokens berechnet.
- Sie kombiniert gradientenabgeleitete Kanalwichtigkeit (Empfindlichkeit des Logits gegenüber Aufmerksamkeitsausgabekanälen) mit aufmerksamkeitsabgeleiteter Tokenwichtigkeit (Token-Gewichte).
- Um übermäßig spärliche „spitze" Softmax-Gewichte zu vermeiden, wird eine „gelockerte" Normalisierung (Min-Max-Normalisierung) auf Query-Key-Ähnlichkeiten angewendet, was zu einer kontinuierlichen Attributionsverteilung führt.
- Attributionswerte werden über ausgewählte Decoder-Schichten hinweg aggregiert, um die endgültige Heatmap zu bilden.

Hauptbeiträge

Identifikation von Bias: Die Arbeit identifiziert, dass bestehende Soft-NC/NS-Metriken Methoden mit unterschiedlichen Wertemitteln unfair vergleichen, da sie inhärent unterschiedliche Mengen an erhaltenen Informationen bewerten.
Neue Evaluierungsmetriken: Die Einführung von $\pi$ -Soft-NC und $\pi$ -Soft-NS, die Vergleiche normalisieren, indem sie die erwartete erhaltene Information über eine Zielwahrscheinlichkeit $\pi$ kontrollieren.
Neue Attributionsmethode: Die Vorstellung von Grad-ELLM, die Gradienten- und Aufmerksamkeits-Signale speziell für die sequenzielle Natur von Decoder-only-LLMs integriert.
Umfassende empirische Analyse: Ein rigoroser Vergleich repräsentativer Attributionsmethoden (einschließlich Attention, Saliency, Integrated Gradients, DeepLIFT, Value Zeroing und ReAGent) über Klassifikations- und Open-Generation-Aufgaben hinweg.

Experimentelle Ergebnisse

Experimente wurden an Llama-3.1-8B und Mistral-7B (mit zusätzlichen Ergebnissen für 70B) über fünf Datensätze hinweg durchgeführt (IMDb, SST2, BoolQ, TellMeWhy, WikiBio).

Diagnose der ursprünglichen Metriken: Die Analyse der rohen Soft-NC/NS bestätigte den Bias; Methoden wie Random und Grad-ELLM behielten signifikant mehr Tokens (höheres $\pi$ ) bei als spärliche Methoden wie DeepLIFT, was zu nicht vergleichbaren Werten führte.
Leistung unter $\pi$ -Soft-NC: Grad-ELLM erreichte die stärkste vollständigkeitsorientierte Zuverlässigkeit (höchste durchschnittliche AUC) sowohl bei Llama als auch bei Mistral. Dies deutet darauf hin, dass Grad-ELLM eine breite Evidenzabdeckung effektiv identifiziert.
Leistung unter $\pi$ -Soft-NS: Keine einzelne Methode dominierte die ausreichheitsorientierte Evaluierung ( $\pi$ -Soft-NS). Spärliche Methoden wie Input $\times$ Gradient schnitten in den Top-3 gut ab, was darauf hindeutet, dass sie die kritischsten Wörter möglicherweise präziser identifizieren, aber keine Methode war universell überlegen.
Vergleich mit Random: Die meisten Methoden zeigten nur dann einen Vorteil gegenüber Random-Attributierungen, wenn die Erhaltswahrscheinlichkeit $\pi > 0,5$ war. Dies legt nahe, dass für diese Aufgaben signifikante kontextuelle Informationen (mehr als nur die am höchsten bewerteten Tokens) erforderlich sind, oder dass aktuelle Methoden Schwierigkeiten haben, die Reihenfolge der Top-Attributierungen präzise zu bestimmen.
Qualitative Analyse: In Beispielen zur Sentiment-Klassifikation hob Grad-ELLM erfolgreich kompositionelle Phrasen (z. B. „very little positive") hervor, anstatt isolierte Tokens (z. B. „positive"), und erfasste damit die Nuance der Negation besser als die Baselines.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass ihr vorgeschlagenes Evaluierungsrahmenwerk einen strengen Standard für den Vergleich von XAI-Methoden für LLMs bietet. Durch die Kontrolle des Informationserhalts ermöglicht $\pi$ -Soft-NC/NS Forschern, zwischen Methoden zu unterscheiden, die kompakte, ausreichende Evidenz bieten, und solchen, die breite, vollständigkeitsorientierte Evidenz liefern.

Die Autoren betonen, dass Grad-ELLM so konzipiert ist, kalibrierte, dichte Attributionsverteilungen zu erzeugen und keine extrem spärlichen Rangfolgen. Folglich mag Grad-ELLM zwar unter den vorgeschlagenen Metriken für weiche Störungen hervorragend abschneiden, aber für Metriken zur Rangfolge bei harten Störungen (wie Insertion/Deletion), bei denen die Reihenfolge weniger Top-Tokens dominiert, nicht optimal sein. Die Arbeit schließt, dass zuverlässige Attributierung entlang mehrerer Achsen (Ausreichheit vs. Vollständigkeit) evaluiert werden sollte, anstatt sich auf eine einzelne Metrik zu verlassen, und dass die vorgeschlagenen Metriken Fortschritte beim Verständnis unterstützen, wie Attributionsbeweise in autoregressiven Modellen organisiert sind.

Von den Autoren anerkannte Einschränkungen:

Grad-ELLM erfordert Zugriff auf interne Modellzustände (Gradienten, Aufmerksamkeit), was es auf Open-Source-Modelle beschränkt.
Die Studie konzentriert sich auf Zuverlässigkeit (Faithfulness), nicht auf Plausibilität (menschliche Interpretierbarkeit), was nach wie vor schwierig objektiv zu quantifizieren ist.
Die Metriken verlassen sich weiterhin auf Störungen auf Embedding-Ebene, die möglicherweise nicht perfekt mit natürlichen Textverteilungen übereinstimmen.