💬 NLP

Compact Example-Based Explanations for Language Models

Die Autoren stellen eine retraining-freie Metrik zur Bewertung der Relevanz von Trainingsbeispielen für Erklärungen von Sprachmodellen vor und zeigen, dass eine ausgewogene Strategie, die Einfluss und Repräsentativität kombiniert, die Qualität von Beispiel-basierten Erklärungen verbessert.

Ursprüngliche Autoren: Loris Schoenegger, Benjamin Roth

Veröffentlicht 2026-04-10

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Loris Schoenegger, Benjamin Roth

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Rätsel: Warum hat die KI das gesagt?

Stell dir vor, du hast einen sehr schlauen Roboter (eine KI), der Texte schreibt oder Fragen beantwortet. Wenn er eine Antwort gibt, möchtest du wissen: „Warum hat er das gerade gesagt? Welche Informationen aus seiner Vergangenheit haben ihn dazu gebracht?"

Um das herauszufinden, schauen wir uns die Trainingsdaten an. Das sind die Millionen von Büchern, Artikeln und Gesprächen, mit denen der Roboter gelernt hat. Die Forscher wollen herausfinden: Welche dieser Millionen von Dokumenten waren für diese eine Antwort am wichtigsten?

Das Problem: Der Ozean aus Informationen

Das Problem ist, dass der Roboter Millionen von Dokumenten gesehen hat. Wenn wir ihm sagen: „Zeig mir die wichtigsten Dokumente!", würde er dir eine Liste von 10.000 Seiten geben. Das ist für einen Menschen unmöglich zu lesen. Wir brauchen nur eine kleine Auswahl, sagen wir 5 oder 10 Beispiele, die die Antwort am besten erklären.

Bisher haben die Entwickler einfach die 5 Dokumente genommen, die mathematisch den größten Einfluss hatten. Das war wie der Versuch, einen Koch zu verstehen, indem man nur die Zutaten nimmt, die am meisten gewürfelt wurden. Aber das funktioniert nicht immer gut!

Die Entdeckung: Die lautesten Schreie sind nicht immer die wichtigsten

Die Forscher haben herausgefunden, dass die „lautesten" (einflussreichsten) Beispiele oft Ausreißer sind.

Die Analogie: Stell dir vor, du lernst für eine Mathe-Prüfung. Der „lauteste" Einfluss könnte ein verrückter Lehrer sein, der dir nur einmal eine extrem schwierige, seltsame Aufgabe gezeigt hat. Wenn du diese Aufgabe siehst, denkst du vielleicht: „Aha, das ist der Grund, warum ich das so löse!" – aber eigentlich war es nur ein Zufall.
Die KI wählt oft diese verrückten, seltsamen Beispiele aus, weil sie mathematisch „laut" sind. Aber für dich als Menschen sind sie verwirrend und nicht hilfreich. Sie sind wie ein lauter Schreier in einer Bibliothek: Man hört ihn, aber er erklärt einem nicht, wie man ein Buch findet.

Die neue Lösung: Ein besserer Suchmechanismus

Die Forscher haben eine neue Methode entwickelt, um die richtigen Beispiele auszuwählen. Sie nennen es „Auswahl-Relevanz".

Stell dir vor, du willst ein Puzzle lösen.

Die alte Methode: Du suchst nach den Puzzleteilen, die am größten und auffälligsten sind (die lautesten). Oft sind das aber nur die Ecken oder das Bild des Himmels – sie passen nicht gut zusammen, um das ganze Bild zu erklären.
Die neue Methode: Du suchst nach Puzzleteilen, die gut zusammenpassen und das Bild vollständig ergeben. Es ist weniger wichtig, wie „laut" ein Teil ist, sondern wie gut es hilft, das Gesamtbild zu verstehen.

Die Forscher haben eine Art Rechenformel (einen Score) entwickelt, die prüft: „Wenn ich diese 5 Beispiele nehme, kann ich damit die Entscheidung der KI gut nachbauen?"

Wenn ja: Super! Das sind gute Erklärungen.
Wenn nein: Diese Beispiele sind nur verwirrendes Rauschen.

Das Ergebnis: Weniger ist mehr (und besser)

Das Überraschende an ihrer Entdeckung:
Oft sind die am wenigsten einflussreichen Beispiele (die leisen, unauffälligen) viel besser für Erklärungen geeignet als die „Super-Stars".
Warum? Weil die „Super-Stars" oft nur einmalige Ausreißer sind. Die „leisen" Beispiele sind oft typische, normale Beispiele, die zeigen, wie die KI normalerweise denkt. Sie sind wie ein gutes, durchschnittliches Beispiel aus dem Schulbuch, das jeder versteht, statt eines extremen Sonderfalls.

Zusammenfassung in einem Satz

Die Forscher haben einen neuen Weg gefunden, um die besten Beispiele für KI-Erklärungen auszuwählen: Nicht die lautesten und auffälligsten, sondern die, die am besten zusammenpassen und das Bild für uns Menschen klar und verständlich machen. Das macht KI-Entscheidungen weniger wie ein Rätsel und mehr wie eine logische Geschichte.

1. Problemstellung

Die Arbeit adressiert das Problem der erklärungsorientierten Auswahl von Trainingsdaten für Large Language Models (LLMs).

Hintergrund: Methoden zur Schätzung des Einflusses von Trainingsdaten (z. B. Influence Functions) quantifizieren, wie stark einzelne Trainingsdokumente die Ausgabe eines Modells beeinflussen. Diese Schätzungen sind vielversprechend für example-based explanations (Erklärungen durch Beispiele).
Das Dilemma: Da Menschen Tausende von Dokumenten nicht verarbeiten können, muss eine kleine Teilmenge (Budget $k$ ) ausgewählt werden. Bisherige Systeme nutzen oft naive Strategien, wie die Auswahl der $k$ am höchsten bewerteten Beispiele basierend auf dem Einfluss-Score.
Kritik an bestehenden Ansätzen:
1. Die am stärksten einflussreichen Beispiele sind oft globale Ausreißer (Outliers), die für die spezifische Testinstanz nicht relevant sind.
2. Die Top-Beispiele enthalten oft redundante Informationen, was zu abnehmenden Grenznutzen führt.
3. Bestehende Evaluierungen konzentrieren sich entweder auf die Korrektheit der Roh-Schätzungen oder auf Benutzerstudien mit dem Gesamtsystem, vernachlässigen aber die Auswahllogik selbst. Es fehlt eine Metrik, die bewertet, ob eine Menge von Beispielen geeignet ist, eine Erklärung zu liefern, ohne das Modell neu trainieren zu müssen.

2. Methodik

Die Autoren schlagen einen neuen, neutrainingsfreien Ansatz zur Bewertung der Qualität von Beispielauswahlen vor.

A. Selektions-Relevanz-Score ( $\xi_{SR}$ )

Der Kern der Methodik ist ein Score, der die Relevanz einer ausgewählten Menge von Trainingsbeispielen für eine Testinstanz quantifiziert.

Prinzip: Das Problem wird als Rekonstruktionsaufgabe formuliert. Die Idee ist, dass die Gradienten der ausgewählten Trainingsbeispiele den Gradienten der Testinstanz (der den Verlust bezüglich der Vorhersage darstellt) gut rekonstruieren sollten.
Mathematische Formulierung:
- Sei $\nabla L'$ der Gradient des Verlusts der Testinstanz.
- Sei $A$ eine Matrix der Gradienten der $k$ ausgewählten Trainingsbeispiele.
- Gesucht sind Koeffizienten $t$ , sodass $\hat{\nabla} L' = A t$ den tatsächlichen Gradienten bestmöglich approximiert.
- Der Score $\xi_{SR}$ ist das Verhältnis des erwarteten quadratischen Gradientennorms zum erwarteten quadratischen Rekonstruktionsfehler:
  $\xi_{SR} = \frac{E[\|G(\omega)\|^2]}{E[\|G(\omega) - A t_\omega\|^2]}$
- Interpretation: Werte $> 0$ dB ( $\xi_{SR} > 1$ ) deuten auf informative, nicht-redundante Informationen hin. Werte $< 0$ dB bedeuten, dass die Auswahl schlechter ist als eine triviale Null-Approximation.
Einschränkungen: Die Koeffizienten $t$ werden unter Nicht-Negativität und Summen-Normierung ( $\sum t = 1$ ) optimiert, um sicherzustellen, dass die Beispiele konsistent zur Vorhersage beitragen (keine gegenseitige Aufhebung irrelevanter Beispiele).

B. Validierung durch Feinabstimmung (Fine-Tuning)

Um den neuen Score zu validieren, vergleichen die Autoren ihn mit zwei metrikbasierten Ansätzen, die auf einem Schritt Feinabstimmung basieren:

$\xi_+$ (Prediction Support): Misst, ob das Feinabstimmen auf den ausgewählten Beispielen die Wahrscheinlichkeit der ursprünglichen Vorhersage erhöht, verglichen mit einem zufälligen Subset.
$\xi_{JSD}$ (Prediction Shift): Misst die Jensen-Shannon-Divergenz der Verteilung vor und nach dem Feinabstimmen.

C. Auswahlstrategien

Die Studie vergleicht verschiedene Strategien:

Naive Strategien: Auswahl der meisten/nützlichsten/schädlichsten Beispiele basierend auf den Roh-Scores.
Diversitätsbasierte Strategien: DIVINE und AIDE (versuchen, Vielfalt und Einfluss zu balancieren).
Neue Strategie (Facility Location): Eine Optimierungsmethode, die Abdeckung (Coverage) und Einfluss balanciert. Sie formuliert die Auswahl als Facility-Location-Problem, bei dem ein Parameter $\lambda$ steuert, wie stark die Redundanz (Abdeckung im Gradientenraum) gegenüber dem reinen Einfluss gewichtet wird.

3. Wichtige Beiträge

Einführung des Selection Relevance Score ( $\xi_{SR}$ ): Eine retraining-freie Metrik, die die Nützlichkeit einer Kombination von Beispielen für Erklärungen bewertet, anstatt nur einzelne Beispiele isoliert zu betrachten.
Benchmarking: Umfassende Evaluierung von 3 Einfluss-Schätzmethoden (DataInf, LESS, BM25) und 4 Auswahlstrategien über verschiedene Modelle (Olmo2, Llama 3.2, Qwen 2.5) und Budgets ( $k=1, 5, 10, 25$ ).
Neue Auswahlstrategie: Entwicklung einer Strategie, die Einfluss und Repräsentativität (Abdeckung) balanciert, um kleine Auswahlbudgets effektiver zu nutzen als das bloße Wählen der Top-Ranking-Beispiele.

4. Ergebnisse

Naive Auswahl ist oft schlecht: Die häufigste Strategie, die "am meisten einflussreichen" Beispiele auszuwählen, performt in den meisten Fällen schlechter als eine zufällige Auswahl (oft negative dB-Werte). Dies liegt daran, dass diese Beispiele oft globale Ausreißer sind, die für die spezifische Testinstanz nicht repräsentativ sind.
Geringer Einfluss ist oft besser: Überraschenderweise schneiden Strategien, die die am wenigsten einflussreichen Beispiele auswählen, oft besser ab (höhere $\xi_{SR}$ ), da diese Beispiele typischer und redundanter sind und das Entfernen derselben das Modell weniger von seiner ursprünglichen Vorhersage abweichen lässt.
Verbesserung durch Abdeckung: Die neue Facility-Location-Strategie verbessert die Selektionsrelevanz signifikant im Vergleich zur naiven Auswahl, insbesondere bei Gradienten-basierten Schätzern (DataInf, LESS).
Validierung: Der $\xi_{SR}$ -Score korreliert stark mit dem Erfolg des Feinabstimmens, aber nur für Auswahlen mit einem Score $> 0$ dB. Das bedeutet: Nur wenn die Auswahl eine hohe Relevanz aufweist, führt das Feinabstimmen auf diesen Daten zu einer stabilen Unterstützung der Vorhersage.
BM25 vs. Gradienten: BM25 (Token-Überlappung) liefert oft bessere Ergebnisse als Gradienten-basierte Methoden, was darauf hindeutet, dass semantische Ähnlichkeit (Token-Overlap) in diesem Kontext relevanter sein kann als die komplexe Gradienten-Nähe, die oft Ausreißer bevorzugt.

5. Bedeutung und Fazit

Paradigmenwechsel: Die Arbeit zeigt, dass die Auswahlstrategie genauso wichtig ist wie die Genauigkeit der Einfluss-Schätzung selbst. Eine falsche Auswahlstrategie kann selbst bei perfekten Schätzungen zu schlechten Erklärungen führen.
Praxisrelevanz: Für die Entwicklung von XAI-Systemen (Explainable AI) für LLMs ist es entscheidend, nicht nur die "stärksten" Beispiele zu zeigen, sondern eine diverse und repräsentative Menge zu wählen, die die Trainingsdynamik des Modells für die spezifische Vorhersage widerspiegelt.
Zukünftige Arbeit: Die Autoren betonen, dass der Score zwar eine notwendige Bedingung für gute Erklärungen ist, aber nicht ausreicht, um die "Glaubwürdigkeit" (Faithfulness) allein zu garantieren. Zukünftige Forschung sollte sich auf die Kombination aus Selektionsrelevanz und menschlicher Bewertung der Erklärungsqualität konzentrieren.

Zusammenfassend liefert das Paper ein robustes, retraining-freies Werkzeug, um zu messen, ob eine Auswahl von Trainingsdaten tatsächlich geeignet ist, eine Modellvorhersage zu erklären, und widerlegt die intuitive Annahme, dass die "einflussreichsten" Daten automatisch die besten Erklärungsbeispiele sind.