💬 NLP

Prompt-Counterfactual Explanations for Generative AI System Behavior

Dieses Paper schlägt ein neuartiges Framework und einen Algorithmus zur Generierung von Prompt-Counterfactual Explanations (PCEs) vor, um zu interpretieren, wie spezifische Input-Prompts die Merkmale der Ausgaben generativer KI beeinflussen, wodurch ein effektiveres Prompt Engineering, Red-Teaming und die Einhaltung regulatorischer Anforderungen ermöglicht werden.

Ursprüngliche Autoren: Sofie Goethals, Foster Provost, João Sedoc

Veröffentlicht 2026-01-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sofie Goethals, Foster Provost, João Sedoc

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr talentierten, aber etwas unberechenbaren kreativen Assistenten. Sie geben ihm ein Prompt (eine Anweisung), und er schreibt eine Geschichte, eine E-Mail oder einen Artikel. Manchmal ist das Ergebnis perfekt. Ein anderes Mal kann es passieren, dass er versehentlich zu wütend, zu politisch klingt oder sogar etwas Unhöfliches sagt.

Die große Frage ist: Warum hat er das getan? War es die Art und Weise, wie Sie gefragt haben? War es ein bestimmtes Wort, das Sie verwendet haben? Oder war es einfach ein Zufall?

Dieses Paper stellt ein neues Werkzeug namens Prompt-Counterfactual Explanations (PCEs) vor, um diese Frage zu beantworten. Betrachten Sie es als eine „Was wäre wenn?“-Maschine für Ihre Prompts.

Das Problem: Die „Black Box“ und der „Würfelwurf“

Normalerweise, wenn wir versuchen zu erklären, warum eine KI eine Entscheidung getroffen hat, schauen wir uns einen einfachen Input an (wie „Einkommen: 50k $“) und einen einfachen Output (wie „Kredit abgelehnt“). Wir können sagen: „Wenn Ihr Einkommen 60k $ gewesen wäre, wären Sie genehmigt worden.“

Aber Generative KI (wie die Chatbots, die Sie kennen) ist anders.

Es ist kein einfacher Schalter: Sie schreibt nicht nur „Ja“ oder „Nein“, sondern ganze Absätze.
Es ist ein Würfelwurf: Selbst wenn Sie exakt dieselbe Frage zweimal stellen, kann die KI Ihnen zwei leicht unterschiedliche Antworten geben. Die eine könnte höflich sein, die andere vielleicht griesgrämig.

Aus diesem Grund funktionieren alte Erklärungsmodelle nicht. Man kann nicht einfach sagen: „Wenn Sie dieses Wort entfernen, wird sich die Antwort bestimmt ändern“, denn die KI könnte die Antwort trotzdem allein durch Zufall ändern.

Die Lösung: „Der Koch und der Geschmackstester“

Die Autoren schlagen einen neuen Weg vor, dies zu betrachten. Stellen Sie sich vor, die KI ist ein Koch und es steht ein Geschmackstester (ein Klassifikator) direkt neben ihm.

Der Koch (Die KI): Sie geben dem Koch ein Rezept (den Prompt). Der Koch kocht ein Gericht (den Output).
Der Geschmackstester: Der Geschmackstester probiert das Gericht und gibt ihm eine Bewertung. Ist es zu scharf? Ist es zu politisch? Ist es toxisch?
Das Experiment: Der Koch kocht dasselbe Rezept 100 Mal. Manchmal ist das Essen scharf, manchmal nicht. Der Geschmackstester vergibt eine Durchschnittsbewertung.

Nun tritt das PCE-Werkzeug ein. Es fragt: „Was wäre, wenn wir das Wort ‚scharf‘ aus dem Rezept entfernen würden?“

Es lässt den Koch das neue Rezept 100 Mal kochen.

Szenario A: Die Mahlzeiten sind immer noch scharf. Okay, das Entfernen dieses Wortes hat nicht geholfen.
Szenario B: Die Mahlzeiten sind nun mild. Erfolg! Das Werkzeug hat festgestellt, dass das Wort „scharf“ der Hauptverursacher war.

Dieser Prozess wird für verschiedene Wörter oder Sätze in Ihrem Prompt wiederholt, bis das Werkzeug den minimalen Satz an Änderungen findet, die nötig sind, um zu verhindern, dass die KI einen „schlechten“ Output (wie Toxizität oder Voreingenommenheit) produziert.

Was sie herausgefunden haben (Die Fallstudien)

Das Paper testete diese Idee in drei realen Szenarien:

1. Der Test auf politische Voreingenommenheit (Political Bias Test)

Das Setup: Sie baten die KI, Nachrichtenberichte basierend auf Schlagzeilen zu schreiben.
Das Ergebnis: Sie fanden heraus, dass spezifische Wörter in den Schlagzeilen (wie „Netanyahu“ oder „Trump“) die KI oft dazu brachten, Berichte zu schreiben, die stark nach rechts politisch tendierten.
Die Magie: Als sie diese spezifischen Wörter durch Synonyme ersetzten (z. B. „lawsuit“ zu „legal case“ ändern), wurden die Berichte der KI viel neutraler. Es bewies, dass die Wortwahl im Prompt die Voreingenommenheit vorantrieb, nicht nur das interne Gehirn der KI.

2. Der Toxizitäts-Test (The Toxicity Test)

Das Setup: Sie versuchten, Prompts zu finden, die die KI dazu bringen, unhöfliche oder hasserfüllte Dinge zu sagen.
Das Ergebnis: Selbst bei sehr sicheren Prompts unterlief der KI gelegentlich ein Fehler. Das PCE-Werkzeug identifizierte die winzigen, spezifischen Wörter, die die KI in Richtung Toxizität drängten.
Die Magie: Dies hilft „Red Teamern“ (Menschen, die versuchen, das System zu brechen, um Schwachstellen zu finden). Anstatt wahllos Wörter zu raten, um die KI zu manipulieren, können sie das PCE-Werkzeug nutzen, um die exakten „Schwachstellen“ in der Sprache zu finden, die dazu führen, dass die KI versagt, was das System sicherer macht.

3. Der Sentiment-Test (The Sentiment Test)

Das Setup: Sie baten die KI, Geschichten basierend auf langen, komplexen Prompts zu schreiben.
Das Ergebnis: Manchmal schrieb die KI sehr traurige oder wütende Geschichten.
Die Magie: Das Werkzeug betrachtete nicht nur einzelne Wörter, sondern ganze Sätze. Es fand heraus, dass das Entfernen von nur einem oder zwei spezifischen Sätzen aus dem Prompt eine traurige Geschichte in eine glückliche verwandelte. Dies zeigte, dass das Werkzeug komplexe, lange Anweisungen handhaben kann, nicht nur kurze Phrasen.

Warum das wichtig ist

Das Paper argumentiert, dass wir diesen KI-Systemen nicht einfach blind vertrauen können. Wir müssen wissen, warum sie sich auf eine bestimmte Weise verhalten.

Für Entwickler: Es ist wie ein Debugging-Tool. Wenn die KI unhöflich ist, müssen Sie nicht raten; Sie können genau sehen, welches Wort in Ihrem Prompt dies verursacht hat.
Für die Sicherheit: Es hilft Organisationen, ihre KI zu „stresstesten“, um sicherzustellen, dass sie nicht versehentlich etwas Schädliches sagt.
Für die Kontrolle: Es gibt Menschen eine Möglichkeit, die KI zu „steuern“, indem sie den Prompt feinjustieren, um sicherzustellen, dass der Output innerhalb sicherer und gewünschter Grenzen bleibt.

Kurz gesagt: Dieses Paper gibt uns eine Lupe, mit der wir das „Rezept“ betrachten können, das wir der KI geben, um genau zu verstehen, welche Zutaten das Gericht schlecht schmecken lassen, damit wir das Rezept korrigieren können, bevor wir es servieren.

Technisches Resümee: Prompt-Counterfactual Explanations für das Verhalten von Generativer KI-Systemen

Problemstellung

Da generative KI-Systeme, insbesondere Large Language Models (LLMs), verstärkt in hochsensiblen Echtzeit-Anwendungen integriert werden, besteht ein kritischer Bedarf daran, nicht nur zu verstehen, was diese Systeme generieren, sondern auch warum. Traditionelle Methoden der erklärbaren KI (Explainable AI, XAI), speziell kontrafaktische Erklärungen (Counterfactual Explanations, CFEs), sind für prädiktive Systeme konzipiert, die diskrete, deterministische Entscheidungen treffen. Die direkte Anwendung auf generative KI ist jedoch aufgrund von vier grundlegenden Herausforderungen nicht praktikabel:

Komplexität des Outputs: Generative Outputs sind komplex, unstrukturiert und hochdimensional (z. B. ganze Dokumente), im Gegensatz zu den eindimensionalen, diskreten Outputs traditioneller Klassifikatoren.
Struktur des Inputs: Standard-CFE-Methoden behandeln Inputs oft als ungeordnete Feature-Sets (z. B. Bag-of-Words) und ignorieren dabei die sequentielle und linguistische Struktur, die für LLMs entscheidend ist.
Ersetzungsstrategie: Die Definition effektiver „Kontrafaktika“ erfordert flexible Strategien zur Modifikation von Input-„Teilen“ (z. B. Maskierung, Synonym-Ersetzung), die je nach Kontext variieren.
Nicht-Determinismus: Generative KI ist stochastisch; identische Prompts können unterschiedliche Outputs liefern. Traditionelle CFEs setzen eine deterministische Abbildung von Input zu Output voraus, was die Frage „Welche Änderung verändert den Output?“ ohne einen probabilistischen Rahmen schwer definierbar macht.

Die Arbeit konzentriert sich auf eine spezifische Unterklasse generativer KI-Verhaltensweisen: ob der Output ein bestimmtes Merkmal aufweist (z. B. Toxizität, politische Voreingenommenheit, negative Stimmung), wie es durch einen nachgeschalteten Klassifikator (Downstream Classifier) offenbart wird. Das Ziel ist es, minimale Änderungen am Input-Prompt zu identifizieren, die die Wahrscheinlichkeit oder den aggregierten Score dieses Merkmals verändern.

Methodik: Das PCE-Framework

Die Autoren schlagen ein Framework für Prompt-Counterfactual Explanations (PCEs) vor, das CFEs an nicht-deterministische generative Systeme anpasst.

Kernkonzept

Das Framework behandelt das generative KI-System und den nachgeschalteten Klassifikator als eine einzige Pipeline. Ein PCE wird als eine minimale Menge von Input-Elementen (Wörter, Phrasen oder Sätze) definiert, deren Entfernung oder Modifikation dazu führt, dass der aggregierte Score des nachgeschalteten Klassifikators unter einen benutzerdefinierten Schwellenwert fällt.

Der PCE-1 Algorithmus

Das Paper führt einen einfachen Algorithmus (PCE-1) zur Generierung dieser Erklärungen ein:

Initiales Scoring: Der ursprüngliche Prompt $S$ wird an das generative Modell $G$ übergeben, um $N$ Samples zu erzeugen. Ein nachgeschalteter Klassifikator $C_m$ evaluiert diese Samples, und eine Aggregationsfunktion $f_{Cm}$ berechnet einen Score (z. B. mittlere Stimmung, Anteil toxischer Outputs). Wenn dieser Score einen Schwellenwert überschreitet, wird der Prozess fortgesetzt.
Element-basierte Sensitivität: Der Algorithmus iteriert durch die Elemente des Prompts (z. B. Wörter). Für jedes Element $e_i$ erstellt er einen modifizierten Prompt $S \setminus e_i$ (typischerweise durch Maskierung des Elements mit Unterstrichen) und führt den Generierungs- und Klassifizierungsprozess erneut aus.
Konstruktion der Erklärung:
- Einzelne Elemente: Wenn das Maskieren eines einzelnen Elements den aggregierten Score unter den Schwellenwert senkt, wird dies als Single-Element-Erklärung aufgezeichnet.
- Multi-Element-Teilmengen: Der Algorithmus konstruiert Teilmengen von Elementen, die noch nicht als Single-Element-Erklärungen identifiziert wurden. Er sortiert diese nach Kardinalität (bevorzugt kleinere Mengen) und Score-Auswirkung. Er testet Teilmengen, um zu sehen, ob deren Entfernung den Score unter den Schwellenwert reduziert.
- Terminierung: Die Suche stoppt, wenn eine Zielanzahl an Erklärungen gefunden wurde oder ein Zeitlimit erreicht ist.

Das Framework ist flexibel hinsichtlich der Definition des aggregierten Scores (Mittelwert, Median, Wahrscheinlichkeit extremer Ereignisse) und des Schwellenwerts, was es ermöglicht, sich an unterschiedliche Risikoprofile anzupassen (z. B. Minimierung der durchschnittlichen Toxizität vs. Sicherstellung von Null toxischen Outputs).

Zentrale Beiträge

Systematische Anpassung: Dies ist die erste systematische Anpassung von Standard-Counterfactual Explanations an generative KI-Systeme mit nachgeschalteten Klassifikatoren.
Lösung von Herausforderungen: Das Paper skizziert explizit die vier Herausforderungen bei der Anwendung von CFEs auf generative KI und schlägt ein Framework vor, das jedem dieser Punkte gerecht wird (über den nachgeschalteten Klassifizierungs-Workflow, flexible Input-Einheiten, Maskierungsstrategien und probabilistisches Scoring).
Algorithmische Implementierung: Die Präsentation des PCE-1 Algorithmus als ein Proof-of-Concept-Verfahren zur Generierung von Prompt-Kontrafaktika.
Empirische Validierung: Demonstration der PCE-Produktion anhand von drei unterschiedlichen Fallstudien mit verschiedenen Output-Charakteristika und Datenverteilungen.

Ergebnisse: Drei Fallstudien

Die Autoren evaluierten das Framework unter Verwendung von LLaMA 3.1-8B und OLMo-2-0425-1B über drei Domänen hinweg:

1. Detektion politischer Ausrichtung (Political Leaning Detection)

Setup: LLMs generierten Nachrichten aus Schlagzeilen; ein Klassifikator bestimmte die politische Ausrichtung (Links/Zentrum/Rechts).
Ergebnisse: PCEs identifizierten spezifische Wörter in Schlagzeilen (z. B. „Netanyahu“, „IMF“, „Trump“), die, wenn sie maskiert wurden, die Wahrscheinlichkeit eines rechtsgerichteten Outputs signifikant reduzierten.
Generalisierbarkeit: Schlagzeilen, die die von PCE identifizierten Top-20-Wörter enthielten, wiesen eine signifikant höhere Wahrscheinlichkeit auf, einen voreingenommenen Output zu generieren (49,8 %) im Vergleich zu zufälligen Schlagzeilen (38,3 %).
Anwendung: Das Ersetzen dieser identifizierten Wörter durch Synonyme im Prozess des Prompt Engineerings reduzierte den rechtsgerichteten Score von 0,498 auf 0,314, was die Nützlichkeit von PCEs für ein bewusstes Prompt Engineering hinsichtlich Bias demonstriert.

2. Toxizitätsvorhersage (Toxicity Prediction)

Setup: Unter Verwendung des RealToxicityPrompts Datensatzes konzentrierte sich die Studie auf seltene toxische Generationen.
Ergebnisse: PCEs identifizierten spezifische Trigger-Wörter (z. B. „Confederate“, „Bannon“), die, wenn sie maskiert wurden, die Häufigkeit toxischer Outputs reduzierten.
Anwendung (Red-Teaming): Die Generierung neuer Prompts unter Verwendung von aus PCEs extrahierten Wörtern führte zu einer höheren Rate toxischer Outputs (3,0 %) im Vergleich zu einer zufälligen Wortwahl (2,3 %), was darauf hindeutet, dass PCEs als effektive Inspirationsquellen für Red-Teaming und die Entdeckung von Schwachstellen dienen können.

3. Sentiment-Klassifizierung

Setup: LLMs generierten Geschichten aus Langform-Prompts; das Ziel war es, negative Stimmung zu reduzieren.
Ergebnisse: Das Framework identifizierte erfolgreich spezifische Sätze innerhalb langer Prompts, die negative Stimmung vorantrieben. Das Maskieren dieser Sätze reduzierte die durchschnittliche negative Sentiment-Bewertung oft auf nahezu Null.
Anwendung: Das Paraphrasieren der durch PCEs identifizierten spezifischen Sätze (anstatt zufälliger Sätze) führte zu einer größeren Reduktion der negativen Stimmung (0,28 vs. 0,31 bei zufälligem Paraphrasieren), was die Präzision der Erklärungen validiert.

Bedeutung und Ansprüche

Das Paper positioniert PCEs als einen grundlegenden Schritt in Richtung einer prompt-fokussierten Interpretierbarkeit für generative KI. Die Autoren behaupten:

PCEs bieten eine notwendige Fähigkeit für Transparenz und Rechenschaftspflicht, wenn diese Modelle in hochsensiblen Aufgaben eingesetzt werden.
Sie bieten ein praktisches Werkzeug für das Prompt Engineering, das es Entwicklern ermöglicht, unerwünschte Output-Charakteristika zu unterdrücken, indem sie die kausale Verbindung zwischen spezifischen Prompt-Elementen und dem Modellverhalten verstehen.
Sie verbessern Red-Teaming-Bemühungen, indem sie spezifische Input-Features lokalisieren, die schädliche Verhaltensweisen triggern, was ein gezielteres Stress-Testing ermöglicht.
Entscheidend ist, dass die Arbeit zwischen technischer Korrektheit (Identifizierung von Input-Elementen, die Output-Charakteristika kausal beeinflussen) und kontextueller Nützlichkeit (wie Stakeholder diese Information nutzen) unterscheidet. Das Paper etabliert erstere als Voraussetzung für letztere.

Die Autoren räumen Einschränkungen ein und merken an, dass PCEs möglicherweise daran scheitern könnten, Biases zu erklären, die in den Trainingsdaten des Modells inhärent sind und unabhängig von Prompt-Änderungen bestehen bleiben; zudem kann der Rechenaufwand für die Generierung von PCEs bei großen Prompts hoch sein. Sie schlagen zukünftige Arbeiten zur Optimierung der Sucheffizienz und zur Erweiterung des Frameworks auf andere Modalitäten (Bild, Audio) sowie personalisierte LLM-Kontexte vor.