🤖 machine learning

Actions Have Consequences: Detecting Outcome Performativity using Intervention Testing

Dieses Paper führt die Outcome Performativity A/B Detection (OPAB) ein, ein formales Framework, das Interventionstests nutzt, um zu erkennen, wann Vorhersagen ihre eigenen Ergebnisse kausal beeinflussen, während es Komplexitätsschranken für Stichproben herleitet und validiert, um jene Einstellungen zu identifizieren, in denen eine solche Detektion aufgrund von Datenbeschränkungen machbar oder unmöglich ist.

Ursprüngliche Autoren: Brandon Gower-Winter, Georg Krempl

Veröffentlicht 2026-07-30

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Brandon Gower-Winter, Georg Krempl

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Wettervorhersager. Normalerweise schauen Sie nur in die Wolken und sagen: „Es wird regnen.“ Ihre Vorhersage ändert das Wetter nicht; der Himmel macht, was er will, ungeachtet dessen, was Sie sagen. Aber was wäre, wenn Ihre Vorhersage das Wetter verändern könnte? Was wäre, wenn sich in dem Moment, in dem Sie dem Publikum „Regen!“ zuriefen, die Wolken zusammenzogen, weil die Menschen anfingen, Regenschirme aufzuspannen, und sich der Wind drehte? In der Welt der Künstlichen Intelligenz ist dieses seltsame Phänomen real. Es wird Outcome Performativity (Ergebnis-Performativität) genannt. Es geschieht, wenn die Vermutung eines Computers über die Zukunft tatsächlich dabei hilft, genau diese Zukunft zu erschaffen. Denken Sie an die KI einer Bank, die vorhersagt, wer bei einem Kredit ausfallen wird. Wenn die KI sagt: „Diese Person ist riskant“, und die Bank ihr deshalb den Kredit verweigert, kann es sein, dass diese Person genau weil ihnen das Geld verweigert wurde, bankrott geht. Die Vorhersage hat das Ergebnis verursacht.

Dies ist ein schwieriges Problem für Wissenschaftler, da es eine Rückkopplungsschleife erzeugt. Wenn eine KI aus Daten lernt, in denen ihre eigenen Vorhersagen die Ergebnisse verändert haben, könnte sie verwirrt werden und denken, sie sei ein Genie, während sie in Wirklichkeit nur eine selbstbestätigende Prophezeiung ist. Die große Frage lautet: Wie können wir dieses Verhalten aufspüren, bevor wir die KI in der realen Welt loslassen? Wir brauchen eine Methode, um zu testen, ob unsere Vorhersagen heimlich die Fäden ziehen. Hier kommt eine neue Methode namens OPAB (Outcome Performativity A/B Detection) ins Spiel, die wie ein wissenschaftlicher Detektiv fungiert, um zu sehen, ob die KI heimlich das Spiel kontrolliert.

Das Werkzeug des Detektivs: OPAB

Das Paper stellt eine Methode namens OPAB vor, die im Wesentlichen ein „Was-wäre-wenn“-Experiment für KI-Vorhersagen ist. Um zu verstehen, wie sie funktioniert, stellen Sie sich vor, Sie leiten eine Schulkantine. Sie möchten wissen, ob die Aussage gegenüber den Schülern „Die Pizza ist schlecht“ tatsächlich dazu führt, dass sie weniger Pizza essen.

In einem normalen Experiment würden Sie die Schüler vielleicht einfach fragen, was sie von der Pizza halten, und dann beobachten, wie viel sie davon essen. Aber das wäre fehlerhaft, denn die Schüler, die denken, dass die Pizza schlecht ist, könnten bereits wählerische Esser sein. Die Vorhersage (ihre Meinung) und das Ergebnis (das Essen) sind miteinander verflochten.

OPAB entwirrt diesen Knoten durch eine Technik namens Intervention Testing (Interventionstest). Anstatt die Schüler entscheiden zu lassen, was sie denken, wirft der Kantinenleiter für jeden Schüler eine Münze. Kopf, Sie sagen ihnen: „Die Pizza ist fantastisch!“ Zahl, Sie sagen ihnen: „Die Pizza ist schrecklich!“ Sie erzwingen die Vorhersage und ignorieren dabei völlig, was der Schüler tatsächlich denkt oder wer er ist. Dann beobachten Sie, was passiert. Wenn die Gruppe, der gesagt wurde „Die Pizza ist fantastisch“, signifikant mehr isst als die Gruppe, der gesagt wurde „Die Pizza ist schrecklich“, dann haben Sie die KI (oder den Kantinenleiterer) bei der Tat der Outcome Performativity ertappt. Die Vorhersage hat die Verhaltensänderung verursacht.

Die Regeln des Spiels: Wann können wir es aufspüren?

Die Autoren haben nicht nur den Detektor gebaut; sie haben auch herausgefunden, wie viele Schüler (oder Datenpunkte) man benötigt, um dieses Experiment durchzuführen, um sicher zu sein, dass man nicht nur eine Eintagsfliege sieht. Sie nennen dies Sample Complexity (Stichprobenkomplexität).

Denken Sie an den Versuch, ein Flüstern in einem lauten Raum zu hören. Wenn das Flüstern sehr laut ist (ein starker Effekt), benötigen Sie nur wenige Leute, um es zu hören. Aber wenn das Flüstern kaum hörbar ist (ein winziger Effekt), müssen Sie vielleicht ein ganzes Stadion voller Menschen haben, um sicher zu sein, dass Sie es gehört und es sich nicht nur eingebildet haben.

Das Paper untersucht drei verschiedene „Szenarien“ oder Regeln dafür, wie die KI die Welt beeinflussen könnte:

Die einfache Regel: Die Vorhersage ändert das Ergebnis direkt, wie ein magischer Schalter.
Die Modell-Regel: Die Vorhersage ändert das Ergebnis basierend auf den spezifischen Details der Person (wie ihrem Alter oder Standort).
Die Fehler-Regel: Die Vorhersage ändert das Ergebnis nur, wenn die KI einen Fehler macht (wie etwa einer gesunden Person zu sagen, sie sei krank).

Für jedes dieser Szenarien haben die Autoren mathematische Formeln hergeleitet, um die Mindestanzahl an „Münzwürfen“ (Interventionen) zu berechnen. Sie fanden heraus, dass die Anzahl der Menschen, die man testen muss, gegen Unendlich strebt, wenn der Effekt sehr klein ist. Dies schafft das, was sie Regions of Indistinguishability (Regionen der Ununterscheidbarkeit) nennen. Dies sind Einstellungen, in denen der Effekt so subtil ist oder die Kosten des Testens so hoch sind, dass es praktisch unmöglich ist, festzustellen, ob die KI performativ handelt oder nicht. Es ist wie der Versuch, ein Stecknadelgeräusch in einem Hurrikan zu hören; egal wie viele Menschen man fragt, man kann nicht sicher sein.

Der Praxistest: Der Modeshop

Um zu sehen, ob ihre Theorie standhält, haben die Autoren OPAB mit einem echten Datensatz einer Mode-Website namens ZOZOTOWN getestet. Dieser Datensatz verfolgte, welche Kleidungsstücke Nutzern gezeigt wurden und ob diese darauf klickten. Entscheidend war, dass für einige Nutzer die Position des Artikels (links, Mitte oder rechts) zufällig gewählt wurde, genau wie bei dem Münzwurf in unserer Kantinen-Geschichte.

Sie teilten die Daten in Männer und Frauen auf. Als sie OPAB auf die Daten der Männer anwandten, schlug der Detektor an: Die Position des Artikels änderte tatsächlich, ob die Leute klickten (Outcome Performativity). Doch als sie die Daten der Frauen testeten, blieb der Detektor stumm. Dies deutet darauf hin, dass die Reihenfolge der Artikel für Frauen keine Rolle spielte, für Männer jedoch schon. Dies beweist, dass OPAB diese verborgenen Einflüsse in der realen Welt aufspüren kann.

Die Grenzen und die Zukunft

Das Paper weist vorsichtig darauf hin, dass dies kein Allheilmittel ist, das alles löst. Die Methode funktioniert am besten, wenn man über genügend Daten verfügt. Wenn der Effekt winzig ist oder die Daten sehr unausgewogen sind (wie zum Beispiel viel mehr Klicks auf ein bestimmtes Produkt als auf andere), könnte der Detektor es übersehen. Die Autoren merken auch an, dass es sich hierbei um ein Offline-Werkzeug handelt, was bedeutet, dass es am besten vor dem Start eines neuen KI-Systems während der Testphase eingesetzt werden sollte, anstatt zu versuchen, es zu korrigieren, wenn es bereits läuft.

Sie verglichen ihre Methode mit einer älteren Online-Methode, die abwartet, bis die KI läuft, und dann prüft, ob sich die Ergebnisse geändert haben. Sie fanden heraus, dass ihre „Münzwurf“-Methode (OPAB) wesentlich effizienter und zuverlässiger war und das Problem mit weitaus weniger Datenpunkten aufspürte.

Am Ende gibt uns dieses Paper einen Weg, hinter den Vorhang zu blicken. Es zeigt uns, dass wir zwar nicht immer jeden subtilen Einfluss aufspüren können, den eine KI haben mag, aber dass wir eine mathematische Landkarte besitzen, die uns genau zeigt, wo die Gefahrenzonen liegen und wie viele Daten wir benötigen, um sicher zu sein. Es ist ein entscheidender Schritt, um sicherzustellen, dass unsere KI-Werkzeuge uns helfen, anstatt uns versehentlich dazu zu bringen, genau die Probleme zu erschaffen, die sie eigentlich lösen sollten.

Technisches Resümee: Detektion von Outcome Performativity mittels Interventionsprüfung

Problemdefinition

In vielen kritischen Bereichen wie der Palliativmedizin, der Kreditvergabe oder Empfehlungssystemen können die von Machine-Learning-Modellen (ML) generierten Vorhersagen die Ergebnisse, die sie eigentlich vorhersagen sollen, kausal beeinflussen. Dieses Phänomen, bekannt als Outcome Performativity (Ergebnis-Performativität), tritt auf, wenn das realisierte Ergebnis $Y$ eines Instanz $X$ nicht nur von den Merkmalen $X$ , sondern auch von der dieser Instanz zugewiesenen Vorhersage $\hat{Y}$ abhängt. Beispielsweise kann die Zuweisung hoher Zinssätze an Hochrisiko-Schuldner die Wahrscheinlichkeit eines Zahlungsausfalls erhöhen, oder die Zuweisung von Palliativpflege anstelle von kurativer Pflege kann das Überleben eines Patienten beeinflussen.

Während die bestehende Forschung zu Performative Prediction davon ausgeht, dass das Vorhandensein solcher Rückkopplungsschleifen a priori bekannt ist, adressiert dieses Paper die Lücke bei der Detektion von Outcome Performatity, insbesondere in Offline-Settings (während der Datenerhebung oder vor der Modellbereitstellung). Unentdeckte Performativität kann dazu führen, dass Modelle Bias verstärken oder unter Leistungsabfall leiden. Aktuelle Online-Methoden zur Identifizierung dieser Effekte existieren, aber es gibt begrenzte Arbeiten zur Identifizierung dieser Effekte offline, was aus ethischen und finanziellen Gründen vor der Bereitstellung eines Modells entscheidend ist.

Methodik: Outcome Performativity A/B Detection (OPAB)

Die Autoren schlagen die Outcome Performativity A/B Detection (OPAB) vor, eine Offline-Interventionstestmethode, die von Randomisierten Kontrollstudien (RCTs) und A/B-Tests inspiriert ist.

Kernmechanismus

Ein Standard-Hypothesentest, der die Verteilungen der Ergebnisse unter der Bedingung der Klassifikator-Vorhersagen vergleicht ( $P(Y|\hat{Y}=0)$ vs. $P(Y|\hat{Y}=1)$ ), ist unzureichend, da die Vorhersagen $\hat{Y}$ selbst von den Merkmalen $X$ abhängen, was konfundierende Variablen erzeugt. Um diese Abhängigkeit zu durchbrechen, führt OPAB eine do-Intervention auf die Vorhersagen durch.

Zufällige Zuweisung: Anstatt einen trainierten Prädiktor $\phi(X)$ zu verwenden, weist OPAB Instanzen $X$ mit gleicher Wahrscheinlichkeit zufällig Vorhersagen $\hat{y} \in \{0, 1\}$ zu (Bernoulli(0.5)). Dies entkoppelt $\hat{Y}$ von $X$ .
Beobachtung: Das System beobachtet die resultierenden Ergebnisse $Y$ für diese zufällig zugewiesenen Vorhersagen.
Hypothesentest: OPAB testet statistisch die Unähnlichkeit zwischen den Ergebnisverteilungen der beiden Interventionsgruppen:
$H(P(Y | \text{do}(\hat{Y}=0)), P(Y | \text{do}(\hat{Y}=1))) \leq \delta$
Wenn die Verteilungen signifikant unterschiedlich sind (wobei $H$ ein Test wie der Chi-Quadrat-Test oder der exakte Test nach Fisher ist und $\delta$ der Signifikanzschwellenwert ist), wird Outcome Performativity detektiert.

Annahmeklassen

Das Paper leitet Stichprobenkomplexitätsgrenzen (die minimale Anzahl an Interventionen $N$ , die erforderlich ist) unter drei verschiedenen Annahmeklassen von Outcome Performativity ab:

Einfache Outcome Performativity: Die Wahrscheinlichkeit des Ergebnisses hängt nur von der Vorhersage $\hat{y}$ ab, wobei der Merkmalsraum $X$ abstrahiert wird.
Modellbasierte Outcome Performatity: Das Ergebnis hängt von der Position der Instanz im Merkmalsraum und der Vorhersage ab, modelliert als linearer Shift im Merkmalsraum basierend auf Vorhersagegewichten.
Fehlklassifikationsbasierte Outcome Performatity: Outcome Performatity tritt nur auf, wenn die Vorhersage $\hat{y}$ nicht mit einem "erwünschten" Ergebnis $\bar{y}$ übereinstimmt. Die Wahrscheinlichkeit, dass das gewünschte Ergebnis trotz Fehlklassifikation realisiert wird, wird durch die Parameter $\gamma_0$ und $\gamma_1$ gesteuert.

Wichtigste Beiträge

Formalisierung der Offline-Detektion: Das Paper formalisiert den Einsatz von Interventionstests (OPAB) zur Detektion von Outcome Performativity vor der Bereitstellung eines Modells, im Gegensatz zu Methoden, die ein bereitgestelltes Modell erfordern, um Rückkopplungsschleifen zu beobachten.
Stichprobenkomplexitätsgrenzen: Die Autoren leiten theoretische Grenzen für die Anzahl der Stichproben ( $N$ ) ab, die zur Detektion von Outcome Performativity für die drei Annahmeklassen erforderlich sind. Diese Grenzen zeigen, dass die Detektion zunehmend schwieriger wird (erfordert $N \to \infty$ ), wenn die Differenz in der performativen Reaktion zwischen den Vorhersagegruppen gegen Null geht.
Regionen der Ununterscheidbarkeit: Ein zentrales Konzept ist die "Region der Ununterscheidbarkeit". Dies sind Parameterstellungen, in denen die verfügbare Anzahl an Interventionen nicht ausreicht, um Outcome Performativity zuverlässig zu detektieren. Dies verdeutlicht die praktischen Einschränkungen in Szenarien, in denen Stichproben knapp, kostspielig oder ethisch eingeschränkt sind.
Empirische Validierung: Die Methode wird auf synthetischen Daten, in die Performativität implantiert wurde, über sechs reale binäre Klassifikationsdatensätze (Breast Cancer, Diabetes, Adult Census, Kickstarter, Titanic, Loan) sowie auf eine reale Fallstudie des Open Bandits Datasets (OBD) validiert.

Ergebnisse

Detektionseffizienz: OPAB detektiert Outcome Performatity erfolgreich in verschiedenen Settings. Die Detektionsraten steigen mit der Anzahl der Interventionen ( $N$ ).
Ununterscheidbarkeit: Die Experimente bestätigen die Existenz von Regionen der Ununterscheidbarkeit. Beispielsweise in der einfachen Outcome Performativity: Wenn die performativen Reaktionsparameter $\alpha_0$ und $\alpha_1$ nahezu identisch sind, scheitert selbst eine große Stichprobengröße ( $N=10.000$ ) daran, Performativity zu detektieren.
Datensatz-Spezifika:
- Im Open Bandits Dataset detektierte OPAB Outcome Performativity im "men"-Teildatensatz (wo die Platzierung von Items die Klicks beeinflusste), aber nicht im "women"-Teildatensatz.
- Klassenimbalance: Die Ergebnisse zeigen, dass die Klassenimbalance die Detektion signifikant beeinflusst. Ausgewogene Datensätze ermöglichen eine effizientere Detektion, während stark unbalancierte Datensätze (z. B. die Click-Through-Raten im OBD) exponentiell mehr Stichproben erfordern, um subtile Effekte zu detektieren.
Vergleich mit Online-Methoden: Ein Vergleich mit einer Online-Detektionsmethode (Adam Detection, basierend auf der Überwachung von Verschiebungen der True Positive Rate) zeigt, dass OPAB eine höhere und konsistentere Detektionsrate erreicht und dabei nur 10 % der Proben benötigt, die die Online-Methode benötigt. OPAB ist zudem immun gegen Concept Drift Probleme, die Online-Methoden betreffen.

Bedeutung und Behauptungen

Das Paper behauptet, dass OPAB ein praktisches, effizientes Werkzeug für Praktiker bietet, um Outcome Permentivity vor der Bereitstellung von Modellen zu identifizieren und so potenziell die Bereitstellung von Systemen zu verhindern, die unbeabsichtigt Ergebnisse schädigen oder Bias verstärken.

Die Ableitung der Stichprobenkomplexitätsgrenzen liefert eine kritische Erkenntnis: Es gibt Einstellungen, in denen die Detektion von Outcome Performativity aufgrund der prohibitiven Anzahl an erforderlichen Interventionen praktisch unmöglich ist. Dies hat erhebliche Auswirkungen auf hochsensiblen Bereichen (wie der Gesundheitsvorsorge), in denen Interventionstests unethisch oder zu teuer sein können. In solchen Fällen, wenn ein Setting in eine "Region der Ununterscheidbarkeit" fällt, müssen Praktiker möglicherweise auf nicht-interventionelle Methoden zurückgreifen (die als weniger effizient beschrieben werden) oder das Risiko einer unentdeckten Performativität akzeptieren.

Die Autoren kommen zu dem Schluss, dass OPAB zwar effektiv ist, aber auf der Annahme der Uniformität über den Merkmalsraum basiert und keine Verifizierungs-Latenz oder verrauschte Labels berücksichtigt. Zukünftige Arbeiten zielen darauf ab, diese Einschränkungen zu adressieren.