🤖 machine learning

RECAST: Model Reconstruction via Counterfactual-Aware Wasserstein Geometry under Limited Data

Das Papier schlägt RECAST vor, eine neuartige Methode zur Rekonstruktion von Black-Box-Maschinellen-Lernmodellen mit hoher Treue und Abfrageeffizienz unter begrenzten Daten und eingeschränktem Zugriff, indem es kontrafaktische Erklärungen innerhalb eines Wasserstein-Baryzentrischen-Optimierungsrahmens nutzt, um ein robustes Fairness-Auditing zu ermöglichen.

Ursprüngliche Autoren: Xuan Zhao, Lena Krieger, Zhuo Cao, Arya Bangun, Hanno Scharr, Ira Assent

Veröffentlicht 2026-06-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xuan Zhao, Lena Krieger, Zhuo Cao, Arya Bangun, Hanno Scharr, Ira Assent

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Black Box“-Problem

Stellen Sie sich vor, eine Bank verwendet ein mysteriöses, hochmodernes Computersystem (eine „Black Box“), um zu entscheiden, wer einen Kredit erhält. Sie beantragen einen, und der Computer sagt „Nein“. Sie fragen: „Warum?“ und der Computer gibt Ihnen eine kontrafaktische Erklärung (Counterfactual Explanation, CF): „Wenn Ihr Einkommen 5.000 $ höher gewesen wäre, wären Sie genehmigt worden.“

Diese Erklärung ist für Sie hilfreich, aber sie ist auch ein Hinweis für einen externen Prüfer (wie eine Regulierungsbehörde), der überprüfen möchte, ob der Computer der Bank fair oder voreingenommen ist. Der Prüfer möchte ein Surrogatmodell erstellen – ein Nachahmer-System, das die Entscheidungen der Bank imitiert, damit er diese untersuchen kann, ohne den geheimen Code der Bank oder unbegrenzten Zugriff auf deren Datenbank zu benötigen.

Das Problem: Der „überhebliche“ Nachahmer

Die Arbeit weist auf einen schwerwiegenden Fehler hin, wie Menschen normalerweise versuchen, diese Nachahmer-Modelle mithilfe von Kontrafakten aufzubauen.

Die Analogie:
Stellen Sie sich vor, Sie versuchen herauszufinden, wo auf einer Karte die Grenze zwischen der „Sicherheitszone“ (Klasse 0) und der „Gefahrenzone“ (Klasse 1) verläuft.

Sie haben eine Liste von Menschen, die sicher waren (Klasse 0).
Sie haben auch eine Liste von „Was-wäre-wenn“-Szenarien: „Wenn diese Person aus der Sicherheitszone etwas mehr Geld gehabt hätte, wäre sie in der Gefahrenzone gelandet.“

Der Fehler:
Alte Methoden behandelten diese „Was-wäre-wenn“-Szenarien so, als wären sie echte Menschen, die tatsächlich in der Gefahrenzone leben.

Das Ergebnis: Das Nachahmer-Modell wird verwirrt. Es denkt: „Oh, diese ‚Was-wäre-wenn‘-Menschen sind definitiv in der Gefahrenzone!“ Also zieht es die Grenzlinie zu weit hinein und schrumpft die Sicherheitszone zu stark zusammen.
Die Konsequenz: Der Nachahmer wird überheblich (overconfident). Er beginnt, sichere Personen als gefährlich einzustufen, nur weil sie nah an den „Was-wäre-wenn“-Szenarien liegen. Zudem neigt er zum Overfitting (das Auswendiglernen von Rauschen), wenn nicht viel Datenmaterial zur Verfügung steht.

Die Lösung: RECAST (Der „schlaue Kartograf“)

Die Autoren schlagen eine neue Methode namens RECAST vor. Anstatt „Was-wäre-wenn“-Szenarien als harte Fakten zu behandeln, behandelt RECAST sie als weiche Hinweise, die helfen, die Karte zu formen, ohne die Grenze an einen spezifischen Punkt zu zwingen.

So funktioniert RECAST, unterteilt in drei einfache Schritte:

1. Die „Wolke“ vs. der „Punkt“

Alter Weg: Man versuchte, die „Was-wäre-wenn“-Szenarien an einem einzelnen Punkt auf der Karte festzumachen.
RECAST-Weg: RECAST erkennt, dass ein „Was-wäre-wenn“-Szenario unscharf ist. Es ist kein einzelner Punkt; es ist eine Wolke von Möglichkeiten. RECAST nutzt ein mathematisches Werkzeug namens Wasserstein-Geometrie (denken Sie an einen „Distanzrechner für Datenwolken“), um die Form der „Sicher“-Gruppe und der „Gefahren“-Gruppe als ganze Wolken zu verstehen, statt nur als einzelne Punkte.

2. Das „Baryzentrum“ (Der perfekte Durchschnitt)

RECAST erstellt ein Prototyp (einen perfekten durchschnittlichen Repräsentanten) für die Sicherheitsgruppe und einen Prototyp für die Gefahrengruppe.

Es nimmt die echten „Sicher“-Personen und die „Was-wäre-wenn“-Szenarien und vermischt sie, um das Zentrum der Wolke zu finden.
Entscheidend ist: Es lässt die „Was-wäre-wenn“-Szenarien das Zentrum nicht zu weit wegziehen. Es behandelt sie als weniger sicher als die echten Menschen.
Analogie: Stellen Sie sich vor, Sie versuchen, das Zentrum einer Menge zu finden. Sie haben 100 echte Menschen dort stehen, und 10 Menschen halten Schilder hoch mit der Aufschrift: „Wir könnten hier sein, wenn wir uns bewegt hätten.“ RECAST setzt die echten Menschen mit vollem Gewicht ein und die Schilderträger mit halbem Gewicht. Dies hält das Zentrum der Menge genau, selbst wenn die Schilderträger etwas verstreut sind.

3. Die „Linse“ der Unsicherheit

Da der Prüfer über begrenzte Daten verfügt (er hat vielleicht nur 100 „Was-wäre-wenn“-Antworten von der Bank erhalten), gibt RECAST zu: „Wir sind uns nicht zu 100 % sicher, wo genau die Grenze verläuft.“

Anstatt eine eine scharfe Linie zu ziehen, zeichnet RECAST einen linsenförmigen Bereich, in dem die Grenze liegen könnte.
Es baut ein Modell, das gut funktioniert, egal wo die Grenze innerhalb dieser Linse tatsächlich liegt. Dies macht das Modell robust (stabil), selbst wenn die Daten verrauscht oder unvollständig sind.

Warum das wichtig ist (Die Ergebnisse)

Die Arbeit testete RECAST mit realen Daten (wie Kreditanträgen und kriminellen Risikoscores) und stellte fest:

Bessere Genauigkeit bei weniger Daten: Wenn der Prüfer nur eine geringe Anzahl an Abfragen hat (begrenzte Daten), baut RECAST ein viel besseres Nachahmer-Modell als bisherige Methoden. Es lässt sich nicht von den „Was-wäre-wenn“-Szenarien verwirren.
Fairness-Auditierung: Da RECAST die „Form“ der Datenwolken versteht, kann es feststellen, ob eine Bank verschiedene Gruppen (z. B. Männer vs. Frauen) unfair behandelt. Es kann sehen, ob die „Wolke“ einer Gruppe näher an die Gefahrenzone gedrängt wird als die einer anderen, selbst ohne die exakte geheime Formel zu kennen.
Stabilität: Selbst wenn die Daten etwas unordentlich oder verrauscht sind, bricht RECAST nicht zusammen. Es bleibt stabil, weil es sich auf die Gesamtform der Gruppen stützt und nicht nur auf einzelne Punkte.

Zusammenfassung

RECAST ist eine neue Methode, um ein Black-Box-KI-System zu rekonstruieren, wenn man nur über wenige Hinweise (Kontrafakten) verfügt. Anstatt diesen Hinweisen blind als harte Fakten zu vertrauen, behandelt es sie als weiche, unscharfe Hinweise. Durch den Einsatz eines mathematischen „Wolkenform“-Ansatzes baut es ein Nachahmer-Modell, das präzise, fair und nicht verwirrbar ist, wenn Daten knapp sind.

Technisches Resümee: RECAST

Problemstellung

Die Arbeit befasst sich mit der Herausforderung der Modellrekonstruktion (Erstellung eines Ersatzmodells zur Nachahmung eines Black-Box-Klassifikators) unter Bedingungen von stark begrenztem Datenzugriff und eingeschränkten Abfragebudgets. Dieses Szenario ist häufig bei der Prüfung von Machine-Learning-as-a-Service (MLaaS)-Plattformen anzutreffen, bei denen Dritte das Zielmodell während der Rekonstruktion nicht interaktiv abfragen können und statisch auf einen Offline-Datensatz angewiesen sind.

Konkret konzentrieren sich die Autoren auf Szenarien, in denen nur einseitige kontrafaktische Erklärungen (Counterfactual Explanations, CFs) verfügbar sind. In vielen realen Anwendungen (z. B. Kreditablehnungen) erhalten Nutzer Erklärungen darüber, wie sie ein negatives Ergebnis in ein positives ändern können, jedoch nicht umgekehrt. Bestehende CF-basierte Rekonstruktionsmethoden stehen in diesem Regime vor drei kritischen Einschränkungen:

Verschiebungen der Entscheidungsgrenze (Decision Boundary Shifts): Die Behandlung von CFs als hart gelabelte Stichproben der Zielklasse führt dazu, dass das Ersatzmodell in Regionen nahe der Grenze übermäßig selbstsicher wird, was die Entscheidungsoberfläche fälschlicherweise verschiebt (wie in Abbildung 1 illustriert).
Überanpassung (Overfitting): Auf neuronalen Netzen basierende Ansätze haben Schwierigkeiten mit Überanpassung, wenn Trainingsdaten knapp und die Abfragebudgets gering sind.
Nicht-Identifizierbarkeit: Unter dem Zugriff auf einseitige CFs und begrenzten Abfragen ist die wahre Entscheidungsgrenze statistisch nicht identifizierbar; mehrere unterschiedliche Klassifikatoren können identische Input-Output-Verhaltensweisen erzeugen. Daher ist der Versuch, eine eindeutige geometrische Grenze wiederherzustellen, ein schlecht gestelltes Problem (ill-posed).

Methodik: RECAST

Die Autoren schlagen RECAST (REconstruction via Counterfactual-Aware Structure Transformation – Anmerkung: Im Text als REconstruction via Counterfactual-Aware Wasserstein Optimization definiert) vor, einen verhaltenszentrierten Ansatz, der klassenspezifische Verteilungen rekonstruiert, anstatt explizite Entscheidungsgrenzen.

1. CF-konsistente Unsicherheitsmengen

Anstatt anzunehmen, dass CFs exakt auf der Entscheidungsgrenze liegen, behandelt RECAST sie als weiche, klassenübergreifende Randbedingungen. Es definiert eine CF-konsistente zulässige Menge $\mathcal{C}_c$ für jede Klasse $c \in \{0, 1\}$ . Diese Menge ist der Schnittpunkt zweier Wasserstein-Bälle:

Einem, das um die empirische klassenbedingte Verteilung $P_c$ zentriert ist.
Einem, das um die einseitige kontrafaktische Verteilung $P_{cf}$ zentriert ist.

Dies erzeugt eine „linsenförmige“ Ambiguitätsmenge im Wasserstein-Raum, die sowohl die Stichprobenunsicherheit als auch die durch die Kontrafakten auferlegten geometrischen Randbedingungen kodiert.

2. Robuste Wasserstein-Baryzentren

Um einen stabilen Repräsentanten für jede Klasse innerhalb dieser Unsicherheitsmenge zu finden, berechnet RECAST Wasserstein-Baryzentren. Theorem 3.2 stellt fest, dass die Minimierung des Worst-Case-Verteilungsrekonstruktionsrisikos über der zulässigen Menge äquivalent zum Finden eines Prototyps $Q_c^*$ ist, der eine gewichtete Summe der quadrierten Wasserstein-Distanzen minimiert:
$Q_c^* = \arg\min_{\mu} \left( (1-\lambda_c)W_2^2(\mu, P_c) + \lambda_c W_2^2(\mu, P_{cf}) \right)$
Hierbei ist $Q_c^*$ das 2-Wasserstein-Baryzentrum der ursprünglichen Klassendaten und der kontrafaktischen Daten. Das Mischgewicht $\lambda_c$ wird kanonisch aus der relativen Geometrie der Verteilungen ( $P_c$ , $P_{cf}$ und der gegenüberliegenden Klasse $P_{1-c}$ ) abgeleitet, wodurch sichergestellt wird, dass die Methode keine explizite Abstimmung der Unsicherheitsradien erfordert.

3. Baryzentrischer Prototyp-Klassifikator

Der endgültige Ersatzmodell $\hat{m}$ klassifiziert einen Input $x$ , indem es dessen Wasserstein-Distanz zu den gelernten Klassenprototypen vergleicht:
$\hat{m}(x) := \arg\min_{c \in \{0, 1\}} W_2(\delta_x, Q_c^*)$
wobei $\delta_x$ das Dirac-Maß an der Stelle $x$ ist. Dieser Klassifikator ist CF-identifizierbar, was bedeutet, dass sein Entscheidungsverhalten invariant gegenüber den spezifischen Realisierungen der zugrunde liegenden Verteilungen innerhalb der Unsicherheitsmenge ist.

4. Fairness-Diagnostik

Das Framework adaptiert die Threshold-Invariant Demographic Parity (TIDP) und Threshold-Invariant Equalized Odds (TIEO) an die Wasserstein-Geometrie. Durch den Vergleich der Verteilungen der Wasserstein-basierten Scores über sensible Gruppen hinweg bietet die Methode eine systematische Diagnose für Fairness-Disparitäten, die über alle Entscheidungsschwellen hinweg bestehen, unabhängig von einem spezifischen Cutoff.

Zentrale Beiträge

RECAST-Framework: Eine neuartige Lösung für die verhaltensbasierte Modellrekonstruktion mittels kontrafaktisch-bewusster Wasserstein-Baryzentren-Prototypen, die speziell für den Offline-Zugriff auf einseitige CFs entwickelt wurde.
Theoretische Fundierung: Beweis, dass die Minimierung robuster Risikogrenzen unter CF-konsistenten Unsicherheitsmengen zu Wasserstein-Baryzentren führt, was eine stabile geometrische Repräsentation von Klassenverteilungen ermöglicht, selbst wenn die Grenze nicht identifizierbar ist.
Fairness-Audit-Werkzeug: Eine geometriebasierte Diagnostik, die Verteilungsdisparitäten gegenüber sensiblen Gruppen relativ zur rekonstruierten Entscheidungsgeometrie quantifiziert.
Empirische Validierung: Umfangreiche Experimente auf vier realen Datensätzen (Adult, COMPAS, HELOC, California Housing) zeigen, dass RECAST eine höhere Fidelität und Abfrageeffizienz als Baselines (SAMPLES, CCA, TRA) erreicht, insbesondere in Low-Query-Regimen und unter verrauschten Bedingungen.

Experimentelle Ergebnisse

Fidelität: RECAST übertrifft Baselines konsistent in der Fidelität (Übereinstimmung mit den Vorhersagen des Zielmodells) über verschiedene Zielmodelle (MLP, Logistische Regression, Entscheidungsbäume) und Datensätze hinweg. Es zeigt einen deutlichen Vorteil in Low-Query-Regimen (z. B. 100 Samples), in denen andere Methoden unter Überanpassung oder Verschiebungen der Entscheidungsgrenze leiden.
Robustheit: Die Methode demonstriert überlegene Stabilität gegenüber additivem Rauschen und Verteilungsverschiebungen (z. B. Cross-Domain-Evaluierung von California- zu Michigan-Daten). Während Baselines nahe der Entscheidungsschwelle signifikant degradieren, sinkt die Leistung von RECAST nur moderat.
CF-Generatoren: RECAST behält eine hohe Fidelität unabhängig von der Methode der Kontrafakten-Generierung (MCCF, DiCE, ROAR, etc.) bei, wohingegen Baselines sehr sensitiv auf die spezifischen Eigenschaften und das „Overshooting“-Verhalten der CFs reagieren.
Fairness: Die vorgeschlagenen Diagnostiken zeigen, dass RECAST die Fairness-Charakteristika des Zielmodells treuer bewahrt als konkurrierende Methoden, selbst unter Perturbationen.

Bedeutung und Ansprüche

Das Paper positioniert RECAST als praktisches Werkzeug zur Prüfung opaker Entscheidungssysteme in hochsensiblen Bereichen (Finanzen, Strafjustiz, Gesundheitswesen), in denen der Datenzugriff eingeschränkt und die Abfragebudgets begrenzt sind.

Verhaltensorientierung: Die Autoren betonen, dass unter einseitigem CF-Zugriff die Rekonstruktion einer eindeutigen, wahren Entscheidungsgrenze unmöglich ist. Stattdessen konzentriert sich RECAST auf behaviorale Äquivalenz und rekonstruiert die Input-Output-Beziehung, die statistisch identifizierbar ist.
Regulatorische Relevanz: Die Arbeit unterstützt die Ziele des EU AI Acts und ähnlicher Regulierungen, indem sie eine unabhängige Untersuchung des Modellverhaltens, der Transparenz und der Fairness ermöglicht, ohne dass Zugriff auf die internen Parameter oder Trainingsdaten des Modells erforderlich ist.
Einschränkungen: Die Autoren merken bescheiden an, dass der aktuelle Ansatz auf die binäre Klassifikation beschränkt ist und auf der Annahme passiver Beobachtung beruht (keine strategische adversarielle Interaktion mit der Plattform). Sie räumen zudem ein, dass die Berechnung der Wasserstein-Distanz rechenintensiv ist, aber im Kontext der für die Methode konzipierten Low-Data-Regime handhabbar bleibt.

Zusammenfassend bietet RECAST einen mathematisch fundierten und empirisch validierten Ansatz zur Rekonstruktion von Black-Box-Modellen, wenn nur begrenztes, einseitiges kontrafaktisches Feedback verfügbar ist, wobei die Stabilität und behaviorale Fidelität gegenüber der unmöglichen Aufgabe der Grenzwiederherstellung priorisiert werden.