🤖 AI

RecourseBench: A Modular Framework for Reproducible Algorithmic Recourse Evaluation

Das Paper stellt RecourseBench vor, ein modulares und interaktives Evaluierungs-Framework, das den Mangel an Reproduzierbarkeit bei algorithmischem Recourse adressiert, indem es die Pipeline in fünf Schichten unterteilt, 28 hochmoderne Methoden integriert und die methodenbezogene Reproduzierbarkeit durch ein automatisiertes vierstufiges Validierungssystem erzwingt.

Ursprüngliche Autoren: Zahra Khotanlou, Hashir Ahmed, Chenghao Tan, Ahmed Abdelaal, Amir-Hossein Karimi

Veröffentlicht 2026-06-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zahra Khotanlou, Hashir Ahmed, Chenghao Tan, Ahmed Abdelaal, Amir-Hossein Karimi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beantragen einen Kredit und ein Computer-Algorithmus sagt „Nein“. Sie fragen: „Warum?“ Und das System antwortet: „Weil Ihre Kreditwürdigkeit zu niedrig ist.“ Das ist zwar hilfreich, aber es sagt Ihnen nicht, was zu tun ist.

Algorithmic Recourse (Algorithmische Handlungsfähigkeit) ist wie ein persönlicher Coach, der einspringt und sagt: „Okay, wenn Sie 500 $ Ihrer Schulden abbezahlen und Ihr Einkommen um 200 $ erhöhen, wird der Computer ‚Ja‘ sagen.“ Er gibt Ihnen ein spezifisches Rezept, um Ihr Ergebnis zu ändern.

Es gibt jedoch Dutzende von verschiedenen „Coaches“ (Algorithmen) da draußen, die alle behaupten, die Besten zu sein. Das Problem ist, dass sie alle unterschiedliche Sprachen sprechen, unterschiedliche Regelwerke verwenden und es schwer zu sagen ist, ob sie tatsächlich die Wahrheit sagen oder nur Dinge erfinden.

Dieses Paper stellt RecourseBench vor, einen neuen „Testplatz“, der dieses Chaos beheben soll. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Eine chaotische Küche

Stellen Sie sich eine Küche vor, in der jeder Koch (Forscher) seinen eigenen Herd baut, seine eigenen Messbecher verwendet und nach seinem eigenen Zeitplan kocht. Wenn Sie die Suppe von Koch A mit der Suppe von Koch B vergleichen wollen, können Sie das nicht, weil sie nicht in derselben Küche kochen.

Das Problem: Bestehende Werkzeuge zum Testen dieser „Coaches“ sind entweder zu starr (man kann keine neuen Rezepte hinzufügen) oder zu chaotisch (man kann nicht beweisen, dass die Ergebnisse echt sind).
Die Lücke: Niemand hat ein System, das jeden Koch dazu zwingt, zu beweisen, dass er tatsächlich das Gericht kochen kann, das er in seinem ursprünglichen Rezeptbuch versprochen hat.

2. Die Lösung: Die modulare „Lego“-Küche

Die Autoren haben RecourseBench gebaut, was wie eine Küche ist, die vollständig aus Lego-Steinen besteht.

Modularität: Die Küche ist in fünf separate, abnehmbare Stationen unterteilt:
1. Daten-Station: Wo die Zutaten (Kundeninformationen) gelagert werden.
2. Vorbereitungs-Station: Wo die Zutaten gewaschen und gehackt werden.
3. Modell-Station: Der „Richter“ (der Algorithmus, der die Entscheidung trifft).
4. Coach-Station: Die „Recourse-Methode“, die versucht, die Lösung zu finden.
5. Bewertungs-Station: Wo die Ergebnisse gemessen werden.
Warum das wichtig ist: Da diese Stationen getrennt sind, können Sie den „Coach“ austauschen, ohne den „Richter“ oder die „Zutaten“ zu beschädigen. Sie können einen neuen Coach einstecken, und das System funktioniert einfach weiter.

3. Der „Wahrheitstest“: Das Vier-Stufen-Abzeichen-System

Dies ist die wichtigste Neuerung des Papers. In der Vergangenheit sagten Forscher: „Meine Methode funktioniert!“, aber niemand konnte prüfen, ob sie die Wahrheit sagten oder ob sie nur Glück hatten.

RecourseBench führt ein Reproduzierbarkeitsprotokoll ein. Es ist wie ein strenger Lebensmittelsicherheitsinspektor, der jeden Koch gegen sein ursprüngliches Rezeptbuch prüft.

Der Test: Das System führt den Code des Coaches aus und vergleicht die Ergebnisse mit dem, was der Coach ursprünglich in seinem Paper behauptet hat.
Die Abzeichen: Basierend darauf, wie viele Ergebnisse übereinstimmen, erhält der Coach ein Abzeichen:
- Level 0 (Kein Abzeichen): Der Coach konnte keine einzige seiner ursprünglichen Behauptungen reproduzieren. (Er könnte lügen oder sein Code ist fehlerhaft).
- Level 1 (Minimales Abzeichen): Er hat gerade eine einzige Behauptung reproduziert.
- Level 2 (Partielles Abzeichen): Er hat einige, aber nicht alle reproduziert.
- Level 3 (Goldenes Abzeichen): Er hat alles perfekt reproduziert.
Das Ergebnis: Das Paper fand heraus, dass viele populäre Methoden nur Level 0 oder 1 erreichen. Das bedeutet nicht, dass die Methoden nutzlos sind, aber es bedeutet, dass wir ihren ursprünglichen Zahlen nicht voll vertrauen können, bis sie diesen Test bestanden haben.

4. Die Bestenliste: Ein anpassbares Dashboard

Sobsten die Coaches getestet wurden, landen die Ergebnisse auf einer riesigen, interaktiven Bestenliste (einer Website).

Anpassbarkeit: Sie können der Bestenliste sagen: „Mir ist nur die Geschwindigkeit wichtig“ oder „Mir ist nur wichtig, wie realistisch der Rat ist“.
Das Leaderboard: Das System rankt die Coaches sofort basierend auf Ihren Regeln. Es filtert jene Coaches heraus, die nicht mit Ihrem spezifischen „Richter“ (Modell) oder Ihren „Zutaten“ (Daten) arbeiten können.

Zusammenfassung dessen, was sie getan haben

Ein Framework gebaut: Sie haben ein einheitliches System (RecourseBench) geschaffen, das 28 verschiedene „Coaches“ (Recourse-Methoden) integriert.
Ehrlichkeit erzwungen: Sie sind die Ersten, die automatisch testen, ob diese Methoden tatsächlich ihre eigenen ursprünglichen Ergebnisse reproduzieren können.
Benutzerfreundlich gemacht: Sie haben eine Website gebaut, auf der jeder verschiedene Daten, Modelle und Coaches kombinieren kann, um zu sehen, wer gewinnt, ohne ein Experte in der Programmierung zu sein.

Kurz gesagt: RecourseBench ist ein standardisiertes, Lego-ähnliches Testlabor, das KI-„Coaches“ dazu zwingt, zu beweisen, dass sie tatsächlich das können, was sie zu können vorgeben, und Ihnen dann eine klare, anpassbare Bestenliste gibt, um zu sehen, wer für Ihre spezifischen Bedürfnisse am besten geeignet ist.

Technisches Resümee: RecourseBench

Problemstellung

Das Feld des algorithmischen Rekurses hat ein schnelles methodisches Wachstum erlebt und bietet kontrafaktische Erklärungen, um Einzelpersonen dabei zu helfen, ungünstige Modellentscheidungen in hochsensiblen Bereichen wie dem Gesundheitswesen und dem Finanzwesen anzufechten. Die Fachwelt mangelt es jedoch an einem fundierten Mechanismus zum Vergleich dieser Methoden. Bestehende Evaluierungs-Frameworks leiden unter drei primären Defiziten:

Mangel an Modularität und Interoperabilität: Vorherige Werkzeuge (z. B. Alibi, RobustX) behandeln Rekursus oft nur als ein Teilmerkmal oder verlassen sich auf eng gekoppelte Architekturen (z. B. CARLA) oder spezifische Hardware-Ökosysteme (z. B. ReLax/JAX), was es schwierig macht, neue Methoden, Datensätze oder Evaluierungsmetriken ohne signifikante Refaktorisierung zu integrieren.
Die Reproduzierbarkeitslücke: Obwohl viele Methoden veröffentlicht wurden, gibt es keine systematische Verifizierung, ob deren Implementierungen die ursprünglich berichteten Ergebnisse tatsächlich getreu reproduzieren. Faktoren wie fehlende Hyperparameter, undokumentierte Konfigurationen und rechnerische Einschränkungen machen eine unabhängige Verifizierung oft unmöglich.
Kontextabhängige Evaluierung: Rekursus-Methoden optimieren für widersprüchliche Ziele (Nähe, Sparsamkeit, Robustheit, Durchführbarkeit), und die Evaluierungskriterien variieren je nach Kontext (z. B. Datendrift vs. Modellmultiplizität). Aktuelle Benchmarks mangelt es an der Flexibilität, solche sich entwickelnden Metriken bei gleichzeitiger Beibehaltung konsistenter experimenteller Bedingungen zu berücksichtigen.

Methodik und Framework-Design

Die Autoren führen RecourseBench ein, ein vereinheitlichtes Evaluierungs-Framework, das auf drei Kernversprechen basiert: Modularität, Reproduzierbarkeit und Interaktivität.

1. Modulare Architektur

Das Framework zerlegt die Benchmarking-Pipeline in fünf vollständig entkoppelte Schichten, die durch abstrakte Schnittstellen und ein dynamisches Register gesteuert werden:

Daten: Verwaltet Rohdatensätze, Trainings-/Test-Splits und faktische Sätze.
Vorverarbeitung: Verwaltet die Merkmalstransformation und Normalisierung.
Modell: Unterstützt Ziel-Prädiktionsmodelle (z. B. PyTorch, Scikit-learn).
Rekursus-Methode: Das Kernmodul, in dem spezifische Algorithmen implementiert sind.
Evaluierung: Berechnet Leistungsmetriken.

Der Datenfluss zwischen diesen Schichten erfolgt über DatasetObject-Container, was eine in sich geschlossene Datenübertragung gewährleistet und Abstraktionslecks verhindert. Das System erzwingt strikte Privilegsteuerung (z. B. schreibgeschützter Zugriff für Modelle), um unbeabsichtigte Nebenwirkungen zu verhindern und die experimentelle Integrität durch einen zentralisierten, YAML-gesteuerten Workflow sicherzustellen.

2. Reproduzierbarkeitsprotokoll

Um das Fehlen der Verifizierung in früheren Benchmarks zu adressieren, führt RecourseBench ein vierstufiges Klassifizierungssystem basierend auf quantitativer Prüfung ein:

Metrikdefinition: Ein Ergebnis wird als Tupel (Datensatz, Modell, Metrik) definiert. Das Framework berechnet den symmetrischen relativen Fehler ( $\Delta$ ) zwischen dem ursprünglich in der Arbeit berichteten Wert ( $m$ ) und der Implementierung im Framework ( $\hat{m}$ ).
Schwellenwert: Ein Ergebnis gilt als reproduziert, wenn $\Delta \leq 0,35$ (35 % relative Abweichung).
Klassifizierungsstufen:
- Level 0: Keine Ergebnisse reproduziert.
- Level 1: Minimale Reproduktion (1 Ergebnis).
- Level 2: Partielle Reproduktion (einige, aber nicht alle Ergebnisse).
- Level 3: Volle Reproduktion (alle berichteten Ergebnisse).
Automatisierung: Eine automatisierte Testsuite validiert jede integrierte Methode gegen ihre ursprünglichen Spezifikationen. Nur Methoden, die Level 1 oder höher erreichen, werden in die Haupt-Benchmark-Evaluierungen aufgenommen.

3. Evaluierungsmetriken

Das Framework evaluiert Methoden über fünf Dimensionen anhand eines gehaltenen Test-Sets von ungünstigen Instanzen:

Validität: Erfolgsrate beim Erreichen der gewünschten Klasse.
Nähe (Proximity): Mittlere euklidische Distanz ( $\ell_2$ ) zwischen faktischen und kontrafaktischen Instanzen.
Sparsamkeit (Sparsity): Mittlere Anzahl der modifizierten Merkmale ( $\ell_0$ ).
Plausibilität: Mittlere Distanz zu den $Y$ -nächsten Nachbarn im Trainingssatz ( $Y$ -NN).
Laufzeit: Gesamte Generationszeit.

Die Scores werden auf eine Skala von [0, 1] normiert (unter Verwendung einer negativ-exponentiellen Transformation für „niedriger-ist-besser“-Metriken) und über einen benutzerdefinierten gewichteten Durchschnitt aggregiert, was es Praktikern ermöglicht, bestimmte Dimensionen zu priorisieren (z. B. Geschwindigkeit vs. Qualität).

4. Interaktive Schnittstelle

Eine webbasierte Schnittstelle ermöglicht es Benutzern, Experimente zu konfigurieren, indem sie Datensätze, Modellarchitekturen und spezifische Rekursus-Methoden auswählen. Das System filtert automatisch inkompatible Kombinationen heraus und präsentiert eine Rangliste basierend auf der gewählten Strategie zur Metrik-Aggregation.

Kernbeiträge

Vereinheitlichtes modulares Framework: RecourseBench ist das erste Framework, das Daten, Vorverarbeitung, Modelle, Methoden und Evaluierung strikt entkoppelt und so die nahtlose Integration neuer Komponenten ohne Änderung des bestehenden Codes ermöglicht.
Erzwungene Reproduzierbarkeit: Es stellt das erste Rekursus-Benchmark dar, das explizit die methodische Reproduzierbarkeit durch automatisierte, quantitative Tests gegen Originalarbeiten erzwingt und Methoden nach ihrer Treue zu den berichteten Ergebnissen klassifiziert.
Umfassende Integration: Das Framework integriert derzeit 28 State-of-the-Art-Rekursus-Methoden, die sechs Kategorien abdecken: Constraint- & Logik-basiert, Gradientenbasiert, Repräsentationslernen, Surrogat-assistiert, Ableitungsfrei/Heuristisch und Instanzbasierte Suche.
Interaktives Benchmarking: Es bietet eine konfigurierbare Schnittstelle für den Multi-Metrik-Vergleich, die es Benutzern ermöglicht, maßgeschneiderte Leaderboards entsprechend spezifischer Anwendungskonstraints zu erstellen.

Ergebnisse und empirische Landschaft

Die Autoren evaluierten 22 Methoden (jene, die Level 1 oder höher erreichten) über 3 Datensätze und 3 Modelltypen, was zu 137 kompatiblen Konfigurationen führte.

Ergebnisse zur Reproduzierbarkeit: Die Verteilung der Reproduzierbarkeitsstufen (Level 0 bis 3) offenbart eine strukturelle Infrastrukturkluft im Feld. Viele Methoden leiden unter fehlenden Artefakten (Code, Hyperparameter) oder rechnerischen Einschränkungen (z. B. benötigt MACE >70 Stunden pro Konfiguration), die eine getreue Reproduktion verhindern.
Bedeutung von Level 1: Der Übergang von Level 0 (keine Reproduktion) zu Level 1 (minimale Reproduktion) wird als der epistemisch signifikanteste Sprung identifiziert, der von null verifizierbaren Beweisen zur unabhängigen Validierung mindestens einer Metrik führt.
Nutzen des Benchmarks: Das Framework demonstriert erfolgreich, dass Methoden, die für unterschiedliche Ziele optimiert sind (z. B. Sparsamkeit vs. Nähe), je nach Gewichtung der Metriken des Benutzers zu unterschiedlichen Rankings führen, was die Notwendigkeit einer kontextbewussten Evaluierung unterstreicht.

Bedeutung und Ansprüche

Das Paper positioniert RecourseBench nicht als vollständige Reproduktion der gesamten existierenden Literatur, sondern als die Operationalisierung von Reproduzierbarkeit. Indem es Reproduzierbarkeit von einer impliziten Erwartung in eine standardisierte, messbare Eigenschaft verwandelt, zielt das Framework darauf ab:

Eine zuverlässige Basis für den vergleichenden Einsatz zu bieten, in dem die Treue der beteiligten Methoden etabliert ist.
Die Hürden sowohl für die Reproduktion früherer Arbeiten als auch für die Entwicklung neuer Ansätze zu senken.
Als gemeinsame Referenz für Praktiker zu dienen, um Methoden auszuwählen, die mit den Anforderungen der realen Welt übereinstimmen.

Die Autoren räumen ein, dass einige Reproduzierbarkeitsprobleme aus Dokumentationslücken in der Literatur resultieren, und dass das aktuelle Framework eine Balance zwischen praktischer Machbarkeit und Strenge hält (z. B. die 35 % Toleranzschwelle und das Fehlen der Aggregation der Laufzeitvarianz). Zukünftige Arbeiten sind eingeladen, diese Designentscheidungen zu adressieren und das Methoden-Register zu erweitern.