Technische Samenvatting: RecourseBench

Probleemstelling

Het veld van algoritmische recourse heeft een snelle methodologische groei doorgemaakt, waarbij tegenfeitelijke verklaringen worden geboden om individuen te helpen ongunstige modelbeslissingen te overwinnen in domeinen met een hoge inzet, zoals de gezondheidszorg en de financiële sector. De gemeenschap kampt echter met een gebrek aan een principieel mechanisme om deze methoden te vergelijken. Bestaande evaluatiekaders lijden aan drie primaire tekortkomingen:

1. Gebrek aan modulariteit en interoperabiliteit: Eerdere tools (bijv. Alibi, RobustX) behandelen recourse vaak als een sub-kenmerk of vertrouwen op nauw gekoppelde architecturen (bijv. CARLA) of specifieke hardware-ecosystemen (bijv. ReLax/JAX), wat het moeilijk maakt om nieuwe methoden, datasets of evaluatiemetrieken te integreren zonder aanzienlijke refactoring.
2. De reproduceerbaarheidsgat: Hoewel veel methoden worden gepubliceerd, is er geen systematische verificatie dat hun implementaties de oorspronkelijk gerapporteerde resultaten getrouw reproduceren. Factoren zoals ontbrekende hyperparameters, ongedocumenteerde configuraties en computationele beperkingen maken onafhankelijke verificatie vaak onmogelijk.
3. Contextafhankelijke evaluatie: Recourse-methoden optimaliseren voor conflicterende doelstellingen (nabijheid, spaarzaamheid, robuustheid, haalbaarheid), en evaluatiecriteria variëren per context (bijv. datashift versus modelmultipliciteit). Huidige benchmarks missen de flexibiliteit om dergelijke evoluerende metrieken te accommoderen terwijl ze consistente experimentele condities behouden.

Methodologie en Framework Design

De auteurs introduceren RecourseBench, een verenigd evaluatiekader gebouwd op drie kernbeloften: modulariteit, reproduceerbaarheid en interactiviteit.

1. Modulaire Architectuur

Het framework ontbindt de benchmarking-pipeline in vijf volledig ontkoppelde lagen, beheerd door abstracte interfaces en een dynamische registry:

• Data: Beheert ruwe datasets, train/test-splits en feitelijke sets.
• Preprocessing: Beheert feature-transformatie en normalisatie.
• Model: Ondersteunt doel-predictieve modellen (bijv. PyTorch, Scikit-learn).
• Recourse Method: Het kernmodule waar specifieke algoritmen worden geïmplementeerd.
• Evaluatie: Berekent prestatie-metrieken.

Data stroomt tussen deze lagen via DatasetObject containers, wat zorgt voor zelfstandige dataoverdracht en het voorkomen van abstractielekken. Het systeem handhaaft strikte privilege-controles (bijv. read-only toegang voor modellen) om onbedoelde neveneffecten te voorkomen en waarborgt de experimentele integriteit via een gecentraliseerde YAML-gestuurde workflow.

2. Reproduceerbaarheidsprotocol

Om het gebrek aan verificatie in eerdere benchmarks aan te pakken, introduceert RecourseBench een viergetrapt classificatiesysteem gebaseerd op kwantitatieve testen:

• Metriekdefinitie: Een resultaat wordt gedefinieerd als een tuple (dataset, model, metriek). Het framework berekent de symmetrische relatieve fout ($\Delta$) tussen de oorspronkelijk gerapporteerde waarde ($m$) uit het paper en de implementatie in het framework ($\hat{m}$).
• Drempelwaarde: Een resultaat wordt als gereproduceerd beschouwd als $\Delta \leq 0,35$ (35% relatieve afwijking).
• Classificatieniveaus:
  • Niveau 0: Geen resultaten gereproduceerd.
  • Niveau 1: Minimale reproductie (1 resultaat).
  • Niveau 2: Partiële reproductie (sommige, maar niet alle, resultaten).
  • Niveau 3: Volledige reproductie (alle gerapporteerde resultaten).
• Automatisering: Een geautomatiseerde testsuite valideert elke geïntegreerde methode tegen de oorspronkelijke specificaties. Alleen methoden die Niveau 1 of hoger bereiken, worden opgenomen in de hoofdbenchmark-evaluaties.

3. Evaluatiemetrieken

Het framework evalueert methoden over vijf dimensies met behulp van een onafhankelijke testset van ongunstige instanties:

• Validiteit: Succespercentage in het bereiken van de gewenste klasse.
• Nabijheid: Gemiddelde Euclidische afstand ($\ell_2$) tussen de feitelijke en de tegenfeitelijke instanties.
• Spaarzaamheid: Gemiddeld aantal gemodificeerde features ($\ell_0$).
• Plausibiliteit: Gemiddelde afstand tot de $Y$-dichtstbijzijnde buren in de trainingsset ($Y$-NN).
• Runtime: Totale generatietijd.

Scores worden genormaliseerd naar een [0, 1]-schaal (met gebruik van een negatieve exponentiële transformatie voor "lager-is-beter" metrieken) en geaggregeerd via een door de gebruiker gedefinieerd gewogen gemiddelde, waardoor beoefenaars specifieke dimensies kunnen prioriteren (bijv. snelheid versus kwaliteit).

4. Interactieve Interface

Een webgebaseerde interface stelt gebruikers in staat om experimenten te configureren door datasets, modelarchitecturen en specifieke recourse-methoden te selecteren. Het systeem filtert automatisch incompatibele combinaties en presenteert een gerangschikte leaderboard op basis van de gekozen metriek-aggregatiestrategie.

Belangrijkste Bijdragen

1. Verenigd Modulair Framework: RecourseBench is het eerste framework dat data, preprocessing, modellen, methoden en evaluatie strikt ontkoppelt, wat naadloze integratie van nieuwe componenten mogelijk maakt zonder bestaande code te wijzigen.
2. Afgedwongen Reproduceerbaarheid: Het vormt de eerste recourse-benchmark die expliciet methoden-niveau reproduceerbaarheid afdwingt door middel van geautomatiseerde, kwantitatieve testen tegen originele papers, waarbij methoden worden gecategoriseerd op basis van hun getrouwheid aan de gerapporteerde resultaten.
3. Omvattende Integratie: Het framework integreert momenteel 28 state-of-the-art recourse-methoden verspreid over zes categorieën: Constraint & Logic-Based, Gradient-Based, Representation Learning, Surrogate-Assisted, Derivative-Free/Heuristic, en Instance-Based Search.
4. Interactieve Benchmarking: Het biedt een configureerbare interface voor multi-metriek vergelijking, waardoor gebruikers aangepaste leaderboards kunnen construeren die zijn afgestemd op specifieke toepassingsbeperkingen.

Resultaten en Empirisch Landschap

De auteurs evalueerden 22 methoden (die Niveau 1 of hoger behaalden) over 3 datasets en 3 modeltypen, wat resulteerde in 137 compatibele configuraties.

• Bevindingen over Reproduceerbaarheid: De distributie van reproduceerbaarheidsniveaus (Niveau 0 tot 3) onthult een structurele infrastructurele kloof in het veld. Veel methoden lijden onder ontbrekende artefacten (code, hyperparameters) of computationele beperkingen (bijv. MACE vereist >70 uur per configuratie) die een getrouwe reproductie verhinderen.
• Significantie van Niveau 1: De overgang van Niveau 0 (geen reproductie) naar Niveau 1 (minimale reproductie) wordt geïdentificeerd als de meest epistemisch significante sprong, waarbij men beweegt van nul verifieerbaar bewijs naar onafhankelijke validatie van ten minste één metriek.
• Nut van de Benchmark: Het framework demonstreert succesvol dat methoden die geoptimaliseerd zijn voor verschillende doelstellingen (bijv. spaarzaamheid versus nabijheid) verschillende ranglijsten opleveren afhankelijk van de metriek-weging van de gebruiker, wat de noodzaak van contextbewuste evaluatie onderstreept.

Betekenis en Claims

Het paper positioneert RecourseBench niet als een volledige reproductie van de gehele bestaande literatuur, maar als de operationalisering van reproduceerbaarheid. Door reproduceerbaarheid te transformeren van een impliciete verwachting naar een gestandaardiseerde, meetbare eigenschap, beoogt het framework:

• Een betrouwbare basis te bieden voor vergelijkende evaluatie waar de getrouwheid van de constituerende methoden vaststaat.
• De drempels voor zowel de reproductie van eerder werk als de ontwikkeling van nieuwe benaderingen te verlagen.
• Te dienen als een gedeelde referentie voor beoefenaars om methoden te selecteren die aansluiten bij real-world deployment beperkingen.

De auteurs erkennen dat sommige reproduceerbaarheidsuitdagingen voortkomen uit documentatiegebreken in de literatuur en dat het huidige framework een balans zoekt tussen praktische haalbaarheid en striktheid (bijv. de 35% tolerantiedrempel en het gebrek aan aggregatie van run-level variantie). Toekomstig werk wordt uitgenodigd om deze ontwerpkeuzes aan te pakken en de methoden-registry uit te breiden.