🤖 AI

RecourseBench: A Modular Framework for Reproducible Algorithmic Recourse Evaluation

L'article présente RecourseBench, un cadre d'évaluation modulaire et interactif qui répond au manque de reproductibilité du recours algorithmique en découplant le pipeline en cinq couches, en intégrant 28 méthodes de pointe et en imposant la reproductibilité au niveau des méthodes grâce à un système de validation automatisé à quatre niveaux.

Auteurs originaux : Zahra Khotanlou, Hashir Ahmed, Chenghao Tan, Ahmed Abdelaal, Amir-Hossein Karimi

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zahra Khotanlou, Hashir Ahmed, Chenghao Tan, Ahmed Abdelaal, Amir-Hossein Karimi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous demandiez un prêt, et qu'un algorithme informatique réponde « Non ». Vous demandez : « Pourquoi ? » et le système répond : « Parce que votre score de crédit est trop bas ». C'est utile, mais cela ne vous dit pas quoi faire.

Le Recours Algorithmique est comme un coach personnel qui intervient pour dire : « D'accord, si vous remboursez 500 $ de dettes et augmentez vos revenus de 200 $, l'ordinateur dira "Oui" ». Il vous donne une recette spécifique pour changer votre résultat.

Cependant, il existe des dizaines de « coachs » (algorithmes) différents sur le marché, chacun prétendant être le meilleur. Le problème est qu'ils ne parlent pas tous la même langue, n'utilisent pas les mêmes manuels de règles, et il est difficile de savoir s'ils disent vraiment la vérité ou s'ils inventent tout de toutes pièces.

Ce document présente RecourseBench, un nouveau « terrain d'essai » conçu pour régler ce désordre. Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : Une cuisine désordonnée

Imaginez une cuisine où chaque chef (chercheur) construit son propre fourneau, utilise ses propres tasses à mesurer et cuisine selon son propre emploi du temps. Si vous voulez comparer la soupe du Chef A à celle du Chef B, vous ne pouvez pas, car ils ne cuisinent pas dans la même cuisine.

Le Problème : Les outils existants pour tester ces « coachs » sont soit trop rigides (vous ne pouvez pas ajouter de nouvelles recettes), soit trop désordonnés (vous ne pouvez pas prouver que les résultats sont réels).
La Lacune : Personne n'a de système qui force chaque chef à prouver qu'il peut réellement cuisiner le plat qu'il a prétendu cuisiner dans son livre de recettes original.

2. La Solution : La cuisine modulaire en « LEGO »

Les auteurs ont construit RecourseBench, qui est comme une cuisine entièrement construite à partir de briques LEGO.

Modularité : La cuisine est divisée en cinq stations distinctes et détachables :
1. Station de Données : Où les ingrédients (informations client) sont stockés.
2. Station de Préparation : Où les ingrédients sont lavés et découpés.
3. Station de Modèle : Le « Juge » (l'algorithme qui prend la décision).
4. Station de Coach : La « Méthode de Recours » qui cherche la solution.
5. Station de Score : Où les résultats sont mesurés.
Pourquoi c'est important : Comme ces stations sont séparées, vous pouvez remplacer le « Coach » sans casser le « Juge » ou les « Ingrédients ». Vous pouvez brancher un nouveau coach, et le système fonctionne, tout simplement.

3. Le « Test de Vérité » : Le système de badges à quatre niveaux

C'est la plus grande innovation de ce document. Par le passé, les chercheurs disaient : « Ma méthode fonctionne ! », mais personne ne pouvait vérifier s'ils mentaient ou s'ils avaient simplement eu de la chance.

RecourseBench introduit un Protocole de Reproductibilité. C'est comme un inspecteur de sécurité alimentaire strict qui vérifie chaque chef par rapport à son livre de recettes original.

Le Test : Le système exécute le code du coach et compare les résultats à ce que le coach a initialement affirmé dans son article.
Les Badges : En fonction du nombre de résultats qui correspondent, le coach reçoit un badge :
- Niveau 0 (Aucun badge) : Le coach n'a pu reproduire aucune de ses affirmations originales. (Il pourrait mentir ou son code est défectueux).
- Niveau 1 (Badge Minimal) : Il a reproduit une seule affirmation.
- Niveau 2 (Badge Partiel) : Il en a reproduit certaines, mais pas toutes.
- Niveau 3 (Badge d'Or) : Il a tout reproduit parfaitement.
Le Résultat : L'étude a révélé que de nombreuses méthodes populaires n'obtiennent que les niveaux 0 ou 1. Cela ne signifie pas que les méthodes sont inutiles, mais cela signifie que nous ne pouvons pas pleinement faire confiance à leurs chiffres originaux tant qu'elles n'ont pas passé ce test.

4. Le Tableau de Bord : Un tableau de bord personnalisable

Une fois les coachs testés, les résultats sont affichés sur un tableau de bord géant et interactif (un site web).

Personnalisation : Vous pouvez dire au tableau de bord : « Je m'intéresse uniquement à la vitesse », ou « Je m'intéresse uniquement au réalisme des conseils ».
Le Classement : Le système classe instantanément les coachs en fonction de vos règles. Il filtre les coachs qui ne peuvent pas travailler avec votre « Juge » (modèle) ou vos « Ingrédients » (données) spécifiques.

Résumé de ce qu'ils ont fait

Construction d'un Cadre : Ils ont créé un système unifié (RecourseBench) qui intègre 28 « coachs » différents (méthodes de recours).
Exigence d'Honnêteté : Ils sont les premiers à tester automatiquement si ces méthodes reproduisent réellement leurs propres résultats originaux.
Accessibilité : Ils ont construit un site web où n'importe qui peut mélanger et assortir différents données, modèles et coachs pour voir qui gagne, sans avoir besoin d'être un expert en codage.

En bref : RecourseBench est un laboratoire de test standardisé, de type Lego, qui force les « coachs » d'IA à prouver qu'ils peuvent réellement faire ce qu'ils prétendent faire, puis vous offre un tableau de bord clair et personnalisable pour voir qui est le meilleur pour vos besoins spécifiques.

Résumé Technique : RecourseBench

Problématique

Le domaine du recours algorithmique connaît une croissance méthodologique rapide, fournissant des explications contrefactuelles pour aider les individus à renverser des décisions de modèles défavorables dans des domaines à enjeux élevés comme la santé et la finance. Cependant, la communauté manque d'un mécanisme fondé sur des principes pour comparer ces méthodes. Les cadres d'évaluation existants souffrent de trois lacunes principales :

Manque de modularité et d'interopérabilité : Les outils antérieurs (par exemple, Alibi, RobustX) traitent souvent le recours comme une sous-fonctionnalité ou reposent sur des architectures étroitement couplées (par exemple, CARLA) ou des écosystèmes matériels spécifiques (par exemple, ReLax/JAX), ce qui rend difficile l'intégration de nouvelles méthodes, de nouveaux jeux de données ou de nouvelles métriques d'évaluation sans refactorisation importante.
Le fossé de la reproductibilité : Bien que de nombreuses méthodes soient publiées, il n'existe aucune vérification systématique que leurs implémentations reproduisent fidèlement les résultats initialement rapportés. Des facteurs tels que les hyperparamètres manquants, les configurations non documentées et les contraintes de calcul rendent souvent la vérification indépendante impossible.
Évaluation dépendante du contexte : Les méthodes de recours optimisent des objectifs conflictuels (proximité, parcimonie, robustesse, faisabilité), et les critères d'évaluation varient selon le contexte (par exemple, décalage de données vs multiplicité du modèle). Les benchmarks actuels manquent de la flexibilité nécessaire pour accommoder ces métriques évolutives tout en maintenant des conditions expérimentales cohérentes.

Méthodologie et Conception du Cadre

Les auteurs introduisent RecourseBench, un cadre d'évaluation unifié construit sur trois engagements fondamentaux : modularité, reproductibilité et interactivité.

1. Architecture Modulaire

Le cadre décompose le pipeline de benchmarking en cinq couches entièrement découplées, régies par des interfaces abstraites et un registre dynamique :

Données : Gère les jeux de données bruts, les partitions d'entraînement/test et les ensembles factuels.
Prétraitement : Gère la transformation et la normalisation des caractéristiques.
Modèle : Prend en charge les modèles prédictifs cibles (par exemple, PyTorch, Scikit-learn).
Méthode de Recours : Le module central où les algorithmes spécifiques sont implémentés.
Évaluation : Calcule les métriques de performance.

Les données circulent entre ces couches via des conteneurs DatasetObject, assurant un transfert de données autonome et empêchant les fuites d'abstraction. Le système impose des contrôs de privilèges stricts (par exemple, accès en lecture seule pour les modèles) afin d'éviter les effets secondaires indésirables et garantit l'intégrité expérimentale grâce à un flux de travail centralisé piloté par YAML.

2. Protocole de Reproductibilité

Pour remédier au manque de vérification des benchmarks précédents, RecourseBench introduit un système de classification à quatre niveaux basé sur des tests quantitatifs :

Définition de la métrique : Un résultat est défini comme un tuple (jeu de données, modèle, métrique). Le cadre calcule l'erreur relative symétrique ( $\Delta$ ) entre la valeur rapportée par l'article original ( $m$ ) et l'implémentation du cadre ( $\hat{m}$ ).
Seuil : Un résultat est considéré comme reproduit si $\Delta \leq 0,35$ (déviation relative de 35 %).
Niveaux de classification :
- Niveau 0 : Aucun résultat reproduit.
- Niveau 1 : Reproduction minimale (1 résultat).
- Niveau 2 : Reproduction partielle (certains, mais pas tous, les résultats).
- Niveau 3 : Reproduction complète (tous les résultats rapportés).
Automatisation : Une suite de tests automatisés valide chaque méthode intégrée par rapport à ses spécifications originales. Seules les méthodes atteignant le Niveau 1 ou supérieur sont incluses dans les évaluations principales du benchmark.

3. Métriques d'Évaluation

Le cadre évalue les méthodes à travers cinq dimensions en utilisant un ensemble de test réservé d'instances défavorables :

Validité : Taux de succès pour atteindre la classe souhaitée.
Proximité : Distance euclidienne moyenne ( $\ell_2$ ) entre les instances factuelles et les contrefactuelles.
Parcimonie : Nombre moyen de caractéristiques modifiées ( $\ell_0$ ).
Plausibilité : Distance moyenne aux $Y$ -plus proches voisins dans l'ensemble d'entraînement ( $Y$ -NN).
Temps d'exécution : Temps de génération total.

Les scores sont normalisés sur une échelle [0, 1] (en utilisant une transformation exponentielle négative pour les métriques où "plus bas est mieux") et sont agrégés via une moyenne pondérée définie par l'utilisateur, permettant aux praticiens de prioriser des dimensions spécifiques (par exemple, vitesse vs qualité).

4. Interface Interactive

Une interface web permet aux utilisateurs de configurer des expériences en sélectionnant des jeux de données, des architectures de modèles et des méthodes de recours spécifiques. Le système filtre automatiquement les combinaisons incompatibles et présente un classement (leaderboard) basé sur la stratégie d'agrégation de métriques sélectionnée.

Contributions Clés

Cadre Modulaire Unifié : RecourseBench est le premier cadre qui découple strictement les données, le prétraitement, les modèles, les méthodes et l'évaluation, permettant l'intégration de nouveaux composants sans modifier le code existant.
Reproductibilité Imposée : Il constitue le premier benchmark de recours qui impose explicitement la reproductibilité au niveau de la méthode par des tests quantitatifs automatisés contre les articles originaux, classant les méthodes selon leur fidélité aux résultats rapportés.
Intégration Complète : Le cadre intègre actuellement 28 méthodes de recours de pointe réparties en six catégories : Basées sur les contraintes et la logique, Basées sur le gradient, Apprentissage de représentation, Assistées par substitut, Sans dérivée/Heuristiques, et Recherche basée sur l'instance.
Benchmarking Interactif : Il fournit une interface configurable pour la comparaison multi-métriques, permettant aux utilisateurs de construire des classements personnalisés adaptés à des contraintes d'application spécifiques.

Résultats et Paysage Empirique

Les auteurs ont évalué 22 méthodes (celles atteignant le Niveau 1 ou supérieur) à travers 3 jeux de données et 3 types de modèles, résultant en 137 configurations compatibles.

Constatations sur la Reproductibilité : La distribution des niveaux de reproductibilité (Niveau 0 à 3) révèle un déficit structurel d'infrastructure dans le domaine. De nombreuses méthodes souffrent d'artefacts manquants (code, hyperparamètres) ou de contraintes de calcul (par exemple, MACE nécessitant plus de 70 heures par configuration) qui empêchent une reproduction fidèle.
Signification du Niveau 1 : La transition du Niveau 0 (aucune reproduction) au Niveau 1 (reproduction minimale) est identifiée comme le saut épistémique le plus significatif, passant de zéro preuve vérifiable à une validation indépendante d'au moins une métrique.
Utilité du Benchmark : Le cadre démontre avec succès que les méthodes optimisées pour des objectifs différents (par exemple, parcimonie vs proximité) produisent des classements distincts selon la pondération des métriques de l'utilisateur, soulignant la nécessité d'une évaluation sensible au contexte.

Signification et Revendications

L'article positionne RecourseBench non pas comme une reproduction complète de toute la littérature existante, mais comme l'opérationnalisation de la reproductibilité. En transformant la reproductibilité d'une attente implicite en une propriété standardisée et mesurable, le cadre vise à :

Fournir une base fiable pour l'évaluation comparative là où la fidélité des méthodes constituantes est établie.
Abaisser les barrières tant pour la reproduction des travaux antérieurs que pour le développement de nouvelles approches.
Servir de référence commune pour les praticiens souhaitant sélectionner des méthodes alignées avec les contraintes de déploiement réelles.

Les auteurs reconnaissent que certains défis de reproductibilité découlent des lacunes de documentation dans la littérature et que le cadre actuel équilibre la faisabilité pratique et la rigueur (par exemple, le seuil de tolérance de 35 % et l'absence d'agrégation de la variance au niveau de l'exécution). Des travaux futurs sont invités à traiter ces choix de conception et à étendre le registre de méthodes.