[Re] FairDICE: A Gap Between Theory And Practice

Cette étude de réplication révèle que bien que FairDICE soit théoriquement prometteur pour l'apprentissage par renforcement hors ligne multi-objectifs, une erreur de code et un manque de spécification des hyperparamètres ont initialement réduit son efficacité à un simple apprentissage par imitation, nécessitant des corrections et des ajustements pour valider son potentiel dans des environnements complexes.

L'essentiel

🕵️‍♂️ L'Enquête : Quand la théorie rencontre la réalité

Imaginez que vous êtes un chef cuisinier (un algorithme d'intelligence) qui doit préparer un repas pour des convives très exigeants. Ces convives ont des goûts opposés : l'un veut du très épicé, l'autre du très sucré, et un troisième veut absolument éviter le sel. Votre défi ? Trouver le juste équilibre pour que tout le monde soit satisfait, sans avoir le droit de goûter aux plats en cours de préparation (c'est ce qu'on appelle l'apprentissage "hors ligne" ou offline).

C'est là qu'intervient FairDICE, un nouveau "recette" (algorithme) proposée par des chercheurs. Ils affirmaient pouvoir apprendre automatiquement à équilibrer ces goûts contradictoires pour créer un plat parfait et équitable.

Ce rapport est une enquête de vérification. Une équipe d'étudiants a décidé de tester cette recette pour voir si elle fonctionne vraiment comme promis, ou si c'est un peu de la magie noire.

---

🚨 Le Grand Secret : L'erreur de cuisine

En creusant dans le code informatique (la "recette" écrite par les auteurs originaux), les enquêteurs ont découvert un gros problème technique, un peu comme si un chef avait écrit "mélangez les ingrédients" mais avait en fait oublié de mettre la cuillère dans le bol.

• Ce qui était censé se passer : L'algorithme devait apprendre à ajuster les poids de chaque objectif (plus de sucre, moins de sel) en fonction d'un "critique" qui jugeait la qualité du plat.
• Ce qui se passait vraiment : À cause d'une erreur de calcul (une erreur de "diffusion" dans le code), l'algorithme ignorait totalement ces ajustements. Il se contentait de copier bêtement les actions passées, comme un élève qui recopierait le devoir d'un camarade sans réfléchir.

La métaphore : C'est comme si un entraîneur de football vous disait : "J'ai un système génial pour choisir les meilleurs joueurs selon la météo !" Mais en réalité, son système était cassé et il choisissait les joueurs au hasard, ou simplement ceux qui étaient déjà sur le terrain. Par chance, comme les joueurs choisis au hasard étaient parfois bons, personne ne s'était rendu compte que le système était en panne !

---

🔍 Ce qu'ils ont découvert (Les résultats)

Une fois l'erreur corrigée, les enquêteurs ont réessayé la recette. Voici ce qu'ils ont vu :

1. Sur les petits jeux (Environnements discrets) :
   La recette fonctionne ! Quand on l'applique sur des problèmes simples (comme un labyrinthe), FairDICE arrive vraiment à trouver un équilibre équitable entre les objectifs, là où les méthodes classiques échouent. C'est comme si, sur un petit plateau, le chef parvenait enfin à satisfaire tout le monde.

2. Sur les grands jeux (Environnements continus) :
   Là, c'est plus compliqué. Une fois l'erreur corrigée, la recette devient très sensible.

   • Le problème du "Sel" (Hyperparamètre β) : Pour que ça marche, il faut régler un bouton très précis (appelé $\beta$). Si vous le tournez un tout petit peu trop, le plat devient immangeable. Si vous le tournez trop peu, c'est juste une copie des vieux plats.
   • La conclusion : L'algorithme n'est pas "magique" et universel. Il faut beaucoup d'essais et d'erreurs (réglages en ligne) pour qu'il fonctionne bien. Cela contredit l'idée qu'il pouvait fonctionner parfaitement sans réglage préalable.

3. Les nouveaux défis (Extensions) :
   Les enquêteurs ont poussé la recette plus loin :

   • Des plats complexes (Images) : Ça marche sur des environnements visuels complexes (comme un jeu vidéo en 3D).
   • Des données biaisées : Si on donne à l'algorithme des données déséquilibrées (par exemple, 80% de plats épicés et 20% de sucrés), il arrive à corriger le tir, mais pas parfaitement. Il ne peut pas faire de miracles si les ingrédients de départ sont trop mauvais.

---

💡 Le Verdict Final

En résumé, ce papier nous dit :

• L'idée est brillante : La théorie derrière FairDICE est solide et intéressante. C'est comme une nouvelle façon de penser l'équité dans les décisions automatiques.
• La pratique est imparfaite : La version initiale était défectueuse (buggée) et donnait de faux résultats. Une fois réparée, elle fonctionne, mais elle demande beaucoup plus de réglages manuels que prévu.
• Leçon pour l'avenir : On ne peut pas faire confiance aveuglément aux résultats d'un algorithme sans vérifier le code. Et pour que ces outils soient utiles dans le monde réel (médecine, robotique), il faudra encore affiner la façon de régler ces "boutons" magiques.

En une phrase : FairDICE est une idée géniale pour créer des robots équitables, mais il faut d'abord réparer la voiture avant de pouvoir faire de la course ! 🏎️🛠️

Résumé technique

1. Problématique

L'apprentissage par renforcement hors ligne (Offline RL) permet d'apprendre des politiques à partir de jeux de données statiques, évitant ainsi les risques et coûts associés à l'exploration en ligne (crucial dans des domaines comme la médecine ou la robotique). Cependant, de nombreuses applications réelles impliquent des objectifs multiples et parfois conflictuels (ex: maximiser l'efficacité tout en minimisant les risques).

Le défi majeur réside dans la manière de combiner ces objectifs. Une approche standard consiste à utiliser une somme pondérée des récompenses, mais déterminer les poids pour garantir une solution « équitable » (ne sacrifiant pas un objectif au profit d'un autre) est non trivial. L'algorithme FairDICE, proposé par Kim et al. (2025a), vise à combler ce vide en adaptant l'algorithme OptiDICE pour apprendre automatiquement les poids des objectifs afin de maximiser le bien-être social (notamment via la fonction de Nash), sans nécessiter d'évaluation en ligne.

L'objectif de cette étude de réplication est de vérifier la validité des affirmations théoriques et empiriques de FairDICE, ainsi que de clarifier les détails de son implémentation publique.

2. Méthodologie

Les auteurs ont mené une étude de réplication rigoureuse en deux volets :

1. Réplication directe : Reproduction des expériences sur des environnements discrets (MO-Four-Rooms, Random MOMDP) et continus (benchmark D4MORL avec MuJoCo).
2. Extensions : Évaluation de FairDICE dans des scénarios non couverts par l'article original :
   • Récompenses de haute dimension (100 objectifs).
   • Observations basées sur des images (Minecart-RGB).
   • Jeux de données biaisés vers un objectif spécifique.
   • Gestion de récompenses négatives sans normalisation.

Découverte critique (Discrepancy) :
Lors de l'examen du code source public de FairDICE, les auteurs ont identifié une erreur de diffusion (broadcasting error) dans le calcul de la perte de la politique pour les environnements continus.

• Le bug : Le code multipliait incorrectement les poids appris $w^*(s,a)$ par les probabilités de log, transformant un produit élément par élément (Hadamard) en un produit extérieur.
• Conséquence : Les poids appris étaient ignorés, et la perte de politique devenait équivalente à un Clonage de Comportement (Behavior Cloning - BC) standard.
• Impact : Les résultats originaux de Kim et al. (2025a) montraient une robustesse exceptionnelle de FairDICE, mais cela était en réalité dû au fait que l'algorithme fonctionnait comme un BC simple, masquant ainsi l'inefficacité réelle du mécanisme d'apprentissage des poids.

Les auteurs ont donc réexécuté les expériences avec une version corrigée de l'algorithme (weighted BC correct) et comparé les résultats avec la version originale (buggée) et les bases de référence.

3. Contributions Clés

• Identification d'un bug critique : Démonstration que la version publique de FairDICE pour les environnements continus se réduisait à un BC standard, invalidant les affirmations de robustesse initiales.
• Validation théorique partielle : Confirmation que les propriétés théoriques de FairDICE (influence de $\alpha$ et $\beta$) tiennent dans des environnements discrets simples, une fois les détails d'implémentation (représentation tabulaire, encodage) clarifiés.
• Analyse de la sensibilité aux hyperparamètres : Mise en évidence que la version corrigée de FairDICE est hautement sensible au paramètre de régularisation $\beta$, contrairement à ce qui était affirmé.
• Étude de scalabilité : Évaluation de la méthode sur des tâches complexes (images, 100 objectifs) et sur des données biaisées.

4. Résultats Principaux

Environnements Discrets

• Réplication réussie : Avec le code fourni par les auteurs originaux (incluant une politique tabulaire et un encodeur one-hot), les résultats ont été reproduits.
• Effet des hyperparamètres :
  • $\alpha$ (contrôle l'équité) : Augmenter $\alpha$ améliore l'équité (Jain's Fairness) au détriment du bien-être utilitaire, conformément à la théorie.
  • $\beta$ (contrôle la régularisation) : Un $\beta$ faible permet de s'éloigner de la politique de données pour améliorer l'équité, tandis qu'un $\beta$ élevé force la politique à rester proche des données (comportement BC).

Environnements Continus (D4MORL)

• Effondrement de la performance corrigée : Une fois le bug de diffusion corrigé, FairDICE devient très sensible à $\beta$. La plupart des valeurs de $\beta$ produisent des politiques pires que le BC standard.
• Absence de robustesse : Contrairement à l'affirmation originale (Claim 2.1), il n'existe pas de plage de valeurs de $\beta$ garantissant une performance stable. L'ajustement de $\beta$ nécessite une recherche en ligne, ce qui contredit le principe de l'Offline RL pur.
• Cas particulier HalfCheetah : Sur un seul environnement (HalfCheetah Expert), la version corrigée surpasse les bases de référence, mais cela ne se généralise pas aux autres environnements.

Extensions et Scalabilité

• Récompenses négatives : FairDICE peut gérer des récompenses négatives sans normalisation, à condition que le retour espéré soit positif.
• Données biaisées : Sur des données fortement biaisées (ex: 80/10/10% vers un objectif), FairDICE parvient à corriger partiellement le biais, mais ne retrouve pas totalement les performances d'un jeu de données équilibré.
• Haute dimension et Images : L'algorithme montre une bonne capacité de mise à l'échelle (scalabilité) sur des environnements avec 100 objectifs (GroupFair) et des observations d'images (Minecart-RGB), apprenant des politiques équilibrées là où une recherche manuelle de poids serait impossible.

5. Signification et Conclusion

Cette étude de réplication conclut que FairDICE est une contribution théoriquement intéressante, mais que sa justification expérimentale nécessite une révision majeure pour refléter la réalité.

• Théorie vs Pratique : Bien que le mécanisme d'apprentissage des poids via un terme de régularisation soit valide théoriquement, son application pratique est entravée par une sensibilité extrême aux hyperparamètres ($\beta$).
• Limites de l'Offline RL : La nécessité de tuner $\beta$ en ligne (ou via une validation croisée coûteuse) limite l'applicabilité de FairDICE dans des scénarios d'Offline RL stricts où aucune interaction avec l'environnement n'est possible.
• Recommandations : Les auteurs suggèrent que pour que cette méthode soit utile, elle doit être combinée avec des cadres d'Offline RL plus robustes au choix des hyperparamètres, ou des méthodes alternatives pour les utilités non linéaires doivent être explorées.

En résumé, FairDICE offre un potentiel prometteur pour l'équité dans le RL multi-objectifs, mais son implémentation actuelle et sa dépendance aux hyperparamètres en font un outil difficile à déployer sans ajustements manuels significatifs.