💻 computer science

Reproducing FACTER: Fairness via Conformal Thresholding and Prompt Repair

Cet article présente une étude de reproductibilité du cadre FACTER pour les recommandations équitables basées sur les LLM, révélant que, bien qu'il réduise efficacement les violations de seuil adaptatif, son mécanisme itératif de réparation de prompts offre un bénéfice supplémentaire limité par rapport aux instructions d'équité statiques dans des scénarios de réordonnancement contraints et souffre d'une divergence d'utilité due à une évaluation sous-spécifiée dans l'étude originale.

Auteurs originaux : Oscar Miró López-Feliu, Daimy van Loo, Xanthos Kekkos, Mikel Blom, Clara Rus

Publié 2026-06-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Oscar Miró López-Feliu, Daimy van Loo, Xanthos Kekkos, Mikel Blom, Clara Rus

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un bibliothécaire numérique (un grand modèle de langage) très intelligent, mais légèrement biaisé, qui suggère des films aux gens. Vous voulez que ce bibliothécaire soit équitable : si deux personnes ont les mêmes goûts en matière de films, elles doivent recevoir les mêmes suggestions, qu'il s'agisse d'un homme, d'une femme, d'un jeune ou d'une personne âgée.

Une nouvelle méthode appelée FACTOR a été proposée pour corriger cela. Elle fonctionne comme un filet de sécurité en deux étapes :

Le système d'alarme : Il définit un « score d'équité ». Si le bibliothécaire suggère quelque chose qui ressemble trop à un stéréotype (par exemple, ne suggérer que des films romantiques aux femmes), l'alarme sonne.
L'équipe de réparation : Lorsque l'alarme sonne, le système écrit une note au bibliothécaire disant : « Hé, arrête de faire ce truc spécifique », et l'ajoute à une liste de règles à éviter à l'avenir. Il ajuste également la sensibilité de l'alarme pour être un peu plus indulgent si elle sonne trop souvent.

Le but de cet article
Les auteurs de cet article voulaient voir si FACTER fonctionne réellement comme annoncé. Ils ont essayé de reconstruire le système de zéro en utilisant les instructions et le code originaux, comme un mécanicien essayant de reconstruire le moteur d'une voiture en utilisant uniquement le manuel du propriétaire. Ils l'ont testé sur deux aspects :

Le test original : Demander au bibliothécaire d'« inventer » des titres de films à partir de rien.
Un nouveau test : Donner au bibliothécaire une liste fixe de 40 films et lui demander de choisir les 10 meilleurs de cette liste (comme une tâche de re-classement).

Voici ce qu'ils ont trouvé, expliqué simplement :

1. La « magie » n'a pas fonctionné dans le test original

Dans la configuration originale (où le bibliothécaire devait inventer des titres de films de toutes pièces), les résultats ont été un désastre. Le bibliothécaire ne parvenait même pas à se souvenir correctement des noms des films. C'était comme demander à quelqu'un de nommer un film, et il continuait de dire « Celui avec le gars et le chien » au lieu de « Le Roi Lion ».

Parce que le bibliothécaire était si mauvais pour simplement nommer des films, les chiffres de « l'équité » semblaient bizarres. Les auteurs ont réalisé que l'étude originale avait peut-être utilisé une manière très lâche de vérifier si les noms de films correspondaient, ce qui rendait les résultats bien meilleurs qu'ils ne l'étaient réellement.

2. L'« équipe de réparation » ne faisait que déplacer les poteaux de but

L'aspect le plus intéressant de la découverte concernait la manière dont FACTER réduisait le nombre d'« alarmes » (violations).

L'affirmation : FACTER était censé faire mieux se comporter le bibliothécaire en apprenant de ses erreurs.
La réalité : Le système n'a pas réellement fait mieux se comporter le bibliothécaire. Au lieu de cela, il a simplement abaissé la barre de ce qui est considéré comme une erreur.

Imaginez un professeur qui corrige un examen. Si l'élève se trompe constamment dans les questions, le professeur peut soit :
A) Mieux enseigner à l'élève (corriger le comportement).
B) Abaisser la note de passage pour que l'élève réussisse quand même (ajuster le seuil).

FACTER a principalement fait l'Option B. Il a maintenu la sensibilité de l'« alarme » suffisamment basse pour que moins de choses déclenchent l'alarme, mais les suggestions réelles du bibliothécaire n'étaient pas beaucoup plus équitables. Lorsque les auteurs ont vérifié avec un standard strict et inchangé, les améliorations de « l'équité » ont presque disparu.

3. Une simple note fonctionne aussi bien qu'un robot complexe

Les auteurs ont créé une version plus simple du système : une base de référence « Fair Zero-Shot ». Il s'agit simplement d'un bibliothécaire avec une seule note statique sur son bureau qui dit : « Soyez équitable envers tout le monde ».

Ils ont trouvé que, dans le « test de la liste fixe » (où le bibliothier choisit parmi 40 films), cette simple note fonctionnait aussi bien que le système complexe et auto-correcteur de FACTER. La fantaisiste « équipe de réparation » qui met constamment à jour les règles n'apportait aucune valeur supplémentaire. C'était comme embaucher une équipe d'ingénieurs pour réparer un robinet qui fuit alors qu'une simple clé aurait fait l'affaire.

4. Le problème de la « boîte noire »

L'étude met en lumière un problème majeur de ces systèmes d'IA : ce sont des « boîtes noires ». Nous ne pouvons pas voir à l'intérieur de leur cerveau pour les réparer directement. Nous pouvons seulement leur parler (par prompting) et regarder ce qu'ils disent.

Les auteurs ont trouvé que lorsqu'ils essayaient de forcer l'IA à être équitable, l'IA privilégiait souvent être « confiante » dans ses mauvaises réponses plutôt que d'être réellement équitable.
Le « pénalité d'équité » du système (la partie qui punit le biais) s'est en fait aggravée avec le temps, même si le système essayait de la corriger. L'IA a simplement appris à ignorer les règles d'équité pour maintenir sa confiance élevée.

La conclusion

L'article conclut que, bien que FACTER soit une idée ingénieuse, elle ne fonctionne pas tout à fait comme les auteurs originaux l'ont affirmé.

Il réduit le nombre d'« alarmes » qu'il déclenche, mais principalement en rendant les règles plus faciles à passer, et non en rendant l'IA plus intelligente ou plus juste.
Dans de nombreux cas, une instruction simple et statique de « être équitable » fonctionne aussi bien que le système complexe et auto-actualisé.
Les affirmations originales sur la façon dont le système fonctionne dans un cadre ouvert (inventer des titres de films) n'ont pas pu être reproduites ; le système avait du mal à nommer correctement les films, et encore plus à être équitable.

En bref : Le tour de magie « auto-correcteur » de FACTER est en grande partie une illusion. Il donne l'impression de corriger le problème en ajustant le tableau des scores, mais le joueur (l'IA) ne joue pas de manière plus équitable pour autant.

Résumé technique : Reproduction de FACTER

Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus déployés en tant que systèmes de recommandation grâce à leur capacité à générer des suggestions personnalisées en langage naturel. Cependant, ces modèles risquent d'amplifier les biais sociétaux présents dans leurs données d'entraînement, menant à des recommandations systématiquement différentes pour les utilisateurs issus de différents groupes démographiques. Bien que le réentraînement des modèles sous contraintes d'équité soit une stratégie d'atténuation courante, cela est souvent impraticable pour les LLM "boîte noire" déployés via des API. Cela nécessite des interventions post-hoc et agnostiques au modèle.

Le papier se concentre sur la reproduction de FACTER (Fayyazi et al., 2025), un cadre conçu pour imposer l'équité dans les recommandations basées sur les LLM sans modifier les paramètres du modèle. FACTER combine la prédiction conforme pour calibrer un seuil de non-conformité avec un mécanisme de réparation de prompt itératif qui injecte des contraintes "AVOID" (ÉVITER) basées sur les violations détectées. L'étude originale affirmait que FACTER pouvait réduire les violations d'équité sans dégrader l'utilité de la recommandation. Ce travail examine la reproductibilité de ces affirmations, en abordant les ambiguïtés de l'implémentation originale et en évaluant le cadre à la fois sous le réglage original de génération ouverte et sous une extension de re-classement (re-ranking) contrôlée.

Méthodologie

Implémentation du cadre

Les auteurs ont implémenté FACTER de zéro, en respectant les formalisations théoriques de l'article original tout en résolvant les divergences d'implémentation trouvées dans le code source public. Le cadre opère en deux phases :

Calibration hors ligne : Un seuil d'acceptation initial ( $Q^{(0)}_\alpha$ ) est établi via la prédiction conforme par partition (split conformal prediction). Un score de non-conformité ( $S$ ) est calculé pour les instances de calibration, combinant un terme d'erreur prédictive (écart par rapport à la vérité terrain) et une pénalité d'équité (distance sémantique par rapport aux recommandations données à des "voisins contrefactuels" possédant des attributs protégés différents).
Surveillance en ligne : À mesure que les requêtes arrivent, le système vérifie si le score de non-conformité dépasse le seuil actuel. Si une violation survient :
- Réparation de prompt : Le système extrait les caractéristiques fréquentes des éléments associés à la violation et injecte des contraintes explicites "AVOID" dans le prompt système (ex: "Avoid: gender=F $\to$ Romance").
- Adaptation du seuil : Le seuil est mis à jour via un lissage exponentiel pour redimensionner dynamiquement la région d'acceptation.

Configuration expérimentale

L'étude évalue FACTER à travers deux jeux de données (MovieLens-1M et Amazon Movies & TV) et trois backbones de LLM (Llama 2-7B, Llama 3-8B, Mistral-7B).

Tâches : L'évaluation couvre la tâche originale de génération ouverte (où le LLM génère des titres d'éléments de zéro) et une nouvelle tâche de re-classement contraint (où le LLM classe un ensemble de candidats fixes).
Baselines : L'étude introduit une baseline Fair Zero-Shot, qui utilise des instructions d'équité statiques sans la boucle de réparation itérative, afin d'isoler la contribution du mécanisme dynamique.
Métriques : L'équité est mesurée via le Ratio de Similitude Sensible-Neutre (SNSR) et le Ratio de Contrefactualité (CFR), ainsi que les Comptages de Violations. L'utilité est mesurée via le Recall@k et le NDCG@k.

Résultats clés

1. Reproductibilité de la génération ouverte

Sous une reproduction stricte de la tâche de génération ouverte, les auteurs ont observé une divergence significative de l'utilité de la recommandation.

Écart d'utilité : Le modèle reproduit a produit des scores NDCG@10 et Recall@10 proches de zéro, contrastant fortement avec les résultats solides rapportés dans l'étude originale. Cet écart est attribué à la difficulté de la génération zero-shot et aux protocoles d'évaluation de l'ensemble cible sous-spécifiés dans le travail original (ex: tolérances de correspondance de chaînes et construction de l'ensemble de pertinence).
Tendances d'équité : Malgré l'écart d'utilité, FACTER a systématiquement réduit les comptages de violations du seuil adaptatif par rapport à la baseline neutre. Cependant, ces réductions ne se sont pas systématiquement traduites par des améliorations des métriques d'équité globales (SNSR, CFR). Dans certains cas, le CFR de FACTER était pire que celui de la baseline neutre.

2. Performance dans l'extension de re-classement

Dans le cadre contrôlé de re-classement, où l'ensemble de candidats est fixe :

Utilité : L'utilité de la recommandation était nettement plus élevée que dans la génération ouverte, confirmant que les LLM sous-jacents peuvent identifier des éléments pertinents lorsque l'espace de recherche est contraint.
Équité : FACTER a maintenu de faibles comptes de violations adaptatives. Cependant, les instructions d'équité statiques (Fair Zero-Shot) ont obtenu des résultats de parité sémantique (SNSR, CFR) et des comptes de violations à seuil fixe comparables à la boucle dynamique de FACTER.
Dynamique du seuil : La réduction des violations s'est avérée hautement dépendante du seuil adaptatif. Lorsqu'il est évalué par rapport à un seuil fixe calibré sur la population, le nombre de violations de FACTER était comparable à celui des baselines, suggérant que l'amélioration apparente provient de la relaxation du seuil plutôt que d'un changement de comportement fondamental.

3. Analyse du mécanisme

L'analyse par composante des scores de non-conformité a révélé que, bien que l'erreur prédictive se soit légèrement améliorée au fil des itérations, la pénalité d'équité a en réalité augmenté. Cela indique que les contraintes "AVOID" injectées ont souvent échoué à supplanter la distribution prédictive du modèle, pouvant potentiellement déstabiliser la stabilité contrefactuelle. La boucle de réparation dynamique a apporté un bénéfice supplémentaire limité par rapport au prompting statique dans la formulation de classement contraint.

Signification et affirmations

Le papier se positionne comme un audit de reproduction de type "best-effort" plutôt que comme un arbitrage définitif des résultats originaux, citant les ambiguïtés de l'article original et du code. Ses principales contributions sont :

Documentation des limites : Il souligne que les affirmations d'utilité de la génération ouverte originale n'ont pas pu être reproduites dans des contextes identiques, probablement en raison de protocoles d'évaluation sous-spécifiés.
Isolation des mécanismes : En introduisant la baseline Fair Zero-Shot, l'étude démontre que la boucle de réparation de prompt itérative apporte un bénéfice marginal limité par rapport aux instructions d'équité statiques dans les tâches de classement contraint.
Seuil vs Comportement : L'analyse suggère que le principal mécanisme de FACTER pour réduire les comptes de violations est la relaxation du seuil adaptatif plutôt que l'effacement réussi des biais via la réparation de prompt.
Contraintes de reproductibilité : Le travail souligne la nécessité de protocoles d'évaluation transparents dans les tâches génératives ouvertes et les défis de la reproduction des cadres d'équité agnostiques au modèle lorsque les détails d'implémentation (ex: construction de l'ensemble cible, calcul des métriques) sont ambigus.

Les auteurs concluent que, bien que la prédiction conforme permette de borner efficacement les comptes de violations internes, la nécessité pratique de la boucle de réparation en ligne est discutable dans les contextes contraints, où des instructions statiques peuvent offrir une alternative plus efficace. Ils appellent la recherche future à explorer des mécanismes permettant d'imposer des bornes sémantiques pendant le décodage et à mieux calibrer les pénalités d'équité par rapport à la confiance prédictive.