Fairness-in-the-Workflow: How Machine Learning Practitioners at Big Tech Companies Approach Fairness in Recommender Systems

Cet article présente une étude qualitative auprès de praticiens du machine learning dans les grandes entreprises technologiques, révélant les défis organisationnels et techniques liés à l'intégration de l'équité dans les systèmes de recommandation et proposant des recommandations concrètes pour la communauté.

L'essentiel

🎬 Le Film : "La Cuisine de l'Algorithme"

Imaginez que les systèmes de recommandation (ceux qui vous disent quoi regarder sur Netflix, quoi acheter sur Amazon ou qui voir sur TikTok) sont de gigantesques restaurants ouverts 24h/24.

Dans ces restaurants, il y a deux types de clients :

1. Les Clients (vous) : Vous voulez manger quelque chose de bon.
2. Les Fournisseurs (les vendeurs, les créateurs de vidéos) : Ils veulent que leur plat soit servi à tout le monde.

Le problème ? Parfois, le chef (l'algorithme) est un peu biaisé. Il pourrait servir uniquement des plats épicés parce qu'il aime ça, ou ignorer les plats végétariens, ou encore donner tous les meilleurs plats aux mêmes personnes riches, laissant les autres affamés. C'est ce qu'on appelle le manque d'équité (ou fairness).

🕵️‍♂️ L'Enquête : Qui cuisine vraiment ?

Les auteurs de cette étude sont allés interviewer 11 chefs cuisiniers (des ingénieurs en intelligence artificielle) qui travaillent dans les plus grandes entreprises technologiques du monde (les "Big Tech"). Ils voulaient savoir : "Comment essayez-vous de rendre votre cuisine équitable pour tout le monde ?"

Voici ce qu'ils ont découvert, traduit en langage courant :

1. Le Menu est Trop Complexe (Le Défi Technique)

Dans un restaurant normal, le chef décide du menu. Ici, c'est différent.

• Le Dilemme du Chef : Le chef doit satisfaire tout le monde en même temps. Si vous servez un plat que les "clients" adorent, les "fournisseurs" (les créateurs de contenu) peuvent se sentir ignorés. Si vous essayez de montrer des plats à tout le monde, les clients peuvent se plaindre que ce n'est pas ce qu'ils aiment.
• La Recette Mystère : Les chercheurs universitaires ont écrit des livres de recettes pour cuisiner équitablement. Mais les chefs en entreprise disent : "Ces livres sont trop théoriques !" Ils doivent inventer leurs propres recettes sur le moment, souvent à l'instinct, car chaque restaurant (chaque application) est unique.
• Le Cycle Infini : Le pire, c'est que le restaurant change tout le temps. Si le chef change le menu, les clients réagissent, ce qui change ce que le chef pense qu'ils veulent manger. C'est un tapis roulant qui ne s'arrête jamais. Il est très difficile de tester si le menu est juste avant de le servir, car on ne sait pas comment les clients vont réagir en vrai.

2. Le Manque de Temps et de Communication (Le Défi Organisationnel)

C'est ici que ça coince vraiment.

• Le Chef Pressé : Les chefs sont débordés. Leur priorité absolue est que le restaurant ne s'effondre pas (que le site web ne plante pas) et que les gens mangent beaucoup (que les gens cliquent). La "justice" ou l'équité, c'est important, mais ce n'est pas une urgence vitale. C'est comme essayer de décorer un gâteau pendant qu'il brûle au four : on le fait si on a le temps, mais souvent, on n'en a pas.
• Deux Langues Différentes : Dans le restaurant, il y a le chef (technique) et un inspecteur de l'hygiène (l'équipe "Éthique/Fairness").
  • L'inspecteur dit : "Il faut que ce plat soit équitable pour les végétariens."
  • Le chef répond : "Je ne comprends pas ce que vous voulez dire avec ces mots compliqués. Et en plus, vous arrivez seulement quand le plat est déjà dans l'assiette !"
  • Résultat : L'inspecteur et le chef ne se comprennent pas bien. Ils ne parlent pas la même langue.

3. Le Contraste avec les Avocats

Curieusement, les chefs s'entendent très bien avec les avocats du restaurant (l'équipe juridique).

• Pourquoi ? Parce que les avocats disent : "C'est interdit par la loi, donc on ne le fait pas." C'est clair, net et précis.
• Mais l'équité, ce n'est pas une loi. C'est flou. "Est-ce que c'est juste ?" C'est une question difficile sans réponse unique.

💡 Les Solutions Proposées (Comment réparer la cuisine ?)

Les auteurs ne se contentent pas de pointer les problèmes, ils donnent des conseils pour améliorer les choses :

1. Écrire le Livre de Recettes (Documentation) : Au lieu que chaque chef invente sa propre recette d'équité à chaque fois, ils devraient écrire et partager leurs méthodes. Si un chef a résolu un problème d'équité hier, un autre ne devrait pas avoir à réinventer la roue demain.
2. Inviter l'Inspecteur Dès le Départ : Au lieu d'attendre que le plat soit servi pour demander à l'inspecteur de l'hygiène de vérifier, il faudrait l'inviter dès qu'on commence à cuisiner (dès la conception). Cela éviterait de gaspiller des ingrédients.
3. Apprendre à Parler la Même Langue : Il faut créer un dictionnaire commun entre les ingénieurs et les experts en éthique. Ils doivent apprendre à se comprendre pour que les conseils de l'inspecteur soient réellement applicables par le chef.
4. Prendre le Temps de Cuisiner : Les entreprises doivent donner du temps réel aux chefs pour réfléchir à l'équité, au lieu de les laisser courir après le profit immédiat.

🌟 En Résumé

Cette étude nous dit que rendre les algorithmes justes est comme essayer de cuisiner un repas parfait pour des milliers de personnes avec des goûts opposés, dans une cuisine qui tremble, avec un chef qui a très faim et peu de temps.

C'est difficile, mais les chefs (les ingénieurs) veulent vraiment bien faire. Ils ont juste besoin de meilleures recettes, de plus de temps, et d'une meilleure communication avec ceux qui veillent à ce que le repas soit juste pour tout le monde.

Résumé technique

1. Problématique

Les systèmes de recommandation (RS) sont déployés à grande échelle dans des domaines à haut risque (e-commerce, réseaux sociaux) et ont un impact sociétal majeur. Bien que la recherche académique ait proposé de nombreuses méthodes pour mesurer et atténuer les biais, leur traduction en pratique industrielle reste extrêmement difficile.

Les défis spécifiques aux RS incluent :

• La nature dynamique et collaborative : Contrairement aux modèles de classification statiques, les RS interagissent avec les utilisateurs et les fournisseurs de contenu, créant des boucles de rétroaction qui peuvent amplifier les disparités.
• La multiplicité des parties prenantes : Les praticiens doivent équilibrer des intérêts souvent contradictoires entre les fournisseurs (créateurs de contenu, vendeurs) et les utilisateurs finaux.
• L'absence de définition unique : L'équité n'est pas un concept statique ; sa définition varie selon le contexte, les réglementations et les objectifs commerciaux.
• Le fossé théorie-pratique : Les outils académiques sont souvent inadaptés aux contraintes réelles des grandes entreprises technologiques (manque de temps, données complexes, besoin de rapidité).

L'objectif de l'étude est de cartographier le flux de travail réel des praticiens du ML dans les grandes entreprises technologiques ("Big Tech") pour comprendre comment ils intègrent (ou échouent à intégrer) l'équité dans leurs processus de développement.

2. Méthodologie

Les auteurs ont mené une étude qualitative basée sur des entretiens semi-structurés :

• Participants : 11 praticiens techniques (ingénieurs ML, chercheurs, scientifiques) travaillant sur des systèmes de recommandation dans 7 grandes entreprises technologiques.
• Profil : Les participants ont une expérience moyenne de 5,36 ans et travaillent sur des systèmes touchant plus d'un milliard d'utilisateurs annuellement.
• Processus : Les entretiens (45 min à 1h) ont couvert le flux de travail technique, les interactions avec les équipes juridiques, de données et d'équité, ainsi que les défis rencontrés.
• Analyse : Une analyse thématique inductive a été utilisée pour identifier les motifs récurrents dans les flux de travail et les obstacles techniques et organisationnels.

3. Contributions Clés

L'article apporte trois contributions majeures à la communauté HCI et ML :

1. Une cartographie du flux de travail des praticiens de RS : Une visualisation détaillée de la manière dont les équipes techniques intègrent l'équité, à la fois en interne et en collaboration avec les équipes juridiques, de données et d'équité (ou "Responsible AI").
2. Une vue d'ensemble des défis techniques et organisationnels : Identification précise des obstacles empêchant l'adoption effective de l'équité dans les workflows existants.
3. Recommandations actionnables : Des pistes concrètes pour les praticiens, les entreprises et les chercheurs en HCI afin d'améliorer l'intégration de l'équité, en soulignant où les changements doivent être apportés par l'industrie et où la recherche peut intervenir.

4. Résultats et Analyse

A. Le Flux de Travail des Praticiens (Workflow)

Le flux de travail est divisé en phases hors ligne (développement) et en ligne (déploiement), avec trois phases d'intégration de l'équité :

1. Phase de Prototypage : Interaction avec les équipes juridiques (pour l'accès aux données et la conformité) et les équipes de données. Les praticiens formulent des hypothèses sur les biais et développent des métriques d'équité souvent basées sur l'intuition plutôt que sur la littérature académique.
2. Phase Interne : Validation des métriques et recherche manuelle de biais inattendus lors de la validation du modèle hors ligne. Cette phase est décrite comme incertaine et difficile car elle nécessite de modéliser le comportement futur des utilisateurs.
3. Phase Collaborative : Après le déploiement, l'équipe d'équité fournit des retours. Cependant, les praticiens ont souvent la discrétion d'accepter ou non ces retours, surtout s'ils entrent en conflit avec les délais ou les performances du modèle.

B. Défis Techniques (Au sein des équipes RS)

• Définir l'équité : Difficulté à appliquer des définitions légales (ex: discrimination raciale) à des contextes où elles ne s'appliquent pas (ex: applications de rencontre) ou à des attributs non protégés (ex: popularité).
• Adaptation des métriques : Les métriques académiques sont souvent inapplicables. Les praticiens créent des métriques "sur mesure" (bespoke) et souffrent d'une "dette de documentation", rendant la réutilisation des travaux passés difficile.
• Gestion des multiples parties prenantes : Nécessité de prioriser entre des intérêts conflictuels (utilisateurs vs créateurs) et de gérer des milliers de groupes d'utilisateurs, ce qui rend l'équité uniforme impossible.
• Environnements dynamiques : Les boucles de rétroaction (feedback loops) rendent les tests hors ligne insuffisants. Les biais "cachés" n'apparaissent souvent qu'après le déploiement, nécessitant une itération constante et manuelle.

C. Défis Organisationnels (Inter-équipes)

• Manque de temps : Les praticiens consacrent moins de 10 % de leur temps à l'équité. L'équité n'est pas considérée comme une "urgence disruptive" (comme un temps d'arrêt du service) et est donc souvent dépriorisée.
• Absence de "Lingua Franca" de l'équité :
  • Communication avec l'équipe d'équité : Souvent difficile en raison d'un jargon différent (psychologie, communication vs ingénierie) et d'un manque de directives claires. Les équipes d'équité sont souvent impliquées trop tard dans le cycle de développement.
  • Contraste avec l'équipe juridique : Les interactions avec les équipes juridiques sont décrites comme claires, directes et basées sur des règles strictes, ce qui facilite le travail par rapport à l'ambiguïté des directives d'équité.

5. Signification et Recommandations

L'étude met en lumière que l'équité dans les RS ne peut pas être résolue uniquement par de nouveaux algorithmes, mais nécessite une refonte des processus organisationnels et des outils de support.

Recommandations principales :

1. Construire une connaissance institutionnelle : Améliorer la documentation des métriques et des processus d'équité pour éviter de réinventer la roue à chaque projet. Les chercheurs en HCI doivent concevoir des artefacts de documentation flexibles et modulaires.
2. Investir dans l'équité multi-parties prenantes : Les grandes entreprises doivent financer la recherche sur l'optimisation multi-objectifs et l'équité intra-groupe pour gérer la complexité des milliards d'interactions.
3. Intégrer l'équité tôt et souvent : Impliquer les équipes d'équité dès la phase de prototypage (comme le font les équipes juridiques) pour éviter les corrections coûteuses en phase de déploiement.
4. Développer une "Lingua Franca" de l'équité : Créer des ponts de communication, des glossaires communs et des rôles de "pont" (bridging roles) pour traduire les principes éthiques en contraintes techniques applicables.

Conclusion :
Bien que les praticiens soient motivés par l'impact sociétal de leur travail, ils sont freinés par des contraintes structurelles (temps, communication, complexité technique). L'étude appelle à une collaboration renforcée entre la recherche académique (HCI/ML) et l'industrie pour créer des outils et des processus qui rendent l'équité non seulement éthiquement désirable, mais techniquement et organisationnellement réalisable.