Auditing Fairness-Privacy Trade-offs: Subpopulation-Level Effects of Fairness-Enhancing Algorithms
Cet article présente la première étude exhaustive démontrant que les algorithmes améliorant l'équité ont des effets hétérogènes et spécifiques aux sous-populations sur les risques de confidentialité liés à l'inférence d'appartenance, révélant que l'interaction entre l'équité, la confidentialité et l'utilité nécessite une évaluation conjointe au niveau des sous-groupes plutôt qu'à travers des mesures agrégées.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous déambulez dans une bibliothèque géante et animée où chaque livre représente l'histoire de la vie d'une personne. Dans cette bibliothèque, il existe deux règles très importantes que les bibliothécaires (les programmes informatiques) doivent suivre. La première règle est l'Équité : les bibliothécaires doivent traiter chaque visiteur de la même manière, qu'il soit grand, petit, porte des lunettes ou vienne d'un quartier spécifique. Ils ne peuvent pas offrir un meilleur service à un groupe plutôt qu'à un autre. La seconde règle est la Confidentialité : les bibliothécaires doivent garder les secrets de leurs visiteurs en sécurité. Ils ne devraient pas être capables de dire à un étranger : « Hé, je sais que vous étiez ici hier ! » simplement en regardant comment ils ont organisé les livres.
Pendant longtemps, les scientifiques se sont inquiétés du fait que ces deux règles puissent s'affronter. Ils pensaient que si l'on essayait de rendre la bibliothèque super équitable, on pourrait accidentellement faciliter la tâche des curieux pour deviner qui a visité les lieux. Ou, si l'on essayait de cacher parfaitement l'identité de chacun, les bibliothécaires pourraient devenir si confus qu'ils commenceraient à traiter les gens de manière injuste. Mais voici le rebondissement : la plupart des scientifiques ne regardaient que la bibliothèque dans son ensemble. Ils vérifiaient le traitement moyen de tout le monde, passant à côté du fait que certains groupes spécifiques de visiteurs pourraient recevoir un traitement totalement différent et bien pire que les autres. C'est comme dire que la température « moyenne » d'une ville est parfaite, tout en ignorant qu'un quartier est gelé et qu'un autre est en plein brasier.
Cet article décide de zoomer et d'examiner la bibliothèque à travers une loupe, en vérifiant chaque groupe spécifique de visiteurs un par un. Les chercheurs ont voulu voir ce qui se passe lorsqu'on utilise des « outils d'équité » pour corriger le comportement des bibliothécaires. Ces outils rendent-ils accidentellement plus facile pour un espion de deviner quels visiteurs sont dans le système ? Et si l'on essaie de cacher l'identité de chacun à l'aide d'un « bouclier de confidentialité » (une technique appelée Confidentialité Différentielle), cela aide-t-il tout le monde de la même manière, ou cela nuit-il accidentellement encore plus aux groupes plus petits et moins communs ?
L'équipe a mis en place une expérience massive utilisant dix scénarios réels différents, allant de la prédiction de l'obtention d'un prêt à la détermination de la probabilité de récidive dans le système judiciaire. Ils ont testé cinq types différents d'« outils d'équité » (certains corrigent les données avant que l'ordinateur n'apprenne, d'autres modifient la façon dont l'ordinateur apprend, et d'autres corrigent les réponses une fois que l'ordinateur a terminé). Ils ont également utilisé trois types d'« attaques d'espions » pour voir à quel point il était facile de deviner si une personne figurait dans les données d'entraînement.
Voici ce qu'ils ont découvert, et c'est un peu plus complexe qu'une simple histoire de « bon contre mauvais ». Premièrement, ils ont découvert que l'équité et la confidentialité ne sont pas ennemies. Vous n'avez pas à choisir entre les deux ; en fait, certains outils d'équité ont même rendu plus difficile pour les espions de deviner qui se trouvait dans le système, tandis que d'autres ont facilité la tâche. Tout dépend de quel outil vous utilisez et de qui est dans le groupe. Par exemple, un outil appelé « Repondération » (qui accorde une attention supplémentaire aux groupes plus petits) a souvent rendu les groupes plus petits plus sûrs face aux espions. Mais un autre outil, le « Suppresseur d'Impact Disparate », a été un peu plus imprévisible — il aidait parfois et nuisait parfois, selon le jeu de données spécifique.
La découverte la plus surprenante est survenue lorsqu'ils ont combiné les outils d'équité avec le « bouclier de confidentialité » (la Confidentialité Différentielle). Les chercheurs ont découvert que, bien que le bouclier de confidentialité ait réussi à arrêter les espions, il l'a fait en jetant une couverture de « bruit » sur toute la bibliothèque. Ce bruit était censé cacher l'identité de chacun, mais il s'est avéré être une couverture lourde qui a écrasé les groupes plus petits et moins communs. Pour les grands groupes populaires, les bibliothécaires pouvaient encore bien faire leur travail malgré le bruit. Mais pour les petits groupes rares, le bruit était si fort que les bibliothécaires ne pouvaient plus rien distinguer du tout, et leur précision chutait presque à zéro. C'est comme essayer d'entendre un murmure dans une pièce calme ; si vous allumez soudainement un ventilateur bruyant pour masquer le murmure, les grandes voix peuvent toujours être entendues, mais les murmures sont complètement perdus.
L'article a également examiné un outil appelé « Égalité des Chances Calibrée », qui ajuste les réponses finales pour être équitable. Cet outil était excellent pour masquer les risques de confidentialité (faisant en sorte que les espions devinent au hasard), mais c'était un désastre pour la précision. Il ne s'est pas contenté d'aider les groupes sous-représentés ; il a brassé les erreurs de manière chaotique, nuisant parfois aux groupes majoritaires et parfois aux groupes minoritaires, sans schéma clair.
En résumé, les auteurs montrent qu'il n'existe pas de « bouton magique » unique qui règle l'équité, la confidentialité et la précision à la fois. Les résultats suggèrent que l'impact de ces outils dépend fortement de la taille du groupe, du type de modèle informatique utilisé et de la méthode spécifique choisie. Si vous voulez construire un système équitable et privé, vous ne pouvez pas simplement regarder la moyenne. Vous devez auditer chaque sous-groupe, car ce qui fonctionne pour la majorité peut être un cauchemar pour la confidentialité ou un désastre pour l'utilité pour la minorité. L'article ne prétend pas avoir résolu le problème pour toujours, mais il fournit la première carte claire montrant exactement où les pièges sont cachés dans la forêt de l'équité et de la confidentialité.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.