Same System, Opposite Verdicts: Metric Discretion in AI Ethics Audits and the Limits of Disclosure
Cet article démontre que l'absence de mesures de l'équité normalisées dans l'éthique de l'IA permet des résultats d'audit arbitraires et contradictoires, soutenant que la mise en œuvre d'exigences de divulgation similaires aux mesures de performance alternatives financières — plutôt que d'imposer une mesure unique et correcte — peut réduire considérablement ce pouvoir discrétionnaire et améliorer la transparence.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous soyez un juge dans une salle d'audience, mais qu'au lieu de décider de la culpabilité ou de l'innocence, vous jugiez si un programme informatique est équitable. Dans le monde de l'intelligence artificielle (IA), l'« équité » n'est pas un chiffre unique et simple comme une taille ou un poids. C'est plutôt comme une recette. Vous pouvez faire un gâteau qui a un goût sucré, ou un gâteau qui a un goût acide, ou un gâteau parfaitement équilibré, selon les ingrédients que vous choisissez et la quantité de chaque ingrédient que vous ajoutez. De la même manière, pour mesurer si une IA est équitable, vous devez choisir quelle recette mathématique utiliser. Vous devez décider qui compte comme un « groupe » à comparer, quel score compte comme une « réussite », et quelle formule mathématique spécifique exécuter.
Pendant longtemps, les experts se sont disputés pour savoir quelle recette était la « bonne ». Certains disaient : « Nous devrions regarder combien de personnes sont embauchées », tandis que d'autres disaient : « Non, nous devrions regarder combien de personnes sont rejetées ». Ce document entre dans cette cuisine désordonnée pour voir ce qui se passe lorsque différents chefs utilisent différentes recettes sur les mêmes ingrédients exacts. La grande question est : est-ce que cela importe de choisir votre recette ? La réponse s'avère être un « Oui » sonore et retentissant. Si vous changez la recette, vous pourriez inverser le verdict de « Cette IA est équitable » à « Cette IA est biaisée », alors même que l'ordinateur n'a pas changé une seule chose. Cela importe car les gouvernements et les entreprises exigent désormais ces scores d'équité pour prendre de grandes décisions concernant l'obtention d'un prêt, d'un emploi ou même de la liberté dans un tribunal. Si le score dépend entièrement de la recette que vous avez choisie, et que personne ne vous dit quelle recette a été utilisée, le score pourrait ne plus rien signifier.
Le Grand Changement de Cap de l'Équité de l'IA
Ce document est comme une expérience massive où l'auteur, Shay Tsaban, agit comme un auditeur extrêmement scrupuleux. Il a pris quatre systèmes d'IA différents — un outil du monde réel utilisé dans une prison de Floride pour prédire si quelqu'un récidivera, et trois ensembles de données de test célèbres utilisés par des scientifiques pour vérifier les biais dans les revenus, le crédit et l'emploi. Ensuite, il n'a pas seulement lancé un test. Il a lancé 91 572 versions différentes du test.
Voyez cela comme ceci : imaginez que vous avez une boîte géante de Legos représentant un système d'IA. L'auteur a construit une machine capable d'assembler toutes les combinaisons possibles de « règles d'équité » pour voir quel genre de tour elle construirait. Il a essayé toutes les manières défendables de mesurer l'équité : changer la formule mathématique, changer le score de coupure pour une « réussite », changer les groupes de personnes comparés, et même changer l'année spécifique des données utilisées.
Le résultat choc : Le verdict bascule
La chose la plus stupéfiante que le document a trouvée est que pour chaque système testé, le résultat basculait d'un côté ou de l'autre. Dans les 7 cas spécifiques qu'ils ont examinés (comme « Défendants noirs contre blancs » ou « Hommes contre femmes »), l'IA pouvait être déclarée « Équitable » sous un ensemble de règles et « Inéquitable » sous un autre.
Cela devient encore plus fou. Parfois, le groupe qui était étiqueté comme « défavorisé » (ceux qui étaient traités injustement) changeait aussi ! Sous une recette, l'IA nuisait au Groupe A. Sous une autre recette, tout aussi valable, l'IA nuisait au Groupe B. Le document a constaté que les chiffres rapportés pouvaient varier de façon spectaculaire — de 6 à 30 fois plus que l'« erreur d'échantillonnage » normale (la petite marge d'erreur que l'on attend simplement du hasard). En fait, le choix de la formule mathématique à utiliser était responsable de 45 % de la différence dans le score final, alors que le hasard n'avait déplacé l'aiguille que d'une fraction infime.
Le problème du « Fairwashing » (Blanchiment d'équité)
Le document a également examiné ce que les entreprises et les gouvernements font réellement en ce moment. Ils ont lu 6 797 documents publics où des organisations affirmaient avoir audité leur IA. Le résultat ? Presque personne ne joue franc jeu avec l'information.
- Seuls 38 de ces près de 7 000 documents donnaient un chiffre spécifique pour l'équité.
- De ces 38, aucun n'expliquait pourquoi ils avaient choisi cette recette mathématique spécifique.
- Aucun ne mentionnait quelles autres recettes ils avaient considérées et rejetées.
- Aucun ne comparait le score actuel à un score de l'année dernière pour voir si les choses s'amélioraient ou s'aggravaient.
C'est comme si un chef vous disait : « Ce gâteau est délicieux », mais refusait de vous dire s'il a utilisé du sucre ou du sel, ou s'il l'a cuit pendant 10 minutes ou une heure. Vous ne pouvez pas savoir si le gâteau est réellement bon ou s'il a simplement eu de la chance avec la recette.
La Solution : La règle de la « Carte de Recette »
Alors, comment réparer cela ? Le document suggère d'emprunter un truc au monde de la finance. En comptabilité, les entreprises sont autorisées à déclarer des « bénéfices ajustés » (leur propre version du profit), mais elles doivent présenter un tableau de « réconciliation » qui explique exactement comment elles sont arrivées à ce chiffre à partir du profit standard.
L'auteur a mené une simulation pour voir ce qui se passerait si les auditeurs d'IA devaient faire la même chose. Il a découvert que si les auditeurs devaient simplement noter quatre choses :
- Quelle famille mathématique ils ont choisie (la recette).
- Les règles spécifiques qu'ils ont utilisées (les ingrédients).
- Qui ils ont comparé (les convives).
- S'ils ont gardé les mêmes règles au fil du temps (la cohérence).
...cette simple divulgation réduirait de 78 % la « marge de manœuvre ». Cela rendrait les résultats beaucoup plus cohérents et honnêtes sans avoir besoin de s'accorder sur la recette unique qui serait la « bonne ». Mieux encore, s'ils rapportaient également comment le score change au fil du temps, cela réduirait de 82 % la marge de manœuvre.
L'essentiel
Le document conclut que nous n'avons pas besoin de résoudre le problème mathématique impossible de trouver la définition « parfaite » de l'équité pour régler ce désordre. Nous devons simplement cesser de cacher nos choix. Si un système d'IA peut être jugé comme équitable ou inéquitable simplement en changeant la règle avec laquelle vous le mesurez, alors la règle elle-même doit faire partie du rapport.
Actuellement, le problème du « résidu » — la petite marge de manœuvre qui subsiste même après avoir forcé les gens à écrire leurs choix — est d'environ 0,16 sur l'échelle. C'est la limite de ce que la transparence peut réparer. Mais le document montre que la majeure partie de la confusion vient du fait que les gens ne nous disent pas quelles règles ils ont suivies. En les forçant à montrer leur travail, nous pouvons mettre fin au jeu du « Même système, verdicts opposés » et commencer à obtenir de vraies réponses.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.