Counterfactual Explanations and the Scope of Contestability
Cet article soutient que les explications contrefactuelles peuvent restaurer l'agentivité dans la prise de décision automatisée en définissant la contestabilité comme le droit d'exiger la révocation d'une décision, en analysant comment de telles explications aident à détecter les erreurs algorithmiques, et en proposant une approche de requêtes multiples pour en améliorer l'efficacité.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde moderne, les ordinateurs prennent de plus en plus les décisions lourdes qui façonnent nos vies. Ils décident qui obtient un prêt, qui est embauché pour un emploi et qui reçoit des soins médicaux. Ces systèmes fonctionnent souvent comme des « boîtes noires », ce qui signifie que leur logique interne est si complexe que même les personnes qui les ont construits ne peuvent pas facilement expliquer comment un choix spécifique a été fait. Cette opacité crée un problème pour l'agentivité humaine : si nous ne comprenons pas pourquoi une décision a été prise, nous ne pouvons pas la contester efficacement si nous pensons qu'elle est erronée. Pour remédier à cela, de nombreux experts ont proposé un « droit à l'explication », suggérant que lorsqu'un algorithme nous rejette, il doit nous dire pourquoi. Une méthode populaire pour fournir ces explications est le « contre-factuel ». Il s'agit d'une affirmation hypothétique simple qui indique à une personne quel petit changement aurait conduit à un résultat différent, comme : « Si votre revenu avait été de cinq mille dollars de plus, votre prêt aurait été approuvé. » Bien que cela semble utile, un nouvel article des philosophes et informaticiens Alice C.W. Huang et Thomas Grote pose une question critique : ce type d'explication donne-t-il réellement aux gens le pouvoir de lutter contre des décisions automatisées injustes ?
Les auteurs commencent par définir précisément ce que signifie contester une décision. Ils distinguent trois objectifs différents que les explications pourraient servir. Le premier est la justification, qui consiste à prouver que le système informatique dans son ensemble est fiable et équitable pour tout le monde. Le deuxième est le recours, qui est tourné vers l'avenir ; il indique à une personne les étapes qu'elle peut entreprendre à l'avenir pour obtenir un meilleur résultat, comme acquérir plus d'expérience professionnelle pour améliorer un CV. Le troisième, et l'objet de cet article, est la contestabilité. Celle-ci est tournée vers le passé. C'est la capacité d'une personne à regarder une décision qui a déjà eu lieu, à trouver une erreur et à exiger que la décision soit révoquée. Les chercheurs définissent la contestabilité de manière étroite : elle nécessite de fournir suffisamment d'informations pour qu'une personne puisse prouver qu'une décision spécifique était probablement une erreur, lui donnant ainsi une base solide pour exiger un examen.
Lorsque les auteurs ont testé si les explications contre-factuelles sont bonnes pour permettre ce type de contestabilité, les résultats ont été étonnamment pessimistes. Ils ont examiné plusieurs façons courantes dont les décisions automatisées peuvent mal tourner. Dans les cas de discrimination, un contre-factuel pourrait montrer qu'une personne aurait été embauchée si elle avait été d'une race ou d'un genre différent. Bien que cela semble être une preuve solide, les chercheurs ont trouvé un obstacle majeur appelé le « problème de Rashomon ». C'est l'idée qu'il existe rarement une seule et unique raison pour une décision. Un ordinateur pourrait dire qu'un prêt a été refusé en raison d'un faible revenu, mais il pourrait aussi être vrai que le prêt aurait été approuvé si le demandeur avait eu un historique professionnel différent. Parce qu'il existe de nombreuses façons de modifier l'entrée pour obtenir un résultat différent, le système informatique pourrait simplement choisir l'explication la moins dommageable pour l'institution, ignorant celle qui prouve la discrimination. Sans un moyen de forcer le système à montrer toutes les raisons possibles, une personne ne verrait peut-être jamais le contre-factuel spécifique qui prouve qu'elle a été traitée injustement.
Le problème s'aggrave lorsque l'erreur ne concerne pas l'équité, mais que l'ordinateur comprend mal la situation spécifique d'une personne. Imaginez un modèle de santé qui prédit qu'une personne est à risque de fatigue parce qu'elle est végétalienne, supposant que le régime alimentaire manque de fer. Si cette personne a en réalité une maladie sanguine rare qui provoque une surcharge en fer, la logique du modèle est fausse pour elle, même si elle est vraie pour la plupart des gens. Une explication contre-factuelle pourrait simplement dire : « Si vous n'étiez pas végétalienne, vous ne seriez pas à risque. » Cela n'aide pas la personne à prouver qu'elle est une exception à la règle ; cela ne fait que répéter l'hypothèse erronée du modèle. Pour contester cela, la personne aurait besoin de connaissances médicales approfondies pour expliquer pourquoi la règle générale du modèle ne s'applique pas à sa biologie spécifique. De même, si une décision est erronée à cause d'une simple erreur administrative, comme une banque ayant le mauvais montant pour la dette d'une personne, une explication contre-factuelle est souvent inutile. Le système pourrait dire : « Si votre dette était plus faible, vous seriez approuvé », ce qui est vrai mais évident. Cela ne dit pas à la personne que les registres de la banque sont simplement faux, ce qui est la raison réelle qu'elle doit corriger.
Les chercheurs concluent que, bien que les explications contre-factuelles soient excellentes pour aider les gens à planifier l'avenir, elles sont souvent trop faibles pour aider les gens à combattre les erreurs passées. L'information nécessaire pour prouver une erreur est fréquemment trop complexe, trop spécifique à l'individu, ou trop facilement dissimulée par la capacité du système à choisir quelle explication montrer. Pour corriger cela, les auteurs ne suggèrent pas d'abandonner l'idée des explications, mais plutôt de changer la manière dont elles sont délivrées. Ils proposent une approche « multi-shots » (à plusieurs tentatives). Au lieu de donner à une personne une réponse unique et pré-emballée, le système permettrait à la personne de poser plusieurs questions à l'ordinateur. Une personne pourrait tester différentes idées, telles que : « Et si j'avais plus d'expérience ? » ou « Et si j'habitais dans un autre quartier ? » Cela transforme l'utilisateur de récepteur passif d'information en enquêteur actif.
Cependant, les auteurs avertissent que cela seul ne suffit pas. La plupart des gens ne savent pas quelles questions poser ni comment interpréter les réponses, surtout lorsqu'ils manquent de connaissances spécialisées. Pour résoudre cela, ils suggèrent que les gens devraient être soutenus par des travailleurs sociaux — des experts qui comprennent les détails juridiques et techniques du système. Ces aides pourraient guider les individus sur les questions à poser et sur la manière d'utiliser les réponses pour construire un dossier. L'article soutient que sans ce type de soutien humain et sans la capacité de poser plusieurs questions, la promesse de pouvoir contester une décision algorithmique reste une promesse vide. La technologie pour générer ces explications existe, mais la façon actuelle de les utiliser est insuffisante pour restaurer la véritable agentivité des personnes affectées par les décisions automatisées.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.