Opening the Black Box or Responding to Demands? Rethinking and Reconstructing the European Standard of Algorithmic Explanation
Cet article critique les limites de la norme actuelle de l'UE en matière d'explication algorithmique ainsi que les approches de mitigation ou de substitution existantes, proposant au contraire un cadre orienté vers la demande qui reconstruit la norme en catégorisant les besoins d'explication selon les points de contrôle des acteurs et en les réalisant par le biais de schémas de substitution réalisables.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde moderne, les ordinateurs prennent d'innombrables décisions qui façonnent nos vies quotidiennes, de la détermination de l'octroi d'un prêt à la décision des actualités que nous consultons. Pendant des décennies, l'idée prédominante était que si un ordinateur prenait une décision, nous devrions être en mesure de lui demander de montrer son raisonnement, tout comme un élève montrant ses devoirs de mathématiques pour prouver que sa réponse est correcte. Ce concept est connu sous le nom d'explication algorithmique, et il est une pierre angulaire des lois sur la protection de la vie privée dans l'Union européenne et d'autres régions. La loi part du principe que si une personne est affectée par une décision automatisée, elle a le droit de comprendre la logique qui la sous-tend. Cependant, un problème important est apparu : les ordinateurs qui prennent ces décisions ont changé. Les anciens systèmes suivaient des règles claires, étape par étape, qui pouvaient être facilement tracées. Les systèmes les plus puissants d'aujourd'hui, souvent appelés réseaux de neurones, apprennent à partir de vastes quantités de données de manières si complexes et interconnectées que même leurs créateurs ne peuvent pas cartographier entièrement chaque étape interne. Cela crée une situation de « boîte noire » où l'entrée est injectée et une décision sort, mais où le chemin intermédiaire reste caché. Lorsque la loi exige de voir l'intérieur d'une boîte que la technologie ne peut pas pleinement ouvrir, le système se brise, entraînant confusion, évasion juridique et perte de confiance.
Un chercheur nommé Feng Zhi, travaillant à l'École d'Intelligence Artificielle et de Droit à Chongqing, en Chine, a proposé une nouvelle façon de résoudre cette impasse. Au lieu d'essayer d'ouvrir de force une boîte noire qui ne peut être ouverte, l'étude suggère que nous devrions cesser de demander à voir la mécanique interne et commencer à poser des questions qui correspondent à ce que les responsables sont réellement capables de répondre. La découverte fondamentale de ce travail est que nous devons diviser la demande d'explication en deux moments distincts dans le temps, basés sur qui détient le contrôle du système informatique. Le premier moment est celui où le système est construit et configuré ; le second moment est celui où le système prend réellement une décision pour une personne spécifique. En séparant ces deux étapes, l'auteur soutient que nous pouvons remplacer l'exigence impossible de voir le code par des exigences pratiques qui sont tout aussi efficaces pour protéger les droits des individus.
L'article soutient que l'approche actuelle, qui tente de fournir différents niveaux de détail selon la personne qui pose la question, échoue car elle nécessite toujours la même prouesse technique impossible : scruter l'intérieur de la boîte noire. Que l'utilisateur pose une question simple ou complexe, l'ordinateur doit toujours révéler sa logique interne pour répondre, ce qu'il ne peut souvent pas faire sans perdre en précision ou révéler des secrets commerciaux. Une autre idée courante est de simplement faire confiance au système s'il semble sûr ou si les personnes qui l'ont construit sont qualifiées. L'auteur rejette également cela, soulignant qu'un système peut être construit par de bonnes personnes et tout de même prendre de mauvaises décisions plus tard, ou que faire confiance au constructeur n'explique pas pourquoi une personne spécifique s'est vu refuser un prêt. L'étude suggère que le simple fait de vérifier si le résultat final peut être contesté après coup est également insuffisant, car à ce moment-là, le préjudice pourrait déjà être causé et impossible à réparer.
Pour remédier à cela, l'article introduit un cadre basé sur des « nœuds temporels », qui sont simplement les points spécifiques dans le temps où différentes personnes détiennent les rênes du contrôle. La première étape est l'« étape de comportement ». Cela se produit avant que le système ne soit jamais utilisé par le public. Pendant cette période, les développeurs et les entreprises déployant le système ont le plein contrôle. Ils décident des données à utiliser, de la manière dont le modèle est entraîné et des mesures de sécurité à mettre en place. Parce qu'ils ont le contrôle, la demande d'explication à cette étape ne doit pas porter sur la décision finale, mais sur le risque. L'étude propose qu'au lieu de montrer le code, ces acteurs devraient être tenus de déposer des déclarations détaillées sur la manière dont ils ont évalué les risques et les mesures qu'ils ont prises pour prévenir les dommages. Ils doivent également tenir un registre des journaux d'activité du système. Cela déplace l'attention de « comment fonctionne la mathématique ? » vers « avez-vous fait votre travail pour vous assurer que ceci est sûr ? ». Si un problème survient plus tard, ces registres permettent aux régulateurs de remonter la trace et de voir si les créateurs ont suivi les règles, allouant ainsi efficacement la responsabilité sans avoir besoin de comprendre la mathématique inexplicable.
La seconde étape est l'« étape de résultat ». C'est le moment où le système est en fonctionnement et prend des décisions qui affectent de vraies personnes. À ce stade, les développeurs ont perdu le contrôle ; le système réagit à de nouvelles données en temps réel. Ici, la demande d'explication change. L'objectif n'est plus de vérifier les contrôles de risque, mais de construire la confiance dans le résultat. L'article suggère que les gens n'ont pas besoin de comprendre la logique interne complexe pour faire confiance à une décision ; ils ont besoin de savoir si la décision est cohérente avec l'expérience humaine commune. Par exemple, si un système de notation de crédit refuse un prêt, l'utilisateur n'a pas besoin de voir les poids du réseau de neurones ; il a besoin de savoir si la décision s'aligne sur ce que la société considère généralement comme juste, comme les niveaux de revenus ou les ratios d'endettement. L'étude propose que les entreprises publient ces règles sociales générales afin que les gens puissent comparer la décision avec elles. Si une décision s'écarte de ce que le bon sens suggérerait, le système doit déclencher une révision humaine. Une personne réelle doit alors examiner le cas et fournir une explication claire et motivée sur la raison pour laquelle la décision inhabituelle a été prise.
Cette approche ne demande pas moins de protection ; elle demande un type de protection différent qui est réellement possible à délivrer. En remplaçant l'exigence de voir le code interne par une exigence de registres de risques et une exigence de cohérence avec le bon sens, le système peut fonctionner sans se briser. L'auteur note qu'il ne s'agit pas d'une nouvelle invention, mais d'une réorganisation d'outils juridiques existants, tels que l'obligation pour les entreprises de tenir des registres de leurs activités de traitement. L'étude souligne que cette méthode respecte la réalité de la technologie moderne tout en remplissant la promesse juridique de responsabilité. Elle déplace la conversation de la tâche impossible d'ouvrir la boîte noire vers la tâche pratique de s'assurer que ceux qui construisent et utilisent ces systèmes sont responsables de leurs actions et que les résultats qu'ils produisent font sens pour les personnes qui vivent avec eux. La recherche conclut que ce changement de perspective est nécessaire pour restaurer la valeur pratique de l'explication algorithmique, garantissant que la loi reste pertinente à l'ère des machines intelligentes.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.