Evidence for Whom? Contestability and Socio-Technical Assurance in High-Risk AI Governance
Cet article soutient que les cadres actuels de gouvernance de l'IA à haut risque (NIST, Loi sur l'IA de l'UE, ISO/IEC 42001) créent un écart probatoire critique en privilégiant les preuves centrées sur les artefacts au détriment des preuves fondées sur les processus nécessaires à la contestation, une faille structurelle mise en évidence par l'ambiguïté inhérente à l'interprétation de ces exigences et qui, en fin de compte, sape les droits procéduraux et épistémiques des parties prenantes régies.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un monde où un programme informatique décide qui obtient un emploi, qui reçoit un prêt ou si une personne doit bénéficier d'une libération conditionnelle. Ces systèmes ne sont pas seulement du code s'exécutant dans le vide ; ils font partie d'un écosystème humain plus large impliquant les entreprises qui les conçoivent, les organisations qui les utilisent et les personnes dont les vies sont modifiées par leurs résultats. Lorsque ces systèmes commettent une erreur, la question de savoir qui est responsable et comment le prouver devient urgente. C'est le domaine de la gouvernance de l'intelligence artificielle, un champ dédié à garantir que ces outils puissants sont sûrs, équitables et responsables. Une idée centrale dans ce domaine est la « contestabilité », la capacité pour une personne affectée par une décision de la remettre en question, d'en comprendre la raison et de demander une correction. Pour que cela fonctionne, il faut des preuves — la preuve que le système a été vérifié, qu'il fonctionne comme prévu et qu'un humain pourrait intervenir si les choses tournaient mal. Mais une question cruciale demeure : qui a accès à ces preuves, et ces preuves sont-elles réellement utiles pour la personne qui en a le plus besoin ?
Une équipe de chercheurs issus d'universités des États-Unis et de l'Inde s'est donné pour mission d'étudier précisément ce problème. Ils ont examiné trois ensembles majeurs de règles et de directives qui régissent l'intelligence artificielle à haut risque : un cadre volontaire des États-Unis, une loi contraignante de l'Union européenne et une norme internationale pour la gestion des systèmes d'IA. Leur objectif était de créer une carte détaillée, ou « passerelle » (crosswalk), reliant les exigences spécifiques de ces documents aux méthodes techniques réelles utilisées pour tester l'IA. Ils voulaient voir si les preuves exigées par les règles étaient le type de preuves qui pourraient réellement aider une personne à contester une décision, ou s'il ne s'agissait que d'une collection de rapports techniques lisibles uniquement par les entreprises et les régulateurs.
Les chercheurs ont commencé par rassembler une vaste collection de méthodes d'évaluation technique. Ils ont identifié douze familles distinctes de tests, allant de la vérification de la précision d'un modèle sur de nouvelles données à la vérification de sa capacité à être trompé par des entrées malveillantes, en passant par l'analyse de la qualité des données utilisées pour l'entraîner ou l'étude de l'efficacité de la supervision humaine du système. Ils ont ensuite comparé ces douze familles aux vingt-deux exigences spécifiques trouvées dans les trois documents de gouvernance. Pour chaque paire, ils ont posé une question simple mais profonde : ce test spécifique fournit-il la preuve principale nécessaire pour satisfaire cette règle spécifique ?
Ce qu'ils ont découvert est un déséquilibre frappant. Les règles demandant des preuves concernant le modèle d'IA lui-même — telles que sa précision, sa robustesse face aux attaques ou son équité statistique — étaient bien soutenues. Il existait de nombreux tests techniques capables de générer les rapports nécessaires. Cependant, les règles exigeant des preuves sur la manière dont le système fonctionne dans le monde réel, après son déploiement, étaient largement non soutenues. Ces règles concernaient des éléments tels que la capacité d'un superviseur humain à détecter une erreur, la précision des journaux (logs) du système pour reconstruire une décision spécifique, et la capacité de l'organisation à prouver qu'elle surveille l'impact du système sur la vie des gens. Pour ces questions cruciales, les chercheurs ont constaté que les méthodes techniques disponibles étaient soit totalement absentes, soit ne fournissaient qu'un soutien secondaire et faible.
L'étude a révélé que les preuves générées pour prouver qu'un système d'IA est sûr sont principalement conçues pour des intermédiaires : les entreprises qui développent le logiciel, les auditeurs qui le vérifient et les régulateurs gouvernementaux qui appliquent la loi. Les personnes qui sont réellement soumises à ces décisions — le candidat rejeté, l'emprunteur à qui l'on a refusé un prêt — n'ont aucune voie directe vers ces preuves. Elles peuvent recevoir une explication de ce que le système a fait, mais elles ne peuvent pas accéder aux registres sous-jacents qui leur permettraient de vérifier si cette explication est vraie ou de comprendre exactement comment la décision a été prise. Les chercheurs soutiennent qu'il ne s'agit pas seulement d'une lacune technique ou d'une pièce manquante d'un puzzle, mais d'une faille fondamentale dans le système de justice. En refusant aux personnes concernées l'accès aux preuves nécessaires pour contester une décision, le cadre actuel les traite comme des sujets passifs plutôt que comme des participants actifs à un processus qui détermine leur avenir.
Les chercheurs ont pris soin de noter que leurs conclusions reposent sur une analyse spécifique de la littérature technique disponible et des textes de loi. Ils n'ont pas affirmé que les entreprises ne font pas ces vérifications en interne, mais plutôt que les méthodes pour prouver l'efficacité de ces vérations ne sont pas encore standardisées ou largement disponibles sous une forme qui satisfasse les règles. Ils ont également souligné que leur propre travail impliquait une part d'interprétation. Lorsqu'ils ont demandé à des experts indépendants de réviser leur mise en correspondance, les experts se sont accordés sur les grandes lignes mais ont parfois divergé sur les détails plus fins, suggérant que les règles elles-mêmes sont sujettes à différentes interprétations raisonnables. Ce désaccord, selon les auteurs, est une caractéristique du problème et non un défaut : cela montre que les exigences actuelles ne sont pas assez claires pour garantir la production du type de preuves appropriées.
En conclusion, l'article affirme que l'approche actuelle de la gouvernance de l'IA est incomplète. Elle repose lourdement sur des preuves qui peuvent être produites à l'intérieur du pipeline de développement d'une entreprise, telles que les résultats de tests et la documentation technique, tout en négligeant les preuves qui ne peuvent être recueillies qu'en observant comment le système interagit avec les personnes dans le monde réel. Les auteurs proposent que, pour que l'IA soit véritablement responsable, les règles doivent évoluer pour exiger des preuves qui ne portent pas seulement sur la machine, mais sur l'ensemble du système socio-technique. Cela inclut la preuve que la supervision humaine est efficace, que les journaux sont suffisants pour reconstruire les événements, et que l'impact du système sur la société est surveillé. Sans ces changements, la promesse de responsabilité de l'IA reste une promesse faite uniquement aux puissants, laissant ceux qui sont le plus affectés par la technologie sans les outils pour se défendre.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.