Co-constructing sociotechnical AI governance: participatory system mapping using algorithm registers

Résumé technique : Co-construction d'une gouvernance sociotechnique de l'IA via la cartographie systémique participative

Énoncé du problème
Les registres d'algorithmes sont de plus en plus adoptés par les organisations du secteur public afin d'assurer la transparence concernant l'utilisation des algorithmes dans les services publics. Cependant, les mises en œuvre actuelles font face à des limitations significatives : elles ne parviennent souvent pas à concilier les besoins d'information variés de diverses parties prenantes (citoyens, société civile, organes de contrôle), et l'information fournie est fréquemment soit trop succincte pour être utile, soit trop technique pour être comprise. Par conséquent, ces registres peinent à faciliter une responsabilité (accountability) significative ou à représenter l'intégralité des systèmes sociotechniques dans lesquels les algorithmes sont ancrés. L'article postule que sans une compréhension de la manière dont les registres constituent et informent la gouvernance des algorithmes, les pratiques de gouvernance risquent de devenir des efforts disjoints incapables d'anticiper ou de traiter les dangers réels pour la sécurité.

Méthodologie
L'étude emploie une approche par méthodes mixtes centrée sur l'étude de cas d'« Avola », un outil d'aide à la décision utilisé par des travailleurs sociaux municipaux dans une ville néerlandaise pour évaluer l'éligibilité aux prestations sociales via une automatisation juridique (moteur de règles métier). La recherche s'est déroulée en cinq étapes, avec un accent principal sur les étapes IV et V :

1. Identification des parties prenantes : L'étude a impliqué trois groupes distincts : le personnel municipal (parties prenantes directes, incluant les responsables de la gouvernance des algorithmes et les propriétaires de produits), les médiateurs municipaux (ombudsmen), et les organisations de la société civile (OSC) (parties prenantes indirectes).
2. Cartographie systémique participative (Étape IV) : Deux ateliers ont été menés avec ces groupes. Les participants ont été présentés à une carte systémique préliminaire (M0) dérivée du registre d'algorithmes municipal et de la documentation publique. À l'aide de fiches de travail et de cartes grand format, les participants ont annoté le système pour identifier les acteurs, processus et boucles de rétroaction manquants. Ce processus a intégré le « savoir situé » des parties prenantes indirectes à la documentation technique du registre.
3. Analyse de processus par la théorie des systèmes (STPA) (Étape V) : Les auteurs ont utilisé le cadre STAMP (System-Theoretic Accident Model and Processes) pour mener une analyse de sécurité. Les cartes participatives ont informé la construction d'une structure de contrôle hiérarchique (HCS). L'analyse a suivi quatre étapes itératives :
   • Identification des pertes potentielles (ex: refus injustifié de prestations).
   • Modélisation de la structure de contrôle hiérarchique (couches techniques, opérationnelles, organisationnelles et institutionnelles).
   • Identification des actions de contrôle non sûres (UCA - Unsafe Control Actions) où les mécanismes de contrôle échouent.
   • Dérivation des scénarios de perte reliant les dangers du système à des pertes spécifiques.

Contributions clés
L'article apporte trois contributions fondamentales aux domaines de la gouvernance de l'IA et de la science de la sécurité :

1. Évaluation empirique : Il propose une évaluation critique d'un registre d'algorithmes municipal, démontrant que si celui-ci sert d'outil « disciplinaire » pour un inventaire interne, il échoue actuellement à répondre aux besoins de transparence des parties prenantes externes en raison de son abstraction et de son manque de détails exploitables.
2. Schéma de cartographie participative : Il développe et valide une méthode de cartographie des systèmes algorithmiques et de leurs structures de gouvernance en intégrant les perspectives des parties prenantes directes et indirectes. Cette approche révèle des composants et des dynamiques systémiques qui sont occultés dans les divulgations standards des registres.
3. Réflexion normative : Il réfléchit aux dimensions politiques de l'analyse de la sécurité des systèmes, arguant que les abstractions utilisées pour cartographier les structures de gouvernance sont des choix politiques intrinsèques qui déterminent ce qui est visible et ce qui reste caché.

Résultats
La cartographie participative et l'analyse STPA consécutive ont révélé plusieurs dangers pour la sécurité et des lacunes de gouvernance qui n'étaient pas apparents via le seul registre de l'algorithme :

• Défaillances de l'humain dans la boucle : Bien que le registre affirme que les travailleurs sociaux disposent d'un pouvoir discrétionnaire final, l'analyse a identifié un risque de « biais d'automatisation » où les travailleurs sociaux, sous la pression du temps ou en faisant confiance à l'« automatisation juridique » comme étant objective, pourraient ne pas détecter les erreurs (ex: données citoyennes obsolètes). Cela mène au scénario de perte de refus injustifié de prestations.
• Déficiences de la procédure de plainte : Le registre indiquait que les rapports d'incidents étaient partagés avec le développeur, mais le processus participatif a révélé que les mesures d'erreur n'étaient pas suivies systématiquement. Par conséquent, les plaintes sont probablement traitées au cas par cas plutôt qu'agrégées pour identifier des modèles systémiques, empêchant ainsi les mises à jour nécessaires du modèle.

3. Lacunes de surveillance et de responsabilité : Les médiateurs et les OSC ont jugé insuffisante la divulgation des évaluations de risques (FRAIA et DPIA) par le registre. Le registre indiquait que des évaluations avaient été menées, mais en retenait les détails sur les conclusions ou les métriques d'erreur. Ce manque de documentation technique empêche les acteurs externes de contester efficacement les décisions ou d'engager des recours juridiques devant les tribunaux civils.

• Contexte politique : La cartographie a révélé que le registre d'algorithmes est ancré dans une hiérarchie politique complexe (Échevins, Conseil municipal, Ministère de l'Intérieur). Les informations divulguées sont sujettes à des négociations politiques et à des contraintes de ressources, privilégiant souvent les besoins des intermédiaires experts au détriment du grand public.

Signification et revendications
L'article soutient que les registres d'algorithmes, dans leur forme actuelle, sont insuffisants pour parvenir à une responsabilité publique significative. Les auteurs soutiennent que la transparence est un acte relationnel qui nécessite de comprendre l'hétérogénéité des « publics ». En engageant les parties prenantes indirectes (médiateurs, OSC) via la cartographie systémique participative, l'étude démontre que :

• La sécurité des systèmes exige le pluralisme : L'analyse de la sécurité ne peut être purement technique ; elle doit incorporer le savoir situé de ceux qui sont affectés par le système ou qui le surveillent afin d'identifier des dangers tels que le biais d'automatisation et les boucles de rétroaction opaques.
• Les registres comme artefacts politiques : Le contenu d'un registre d'algorithmes n'est pas neutre ; il reflète des choix politiques sur ce qui doit être divulgué. Par conséquent, l'amélioration de ces instruments nécessite d'engager les processus politiques qui les façonnent.
• Changement méthodologique : Les auteurs proposent que les méthodes de type théorie des systèmes comme la STPA, lorsqu'elles sont combinées à la conception participative, offrent un cadre robuste pour reconstruire l'architecture sociotechnique de la gouvernance algorithmique. Cela permet une identification plus complète des dangers pour la sécurité que le registre seul ne peut fournir.

L'étude conclut que si les registres d'algorithmes sont une étape nécessaire vers la transparence, ils doivent évoluer pour mieux s'aligner sur les besoins d'information de diverses parties prenantes et être compris comme faisant partie d'un système sociotechnique plus large et politiquement situé.