Beyond Model Readiness: Institutional Readiness for AI Deployment in Public Systems

Résumé technique : Préparation institutionnelle au déploiement de l'IA dans les systèmes publics

Énoncé du problème
Les systèmes d'intelligence artificielle du secteur public échouent fréquemment non pas en raison de déficiences dans le développement des modèles ou de leurs performances techniques, mais en raison d'un manque de préparation institutionnelle au moment du déploiement. Alors que les cadres existants d'IA responsable (par exemple, les cartes de modèles, les fiches techniques pour les ensembles de données, le cadre de gestion des risques de l'IA du NIST) évaluent efficacement les propriétés au niveau de l'artefact, telles que la précision, la robustesse, l'équité et les processus côté développeur, ils sont mal équipés pour évaluer la capacité de l'institution réceptrice à gouverner, exploiter et maintenir un système. Par conséquent, des prototypes techniquement viables stagnent souvent ou échouent à passer à l'échelle en raison de dépendances institutionnelles non résolues, notamment les voies d'approbation, les protocoles de partage de données, les contraintes de personnel, la continuité financière et la clarté juridique. Ce déficit est particulièrement aigu dans les contextes à ressources limitées où la friction entre la viabilité technique et la réalité opérationnelle est la plus forte.

Méthodologie
L'article présente la Préparation à l'alignement institutionnel (IAR), un cadre pré-déploiement conçu pour évaluer si une institution spécifique est prête à déployer de manière responsable un système d'apprentissage automatique spécifique. Le cadre s'appuie sur deux cas opérationnels anonymisés provenant d'un vaste système public d'éducation nationale aux Philippines :

1. Cas A : Un outil de dépistage anthropométrique basé sur l'image pour les apprenants des premières années.
2. Cas B : Un système d'analyse de la parole pour l'identification des risques d'apprentissage précoce.

Les deux projets ont atteint des stades techniquement prometteurs mais ont stagné lors de la transition du prototype vers un déploiement plus large en raison de barrières institutionnelles, et non techniques. Les auteurs ont analysé ces cas pour identifier les conditions institutionnelles concrètes qui, si elles font défaut, empêchent un déploiement responsable. L'analyse s'est concentrée sur des facteurs tels que la représentativité des données, les voies de référencement, l'intégration aux flux de travail et l'autorisation juridique.

Contributions clés
L'article propose le cadre de Préparation à l'alignement institutionnel (IAR), un modèle à cinq dimensions pour évaluer la préparation au déploiement. Contrairement aux modèles de maturité qui évaluent la capacité générale d'une organisation en matière d'IA, l'IAR est spécifique au système et au déploiement. Les cinq dimensions sont :

1. Compatibilité institutionnelle et opérationnelle : Évalue les voies d'approbation, l'adéquation du flux de travail avec la pratique de terrain, les plans de formation des opérateurs et la faisabilité logistique sur les différents sites.
2. Maturité de l'écosystème de données : Évalue la représentativité des ensembles de données pour la population cible, les protocoles d'accès et de partage des données, la capacité d'annotation et les politiques de conservation.
3. Capacité de supervision humaine : Détermine la disponibilité de réviseurs qualifiés, l'autorité claire de contournement, les voies de référencement et les mécanismes de contestation non technique.
4. Durabilité financière : Examine la clarté budgétaire au-delà de la phase pilote, les plans de maintenance et de réentraînement, et la continuité lors des transitions de leadership ou de financement.
5. Préparation à l'alignement réglementaire : Vérifie la conformité en matière de confidentialité, la base juridique pour la collecte et le partage des données, l'examen éthique, les procédures de consentement et les voies de contestation.

Le cadre est conçu comme un outil de mise en phase plutôt que comme un instrument de notation. Il soutient les décisions de procéder à un « non-lieu », à un « pilote uniquement » ou à un « déploiement plus large » en fonction de la maturité de dimensions spécifiques, reconnaissant que certaines déficiences peuvent être des obstacles absolus tandis que d'autres ne nécessitent que des ajustements de périmètre.

Résultats et constatations des cas
L'analyse des deux cas opérationnels démontre que les trajectoires de déploiement sont souvent dictées par des contraintes institutionnelles invisibles pour l'évaluation standard des artefacts :

• Cas A (Dépistage anthropométrique) : Malgré une préparation technique, le déploiement plus large a été retardé par le temps nécessaire pour négocier les approbations et l'accès aux données sur plusieurs sites, le décalage entre la collecte de données et les calendriers scolaires, et l'absence de voies de référencement établies pour les apprenants identifiés.
• Cas B (Analyse de la parole) : La trajectoire du projet a été façonnée par l'inviabilité des données, forçant une réorientation avant le déploiement. Le déploiement ultérieur a été conditionné par la nécessité de formaliser les exigences éthiques, les procédures de consentement et les protocoles de référencement pour garantir que les résultats ne soient pas stigmatisants et qu'ils soient exploitables par du personnel qualifié.

Dans les deux cas, les systèmes sont restés dans des phases de validation interne ou de pilote limité car l'institution réceptrice ne disposait pas des conditions spécifiques requises pour passer à l'échelle, malgré des performances satisfaisantes des modèles lors des tests internes.

Portée et affirmations
L'article formule trois affirmations modestes concernant la valeur de l'IAR :

1. Explicitation : L'IAR rend explicites et évaluable les questions récurrentes de déploiement avant l'engagement des ressources, mettant en lumière des problèmes (par exemple, l'accès aux données, la capacité de référencement) qui émergent souvent trop tard dans le processus.
2. Pertinence décisionnelle : La préparation institutionnelle est un facteur décisif dans la mise à l'échelle des systèmes techniquement viables. Les cas montrent que les décisions de déploiement sont façonnées par des conditions institutionnelles que l'évaluation standard des modèles ne peut résoudre.
3. Non-redondance : L'IAR n'est pas redondante avec les outils existants d'IA responsable. Alors que les cadres actuels évaluent l'artefact et le développeur, l'IAR évalue l'institution réceptrice. Elle aborde des questions que les outils existants sont structurellement incapables de répondre, telles que savoir si le partage de données inter-agences spécifique requis est légalement permis ou si des réviseurs humains qualifiés existent réellement.

Les auteurs positionnent l'IAR comme un complément, et non un remplacement, des outils d'évaluation de l'IA établis. Elle sert de deuxième couche d'évaluation nécessaire pour garantir que les systèmes d'IA du secteur public sont non seulement techniquement sains, mais aussi institutionnellement viables pour un déploiement responsable.