Résumé technique : Mise à jour de l'opacité, de l'accessibilité épistémique et de la gouvernance lors du changement de système d'IA

1. Définition du problème : Opacité de mise à jour

Le document traite de l'opacité de mise à jour, un phénomène qui survient lorsque des utilisateurs experts ne peuvent pas, après inspection, expliquer pourquoi une version actuelle d'un système d'IA produit une sortie différente ($y$) pour un intrant donné ($x$) par rapport à une version précédente ($z \neq y$). Contrairement à l'opacité statique des modèles (qui concerne les mécanismes internes d'un seul modèle), l'opacité de mise à jour est diachronique et comparative ; elle découle de l'évolution temporelle des systèmes déployés.

Le problème central est formulé comme un échec de l'accessibilité épistémique. Dans les domaines à enjeux élevés (ex. : santé, finance), les utilisateurs s'appuient sur une calibration accumulée — des attentes apprises concernant le comportement, la fiabilité et les modes de défaillance du système — pour intégrer les sorties de l'IA dans la prise de décision. Lorsqu'un système subit des mises à jour affectant le modèle (réentraînement, recalibrage, révisions de pipeline, mises à jour de dépendances) sans communication transparente, cette calibration de l'utilisateur devient désalignée avec le comportement réel du système. Ce désalignement mine l'utilisation justifiée, augmente la charge cognitive et affaiblit la responsabilité.

Les auteurs soutiennent que l'opacité de mise à jour est un problème de gouvernance caractérisé par une tension entre trois extrêmes insatisfaisants :

1. Transparence totale : Divulguer chaque mise à jour est irréalisable et contre-productif, menant à une surcharge d'informations et à une perturbation des flux de travail.
2. Silence : Ne rien divulguer permet aux changements comportementaux silencieux d'éroder la confiance justifiée.
3. Gel des mises à jour : Arrêter toutes les mises à jour est non viable dans des environnements non stationnaires, ce qui conduit à une détérioration des performances.

Le défi central consiste à déterminer quels changements sont matériellement pertinents, quand ils doivent être signalés, et à qui, afin de maintenir l'accessibilité épistémique sans submerger les utilisateurs.

2. Méthodologie : Fusion de deux cultures de gouvernance

La solution proposée intègre deux cultures de gouvernance complémentaires : l'Acte sur l'IA de l'UE (AIA) et les Opérations de Machine Learning (MLOps).

L'Acte sur l'IA de l'UE (Périmètre normatif)

L'AIA fournit le cadre normatif pour définir le « périmètre » du changement pertinent.

• Modification substantielle : L'AIA distingue les changements qui déclenchent une nouvelle évaluation de la conformité (modifications substantielles, ex. : changements de l'usage prévu ou de la conformité aux exigences de haut risque) de ceux qui ne le font pas.
• Limitation : Bien que l'AIA identifie quand un changement est juridiquement significatif (rupture d'identité), il est trop grossier pour le problème épistémique. De nombreux changements permis (à l'intérieur de l'« enveloppe de conformité ») peuvent néanmoins modifier matériellement la confiance de l'utilisateur et les attentes de flux de travail sans déclencher de réévaluation juridique.

MLOps (Machinerie opérationnelle)

Le MLOps fournit les outils opérationnels pour suivre et gérer le changement.

• Détection de dérive et surveillance : Le Mкоps utilise la télémétrie continue, le versionnage et la détection de dérive (comparaison des données opérationnelles par rapport aux bases de référence) pour déclencher des interventions (réentraînement, retour en arrière).
• Limitation : Le MLOps est orienté vers le contrôle technique et l'ingénierie (ex. : précision, indicateurs de dérive). Il ne détermine pas intrinsèquement quels changements surveillés sont épistémiquement matériels pour des parties prenantes spécifiques (ex. : cliniciens vs auditeurs) ou comment les communiquer pour préserver une confiance calibrée.

Le cadre proposé : Gouvernance basée sur la fiabilité

Les auteurs proposent un cadre qui fusionne ces deux cultures pour gouverner l'opacité de mise à jour via trois étapes spécifiques :

Étape 1 : Changements tolérables vs non tolérables

Le cadre distingue :

• Changements non tolérables : Ceux tombant en dehors de l'enveloppe de fiabilité évaluée (déclenchant une réévaluation de l'AIA).
• Changements tolérables : Ceux restant à l'intérieur de l'enveloppe mais pouvant affecter la confiance de l'utilisateur. Le cadre se concentre sur la gouvernance de cette seconde catégorie.

Étape 2 : Profils et niveaux de fiabilité

Les auteurs introduisent un modèle formel pour l'état du système :

• Profil de fiabilité ($P_A$) : Un ensemble de dimensions quantifiables prédéterminées ($d_i$) et de protocoles de mesure ($m_i$) définis ex ante (ex. : précision, robustesse, stabilité des sous-groupes, intégrité du pipeline de données).
• Fonction de niveau de fiabilité ($T_A$) : Une fonction cartographiant des vecteurs de mesure indexés par le temps ($m_A(t)$) vers des niveaux de fiabilité discrets ($1, \dots, K$).
  • $T_A(t) = L_A(m_A(t))$, où $L_A$ est une fonction d'assignation de niveau.
  • Cartographie par paliers : Les auteurs préconisent des cartographies par paliers (plateaux) plutôt que des courbes lisses. Cela évite la « fatigue de gouvernance » causée par de mineures fluctuations près des points de transition, garantissant que seuls les changements significatifs de régime du système déclenchent une escalade.

Étape 3 : Divulgation basée sur des seuils

Pour traiter l'opacité au sein d'un seul niveau de fiabilité (à l'intérieur d'un plateau), le cadre introduit une fonction de dissimilarité ($\Delta_A$) et un seuil relatif au contexte ($\epsilon_A$).

• Mécanisme : Pour un système $A$ déployé à $t_0$ avec un profil de base $m_A(t_0)$, une mise à jour à l'instant $t_i$ déclenche une divulgation si :
  $$\Delta_A(m_A(t_0), m_A(t_i)) > \epsilon_A$$
• Matérialité épistémique : Le seuil $\epsilon_A$ est placé strictement à l'intérieur du plateau admissible. Il agit comme un filtre de « matérialité épistémique » : même si le système reste dans le même niveau réglementaire, si le changement cumulé dépasse $\epsilon_A$, il est jugé assez important pour perturber la confiance calibrée et nécessite donc une divulgation.
• Mise en œuvre : $\Delta_A$ peut être instancié à l'aide de résumés de surveillance MLOps standards (ex. : distance $L_1$ entre les vecteurs de mesure), potentiellement pondérés pour pénaliser des dégradations spécifiques.

3. Contributions clés

1. Interprétation épistémique de l'opacité de mise à jour : Recadrer l'opacité de mise à jour non pas simplement comme un manque technique d'explicabilité, mais comme un échec diachronique de l'accessibilité épistémique où les changements matériellement pertinents ne parviennent pas à rester accessibles aux utilisateurs sous leurs contraintes pratiques.
2. Intégration de l'AIA et du MLOps : Proposer un modèle de gouvernance hybride où l'AIA définit le périmètre du changement pertinent (l'enveloppe) et le MLOps fournit le mécanisme de suivi et de déclenchement de la divulgation à l'intérieur de cette enveloppe.
3. Profils et niveaux de fiabilité : Formaliser l'état du système via des niveaux de fiabilité discrets pour distinguer le bruit de fond tolérable des événements pertinents pour la gouvernance, évitant ainsi la fragilité d'une surveillance continue.
4. Règle de divulgation basée sur des seuils : Introduire un critère de proportionnalité où la divulgation est déclenchée non par la simple existence d'une mise à jour, mais par l'ampleur du changement par rapport à une base de référence, spécifiquement lorsqu'elle menace la confiance calibrée.
5. Conception de la divulgation sensible au rôle : Soutenir que la divulgation doit être contextualisée. Les utilisateurs de première ligne (ex. : cliniciens) nécessitent des informations concises et exploitables intégrées aux flux de travail, tandis que les auditeurs requièrent une traçabilité complète. Le cadre soutient une approche de divulgation par couches.

4. Résultats et illustration

Le document ne présente pas de résultats expérimentaux empiriques mais offre une démonstration conceptuelle via un exemple d'IA médicale : Aide à la décision pour le triage des AVC.

• Scénario : Un système déployé pour le triage des AVC subit une mise à jour du modèle en raison d'une dérive de covariables (changements de firmware dans les scanners CT). La mise à jour améliore l'AUROC globale et reste dans le niveau de fiabilité le plus élevé (aucune réévaluation de l'AIA déclenchée).
• L'opacité : Malgré la stabilité globale, la mise à jour déplace les poids des caractéristiques, modifiant les recommandations de transfert pour certains sous-groupes (ex. : patients âgés) et changeant les schémas d'alerte. Les cliniciens, s'appuyant sur leur calibration préalable, ignorent ces changements.
• Application du cadre :
  • La fonction de dissimilarité détecte que le changement cumulé du comportement des sous-groupes dépasse le seuil $\epsilon_A$.
  • Déclenchement de la divulgation : Au lieu d'un journal de modifications générique, une bannière intégrée au flux de travail alerte le clinicien : « Modèle mis à jour [date]. Les recommandations de transfert pour les patients de plus de 75 ans peuvent différer. »
  • Responsabilité : Cela crée une boucle épistémique fermée. Si un patient est mal trié après la mise à jour, le système peut démontrer que le prestataire a divulgué le changement et que l'utilisateur en a été informé, comblant le « vide de responsabilité » qui existerait autrement si la mise à jour était restée silencieuse.

5. Signification et affirmations

Le document affirme que la gouvernance des mises à jour des systèmes d'IA n'est pas seulement une question de maintenance technique ou de conformité légale, mais une exigence fondamentale pour préserver les conditions sous lesquelles les systèmes changeants restent intelligibles.

• Portée modeste : Les auteurs ne prétendent pas résoudre tous les problèmes de transparence ou fournir un algorithme universel pour tous les systèmes d'IA. Ils précisent explicitement que les choix concernant les dimensions du profil, les fonctions de dissimilarité et les seuils sont sensibles au contexte et doivent être justifiés au cas par cas.
• Utilité pratique : Le cadre offre une alternative opérationnalisable et fondée sur des principes à l'approche « tout ou rien » de la transparence. Il permet aux fournisseurs de maintenir la transparence en émettant des avertissements uniquement lorsque les changements à l'intérieur de l'enveloppe deviennent matériellement pertinents pour les déployeurs et les parties affectées.
• Travaux futurs : Les auteurs identent la nécessité de recherches futures pour affiner les choix spécifiques au domaine pour les dimensions de profil et les fonctions de dissimilarité, et pour tester empiriquement comment différentes interfaces de divulgation affectent l'utilisation calibrée dans des contextes à enjeux élevés.

En résumé, le document soutient que l'opacité de mise à jour est un échec de gouvernance de l'accessibilité épistémique. En combinant les limites normatives de l'Acte sur l'IA de l'UE avec la surveillance opérationnelle du MLOps, et en appliant une règle de divulgation basée sur des seuils, il est possible de gérer l'évolution du système tout en maintenant la confiance calibrée nécessaire à un déploiement d'IA sûr et responsable.