Résumé technique : Vers l'audit des systèmes d'IA en milieu réel

Énoncé du problème

L'article identifie un écart critique entre le paradigme dominant de l'évaluation de l'IA et la réalité des systèmes d'IA déployés. L'évaluation actuelle de l'apprentissage automatique repose fortement sur des benchmarks hors ligne, pré-déploiement, utilisant des jeux de données statiques. Cependant, à mesure que les systèmes d'IA sont de plus en plus intégrés dans des environnements réels dynamiques, leur comportement est façonné par des distributions de données évolutives, des interactions complexes avec les utilisateurs et des dépendances d'infrastructure.

Les auteurs soutiennent que les benchmarks de pré-déploiement offrent une vision limitée du comportement du système car :

1. Visibilité limitée : Les systèmes d'IA modernes sont des pipelines complexes (collecte de données, entraînement, déploiement, prise de décision en aval) plutôt que des modèles isolés.
2. Dynamiques du monde réel : Les distributions de données changent, le comportement des utilisateurs évolue en réponse aux sorties du système, et des cas d'utilisation imprévus émergent après le déploiement.
3. Structures d'incitation : La « course » compétitive entre les entreprises d'IA de pointe donne la priorité au déploiement rapide et à la performance des benchmarks plutôt qu'à l'évaluation des risques à long terme et à une évaluation complète.

Par conséquent, l'évaluation traditionnelle ne parvient pas à détecter les défaillances qui ne se manifestent que dans le monde réel, telles que les résultats discriminatoires (par exemple, le cas de la récidive COMPAS), les violations de sécurité ou les risques systémiques. L'article pose que l'audit doit évoluer d'une vérification statique de pré-déploiement vers un processus continu, couvrant l'ensemble du cycle de vie et opérant sous incertitude.

Méthodologie et cadre proposé

L'article ne propose pas un nouvel algorithme spécifique ou un prototype expérimental. Il propose plutôt un cadre conceptuel et statistique pour recadrer l'audit de l'IA.

Perspective centrale : L'audit comme contrôle des risques

Les auteurs proposent de concevoir l'audit comme un problème statistique de surveillance des violations de contraintes sous incertitude.

• Violations de contraintes : Les propriétés souhaitées (ex: équité, sécurité, conformité réglementaire) sont traitées comme des contraintes.
• Surveillance tenant compte de l'incertitude : Parce que les étiquettes de vérité terrain peuvent être retardées, que les données peuvent être bruitées et que les environnements sont dynamiques, l'audit ne peut pas reposer sur des métriques déterministes. Au lieu de cela, il doit quantifier le risque qu'un système déployé viole ces contraintes.
• Évaluation continue : L'audit est considéré comme un processus continu où les systèmes sont surveillés lorsqu'ils interagissent avec des environnements réels, déclenchant des interventions lorsque les seuils de risque sont dépassés.

Dimensions de l'audit

L'article expose une approche multidimensionnelle de l'audit :

1. Cycle de vie : Aller au-delà du pré-déploiement pour inclure l'audit post-déploiement. Cela implique de gérer l'hétérogénéité des données, le filtrage automatisé des données et le défi de corriger les problèmes de conformité à la volée sans réentraînement complet du modèle.
2. Niveaux d'accès et rôles institutionnels : Le cadre s'adapte à différents acteurs de l'audit ayant des niveaux d'accès variés :
   • Équipes internes (boîte blanche) : Accès total aux pipelines et aux composants internes.
   • Tiers de confiance/Régulateurs (boîte grise/blanche) : Évaluation technique indépendante et contrôles de conformité.
   • Chercheurs externes/Utilisateurs (boîte noire) : Scrutin indépendant via le sondage des entrées/sorties et le signalement d'incidents.
3. Cibles de l'audit : L'article catégorise les cibles de l'audit en six domaines :
   • Fonctionnel : Fiabilité dans des conditions réelles et lors de changements de distribution.
   • Opérationnel : Infrastructure, pipelines de données et fiabilité du service.
   • Interaction Humain-IA : Boucles de rétroaction, biais d'automatisation et confiance de l'utilisateur.
   • Sécurité et sûreté : Résilience aux entrées adverses et aux attaques malveillantes.
   • Conformité : Respect des lois, des réglementations et des politiques organisationnelles.
   • Impact à grande échelle : Risques systémiques et préjudices involontaires à travers les populations.

Fondements techniques

Les auteurs citent des cadres statistiques existants qui s'alignent sur leur vision, spécifiquement :

• Prédiction conforme (Conformal Prediction) : Utilisée pour fournir des garanties statistiques sur la performance et l'équité des modèles (par exemple, la Conformal Fairness) même lorsque les hypothèses i.i.d. ne sont plus respectées après le déploiement.
• Méthodes de contrôle des risques : S'appuyant sur la littérature de la prise de décision séquentielle pour encoder les spécifications d'audit et maintenir des garanties rigoureuses.
• Spécifications socio-techniques : La nécessité de définir des contraintes mesurables qui font le pont entre les normes juridiques/de gouvernance et les métriques techniques, en reconnaissant que la « sécurité » est souvent moins bien définie que l'« équité ».

Principales contributions

1. Recadrage de l'audit : La principale contribution est l'argument consistant à traiter l'audit comme un problème statistique de contrôle des risques plutôt que comme une tâche de vérification déterministe. Cela déplace l'attention de « le modèle a-t-il réussi ? » vers « quelle est la probabilité de violation de contrainte compte tenu de l'incertitude actuelle ? ».
2. Perspective de cycle de vie : L'article souligne que l'audit doit s'étendre sur l'ensemble du cycle de vie de l'IA, en abordant les limites des benchmarks de pré-déploiement et les complexités des dynamiques post-déploiement.
3. Écosystème multi-acteurs : Il met en évidence la nécessité d'un écosystème d'audit diversifié impliquant des équipes internes, des auditeurs tiers, des régulateurs et des utilisateurs, chacun ayant des niveaux d'accès et des rôles distincts.
4. Identification des défis : L'article répertorie systématiquement les défis techniques et socio-techniques, notamment :
   • Le manque de spécifications quantifiables et fiables pour la sécurité.
   • L'hétérogénéité des données et la difficulté d'auditer dans des environnements de données fédérés ou fragmentés.
   • Le problème de l'« observation partielle » dans les équipes Humain-IA, où l'intention humaine occulte le comportement du modèle.

Résultats et affirmations

En tant que papier de position, ce travail ne présente pas de résultats expérimentaux, de benchmarks empiriques ou de nouvel outil logiciel. Ses « résultats » sont les arguments logiques et la synthèse de la littérature existante pour soutenir sa thèse.

L'article affirme que :

• Les paradigmes d'évaluation actuels sont insuffisants pour garantir la confiance dans des contextes réels et dynamiques.
• Un cadre basé sur le risque et tenant compte de l'incertitude est nécessaire pour combler l'écart entre l'évaluation statique du modèle et le comportement dynamique du système.
• Un audit efficace nécessite une collaboration interdisciplinaire, intégrant des connaissances en droit, en gouvernance, en statistiques et en informatique.
• Le domaine devrait s'inspirer des pratiques d'audit établies dans la finance, la santé et l'industrie pharmaceutique pour les principes de surveillance continue et d'évaluation des risques.

Signification

L'article soutient que l'audit est essentiel pour parvenir à une IA digne de confiance à l'ère moderne. Sa signification réside dans :

• Répondre au « milieu réel » (the Wild) : Fournir une approche principled pour surveiller les systèmes d'IA « dans le monde réel », où les changements de données et les interactions avec les utilisateurs créent des risques que les benchmarks ne peuvent capturer.
• Permettre une gouvernance démocratique : Offrir un mécanisme de vérification indépendante de la performance, de l'équité et de la fiabilité des systèmes, ce qui est crucial pour la confiance du public et la surveillance démocratique.
• Guider la recherche future : Fixer un agenda de recherche axé sur le développement de méthodes de surveillance tenant compte de l'incertitude, de spécifications socio-techniques pour les critères d'audit et d'infrastructures d'audit permettant une surveillance continue.

Les auteurs concluent que le succès de l'audit de l'IA sera mesuré par la capacité à quantifier le risque associé aux critères d'audit et à utiliser cette information pour informer les mises à jour des modèles, créant ainsi une boucle de rétroaction qui maintient la conformité aux propriétés souhaitées tout au long du cycle de vie du système.