From Silos to Systems: Process-Oriented Hazard Analysis for AI Systems

Résumé Technique : Des silos aux systèmes : Analyse des dangers orientée processus pour les systèmes d'IA

Énoncé du problème
Les approches actuelles de l'analyse des risques dans les systèmes d'intelligence artificielle (IA) se concentrent principalement sur des composants individuels — tels que les données d'entraînement ou des modèles d'apprentissage automatique spécifiques — de manière isolée. Cette perspective « en silo » néglige les dangers qui émergent des interactions entre les composants, de l'intégration des modèles dans des piles logicielles plus larges et des processus sociotechniques de développement et d'exploitation. Bien que les cadres réglementaires (par exemple, l'IA Act de l'UE) et les pratiques industrielles (par exemple, les fiches de système ou system cards) commencent à distinguer les modèles d'IA des systèmes d'IA, il existe un manque de cadres empiriques pour faciliter l'analyse des dangers au niveau du système. Les méthodes existantes ne parviennent souvent pas à rendre compte de la nature émergente de la sécurité dans les systèmes sociotechniques complexes, où les préjudices résultent non seulement de la défaillance d'un composant, mais aussi de l'interaction entre les artefacts techniques, les acteurs humains et les processus institutionnels. De plus, les systèmes d'IA possèdent des caractéristiques uniques — telles que l'opacité des modèles, les capacités probabilistes et la complexité des sorties — qui varient considérablement selon les paradigmes (par exemple, la régression linéaire par rapport aux modèles génératifs), compliquant ainsi l'application des outils traditionnels de l'ingénierie de la sécurité.

Méthodologie
Les auteurs adaptent l'Analyse de processus de sécurité systémique (STPA), un cadre d'analyse des dangers bien établi dans le domaine de la sécurité des systèmes, pour une utilisation dans les contextes de l'IA. La STPA traite la sécurité comme une propriété émergente de l'ensemble du système, en analysant les structures de contrôle et les boucles de rétroaction plutôt que de simples défaillances de composants.

La recherche emploie une approche d'étude de cas qualitative impliquant trois systèmes d'IA distincts à travers différents domaines et paradigmes :

1. Cas 1 (C1) : Un système d'alerte précoce basé sur la régression linéaire pour prédire le sepsis tardif chez les nourrissons prématurés (Humain dans la boucle).
2. Cas 2 (C2) : Un système d'injection d'insuline automatisé basé sur l'apprentissage par renforcement (RL) pour la gestion du diabète (Humain hors de la boucle).
3. Cas 3 (C3) : Des modèles génératifs de texte-vers-image (T2I) utilisés pour le storyboard dans la pratique créative (Humain en tant qu'utilisateur d'outil).

La méthodologie a consisté à recueillir des données par le biais d'entretiens avec les parties prenantes, d'ateliers et de la revue de la documentation technique et de la littérature académique. Les chercheurs ont appliqué les quatre étapes standard de la STPA à chaque cas :

1. Identifier l'objectif de l'analyse (pertes et limites du système).
2. Créer des diagrammes de contrôle (cartographie des contrôleurs, des processus contrôlés et de la rétroaction).
3. Identifier les actions de contrôle non sécurisées (UCA - Unsafe Control Actions).
4. Identifier les scénarios de perte (chaînes causales menant aux UCA).

À travers une analyse itérative et réflexive de ces applications, les auteurs ont développé la directive PHASE (Analyse des dangers orientée processus pour les systèmes d'IA), qui traduit les concepts de la STPA pour répondre aux défis spécifiques de l'IA.

Principales contributions
La contribution principale est la directive PHASE, qui adapte la STPA pour l'IA en introduisant des modifications spécifiques pour gérer l'hétérogénéité des systèmes d'IA :

• Taxonomie élargie des pertes : PHASE étend la définition de la « perte » au-delà des résultats traditionnels critiques pour la sécurité (ex. : perte de vie) pour inclure les pertes liées à la performance (ex. : efficacité, réputation) et les pertes sociotechniques (ex. : violations de la vie privée, perte de diversité, biais algorithmique).
• Limites du système orientées processus : Au lieu de tracer des limites autour du modèle lui-même, PHASE définit les limites autour des processus de développement et d'utilisation (la chaîne d'approvisionnement algorithmique), reconnaissant que les développeurs contrôlent les données et les choix de conception, mais pas nécessairement les représentations latentes apprises.
• Structures de contrôle dynamiques : Le cadre s'adapte à la fluidité des rôles dans l'IA, où un composant (par exemple, un assistant IA) peut agir comme un contrôleur dans un contexte et comme un processus contrôlé dans un autre, selon les mandats organisationnels et les modes d'utilisation.
• Scénarios de perte spécifiques à l'IA : PHASE rend explicitement compte des scénarios de perte découlant des capacités émergentes et évolutives du système (par exemple, les mises à jour du modèle, le réentraînement ou l'extension des cas d'utilisation) qui dépassent les garde-fous existants, un facteur souvent omis dans la STPA traditionnelle appliquée aux systèmes statiques.

Résultats et conclusions
L'application de la STPA via PHASE à travers les trois études de cas a produit plusieurs conclusions :

• Applicabilité : Les concepts et étapes de base de la STPA sont applicables aux systèmes d'IA mais nécessitent des adaptations ciblées pour répondre aux défis spécifiques de l'IA tels que l'opacité et l'autonomie.
• Détection des dangers : L'analyse au niveau du système a réussi à identifier des dangers qui resteraient invisibles lors d'audits au niveau des composants. Par exemple, un modèle peut réussir un audit d'équité de manière isolée, pourtant l'interaction au niveau du système entre une alerte imparfaite et une confiance excessive du clinicien peut conduire à un diagnostic erroné.
• L'hétérogénéité compte : L'analyse a révélé que différents paradigmes d'IA (modèles linéaires, RL, modèles génératifs) imposent des exigences différentes à l'analyse. Par exemple, définir les limites du système était plus complexe pour les plateformes génératives ouvertes que pour le système d'insuline par RL, plus contraint.
• Quatre affordances clés : L'étude identifie quatre affordances spécifiques fournies par PHASE aux analystes :
  1. Détection au niveau du système : Identifier les dangers découlant de l'accumulation de problèmes disparates tout au long du cycle de vie du système.
  2. Reconnaissance des facteurs sociaux : Cartographier explicitement les facteurs sociaux (ex. : culture organisationnelle, pressions temporelles) qui contribuent aux préjudices algorithmiques.
  3. Responsabilité traçable : Établir des chaînes de responsabilité claires en reliant les actions de contrôle et les boucles de rétroaction à des acteurs et des artefacts spécifiques, en distinguant si un préjudice provient de la collecte de données, de l'entraînement du modèle ou de l'interaction de l'utilisateur.
  4. Surveillance des dangers émergents : Permettre la surveillance continue de nouveaux dangers à mesure que les systèmes d'IA s'adaptent, se mettent à jour ou changent de contexte opérationnel au fil du temps.

Signification et affirmations
L'article affirme que PHASE offre un complément critique aux efforts actuels de l'IA responsable (RAI) en déplaçant le prisme analytique des composants isolés vers les propriétés émergentes de l'ensemble du système. Il soutient que la sécurité dans l'IA n'est pas simplement un attribut technique d'un modèle, mais une propriété sociotechnique des structures de contrôle du système.

Les auteurs positionnent PHASE comme un outil pour :

• Faciliter la transition des « silos » vers les « systèmes » dans l'analyse de la sécurité de l'IA.
• Fournir une méthode structurée pour établir la traçabilité entre les préjudices spécifiques et les acteurs ou processus responsables de leur atténuation, répondant ainsi au « fossé de responsabilité » dans le développement de l'IA.
• Soutenir le développement d'une culture de la sécurité au sein des organisations en rendant explicites les risques implicites et les facteurs sociaux.

Les auteurs restent modestes quant à la généralisabilité de leurs conclusions, notant que bien que les trois études de cas couvrent des paradigmes distincts, elles ne représentent pas l'ensemble du paysage de l'IA. Ils reconnaissent que l'efficacité de PHASE dépend de l'expertise des analystes et de la volonté des organisations à allouer des ressources à la sécurité. Ce travail est présenté comme une étape fondamentale vers l'intégration des principes d'ingénierie de la sécurité des systèmes dans le discours plus large de la gouvernance de l'IA et du développement responsable.