Designing escalation criteria for international AI incident response: criteria, triggers, and thresholds

Résumé Technique : Mise à l'épreuve des procédures d'escalade d'incidents liés à l'IA

Énoncé du problème
Alors que des cadres réglementaires pour la déclaration d'incidents liés à l'IA émergent (par exemple, la Loi européenne sur l'IA, le projet de loi SB 53 de la Californie), un écart critique existe dans l'évaluation de savoir si les critères d'escalade au sein de ces cadres détectent de manière fiable les incidents qu'ils sont conçus à repérer. La littérature actuelle se concentre sur la conception de bases de données d'incidents et la détection des préjudices systémiques, mais fait défaut en matière d'évaluation de savoir si les critères en amont — définitions, seuils et déclencheurs — fonctionnent efficacement lorsqu'ils sont appliqués à des scénarios réels. Des critères mal conçus risquent de produire des angles morts systématiques, en échouant à escalader des incidents qui méritent une attention.

Méthodologie
Les auteurs emploient un processus de conception séquentielle en trois étapes :

1. Développement du cadre : Un cadre d'escalade à huit critères a été construit en examinant des précédents intersectoriels (par exemple, le Règlement sanitaire international de l'OMS, le DORA de l'UE, Bâle II) et les réglementations existantes sur l'IA.
2. Mise à l'épreuve : Le cadre a été soumis à une méthodologie de « parcours » (walkthrough), inspirée des exercices de table en cybersécurité et des premières expériences de mise en œuvre du DORA. Dix incidents documentés liés à l'IA et leurs variantes structurées ont été analysés dans quatre domaines à haut risque : cyber, RCBN (Chimique, Biologique, Radiologique, Nucléaire), préjudice psychologique et risque multi-agents.
3. Analyse contrefactuelle : Pour chaque incident, les auteurs ont déterminé si le cadre déclencherait une escalade, à quelle porte de décision, et sur la base de quelles preuves disponibles à des moments spécifiques. Des variations structurées ont été introduites pour identifier les conditions dans lesquelles les classifications changeraient.

Le cadre d'escalade
Le cadre proposé classe les incidents en trois issues : Escalader (coordination internationale requise), Alerte (soutien des capacités/partage d'informations) ou Écarter. Il utilise un organigramme séquentiel avec huit critères filtrants :

1. Causalité de l'IA : L'IA a-t-elle été un facteur causal ?
2. Portée : Exclusions basées sur le domaine (par exemple, militaire).
3. Escalade immédiate : Déclencheurs pré-préjudice (par exemple, assistance RCBN, perte de contrôle par le développeur) indépendamment d'un préjudice confirmé.
4. Détection de motifs : Agrégation d'incidents partageant une cause racine (technique, capacité ou contextuelle).
5. Catégorie de préjudice et gravité : Évaluation par rapport à des taxonomies reconnues (par exemple, MIT) et des niveaux de gravité (Niveau 4+).
6. Propagation transfrontalière : Nécessité d'une coordination internationale.
7. Préjudice transfrontalier irréversible : Dommages permanents avec des effets en aval.
8. Presque-accident : Incidents évités révélant des modes de défaillance affectant d'autres systèmes.

Résultats clés
La mise à l'épreuve a révélé que le cadre fonctionne de manière fiable pour les incidents à début discret et individuellement graves où le rôle causal de l'IA est clair. Cependant, trois catégories d'incidents se sont révélées structurellement difficiles, conduisant à une sous-détection systématique dans les cadres réglementaires actuels :

• Préjudices cumulatifs, individuellement sous le seuil : Des incidents tels que les deepfakes non consentis et les préjudices psychologiques résultant de l'interaction humain-IA impliquent des millions d'interactions de faible gravité. Les cadres actuels évaluant les incidents individuellement échouent à capturer la gravité agrégée, qui ne devient visible que par la détection de motifs et l'agrégation.
• Presque-accidents et préjudices potentiels : Les incidents à haute gravité potentielle mais à faible préjudice réalisé (par exemple, vulnérabilités de plateformes agentiques) sont souvent manqués à moins que des critères spécifiques de presque-accident ne soient appliqués.
• Lacunes dans l'échelle de gravité : Les préjudices diffus (détresse psychologique, violations de la dignité) ne se mappent pas bien aux descripteurs de gravité quantitatifs existants. Les cadres actuels manquent de mécanismes pour l'agrégation inter-catégories, faisant tomber les incidents en dessous des seuils d'escalade malgré un traitement réglementaire les considérant comme graves.

Constats : La chaîne de dépendance et les modèles de conception
Les auteurs identifient une chaîne de dépendance à trois couches expliquant ces échecs :

1. Couche 1 (Infrastructure de données) : Ce qui peut être détecté.
2. Couche 2 (Fondements définitionnels) : Comment les incidents et les préjudices sont catégorisés et notés.
3. Couche 3 (Déclencheurs d'escalade) : Seuils et logique de décision.

Les lacunes dans les couches en amont se propagent en aval. L'article identifie quatre modèles de conception spécifiques dans les cadres actuels (Loi européenne sur l'IA, SB 53) qui entraînent une sous-détection :

1. Déclencheurs exigeant un préjudice confirmé pour les risques pré-préjudice : Exiger des résultats de préjudice réel avant la déclaration empêche l'escalade d'événements à haut risque (par exemple, un modèle fournissant une assistance RCBN) où le développeur voit le déclencheur mais pas le préjudice en aval.
2. Évaluation uniquement individuelle manquant les préjudices cumulatifs : L'absence de dispositions d'agrégation signifie que les effets au niveau de la population (par exemple, 500 000 utilisateurs présentant des facteurs de risque) sont invisibles lorsqu'ils sont évalués comme des événements discrets.
3. Seuils définis par la loi qui ne sont pas pratiquement testables : Des définitions reposant sur « l'atteinte aux droits fondamentaux » ou des seuils quantitatifs spécifiques (par exemple, 50 victimes) sont soit inmesurables par les développeurs, soit manquent des incidents de gravité modérée mais réelle.
4. Architecture d'événements discrets appliquée à des conditions permanentes : L'application d'une logique basée sur les événements à des conditions continues et permanentes (par exemple, préjudice psychologique en cours, érosion progressive de l'intégrité de l'information) rend ces risques invisibles, car il n'y a ni début ni point de résolution discret.

Solution proposée
Pour traiter les « conditions permanentes », les auteurs proposent une surveillance basée sur la tolérance, s'inspirant de précédents dans les services financiers (par exemple, Bâle II, Banque d'Angleterre). Cela implique :

1. La normalisation des catégorisations de préjudice entre les fournisseurs.
2. L'opérationnalisation d'une surveillance continue (passant de photographies à un instant donné à des flux continus).
3. La définition de tolérances où les événements déclarables sont définis par des changements anormaux dans le taux, la gravité ou la distribution du préjudice (par exemple, pics de prévalence au-dessus de la ligne de base) plutôt que par la simple présence de préjudice.

Portée et affirmations
L'article affirme que concevoir de meilleurs déclencheurs à eux seuls est insuffisant. Le travail définitionnel (Couche 2) et l'infrastructure de données (Couche 1) sont des prérequis pour des critères d'escalade opérationnels. Sans traiter ces couches en amont, les cadres risquent d'être formellement complets mais opérationnellement inapplicables, en particulier pour les domaines de risque où la sous-détection a des conséquences graves.

Le travail contribue à la capacité d'« opérationnalisation » de la gouvernance technique de l'IA en :

• Fournissant un cadre à huit critères ancré dans des précédents intersectoriels.
• Démontrant par la mise à l'épreuve que les conceptions réglementaires actuelles contiennent des caractéristiques structurelles menant à des angles morts systématiques.
• Proposant une structure de dépendance expliquant pourquoi certains risques (cumulatifs, psychologiques, conditions permanentes) sont actuellement invisibles pour les mécanismes d'escalade.
• Offrant une proposition constructive de surveillance basée sur la tolérance pour traiter les préjudices en cours au niveau de la population.

Les auteurs notent des limites, notamment la taille de l'échantillon de dix incidents et la dépendance à des jugements subjectifs dans la méthodologie de parcours, suggérant que les travaux futurs devraient impliquer une validation multi-parties prenantes et un affinage des déclencheurs spécifiques à chaque domaine.