💻 computer science

A pragmatic classification of AI incident trajectories

Ce papier propose un cadre pragmatique combinant une méthode de surveillance structurée (SORT), une estimation par paliers et l'assistance des LLM pour classifier les trajectoires des incidents d'IA, permettant ainsi de distinguer les variations de fréquence des harms de celles liées à la croissance des déploiements et à la propension de signalement afin d'éclairer les décisions de gouvernance.

Auteurs originaux : Isaak Mengesha, Branwen Owen, Charlie Collins, Tina Wong, Simon Mylius, Peter Slattery, Sean McGregor

Publié 2026-04-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Isaak Mengesha, Branwen Owen, Charlie Collins, Tina Wong, Simon Mylius, Peter Slattery, Sean McGregor

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🚨 Le Problème : Compter les accidents ne suffit pas

Imaginez que vous regardez le nombre d'accidents de voiture dans un pays. Si vous voyez que le nombre d'accidents double d'une année à l'autre, êtes-vous paniqué ? Pas forcément.

Pourquoi ? Parce qu'il y a deux explications possibles :

Les voitures sont devenues plus dangereuses (les freins sont défectueux).
Il y a simplement plus de voitures sur la route (tout le monde a acheté une voiture, donc il y a plus d'accidents, même si chaque voiture est sûre).

C'est exactement le problème avec l'IA aujourd'hui. Les médias et les bases de données publiques nous disent : "Regardez, il y a eu 500 incidents l'année dernière, et 1000 cette année ! C'est une catastrophe !"

Mais les auteurs de ce papier disent : Attendez un peu. Ce chiffre brut mélange tout. Il confond :

Le nombre de gens qui parlent des problèmes (la "propension à signaler").
Le nombre de fois où l'IA est utilisée (l'"exposition").
La fréquence réelle des dégâts par utilisation (le "danger").

C'est comme si on comptait le nombre de fois où l'on a vu un incendie dans une forêt, sans savoir si la forêt a doublé de taille ou si le feu est devenu plus violent.

🩺 La Solution : La Médecine pour l'IA

Les auteurs proposent d'appliquer la logique de la médecine publique (l'épidémiologie) à l'IA.

Imaginez que l'IA est un nouveau virus. Avant de paniquer, un épidémiologiste ne regarde pas juste le nombre de malades. Il pose des questions précises :

Qui est touché ? (Les enfants ? Les adultes ?)
Combien de personnes sont exposées au virus ?
Combien de personnes tombent malades pour chaque personne exposée ?

Pour faire cela, ils ont créé un outil appelé SORT. C'est comme un formulaire de remplissage pour transformer une question vague ("L'IA est-elle dangereuse ?") en une question précise :

"Parmi les [Sujets] qui ont [Opportunité], combien subissent [Risque] par [Temps] ?"

🗺️ La Boussole : Les 4 Trajectoires

Une fois qu'ils ont séparé le "nombre d'utilisateurs" (Exposition) du "nombre de dégâts par utilisateur" (Danger), ils classent la situation en 4 catégories, comme une carte météo pour la sécurité :

🔥 Escalade (Danger + Exposition en hausse)
- L'image : La forêt grandit ET le feu devient plus violent.
- Signification : C'est l'urgence absolue. Il faut agir tout de suite, car le risque explose.
- Exemple du papier : Les chatbots d'IA qui encouragent le suicide. De plus en plus de gens les utilisent, et de plus en plus de gens reçoivent des réponses dangereuses.
🛡️ Atténuation (Exposition en hausse, mais Danger en baisse)
- L'image : La forêt grandit, mais les pompiers sont devenus si efficaces que les incendies sont plus rares par arbre.
- Signification : C'est une bonne nouvelle ! Les systèmes de sécurité fonctionnent. Le nombre total d'accidents peut augmenter (car il y a plus d'utilisateurs), mais la technologie devient plus sûre par personne.
- Exemple du papier : Les voitures autonomes. Elles roulent deux fois plus qu'avant, mais le nombre d'accidents par kilomètre a baissé. Les freins fonctionnent bien.
🎯 Concentration (Exposition en baisse, mais Danger en hausse)
- L'image : Il y a moins de voitures sur la route, mais celles qui roulent sont des bolides incontrôlables.
- Signification : Le problème se concentre sur un petit groupe. Il faut protéger spécifiquement ces gens-là.
📉 Récession (Exposition en baisse, Danger en baisse)
- L'image : La forêt rétrécit et il n'y a plus de feu.
- Signification : Tout va bien, on peut continuer comme avant.

🧩 Pourquoi c'est important ?

Sans cette méthode, les gouvernements risquent de prendre de mauvaises décisions :

Soit ils paniquent pour rien (parce qu'ils voient juste plus de rapports dans les journaux).
Soit ils ne font rien (parce qu'ils pensent que "pas de nouvelles = pas de danger", alors que le danger est juste caché).

Ce papier nous dit : "Ne regardez pas le compteur total. Regardez la vitesse à laquelle vous roulez et la solidité de vos freins."

En utilisant cette méthode, on peut dire avec honnêteté : "Nous ne savons pas exactement combien de dégâts il y a, mais nous savons que le danger par utilisateur augmente." Cela permet de prendre des décisions de sécurité basées sur la réalité, et non sur la peur ou le manque de données.

En résumé : C'est un guide pour ne pas se faire avoir par les chiffres bruts et pour comprendre si l'IA devient vraiment plus dangereuse, ou si c'est juste qu'elle est partout autour de nous.

1. Problématique

Les bases de données publiques d'incidents liés à l'IA (souvent alimentées par des rapports de presse) souffrent d'interprétations erronées qui faussent les conclusions politiques. Le problème central réside dans la conflation de trois facteurs distincts dans les comptes bruts d'incidents :

La propension à signaler (biais de reporting médiatique).
L'exposition (la croissance du déploiement et de l'utilisation des systèmes).
Le taux de risque (la fréquence réelle des dommages par unité d'exposition).

Les cadres législatifs actuels (comme l'AI Act de l'UE) sont trop étroits, fragmentés et ne génèrent pas les boucles de rétroaction nécessaires pour améliorer la sécurité, à l'instar de ce qui s'est produit dans l'aviation ou la pharmacovigilance. De plus, l'absence de données sur la taille de la population exposée (le dénominateur) rend impossible la distinction entre une technologie qui devient plus dangereuse et une technologie simplement plus utilisée.

2. Méthodologie : Le Cadre SORT et la Classification des Trajectoires

Les auteurs proposent un cadre méthodologique inspiré de l'épidémiologie publique pour transformer les données d'incidents brutes en informations exploitables pour la gouvernance.

A. Définition structurée des questions de surveillance (SORT)

Pour éviter les définitions floues, chaque question de surveillance (Monitoring Question - MQ) est décomposée en quatre composantes, analogue au cadre PICO en médecine :

S (Subject) : Qui ou quoi est à risque ?
O (Opportunity) : Qui est réellement exposé au mécanisme de risque ?
R (Risk event) : Quel est l'événement préjudiciable comptable ?
T (Timeframe) : Quelle est la période d'observation ?
Format : « Parmi [S] qui [O], combien de [R] par [T] ? »

B. Procédures d'estimation par paliers (Tiered Estimation)

Face à la rareté des données, le cadre utilise une approche à quatre niveaux pour estimer séparément le dommage (H) et l'exposition (E) :

Niveau 1 : Données directes d'une source autoritaire (ex: rapports de crash obligatoires).
Niveau 2 : Dérivation à partir de proxies (ex: utiliser les données de véhicules à moteur pour borner les risques des véhicules autonomes, ou combiner des données de recensement avec des sondages).
Niveau 3 : Élicitation d'experts pour définir des bornes plausibles.
Niveau 4 : Abstention principielle (reconnaissance que les données sont insuffisantes pour même une estimation d'ordre de grandeur).

L'objectif est de déterminer la tendance directionnelle (croissante ou décroissante) de H et E, plutôt que de viser une précision absolue.

C. Classification des trajectoires (2x2)

En comparant les tendances de l'exposition ( $E$ ) et du taux de dommage par exposition ( $\hat{H} = H/E$ ), chaque question de surveillance est classée dans l'une de quatre catégories :

Escalading (Escalade) : $E \uparrow$ et $\hat{H} \uparrow$ . Le nombre de personnes exposées augmente et le risque par personne augmente. Action : Intervention urgente.
Mitigating (Atténuation) : $E \uparrow$ et $\hat{H} \downarrow$ . L'exposition augmente mais le risque par personne diminue (les contrôles fonctionnent). Action : Surveillance continue.
Concentrating (Concentration) : $E \downarrow$ et $\hat{H} \uparrow$ . Moins de personnes sont exposées, mais celles qui le sont subissent des dommages plus graves. Action : Mesures protectrices ciblées.
Receding (Récession) : $E \downarrow$ et $\hat{H} \downarrow$ . Aucune dimension ne s'aggrave. Action : Maintien des stratégies existantes.

3. Résultats et Études de Cas

Le cadre a été appliqué à deux cas d'usage concrets :

Cas 1 : Systèmes d'IA conversationnelle et automutilation

Question : Parmi les utilisateurs américains d'IA conversationnelle pour le soutien émotionnel, combien reçoivent des réponses encourageant le suicide par an ?
Résultats : L'exposition ( $E$ ) a augmenté d'environ 40 % (estimé à 88 millions d'utilisateurs en 2025). Les données de dommages ( $H$ ) montrent une augmentation explosive (de 8 à 55+ cas confirmés, avec des proxies suggérant des centaines de milliers d'interactions à risque).
Classification : Escalading. Le risque par utilisateur augmente alors que le nombre d'utilisateurs croît. Cela indique un besoin urgent de renforcement des garde-fous.

Cas 2 : Véhicules autonomes et blessures/dommages

Question : Parmi les véhicules autonomes (SAE 3-5) sur les routes américaines, combien d'incidents avec blessures ou dommages matériels se produisent par million de kilomètres ?
Résultats : L'exposition ( $E$ ) a doublé (environ 156 millions de miles en 2025). Le nombre absolu d'incidents a augmenté de ~85 %, mais moins vite que l'exposition.
Classification : Mitigating. Bien que le nombre absolu d'accidents augmente, le taux d'incidents par kilomètre diminue, suggérant que les mesures de sécurité actuelles suivent le rythme du déploiement.

4. Contributions Clés

Séparation Exposition/Dommage : Le papier fournit la première méthodologie robuste pour dissocier la croissance du déploiement de l'augmentation réelle du risque, évitant ainsi les conclusions erronées basées sur les comptes bruts.
Gestion de l'incertitude : L'approche par paliers (tiers) et l'acceptation d'estimations d'ordre de grandeur permettent de tirer des conclusions même avec des données imparfaites, en évitant l'illusion de précision.
Outil de gouvernance : La classification en 4 trajectoires offre un langage commun pour prioriser les interventions réglementaires (ex: réguler l'accès vs améliorer la sécurité technique).
Adaptabilité : Le cadre fonctionne avec les bases de données actuelles (basées sur les médias) tout en préparant le terrain pour des systèmes de reporting plus rigoureux à l'avenir.

5. Signification et Implications

Ce travail est crucial pour la gouvernance de l'IA car il transforme la façon dont les décideurs interprètent les données d'incidents :

Démystification des tendances : Il permet de distinguer si une hausse des rapports d'incidents est due à un risque réel accru, à une plus grande visibilité médiatique, ou simplement à une adoption massive de la technologie.
Optimisation des ressources : En identifiant si un problème est "Escalading" ou "Mitigating", les régulateurs peuvent allouer leurs ressources soit à la restriction de l'accès, soit au soutien des améliorations techniques.
Limites et Transparence : Le cadre reconnaît explicitement ses limites (biais de reporting, données manquantes) et propose l'« abstention principielle » comme une conclusion valide, évitant ainsi de tirer des conclusions hâtives sur des domaines où les données sont absentes.

En somme, ce papier propose un passage d'une interprétation naïve des comptages d'incidents à une analyse épidémiologique structurée, essentielle pour une régulation efficace et proportionnée des risques de l'IA.