💻 computer science

A Closer Look at the Existing Risks of Generative AI: Mapping the Who, What, and How of Real-World Incidents

Cet article présente une nouvelle taxonomie des défaillances de l'IA générative en analysant systématiquement 499 incidents réels pour révéler que la plupart des préjudices découlent de problèmes liés à l'utilisation affectant des parties prenantes au-delà des utilisateurs finaux, distinguant ainsi le paysage des risques de l'IA générative de celui de l'IA traditionnelle et plaidant pour des stratégies d'atténuation non techniques telles que la divulgation publique, l'éducation et la réglementation.

Auteurs originaux : Megan Li, Wendy Bickersteth, Ningjing Tang, Jason Hong, Lorrie Cranor, Hong Shen, Hoda Heidari

Publié 2026-04-27

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Megan Li, Wendy Bickersteth, Ningjing Tang, Jason Hong, Lorrie Cranor, Hong Shen, Hoda Heidari

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez l'IA générative comme une usine surpuissante et hyper-créative capable de produire instantanément du texte, des images, de l'audio et des vidéos. C'est comme une imprimerie magique qui ne dort jamais. Mais, comme toute usine puissante, elle ne produit pas seulement des biens ; elle produit aussi des « accidents » et des « dégâts ».

Ce document est essentiellement une enquête forensique sur 499 accidents réels causés par cette usine. Les chercheurs (de l'Université Carnegie Mellon) n'ont pas seulement deviné ce qui pourrait mal tourner ; ils ont examiné un immense tas de rapports de police, d'articles de presse et de plaintes publiques pour cartographier exactement ce qui s'est passé, qui a été blessé et pourquoi.

Voici la décomposition de leurs découvertes en termes simples :

1. La Grande Surprise : Le Problème du « Témoin »

Dans la plupart des histoires de sécurité, nous supposons que la personne blessée est celle qui utilise l'outil. Si vous conduisez une voiture de manière imprudente, vous êtes celui qui a un accident.

Mais avec l'IA générative, les chercheurs ont constaté que l'inverse est souvent vrai.

L'Analogie : Imaginez que vous êtes à une fête. Vous décidez d'utiliser un pinceau magique pour dessiner une image drôle de votre ami. Vous (l'utilisateur) trouvez cela hilarant. Mais la personne sur l'image (le témoin) est maintenant moquée par toute la ville, ou sa réputation est ruinée.
La Découverte : L'étude a révélé que la plupart des préjudices ne sont pas survenus à la personne utilisant l'IA. Ils sont survenus à des personnes qui n'y étaient pour rien — des étrangers, des communautés ou la société dans son ensemble. Les « utilisateurs » ont souvent obtenu les bénéfices (plaisir, productivité), tandis que les « non-utilisateurs » ont reçu les contrecoups (arnaques, vol d'identité, confusion).

2. Les Deux Coupables Principaux : « Le Bug » vs « Le Méchant »

Les chercheurs ont catégorisé les raisons de ces accidents en deux grandes catégories :

Le Bug (Défaillances Techniques) : Parfois, l'IA se trompe simplement. Elle hallucine (invente des faits), se confond ou échoue à suivre les règles.
- Qui est blessé ? Habituellement la personne utilisant l'IA. Par exemple, un avocat utilise l'IA pour rédiger un mémoire, l'IA invente une affaire fictive, et l'avocat a des ennuis.
Le Méchant (Usage Malveillant) : C'était la plus grande surprise. La cause la plus fréquente de préjudice n'était pas que l'IA était cassée ; c'était des personnes utilisant une IA fonctionnelle pour faire exprès de mauvaises choses.
- Qui est blessé ? Presque toujours les témoins.
- Exemples : Quelqu'un utilisant l'IA pour créer une fausse vidéo deepfake d'un homme politique afin de provoquer une émeute, ou créant de fausses images nues d'un camarade de classe pour le harceler. L'IA fonctionnait exactement comme prévu ; c'est l'humain derrière qui posait problème.

3. La Carte du « Qui, Quoi et Comment »

Le document a construit une nouvelle carte (une taxonomie) pour organiser ces incidents :

Ce qui s'est passé (Le Préjudice) : Les types de préjudices les plus courants concernaient l'Autonomie des personnes (être trompé ou usurpé), la Politique/Économie (fausses nouvelles influençant les élections ou les marchés) et la Réputation (diffamation).
Comment cela s'est produit (Le Mode de Défaillance) : La cause la plus fréquente était l'Usage Malveillant (mauvais acteurs intentionnels). La deuxième plus courante était l'Usage Non Déclaré (utiliser l'IA alors qu'on est censé faire un travail humain, comme un étudiant qui triche ou un magazine inondé de spam généré par l'IA).
Qui a été blessé : Comme mentionné, les personnes « non-interagissantes » (le public, les victimes de deepfakes) ont supporté le plus gros du dommage.

4. Pourquoi les Règles Actuelles Ne Fonctionnent Pas

Le document soutient que notre façon actuelle de penser la sécurité est brisée car elle suppose que la personne utilisant l'outil est la seule qui ait besoin de protection.

L'Analogie : C'est comme avoir un manuel de sécurité pour un marteau qui ne vous dit que comment ne pas vous frapper le pouce, mais ne dit rien sur le fait de ne pas frapper votre voisin avec.
La Réalité : Parce que les personnes utilisant l'IA ne subissent souvent pas les conséquences (c'est la victime qui le fait), elles n'ont aucune motivation pour être prudentes. Le « bénéfice » va à l'utilisateur, mais le « risque » va à l'étranger.

5. Que Devrions-Nous Faire ?

Les auteurs suggèrent trois choses principales pour régler ce désordre, en se concentrant sur les personnes et les règles plutôt que sur un simple meilleur code :

Enseigner aux Personnes (Alphabétisation en IA) : Nous devons enseigner au grand public comment fonctionne cette « usine ». Si les gens comprennent que l'IA peut mentir (halluciner) ou être utilisée pour des arnaques, ils ne la feront pas confiance aveuglément. Cela stoppe certains « accidents » causés par l'ignorance.
Réguler le Far West de l'« Open Source » : Le document note que beaucoup des pires outils (comme les applications créant de fausses images nues) sont construits sur des modèles « open source » que n'importe qui peut télécharger et modifier. Les règles actuelles permettent à ces outils d'exister avec peu de restrictions. Les auteurs suggèrent que nous avons besoin de règles plus strictes ici pour empêcher les « méchants » de construire leurs armes.
Suivre la « Piste de Papier » (Provenance) : Nous avons besoin de meilleurs moyens pour distinguer ce qui est réel de ce qui est généré par l'IA. Si nous pouvons étiqueter le contenu généré par l'IA (comme une étiquette « Fabriqué par l'IA ») et détecter les faux, il devient plus difficile pour les escrocs de propager des mensonges ou pour les deepfakes de ruiner des réputations.

La Conclusion

L'IA générative n'est pas seulement un outil qui se brise occasionnellement ; c'est un outil qui est fréquemment armé par des humains pour blesser des personnes qui ne l'ont même pas demandé. La solution n'est pas seulement de rendre l'IA « plus intelligente » ; il s'agit de changer la façon dont nous la régulons, d'enseigner au public comment repérer les astuces et de réaliser que les personnes utilisant la technologie ne sont pas les seules qui ont besoin de protection.

1. Énoncé du problème

Alors qu'une attention considérable est portée aux risques existentialistes de l'intelligence artificielle (IA), il existe un fossé critique dans la compréhension des risques existants — ceux déjà observés dans le monde réel et causant des préjudices aux individus, aux communautés et à la société.

Le fossé : Les taxonomies de risques existantes manquent souvent d'ancrage dans des preuves empiriques, ne parvenant pas à spécifier qui est affecté, comment le préjudice survient (le mode de défaillance) et la relation spécifique entre les défaillances techniques et les impacts sociétaux en aval.
Le défi spécifique : L'IA générative (GenAI) diffère de l'IA traditionnelle par sa nature à usage général et ses modalités de sortie (texte, image, audio, vidéo). Les cadres actuels ne capturent pas adéquatement le paysage unique des défaillances de la GenAI, en particulier le décalage entre les utilisateurs qui bénéficient de la technologie et les tiers qui subissent les préjudices.
Objectif : Construire une taxonomie fondée sur les données des défaillances et des préjudices de la GenAI, cartographiant le « Qui » (parties prenantes), le « Quoi » (types de préjudices) et le « Comment » (modes de défaillance sociotechniques) sur la base d'incidents réels.

2. Méthodologie

Les auteurs ont mené une analyse empirique systématique de 499 incidents d'IA générative rapportés publiquement.

Sources de données : L'ensemble de données a été compilé à partir de deux grands référentiels : la Base de données des incidents d'IA (AIID) et les Incidents et controverses liés à l'IA, aux algorithmes et à l'automatisation (AIAAIC). Le Moniteur des incidents d'IA de l'OCDE a été exclu en raison de sa curation automatisée et de sa définition plus large d'« incident ».
Critères de sélection : Seuls les incidents où un système d'IA générative était la cause principale de l'événement ont été inclus.
Cadre de codage : Chaque incident a été traité comme une étude de cas et codé selon quatre attributs :
1. Modalité : Type de sortie (texte, image, audio, vidéo, multimodal).
2. Parties prenantes affectées : Catégorisées en Interagissantes (utilisateurs finaux, développeurs) et Non interagissantes (individus tiers, organisations, communautés, société).
3. Préjudice : La nature du résultat négatif.
4. Mode de défaillance sociotechnique : La cause proximale (technique, humaine ou systémique).
Développement de la taxonomie :
- Préjudices : Basés sur des taxonomies existantes (Weidinger et al., Abercrombie et al.) mais révisés pour inclure une nouvelle catégorie, « Surcharge des écosystèmes » (inondation des espaces gérés par l'humain avec du contenu généré par l'IA). La taxonomie finale contient 41 préjudices spécifiques répartis en 12 catégories.
- Modes de défaillance : Développement d'une nouvelle taxonomie de 14 modes de défaillance organisés en 4 catégories :
  1. Liés à la conception (ex. : collecte de données problématique).
  2. Liés au développement/évaluation (ex. : hallucinations, manque de robustesse).
  3. Liés à la mise en circulation (ex. : manque de transparence).
  4. Liés à l'utilisation (ex. : utilisation malveillante, utilisation inappropriée).
Processus d'analyse : Deux auteurs ont codé les données de manière indépendante, résolvant les désaccords par consensus. Ils ont analysé la prévalence, la co-occurrence des modes de défaillance, ainsi que la cartographie entre les modes de défaillance, les préjudices et les parties prenantes.

3. Contributions clés

Taxonomie empirique des préjudices de la GenAI : Une cartographie validée et quantitative de 41 préjudices spécifiques observés sur le terrain, dépassant l'évaluation des risques théoriques.
Nouvelle taxonomie des modes de défaillance sociotechniques : Un cadre structuré distinguant les défaillances liées à la conception, au développement, à la mise en circulation et à l'utilisation, spécifiquement adapté à la GenAI.
La cartographie « Qui-Quoi-Comment » : Une analyse complète reliant des modes de défaillance spécifiques à des préjudices spécifiques et, crucialement, identifiant le décalage entre les bénéficiaires et les victimes.
Différenciation par rapport à l'IA traditionnelle : Des preuves démontrant que le paysage des préjudices de la GenAI est distinct de celui de l'IA traditionnelle, notamment en ce qui concerne la prévalence de l'utilisation malveillante et l'impact sur les parties prenantes non interagissantes.

4. Résultats et constatations clés

A. Qui est lésé ? (Le décalage des parties prenantes)

Les parties prenantes non interagissantes sont les victimes principales : La majorité des incidents (environ 80 % ou plus) ont causé des préjudices à des parties qui n'ont pas interagi directement avec le système d'IA (par exemple, des individus ciblés par des deepfakes, des organisations recevant des spams générés par l'IA, la société confrontée à la désinformation).
Les parties prenantes interagissantes sont rarement lésées : Les utilisateurs finaux et les développeurs subissent rarement les conséquences directes des préjudices qu'ils génèrent.
Effondrement de la responsabilité : Cela crée un désalignement où ceux qui récoltent les bénéfices (utilisateurs/développeurs) assument peu de risques, tandis que ceux qui supportent les risques (société/tiers) n'ont aucun recours direct.

B. Quels préjudices surviennent ? (Prévalence)

Principales catégories de préjudices :
1. Perte d'autonomie/agentivité (n=178) : Souvent liée à l'usurpation d'identité et au vol d'identité.
2. Politique et économique (n=106) : Lié à la manipulation et à l'instabilité.
3. Informationnel (n=84) : Pollution de l'écosystème informationnel.
Préjudices spécifiques à haute fréquence : Usurpation d'identité/vol d'identité (n=108), Manipulation politique (n=95) et Perte de confiance/confiance (n=58).

C. Comment les préjudices surviennent-ils ? (Modes de défaillance)

Les défaillances liées à l'utilisation dominent : Les modes de défaillance liés à l'utilisation représentent la grande majorité des incidents (n=301), dépassant largement les défaillances de conception ou de développement.
L'utilisation malveillante est le moteur principal : L'utilisation malveillante (n=198) est le mode de défaillance le plus prévalent, entraînant des préjudices liés à l'autonomie, à la manipulation politique, à la détresse psychologique et à la fraude financière.
Hallucinations : Bien que moins fréquentes que l'utilisation malveillante dans l'ensemble, les hallucinations (n=56) sont le mode de défaillance principal affectant les parties prenantes interagissantes (par exemple, des utilisateurs s'appuyant sur de faux conseils juridiques).

D. Corrélations et modalités

Appariement Défaillance-Préjudice :
- Utilisation malveillante $\rightarrow$ Préjudices d'autonomie, politiques, psychologiques et financiers (souvent via des deepfakes).
- Hallucination $\rightarrow$ Préjudices aux droits humains/libertés civiles (par exemple, fausses preuves en justice).
- Collecte de données problématique $\rightarrow$ Préjudices liés à la vie privée et à la sécurité.
Impact de la modalité : Les systèmes basés sur le texte sont les plus associés aux hallucinations. Les systèmes d'image, de vidéo et d'audio sont massivement associés à l'utilisation malveillante (par exemple, pornographie deepfake non consensuelle, arnaques vocales).
Modèles open-source : L'étude corrobore que les outils permettant la création d'images intimes non consensuelles (AIG-NCII) sont principalement construits sur des modèles open-source (par exemple, Stable Diffusion), mettant en évidence une lacune réglementaire.

5. Importance et recommandations

Importance

Le papier remet en question le récit dominant selon lequel les risques de l'IA sont principalement techniques ou orientés vers le futur. Il prouve que les risques actuels de la GenAI sont largement sociotechniques, pilotés par l'intention humaine (utilisation malveillante) et des défauts de conception systémiques (collecte de données), et que le fardeau de ces risques pèse de manière disproportionnée sur des tiers innocents. Cela déplace l'accent de la simple « sécurité des modèles » vers la « sécurité de l'écosystème ».

Recommandations

Prioriser les parties prenantes non interagissantes : Les politiques et la gouvernance doivent se concentrer sur la protection des tiers qui n'interagissent pas avec le système mais subissent ses conséquences.
Éducation du public et littératie en IA : Puisque l'« utilisation inappropriée » est un mode de défaillance majeur, le public a besoin d'une meilleure éducation sur les capacités et les limites de la GenAI (par exemple, comprendre les hallucinations) pour réduire les préjudices accidentels.
Positionnement réglementaire sur l'open-source : L'environnement réglementaire actuel (par exemple, le Règlement européen sur l'IA) incite au développement open-source mais échoue à atténuer les risques spécifiques de mauvaise utilisation (comme l'AIG-NCII). Les auteurs appellent à une réglementation fondée sur des preuves qui équilibre l'innovation avec la prévention des outils abusifs.
Provenance et détection : La mise en œuvre du suivi des données et de la détection de contenu synthétique est nécessaire pour atténuer des préjudices tels que la désinformation et la fraude par deepfake, bien que cela doive être couplé à des mesures plus larges de responsabilisation.
Passer de l'atténuation technique à l'atténuation non technique : Les auteurs soutiennent que les correctifs techniques (barrières de sécurité) sont insuffisants. Une atténuation efficace nécessite des divulgations publiques, une éducation et des positions réglementaires prudentes pour aborder les couches humaines et systémiques du problème.