🤖 machine learning

RiskNet: A large-scale dataset of AI risk incidents from news with alignment and multi-dimensional annotations

RiskNet est un ensemble de données multilingue à grande échelle d'incidents de risques liés à l'IA, dérivé de sources d'actualités, qui utilise un pipeline structuré pour l'identification, l'alignement et l'annotation multidimensionnelle afin de soutenir la recherche empirique en matière de sécurité, de gouvernance et d'analyse des risques de l'IA.

Auteurs originaux : Leihan Zhang, Wecheng Ye, Xianlong Ma, Haochuan Liu, Yang Li, Qianyu Zhang, Jinliang Chen, Qiang Yan

Publié 2026-06-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Leihan Zhang, Wecheng Ye, Xianlong Ma, Haochuan Liu, Yang Li, Qianyu Zhang, Jinliang Chen, Qiang Yan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez le monde de l'Intelligence Artificielle (IA) comme une ville immense et bouillonnante. Chaque jour, de nouveaux outils d'IA sont construits et mis au travail dans les hôpitaux, les écoles, les banques et sur nos téléphones. Mais comme dans toute grande ville, des choses tournent parfois mal. Des voitures s'écrasent, des réseaux électriques tombent en panne et des gens sont blessés. Dans la ville de l'IA, ces « accidents » sont appelés incidents de risque liés à l'IA — des choses comme un chatbot qui propage des mensonges, un système de reconnaissance faciale qui identifie mal quelqu'un, ou une voiture autonome qui commet une erreur dangereuse.

Jusqu'à présent, essayer d'étudier ces accidents revenait à essayer de cartographier les embouteillages d'une ville en demandant aux gens de crier ce qu'ils voyaient depuis leurs fenêtres. L'information était éparpillée, désordonnée, dans différentes langues, et n'était souvent que des rumeurs ou des opinions plutôt que des faits concernant des accidents spécifiques.

Entrez dans « RiskNet ».

Considérez RiskNet comme un centre de contrôle du trafic géant et de haute technologie, construit par des chercheurs de l'Université de poste et de télécommunications de Pékin. C'est une immense bibliothèque numérique conçue pour capturer, organiser et comprendre chaque accident d'IA rapporté dans l'actualité.

Voici comment cela fonctionne, décomposé en étapes simples :

1. Le Grand Filtre (Trouver les accidents)

Les chercheurs ont commencé avec une montagne de nouvelles — des centaines de millions d'articles provenant du monde entier, dans de nombreuses langues différentes.

Le Problème : La plupart de ces articles ne font que parler des risques de l'IA (comme « l'IA pourrait être dangereuse un jour ») ou de l'actualité technologique générale. Ils ne concernent pas un accident spécifique qui s'est réellement produit.
La Solution : Ils ont utilisé un « tamis » intelligent (propulsé par l'IA elle-même) pour passer à travers le bruit. Il posait deux questions :
1. « Est-ce que cela concerne l'IA ? »
2. « Un accident spécifique s'est-il réellement produit ici ? »
- Analogie : Imaginez un videur à l'entrée d'un club. Si vous êtes juste en train de parler de la façon dont la musique pourrait être géniale, vous ne rentrez pas. Mais si vous avez un billet pour un spectacle spécifique qui a déjà commencé, vous êtes laissé passer. RiskNet filtre le « bavardage » et ne garde que « l'action ».

2. Le Travail de Détective (Relier les points)

Une fois qu'ils ont trouvé les articles concernant de vrais accidents, ils ont été confrontés à un nouveau problème : un accident a souvent plusieurs histoires.

Le Scénario : Imaginez qu'un aspirateur robot prenne feu dans une cuisine. Un journal en Chine écrit à son sujet. Un blog aux États-Unis écrit à son sujet. Une station de télévision en France fait un reportage à son sujet. Ils parlent tous du même incendie, mais cela ressemble à trois histoires différentes.
La Solution : RiskNet agit comme un super-détective. Il lit tous ces différents rapports et dit : « Attendez une minute, ces trois articles décrivent exactement le même événement ! » Il les colle ensuite ensemble pour former un « Cluster d'incident » unique.
Analogie : Pensez à un puzzle. Vous avez 50 pièces de puzzle différentes provenant de boîtes différentes, montrant toutes des parties du même tableau. RiskNet les trie pour que vous puissiez voir l'image complète de l'accident, plutôt qu'un tas de fragments confus.

3. Le Système d'Étiquetage (Organiser les dossiers)

Maintenant qu'ils ont une liste propre d'accidents uniques, ils doivent les organiser pour que les chercheurs puissent trouver des modèles.

Ils ont créé un classeur avec des étiquettes spécifiques pour chaque accident :
- Qui a été blessé ? (La victime)
- Qu'est-ce qui s'est mal passé ? (La cause)
- Quelle était la gravité ? (La sévérité)
- Où cela s'est-il passé ? (Le lieu)
- Quel type d'IA était impliqué ? (L'outil)
Analogie : C'est comme le registre des urgences d'un hôpital. Au lieu d'écrire simplement « Le patient est venu », ils écrivent « Patient : Jean Dupont ; Blessure : Jambe cassée ; Cause : Accident de bicyclette ; Gravité : Modérée ». Cela permet de poser facilement des questions telles que : « Combien d'accidents de bicyclette ont eu lieu le mois dernier ? »

Qu'ont-ils découvert ?

Le résultat est RiskNet, un ensemble de données contenant :

Des centaines de millions d'articles de presse scannés.
Des centaines de milliers de rapports de risques liés à l'IA.
Plus de 54 000 clusters d'accidents uniques et vérifiés (où plusieurs récits de presse ont été fusionnés en un seul événement).

Ils ont découvert que la plupart des accidents reçoivent très peu d'attention (comme un petit accrochage), mais que quelques accidents majeurs et célèbres font l'objet de milliers d'articles de presse (comme une panne de courant majeure dans toute une ville). Les données montrent également que le « manque de capacité » (l'IA n'était tout simplement pas assez performante) et les « cyberattaques » sont les types de problèmes les plus courants.

Pourquoi est-ce important ?

Les chercheurs affirment que cet ensemble de données est une pierre angulaire pour l'avenir.

Pour les décideurs politiques : Cela les aide à voir les vrais problèmes, et non pas seulement les titres alarmistes, afin qu'ils puissent rédiger de meilleures règles.
Pour les scientifiques : Cela leur donne une méthode standardisée pour tester si les nouveaux systèmes d'IA sont plus sûrs que les anciens.
Pour tout le monde : Cela comble le fossé entre les « principes de haut niveau » (comme « l'IA doit être sûre ») et la « réalité désordonnée » de ce qui se passe réellement.

Note importante : L'article souligne qu'il s'agit d'un outil de recherche, et non d'un tribunal. Il organise ce que les informations disent s'être passé. Il ne prouve pas la culpabilité juridique ou n'attribue pas de blâme dans une salle d'audience ; il aide simplement à comprendre le paysage des risques de l'IA afin que nous puissions mieux les étudier.

En bref, RiskNet transforme une tempête chaotique de rapports de presse en une carte claire et organisée de l'endroit où l'IA trébuche, nous aidant ainsi à comprendre comment l'aider à marcher droit.

Résumé Technique : RiskNet

Énoncé du Problème

Alors que les systèmes d'intelligence artificielle (IA) sont de plus en plus déployés dans des domaines à enjeux élevés, les rapports faisant état de préjudices liés à l'IA ont augmenté en fréquence et en diversité. Bien que les cadres de gouvernance de haut niveau (par exemple, l'IA Act de l'UE, le cadre RMF des États-Unis) articulent des principes pour une IA responsable, il existe un manque critique de ressources empiriques à grande échelle pour le suivi et l'analyse des incidents de risques liés à l'IA dans le monde réel. Les collections d'incidents existantes sont souvent de curation manuelle, de petite échelle et insuffisantes pour une surveillance continue basée sur les données ou pour une analyse computationnelle en aval. De plus, les preuves sont dispersées à travers des rapports d'actualité multilingues avec des descriptions incohérentes, et les outils existants peinent souvent avec les langues non anglaises ou à faibles ressources. Il existe un besoin spécifique pour une ressource combinant une couverture étendue, une collecte multilingue, un alignement au niveau de l'incident (agrégation de multiples rapports concernant le même événement) et des annotations de référence réutilisables.

Méthodologie

RiskNet est construit à partir de sources d'actualités hétérogènes et à grande échelle via un pipeline structuré comprenant trois étapes principales :

1. Sources de Données

Le jeu de données intègre le contenu de plusieurs types de sources pour assurer une couverture temporelle et une diversité linguistique :

Jeux de données d'incidents publics : AIID (~~5 000 rapports) et AIAAIC (~~4 500 rapports).
Corpus d'actualités ouverts : CommonCrawl News (2022–2025, 674M d'articles), OpenNewsArchive (2023, 8,8M d'articles chinois) et Hot-list Rankings (2021–2025, 340K sujets tendance).
Crawls Web : Sites d'actualités (2024, ~800 articles).
Données commerciales sous licence : Actualités chinoises (2023–2025, 2,98M d'articles négatifs liés à l'IA).

2. Identification des Incidents de Risque d'IA

Cette étape filtre les actualités brutes pour identifier les rapports de risque au niveau de l'événement en utilisant un processus en deux étapes :

Filtrage de la pertinence de l'IA : Un filtre basé sur des mots-clés (utilisant un lexique de plus de 100 termes) réduit l'espace de recherche.
Détermination de l'incident de risque d'IA : Un grand modèle de langage (LLM) effectue une identification conjointe des risques et une extraction d'attributs structurés. Il distingue les rapports au niveau de l'événement (contenant des acteurs ancrés, des systèmes, un contexte spatio-temporel et des résultats) des rapports au niveau de la discussion (interprétation de politiques, commentaires ou débats généraux). Seuls les rapports de niveau événement sont conservés pour l'alignement.
Schéma d'extraction : Le LLM extrait des attributs à travers trois dimensions : Système d'IA et Application, Contexte de l'événement (temps, lieu, acteurs, cause, résultat), et Risque et Impact (type de risque, sévérité, type de préjudice).

3. Alignement des Incidents

Pour agréger les rapports se référant au même incident réel, RiskNet emploie un flux de travail en trois étapes :

Rappel de candidats à double vue : Pour chaque rapport de requête, le système récupère des candidats en utilisant deux vues : (1) Rappel par texte intégral (en utilisant les plongements BGE-M3 de l'article complet) et (2) Rappel par éléments de l'événement (en utilisant les plongements d'attributs structurés comme les acteurs et les causes). Les $K$ meilleurs résultats des deux vues sont fusionnés.
Prédiction de même incident par paire : Un modèle DeepWide simplifié prédit si deux rapports décrivent le même incident. La composante « Wide » utilise des caractéristiques de correspondance explicites (accord catégorique et similitude textuelle), tandis que la composante « Deep » modélise les interactions sémantiques d'ordre supérieur via un perceptron multicouche (MLP).
Regroupement par graphe conservateur : Les prédictions par paires positives forment des arêtes dans un graphe. Une contrainte de liaison complète (complete-link constraint) est appliquée : un rapport n'est ajouté à un cluster que s'il est lié positivement à chaque membre existant. Cela empêche la propagation d'erreurs et la formation de clusters irréalistement larges.

4. Classification d'Incidents Multidimensionnelle

Les incidents alignés sont annotés à l'aide d'une taxonomie unifiée intégrant l'IA Act de l'UE et les taxonomies du MIT Media Lab :

Niveau de Risque : Inacceptable, Élevé, Limité, Minimal (IA Act de l'UE).
Étiquettes de Domaine : 7 domaines primaires et 25 sous-domaines (taxonomie du MIT).
Étiquettes Causales : Un triplet d'Entité, d'Intention et de Temporalité.
Stratégie d'Annotation : Une approche hybride où un LLM génère des étiquettes préliminaires basées sur les preuves d'incidents agrégées (5 rapports représentatifs), suivie d'une révision et d'un affinement par des experts.

Contributions Clés

Jeu de données RiskNet : Un jeu de données à grande échelle contenant 777 100 rapports liés aux risques de l'IA, dont 264 776 sont des rapports de niveau événement. Ceux-ci sont alignés en 54 386 clusters d'incidents.
Portée Multilingue : Le jeu de données couvre des langues mixtes (principalement l'anglais et le chinois) et des types de sources diversifiés, comblant le fossé linguistique dans l'évaluation de la sécurité de l'IA.
Pipeline Structuré : Un pipeline reproductible pour l'identification des actualités sur les risques de l'IA, le filtrage au niveau de l'événement, l'alignement des incidents et la classification multidimensionnelle.
Sous-ensembles de Référence (Benchmarks) : La publication inclut des jeux de données de référence pour la classification d'événements, l'alignement d'incidents et la classification d'incidents multidimensionnelle, facilitant la recherche en aval.
Plateforme : Une plateforme en ligne pour parcourir et explorer les données.

Résultats et Validation

Performance d'Identification : Le filtrage de la pertinence de l'IA a atteint un rappel de 0,9557. L'identification des risques par LLM a atteint une précision de 0,9550 et un rappel de 0,9717 sur un échantillon annoté manuellement.
Performance d'Alignement : Le flux de travail d'alignement des incidents a atteint un Macro-F1 de Hungarian de 0,895 sur l'ensemble de test. La classification par paire a atteint un F1 positif de 0,626.
Performance de Classification : Les LLM affinés (par exemple, Qwen3-14B-sft) ont systématiquement surpassé les approches basées sur le prompting. Pour les tâches à étiquette unique (Niveau de Risque, Intention), les modèles affinés ont atteint des précisions allant de 0,79 à 0,93. Pour la classification de domaine multi-étiquettes, les modèles affinés ont atteint des scores Micro-F1 de 0,58–0,66.
Distribution des Données : La taille des clusters d'incidents suit une distribution à queue lourde (exposant de mise à l'échelle $\alpha \approx 2,53$ ), où 29,8 % des incidents sont des isolats (singletons), et la majorité forme de petits clusters (2–20 rapports), reflétant la visibilité hétérogène des événements de risque de l'IA.

Signification

RiskNet vise à combler l'écart entre les principes de gouvernance de haut niveau et les réalités documentées des incidents de risques liés à l'IA. En fournissant une ressource empirique structurée, réutilisable et à grande échelle, il soutient :

La recherche en aval dans la sécurité de l'IA, la gouvernance, l'analyse des risques et l'évaluation de référence (benchmarking).
Les analyses longitudinales et trans-sources des préjudices liés à l'IA.
Les études trans-linguistiques et trans-domaines des modèles de risque.
Le développement d'outages automatisés pour le suivi des incidents et l'évaluation des risques.

Les auteurs soulignent que RiskNet est destiné à la recherche, à la surveillance et à l'analyse agrégée, plutôt qu'à la prise de décision automatisée à enjeux élevés ou à l'adjudication juridique formelle. Le jeu de données reconnaît que les clusters d'incidents sont des reconstructions basées sur les données et peuvent refléter une couverture médiatique incomplète ou évolutive.