🤖 machine learning

RiskNet: A large-scale dataset of AI risk incidents from news with alignment and multi-dimensional annotations

RiskNet is een grootschalige, meertalige dataset van AI-risicovoorvallen afkomstig uit nieuwsbronnen die een gestructureerde pijplijn voor identificatie, uitlijning en multidimensionale annotatie hanteert om empirisch onderzoek naar AI-veiligheid, governance en risicoanalyse te ondersteunen.

Oorspronkelijke auteurs: Leihan Zhang, Wecheng Ye, Xianlong Ma, Haochuan Liu, Yang Li, Qianyu Zhang, Jinliang Chen, Qiang Yan

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Leihan Zhang, Wecheng Ye, Xianlong Ma, Haochuan Liu, Yang Li, Qianyu Zhang, Jinliang Chen, Qiang Yan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van Kunstmatige Intelligentie (AI) voor als een enorme, bruisende stad. Elke dag worden er nieuwe AI-tools gebouwd en ingezet in ziekenhuizen, scholen, banken en op onze telefoons. Maar net als in elke grote stad gaat er wel eens iets mis. Auto's crashen, stroomnetten vallen uit en mensen raken gewond. In de AI-stad worden deze "ongelukken" AI-risico-incidenten genoemd—dingen zoals een chatbot die leugens verspreidt, een gezichtsherkenningssysteem dat iemand verkeerd identificeert, of een zelfrijdende auto die een gevaarlijke fout maakt.

Tot nu toe was het bestuderen van deze ongelukken alsocht het in kaart brengen van files in een stad door mensen uit hun ramen te laten schreeuwen wat ze zagen. De informatie was versnipperd, rommelig, beschikbaar in verschillende talen en vaak slechts geruchten of meningen in plaats van feiten over specifieke crashes.

Maak kennis met "RiskNet."

Beschouw RiskNet als een enorm, hoogtechnologisch verkeersleidingscentrum gebouwd door onderzoekers van de Beijing University of Posts and Telecommunications. Het is een enorme digitale bibliotheek die is ontworpen om elk AI-ongeluk dat in het nieuws wordt gemeld, te vangen, te organiseren en te begrijpen.

Zo werkt het, onderverdeeld in eenvoudige stappen:

1. De Grote Filter (De ongelukken vinden)

De onderzoekers begonnen met een berg nieuws—honderden miljoenen artikelen van over de hele wereld, in veel verschillende talen.

Het Probleem: De meeste van deze artikelen gaan alleen over mensen die praten over AI-risico's (zoals "AI zou ooit gevaarlijk kunnen zijn") of algemeen technologienieuws. Ze gaan niet over een specifiek ongeluk dat daadwerkelijk heeft plaatsgevonden.
De Oplossing: Ze gebruikten een slimme "zeef" (aangedreven door AI zelf) om door de ruis heen te zeven. Het stelde twee vragen:
1. "Gaat dit over AI?"
2. "Is hier een specifelijk ongeluk gebeurd?"
- Analogie: Stel je een uitsmijter bij een club voor. Als je alleen praat over hoe cool de muziek zou kunnen zijn, kom je er niet in. Maar als je een kaartje hebt voor een specifieke show die al is begonnen, mag je wel naar binnen. RiskNet filtert het "gepraat" eruit en houdt alleen de "actie" over.

2. Het Detectiewerk (De punten verbinden)

Zod even ze de artikelen over echte ongelukken hadden gevonden, stuitten ze op een nieuw probleem: Eén ongeluk heeft vaak veel verschillende verhalen.

Het Scenario: Stel je voor dat een robotstofzuiger in een keuken in brand vliegt. Eén krant in China schrijft erover. Een blog in de VS schrijft erover. Een tv-zender in Frankrijk rapporteert erover. Ze praten allemaal over dezelfde brand, maar het lijken drie verschillende verhalen.
De Oplossing: RiskNet fungeert als een superdetective. Het leest al deze verschillende rapporten en zegt: "Wacht eens even, deze drie artikelen beschrijven exact hetzelfde evenement!" Het plakt ze vervolgens aan elkaar tot één enkele "Incident Cluster".
Analogie: Denk aan een puzzel. Je hebt 50 verschillende puzzelstukjes uit verschillende dozen, die allemaal delen van dezelfde afbeelding laten zien. RiskNet sorteert ze zodat je het hele plaatje van het ongeluk kunt zien, in plaats van een verwarrende stapel fragmenten.

3. Het Labelingsysteem (De dossiers organiseren)

Nu ze een schone lijst hebben van unieke ongelukken, moeten ze deze organiseren zodat onderzoekers patronen kunnen vinden.

Ze hebben een archiefkast gemaakt met specifieke labels voor elk ongeluk:
- Wie is er gewond geraakt? (Het slachtoffer)
- Wat ging er mis? (De oorzaak)
- Hoe erg was het? (De ernst)
- Waar gebeurde het? (De locatie)
- Wat voor soort AI was betrokken? (Het hulpmiddel)
Analogie: Het is als het logboek van de spoedeisende hulp in een ziekenhuis. In plaats van alleen te schrijven "Patiënt binnengekomen," schrijven ze "Patiënt: John Doe; Letsel: Gebroken been; Oorzaak: Fietsongeluk; Ernst: Matig." Dit maakt het gemakkelijk om vragen te stellen zoals: "Hoeveel fietsongelukken hebben er vorige maand plaatsgevonden?"

Wat hebben ze gevonden?

Het resultaat is RiskNet, een dataset die bestaat uit:

Honderden miljoenen gescande nieuwsartikelen.
Honderdduizenden AI-gerelateerde risicorapporten.
Meer dan 54.000 unieke, geverifieerde ongelukclusters (waarbij meerdere nieuwsverhalen werden samengevoegd tot één evenement).

Ze ontdekten dat de meeste ongelukken heel weinig aandacht krijgen (zoals een kleine aanrijding), maar dat een paar enorme, beroemde ongelukken duizenden nieuwsverhalen genereren (zoals een grote stadbrede stroomstoring). De data laat ook zien dat "gebrek aan capaciteit" (de AI was gewoon niet goed genoeg) en "cyberaanvallen" de meest voorkomende soorten problemen zijn.

Waarom is dit belangrijk?

De onderzoekers zeggen dat deze dataset een fundament is voor de toekomst.

Voor beleidsmakers: Het helpt hen de echte problemen te zien, in plaats van alleen de angstaanjagende koppen, zodat ze betere regels kunnen schrijven.
Voor wetenschappers: Het geeft hen een gestandaardiseerde manier om te testen of nieuwe AI-systemen veiliger zijn dan oude.
Voor iedereen: Het overbrugt de kloof tussen "hoogwaardige principes" (zoals "AI moet veilig zijn") en de "rommelige realiteit" van wat er daadwerkelijk misgaat.

Belangrijke opmerking: Het artikel benadrukt dat dit een onderzoeksinstrument is, geen rechtbank. Het organiseert wat het nieuws zegt dat er is gebeurd. Het bewijst geen juridische schuld of wijst geen schuld toe in een rechtszaal; het helpt ons alleen het landschap van AI-risico's te begrijpen zodat we ze beter kunnen bestuderen.

Kortom, RiskNet verandert een chaotische storm van nieuwsberichten in een heldere, georganiseerde kaart van waar AI struikelt, wat ons helpt te begrijpen hoe we het weer recht laten lopen.

Technische Samenvatting: RiskNet

Probleemstelling

Nu AI-systemen steeds vaker worden ingezet in domeinen met een hoog belang, neemt de frequentie en diversiteit van meldingen over AI-gerelateerde schade toe. Hoewel hoogwaardige governance-frameworks (bijv. de EU AI Act, de Amerikaanse AI RMF) principes formuleren voor verantwoorde AI, is er een kritiek gebrek aan grootschalige, empirische bronnen voor het volgen en analyseren van AI-risicovoorvallen in de echte wereld. Bestaande verzamelingen van incidenten zijn vaak handmatig gecureerd, beperkt in omvang en onvoldoende voor continue, datagestuurde monitoring of downstream computationele analyse. Bovendien is bewijsmateriaal verspreid over meertalige nieuwsberichten met inconsistente beschrijvingen, en hebben bestaande tools vaak moeite met niet-Engelse of talen met beperkte middelen. Er is een specifieke behoefte aan een bron die brede dekking, meertalige collectie, incident-niveau uitlijning (het aggregeren van meerdere rapporten over hetzelfde evenement) en herbruikbare benchmark-annotaties combineert.

Methodologie

RiskNet is geconstrueerd uit grootschalige, heterogene nieuwsbronnen via een gestructureerde pijplijn bestaande uit drie hoofdfasen:

1. Databronnen

De dataset integreert inhoud uit meerdere brontypen om temporele dekking en linguïstische diversiteit te waarborgen:

Publieke Incident-datasets: AIID (~~5.000 rapporten) en AIAAIC (~~4.500 rapporten).
Open Nieuwscorpora: CommonCrawl News (2022–2025, 674M artikelen), OpenNewsArchive (2023, 8,8M Chinese artikelen) en Hot-list Rankings (2021–2025, 340K trending onderwerpen).
Web Crawls: Nieuwswebsites (2024, ~800 artikelen).
Gelicentieerde Commerciële Data: China News (2023–2025, 2,98M AI-gerelateerde negatieve artikelen).

2. Identificatie van AI-risicovoorvallen

Deze fase filtert ruwe nieuwsberichten om evenement-niveau risicorapporten te identificeren via een tweestaps-proces:

AI Relevantie-filtering: Een op trefwoorden gebaseerde filter (met gebruik van een lexicon van 100+ termen) verkleint de zoekruimte.
AI Risico-incident Bepaling: Een Large Language Model (LLM) voert gezamenlijke risico-identificatie en gestructureerde attribuutextractie uit. Het maakt onderscheid tussen evenement-niveau rapporten (bevatten gegrondheden over actoren, systemen, spatio-temporele context en uitkomsten) en discussie-niveau rapporten (beleidsinterpretatie, commentaar of algemeen debat). Alleen evenement-niveau rapporten worden behouden voor uitlijning.
Extractie Schema: Het LLM extraheert attributen over drie dimensies: AI Systeem & Applicatie, Evenement Context (tijd, locatie, actoren, oorzaak, uitkomst), en Risico & Impact (risicotype, ernst, type schade).

3. Incident Uitlijning

Om rapporten die naar hetzelfde reële incident verwijzen te aggregeren, hanteert RiskNet een driefasen-workflow:

Dual-View Kandidaat-Recall: Voor elk query-rapport roept het systeem kandidaten op via twee weergaven: (1) Full-text recall (gebruikmakend van BGE-M3 embeddings van het volledige artikel) en (2) Event-element recall (gebruikmakend van embeddings van gestructureerde attributen zoals actoren en oorzaken). De top $K$ resultaten uit beide weergaven worden samengevoegd.
Pairwise Same-Incident Predictie: Een vereenvoudigd DeepWide-model voorspelt of twee rapporten hetzelfde incident beschrijven. De "Wide"-component gebruikt expliciete matching-kenmerken (categorische overeenstemming en tekstuele gelijkenis), terwijl de "Deep"-component hogere-orde semantische interacties modelleert via een Multi-Layer Perceptron (MLP).
Conservatieve Graaf-gebaseerde Clustering: Positieve pairwise-voorspellingen vormen randen in een graaf. Een complete-link constraint wordt toegepast: een rapport wordt alleen aan een cluster toegevoegd als het positief verbonden is met elk bestaand lid. Dit voorkomt foutpropagatie en de vorming van onrealistisch grote clusters.

4. Meerdimensionale Incident Classificatie

Uitgelijnde incidenten worden geannoteerd met behulp van een uniforme taxonomie die de EU AI Act en de MIT Media Lab taxonomieën integreert:

Risiconiveau: Onacceptabel, Hoog, Beperkt, Minimaal (EU AI Act).
Domein Tags: 7 primaire domeinen en 25 subdomeinen (MIT taxonomie).
Causale Tags: Een triplet van Entiteit, Intentie en Timing.
Annotatiestrategie: Een hybride aanpak waarbij een LLM voorlopige labels genereert op basis van geaggregeerde incident-bewijslast (5 representatieve rapporten), gevolgd door deskundige review en verfijning.

Belangrijkste Bijdragen

RiskNet Dataset: Een grootschalige dataset met 777.100 AI-risico-gerelateerde rapporten, waarvan 264.776 evenement-niveau rapporten. Deze zijn uitgelijnd in 54.386 incidentclusters.
Meertalige Omvang: De dataset beslaat gemengde talen (voornamelijk Engels en Chinees) en diverse brontypen, waarmee de taaltekortkoming in AI-veiligheidsevaluatie wordt aangepakt.
Gestructureerde Pijplijn: Een reproduceerbare pijplijn voor AI-risiconieuwsidentificatie, evenement-niveau screening, incident-uitlijning en meerdimensionale incident-classificatie.
Benchmark Subsets: De release bevat benchmark-datasets voor evenement-classificatie, incident-uitlijning en meerdimensionale incident-classificatie, wat downstream onderzoek faciliteert.
Platform: Een online platform voor het browsen en verkennen van de data.

Resultaten en Validatie

Identificatie Prestaties: De AI relevantie-filtering behaalde een recall van 0,9557. De LLM-gebaseerde risico-identificatie behaalde een precisie van 0,9550 en een recall van 0,9717 op een handmatig geannoteerde steekproef.
Uitlijning Prestaties: De incident-uitlijning workflow behaalde een Hungarian Macro-F1 van 0,895 op de testset. De pairwise classificatie behaalde een positieve F1 van 0,626.
Classificatie Prestaties: Fine-tuned LLM's (bijv. Qwen3-14B-sft) presteerden consistent beter dan prompt-gebaseerde benaderingen. Voor single-label taken (Risiconiveau, Intentie) behaalden fine-tuned modellen nauwkeurigheden variërend van 0,79 tot 0,93. Voor multi-label domein-classificatie behaalden fine-tuned modellen Micro-F1 scores van 0,58–0,66.
Data Verdeling: De incident-clustergroottes volgen een heavy-tailed distributie (schalingsexponent $\alpha \approx 2,53$ ), waarbij 29,8% van de incidenten singletons zijn, en de meerderheid kleine clusters vormt (2–20 rapporten), wat de heterogene zichtbaarheid van AI-risicovoorvallen weerspiegelt.

Betekenis

RiskNet beoogt de kloof te overbruggen tussen hoogwaardige governance-principes en de gedocumenteerde realiteiten van AI-risicovoorvallen. Door een gestructureerde, herbruikbare en grootschalige empirische bron te bieden, ondersteunt het:

Downstream onderzoek in AI-veiligheid, governance, risicoanalyse en benchmarking.
Longitudinale en cross-source analyses van AI-gerelateerde schade.
Cross-linguale en cross-domein studies van risicopatronen.
De ontwikkeling van geautomatiseerde tools voor incident tracking en risicobeoordeling.

De auteurs benadrukken dat RiskNet bedoeld is voor onderzoek, monitoring en geaggregeerde analyse, en niet voor geautomatiseerde besluitvorming met hoge inzet of formele juridische beoordeling. De dataset erkent dat incidentclusters datagestuurde reconstructies zijn en de media-dekking onvolledig of evoluerend kunnen weergeven.