🤖 machine learning

RiskNet: A large-scale dataset of AI risk incidents from news with alignment and multi-dimensional annotations

RiskNet è un dataset multilingue su larga scala di incidenti relativi ai rischi dell'IA derivato da fonti giornalistiche che impiega una pipeline strutturata per l'identificazione, l'allineamento e l'annotazione multidimensionale per supportare la ricerca empirica nella sicurezza, nella governance e nell'analisi del rischio dell'IA.

Autori originali: Leihan Zhang, Wecheng Ye, Xianlong Ma, Haochuan Liu, Yang Li, Qianyu Zhang, Jinliang Chen, Qiang Yan

Pubblicato 2026-06-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Leihan Zhang, Wecheng Ye, Xianlong Ma, Haochuan Liu, Yang Li, Qianyu Zhang, Jinliang Chen, Qiang Yan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate il mondo dell'Intelligenza Artificiale (IA) come una città enorme e frenetica. Ogni giorno, nuovi strumenti di IA vengono costruiti e messi al lavoro negli ospedali, nelle scuole, nelle banche e sui nostri telefoni. Ma proprio come in ogni grande città, a volte le cose vanno male. Le auto si scontrano, le reti elettriche falliscono e le persone si fanno male. Nella città dell'IA, questi "incidenti" sono chiamati incidenti di rischio dell'IA — cose come un chatbot che diffonde menzogne, un sistema di riconoscimento facciale che identifica erroneamente qualcuno o un'auto a guida autonoma che commette un errore pericoloso.

Fino ad ora, cercare di studiare questi incidenti è stato come cercare di mappare gli ingorghi stradali di una città chiedendo alle persone di urlare ciò che vedevano dalle loro finestre. Le informazioni erano sparse, disordinate, in lingue diverse e spesso erano solo voci o opinioni piuttosto che fatti riguardanti incidenti specifici.

Entra in scena "RiskNet".

Pensate a RiskNet come a un gigantesco centro di controllo del traffico altamente tecnologico costruito da ricercatori della Beijing University of Posts and Telecommunications. È una massiccia biblioteca digitale progettata per catturare, organizzare e comprendere ogni incidente dell'IA riportato nelle notizie.

Ecco come funziona, suddiviso in semplici passaggi:

1. Il Grande Filtro (Trovare gli Incidenti)

I ricercatori sono partiti da una montagna di notizie — centinaia di milioni di articoli da tutto il mondo, in molte lingue diverse.

Il Problema: La maggior parte di questi articoli sono solo persone che parlano dei rischi dell'IA (come "l'IA potrebbe essere pericolosa un giorno") o notizie tecnologiche generali. Non riguardano un incidente specifico che è effettivamente accaduto.
La Soluzione: Hanno usato un "setaccio" intelligente (alimentato dall'IA stessa) per filtrare il rumore. Ha posto due domande:
1. "Si parla di IA?"
2. "È accaduto un incidente specifico qui?"
- Analogia: Immaginate un buttafuori all'ingresso di un club. Se state solo parlando di quanto il concerto potrebbe essere bello, non entrate. Ma se avete un biglietto per uno spettacolo specifico che è già iniziato, venite fatti passare. RiskNet filtra la "chiacchiera" e tiene solo l' "azione".

2. Il Lavoro da Detective (Collegare i Punti)

Una volta trovati gli articoli sugli incidenti reali, hanno affrontato un nuovo problema: un singolo incidente spesso genera molte storie.

Lo Scenario: Immaginate un robot aspirapolvere che prende fuoco in una cucina. Un giornale in Cina scrive di questo evento. Un blog negli Stati Uniti scrive dell'evento. Una stazione televisiva in Francia riporta la notizia. Stanno tutti parlando dello stesso incendio, ma sembrano tre storie diverse.
La Soluzione: RiskNet agisce come un super detective. Legge tutti questi diversi rapporti e dice: "Aspetta un attimo, questi tre articoli descrivono esattamente lo stesso evento!" E poi li incolla insieme in un unico "Cluster di Incidente".
Analogia: Pensate a un puzzle. Avete 50 pezzi diversi provenienti da scatole differenti, tutti che mostrano parti della stessa immagine. RiskNet li ordina in modo che possiate vedere l'immagine intera dell'incidente, invece di un confuso mucchio di frammenti.

3. Il Sistema di Etichettatura (Organizzare i File)

Ora che hanno una lista pulita di incidenti unici, devono organizzarli in modo che i ricercatori possano trovare dei modelli.

Hanno creato un archivio con tag specifici per ogni incidente:
- Chi è stato ferito? (La vittima)
- Cosa è andato storto? (La causa)
- Quanto è stato grave? (La gravità)
- Dove è successo? (La località)
- Che tipo di IA era coinvolta? (Lo strumento)
Analogia: È come il registro di un pronto soccorso di un ospedale. Invece di scrivere solo "Il paziente è arrivato", scrivono "Paziente: John Doe; Infortunio: Gamba fratturata; Causa: Incidente in bicicletta; Gravità: Moderata". Questo rende facile porre domande come: "Quanti incidenti in bicicletta sono avvenuti lo mese scorso?"

Cosa hanno scoperto?

Il risultato è RiskNet, un dataset contenente:

Centinaia di milioni di articoli di notizie scansionati.
Centinaia di migliaia di rapporti sui rischi dell'IA.
Oltre 54.000 cluster di incidenti unici e verificati (dove molteplici notizie sono state unite in un unico evento).

Hanno scoperto che la maggior parte degli incidenti riceve pochissima attenzione (come un piccolo tamponamento), ma alcuni grandi incidenti famosi ricevono migliaia di notizie (come un grande blackout cittadino). I dati mostrano anche che la "mancanza di capacità" (l'IA semplicemente non era abbastanza brava) e gli "attacchi informatici" sono i tipi di problemi più comuni.

Perché questo è importante?

I ricercatori affermano che questo dataset è una pietra angolare per il futuro.

Per i decisori politici: Aiuta a vedere i problemi reali, non solo i titoli sensazionalistici, così possono scrivere regole migliori.
Per gli scienziati: Fornisce un modo standardizzato per testare se i nuovi sistemi di IA sono più sicuri di quelli vecchi.
Per tutti: Colma il divario tra i "principi di alto livello" (come "l'IA dovrebbe essere sicura") e la "realtà disordinata" di ciò che effettivamente va storto.

Nota Importante: Il documento sottolinea che questo è uno strumento di ricerca, non un tribunale. Organizza ciò che le notizie dicono sia accaduto. Non prova la colpa legale né assegna la responsabilità in un tribunale; aiuta solo a comprendere il panorama dei rischi dell'IA per poterli studiare meglio.

In breve, RiskNet trasforma una tempesta caotica di rapporti giornalistici in una mappa chiara e organizzata di dove l'IA inciampa, aiutandoci a capire come farla camminare dritta.

Sintesi Tecnica: RiskNet

Definizione del Problema

Man mano che i sistemi di intelligenza artificiale (IA) vengono sempre più implementati in domini ad alto rischio, le segnalazioni di danni correlati all'IA sono aumentate in frequenza e diversità. Sebbene i quadri di governance di alto livello (ad esempio, l'EU AI Act, l'U.S. AI RMF) articolino principi per un'IA responsabile, esiste una carenza critica di risorse empiriche su larga scala per il monitoraggio e l'analisi dei rischi reali legati all'IA. Le collezioni di incidenti esistenti sono spesso curate manualmente, di piccola scala e insufficienti per un monitoraggio continuo basato sui dati o per analisi computazionali a valle. Inoltre, le prove sono sparse in report giornalistici multilingue con descrizioni incoerenti, e gli strumenti esistenti spesso faticano con lingue non inglesi o a basse risorse. Vi è la necessità specifica di una risorsa che combini un'ampia copertura, una raccolta multilingue, l'allineamento a livello di incidente (aggregando più report dello stesso evento) e annotazioni di benchmark riutilizzabili.

Metodologia

RiskNet è costruito da fonti di notizie eterogenee su larga scala attraverso una pipeline strutturata composta da tre fasi principali:

1. Fonti dei Dati

Il dataset integra contenuti da molteplici tipologie di fonti per garantire la copertura temporale e la diversità linguistica:

Dataset di Incidenti Pubblici: AIID (~~5.000 report) e AIAAIC (~~4.500 report).
Corpora di Notizie Aperte: CommonCrawl News (2022–2025, 674M di articoli), OpenNewsArchive (2023, 8,8M di articoli in cinese) e Hot-list Rankings (2021–2025, 340K argomenti di tendenza).
Web Crawl: Siti web di notizie (2024, ~800 articoli).
Dati Commerciali Licenziati: China News (2023–2025, 2,98M di articoli negativi relativi all'IA).

2. Identificazione degli Incidenti di Rischio IA

Questa fase filtra le notizie grezze per identificare report di rischio a livello di evento utilizzando un processo in due fasi:

Filtraggio della Rilevanza dell'IA: Un filtro basato su parole chiave (utilizzando un lessico di oltre 100 termini) riduce lo spazio di ricerca.
Determinazione dell'Incidente di Rischio IA: Un Large Language Model (LLM) esegue l'identificazione congiunta del rischio e l'estrazione strutturata degli attributi. Distingue tra report a livello di evento (che contengono attori radicati, sistemi, contesto spazio-temporale e risultati) e report a livello di discussione (interpretazione delle politiche, commenti o dibattiti generali). Solo i report a livello di evento vengono mantenuti per l'allineamento.
Schema di Estrazione: L'LLM estrae attributi attraverso tre dimensioni: Sistema IA e Applicazione, Contesto dell'Evento (tempo, luogo, attori, causa, risultato) e Rischio e Impatto (tipo di rischio, gravità, tipo di danno).

3. Allineamento degli Incidenti

Per aggregare i report che si riferiscono allo stesso incidente reale, RiskNet impiega un flusso di lavoro in tre fasi:

Richiamo dei Candidati a Doppia Vista: Per ogni report di query, il sistema recupera i candidati utilizzando due viste: (1) Richiamo del testo completo (utilizzando embedding BGE-M3 dell'articolo completo) e (2) Richiamo degli elementi dell'evento (utilizzando embedding di attributi strutturati come attori e cause). I primi $K$ risultati di entrambe le viste vengono uniti.
Predizione della Stessa Situazione a Coppie: Un modello DeepWide semplificato predice se due report descrivono lo stesso incidente. La componente "Wide" utilizza caratteristiche di corrispondenza esplicite (accordo categorico e somiglianza testuale), mentre la componente "Deep" modella le interazioni semantiche di ordine superiore tramite un Multi-Layer Perceptron (MLP).
Clustering Basato su Grafo Conservativo: Le predizioni positive a coppie formano archi in un grafo. Viene applicato un vincolo di completezza del link (complete-link constraint): un report viene aggiunto a un cluster solo se è collegato positivamente a ogni membro esistente. Ciò previene la propagazione degli errori e la formazione di cluster irrealisticamente grandi.

4. Classificazione Multidimensionale degli Incidenti

Gli incidenti allineati sono annotati utilizzando una tassonomia unificata che integra l'EU AI Act e le tassonomie del MIT Media Lab:

Livello di Rischio: Inaccettabile, Alto, Limitato, Minimo (EU AI Act).
Tag di Dominio: 7 domini primari e 25 sottodomini (tassonomia MIT).
Tag Causali: Una tripletta di Entità, Intento e Tempistica.
Strategia di Annotazione: Un approccio ibrido in cui un LLM genera etichette preliminari basate sull'evidenza aggregata dell'incidente (5 report rappresentativi), seguito da revisione ed esperti di perfezionamento.

Contributi Chiave

Dataset RiskNet: Un dataset su larga scala contenente 777.100 report relativi ai rischi dell'IA, di cui 264.776 sono report a livello di evento. Questi sono allineati in 54.386 cluster di incidenti.
Ambito Multilingue: Il dataset copre lingue miste (principalmente inglese e cinese) e diverse tipologie di fonti, affrontando il divario linguistico nella valutazione della sicurezza dell'IA.
Pipeline Strutturata: Una pipeline riproducibile per l'identificazione delle notizie sui rischi dell'IA, lo screening a livello di evento, l'allineamento degli incidenti e la classificazione multidimensionale degli incidenti.
Sottoinsiemi di Benchmark: Il rilascio include dataset di benchmark per la classificazione degli eventi, l'allineamento degli incidenti e la classificazione multidimensionale degli incidenti, facilitando la ricerca a valle.
Piattaforma: Una piattaforma online per la navigazione ed esplorazione dei dati.

Risultati e Validazione

Performance di Identificazione: Il filtraggio della rilevanza dell'IA ha raggiunto un richiamo di 0,9557. L'identificazione del rischio basata su LLM ha raggiunto una precisione di 0,9550 e un richiamo di 0,9717 su un campione annotato manualmente.
Performance di Allineamento: Il flusso di lavoro di allineamento degli incidenti ha raggiunto un Hungarian Macro-F1 di 0,895 sul set di test. La classificazione a coppie ha raggiunto un F1 positivo di 0,626.
Performance di Classificazione: Gli LLM sottoposti a fine-tuning (ad esempio, Qwen3-14B-sft) hanno costantemente superato gli approcci basati su prompt. Per i compiti a etichetta singola (Livello di Rischio, Intento), i modelli fine-tuned hanno raggiunto accuratezze comprese tra 0,79 e 0,93. Per la classificazione di dominio a etichetta multipla, i modelli fine-tuned hanno raggiunto punteggi Micro-F1 di 0,58–0,66.
Distribuzione dei Dati: Le dimensioni dei cluster di incidenti seguono una distribuzione a coda pesante (esponente di scala $\alpha \approx 2,53$ ), dove il 29,8% degli incidenti sono singleton, e la maggior parte forma piccoli cluster (2–20 report), riflettendo l'eterogeneità della visibilità degli eventi di rischio dell'IA.

Significato

RiskNet mira a colmare il divario tra i principi di governance di alto livello e le realtà documentate degli incidenti di rischio dell'IA. Fornendo una risorsa empirica strutturata, riutilizzabile e su larga scala, supporta:

La ricerca a valle nella sicurezza dell'IA, nella governance, nell'analisi del rischio e nel benchmarking.
Analisi longitudinali e cross-fonte dei danni correlati all'IA.
Studi cross-lingua e cross-dominio sui pattern di rischio.
Lo sviluppo di strumenti automatizzati per il monitoraggio degli incidenti e la valutazione del rischio.

Gli autori sottolineano che RiskNet è destinato alla ricerca, al monitoraggio e all'analisi aggregata, piuttosto che al processo decisionale automatizzato ad alto rischio o all'adjudicazione legale formale. Il dataset riconosce che i cluster di incidenti sono ricostruzioni basate sui dati e possono riflettere una copertura mediatica incompleta o in evoluzione.