Resumo Técnico: RiskNet

Declaração do Problema

À medida que os sistemas de inteligência artificial (IA) são cada vez mais implementados em domínios de alto risco, os relatos de danos relacionados à IA têm crescido em frequência e diversidade. Embora as estruturas de governança de alto nível (ex: o Ato de IA da UE, o RMF de IA dos EUA) articulem princípios para uma IA responsável, há uma carência crítica de recursos empíricos em larga escala para rastrear e analisar incidentes de risco de IA no mundo real. As coleções de incidentes existentes são frequentemente curadas manualmente, de pequena escala e insuficientes para monitoramento contínuo baseado em dados ou análise computacional subsequente. Além disso, as evidências estão dispersas em notícias multilíngues com descrições inconsistentes, e as ferramentas existentes muitas vezes têm dificuldade com línguas de baixos recursos ou não inglesas. Existe uma necessidade específica de um recurso que combine ampla cobertura, coleta multilíngue, alinhamento ao nível do incidente (agregando múltiplos relatos do mesmo evento) e anotações de benchmark reutilizáveis.

Metodologia

O RiskNet é construído a partir de fontes de notícias heterogêneas de grande escala através de um pipeline estruturado composto por três estágios principais:

1. Fontes de Dados

O conjunto de dados integra conteúdo de múltiplos tipos de fontes para garantir cobertura temporal e diversidade linguística:

• Datasets de Incidentes Públicos: AIID (5.000 relatos) e AIAAIC (4.500 relatos).
• Corpora de Notícias Abertas: CommonCrawl News (2022–2025, 674M de artigos), OpenNewsArchive (2023, 8,8M de artigos em chinês) e Hot-list Rankings (2021–2025, 340K tópicos de tendência).
• Web Crawls: Sites de notícias (2024, ~800 artigos).
• Dados Comercais Licenciados: China News (2023–2025, 2,98M de artigos negativos relacionados à IA).

2. Identificação de Incidentes de Risco de IA

Este estágio filtra as notícias brutas para identificar relatos de risco ao nível do evento usando um processo de dois passos:

• Filtragem de Relevância de IA: Um filtro baseado em palavras-chave (usando um léxico de mais de 100 termos) reduz o espaço de busca.
• Determinação de Incidente de Risco de IA: Um Modelo de Linguagem de Grande Escala (LLM) realiza a identificação conjunta de risco e a extração de atributos estruturados. Ele distingue entre relatos ao nível do evento (contendo atores fundamentados, sistemas, contexto espaço-temporal e resultados) e relatos ao nível de discussão (interpretação de políticas, comentários ou debate geral). Apenas os relatos ao nível do evento são retidos para alinhamento.
• Esquema de Extração: O LLM extrai atributos através de três dimensões: Sistema de IA e Aplicação, Contexto do Evento (tempo, localização, atores, causa, resultado) e Risco & Impacto (tipo de risco, severidade, tipo de dano).

3. Alinhamento de Incidentes

Para agregar relatos que se referem ao mesmo incidente do mundo real, o RiskNet emprega um fluxo de trabalho de três estágios:

• Recuperação de Candidatos de Visão Dupla: Para cada relatório de consulta, o sistema recupera candidatos usando duas visões: (1) Recuperação de texto completo (usando embeddings BGE-M3 do artigo completo) e (2) Recuperação de elementos do evento (usando embeddings de atributos estruturados como atores e causas). Os $K$ melhores resultados de ambas as visões são fundidos.
• Predição de Mesmo Incidente Par a Par: Um modelo DeepWide simplificado prevê se dois relatos descrevem o mesmo incidente. O componente "Wide" utiliza características de correspondência explícitas (concordância categórica e similaridade de texto), enquanto o componente "Deep" modela interações semânticas de ordem superior via um Perceptron Multicamadas (MLP).
• Agrupamento Baseado em Grafo Conservador: Predições par a par positivas formam arestas em um grafo. Uma restrição de ligação completa (complete-link constraint) é aplicada: um relatório só é adicionado a um cluster se estiver positivamente ligado a todos os membros existentes. Isso evita a propagação de erros e a formação de clusters irrealisticamente grandes.

4. Classificação de Incidentes Multidimensional

Os incidentes alinhados são anotados usando uma taxonomia unificada que integra o Ato de IA da UE e as taxonomias do MIT Media Lab:

• Nível de Risco: Inaceitável, Alto, Limitado, Mínimo (Ato de IA da UE).
• Tags de Domínio: 7 domínios primários e 25 subdomínios (taxonomia do MIT).
• Tags Causais: Um trio de Entidade, Intenção e Tempo.
• Estratégia de Anotação: Uma abordagem híbrida onde um LLM gera rótulos preliminares baseados em evidências agregadas do incidente (5 relatos representativos), seguido de revisão especializada e refinamento.

Principais Contribuições

• Dataset RiskNet: Um dataset de grande escala contendo 771.100 relatos relacionados a riscos de IA, dos quais 264.776 são relatos ao nível do evento. Estes estão alinhados em 54.386 clusters de incidentes.
• Escopo Multilíngue: O dataset cobre línguas mistas (principalmente inglês e chinês) e diversos tipos de fontes, abordando a lacuna linguística na avaliação de segurança de IA.
• Pipeline Estruturado: Um pipeline reproduzível para identificação de notícias de risco de IA, triagem ao nível do evento, alinhamento de incidentes e classificação multidimensional.
• Subconjuntos de Benchmark: O lançamento inclui datasets de benchmark para classificação de eventos, alinhamento de incidentes e classificação de incidentes multidimensionais, facilitando pesquisas subsequentes.
• Plataforma: Uma plataforma online para navegar e explorar os dados.

Resultados e Validação

• Desempenho de Identificação: A filtragem de relevância de IA alcançou um recall de 0,9557. A identificação de risco baseada em LLM alcançou uma precisão de 0,9550 e um recall de 0,9717 em uma amostra anotada manualmente.
• Desempenho de Alinhamento: O fluxo de trabalho de alinhamento de incidentes alcançou um Hungarian Macro-F1 de 0,895 no conjunto de teste. A classificação par a par alcançou um F1 positivo de 0,626.
• Desempenho de Classificação: LLMs ajustados (ex: Qwen3-14B-sft) superaram consistentemente as abordagens baseadas em prompts. Para tarefas de rótulo único (Nível de Risco, Intenção), os modelos ajustados alcançaram acurácias variando de 0,79 a 0,93. Para classificação de domínio de rótulo múltiplo, os modelos ajustados alcançaram Micro-F1 scores de 0,58–0,66.
• Distribuição de Dados: O tamanho dos clusters de incidentes segue uma distribuição de cauda pesada (expoente de escala $\alpha \approx 2,53$), onde 29,8% dos incidentes são singulares, e a maioria forma pequenos clusters (2–20 relatos), refletindo a visibilidade heterogênea dos eventos de risco de IA.

Significância

O RiskNet visa preencher a lacuna entre os princípios de governança de alto nível e as realidades documentadas dos incidentes de risco de IA. Ao fornecer um recurso empírico estruturado, reutilizável e de grande escala, ele apoia:

• Pesquisa subsequente em segurança de IA, governança, análise de risco e benchmarking.
• Análises longitudinais e de múltiplas fontes de danos relacionados à IA.
• Estudos translinguais e transdomínio de padrões de risco.
• O desenvolvimento de ferramentas automatizadas para rastreamento de incidentes e avaliação de risco.

Os autores enfatizam que o RiskNet é destinado à pesquisa, monitoramento e análise agregada, e não para tomada de decisão automatizada de alto risco ou adjudicação legal formal. O dataset reconhece que os clusters de incidentes são reconstruções baseadas em dados e podem refletir uma cobertura midiática incompleta ou em evolução.