🤖 machine learning

RiskNet: A large-scale dataset of AI risk incidents from news with alignment and multi-dimensional annotations

RiskNet은 AI 안전, 거버넌스 및 리스크 분석에 관한 실증적 연구를 지원하기 위해 뉴스 소스로부터 추출된 AI 리스크 사건들을 식별, 정렬 및 다차원적 주석 달기를 위한 구조화된 파이프라인을 채택한 대규모 다국어 데이터셋이다.

원저자: Leihan Zhang, Wecheng Ye, Xianlong Ma, Haochuan Liu, Yang Li, Qianyu Zhang, Jinliang Chen, Qiang Yan

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Leihan Zhang, Wecheng Ye, Xianlong Ma, Haochuan Liu, Yang Li, Qianyu Zhang, Jinliang Chen, Qiang Yan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능(AI)의 세계를 거대하고 북적이는 도시라고 상상해 보십시오. 매일 새로운 AI 도구들이 만들어져 병원, 학교, 은행, 그리고 우리의 스마트폰 속에서 일하고 있습니다. 하지만 어떤 대도시와 마찬가지로, 가끔은 문제가 발생하기도 합니다. 자동차 사고가 나고, 전력망이 무너지며, 사람들이 다치기도 하죠. AI 도시에서 이러한 '사고'는 **AI 리스크 사건(AI risk incidents)**이라 불립니다. 챗봇이 거짓 정보를 퍼뜨리거나, 안면 인식 시스템이 누군가를 오인하거나, 자율주행 자동차가 위험한 실수를 저지르는 것 같은 일들 말입니다.

지금까지 이러한 사고를 연구하려는 시도는 마치 사람들이 창밖으로 본 것을 소리 높여 외치는 것을 듣고 도시의 교통 체증을 지도화하려는 것과 같았습니다. 정보는 흩어져 있고, 무질서하며, 서로 다른 언어로 되어 있고, 종종 구체적인 사고에 대한 사실보다는 소문이나 의견에 불과했습니다.

여기 "RiskNet"이 등장합니다.

RiskNet을 북경 우전대학교(Beijing University of Posts and Telecommunications) 연구진들이 구축한 거대하고 첨단적인 교통 관제 센터라고 생각하십시오. 이것은 뉴스에 보도된 모든 AI 사고를 포착하고, 정리하고, 이해하기 위해 설계된 거대한 디지털 도서관입니다.

작동 방식은 다음과 같이 간단한 단계로 나누어 볼 수 있습니다.

1. 거대한 필터 (사고 찾기)

연구진은 전 세계의 수억 개에 달하는 뉴스 기사라는 거대한 산에서 시작했습니다.

문제점: 이 기사들 대부분은 단순히 AI 리스크에 대해 이야기하는 것(예: "AI가 언젠가 위험해질 수도 있다")이거나 일반적인 기술 뉴스입니다. 이들은 실제로 발생한 구체적인 사고에 관한 것이 아닙니다.
해결책: 그들은 스스로 AI의 힘을 빌린 스마트한 "체(sieve)"를 사용하여 소음 속에서 정보를 걸러냈습니다. 이 체는 두 가지 질문을 던집니다.
1. "이것은 AI에 관한 내용인가?"
2. "여기서 실제로 구체적인 사고가 발생했는가?"
- 비유: 클럽의 문지기를 상상해 보십시오. 만약 당신이 음악이 얼마나 멋질 수도 있는지에 대해 이야기만 하고 있다면, 당신은 들어갈 수 없습니다. 하지만 이미 시작된 특정 공연의 티켓을 가지고 있다면, 통과할 수 있습니다. RiskNet은 '말뿐인 이야기'를 걸러내고 오직 '실제 행동'만을 남깁니다.

2. 탐정 업무 (점들을 연결하기)

실제 사고에 관한 기사들을 찾아낸 후, 그들은 새로운 문제에 직면했습니다. 하나의 사고가 여러 개의 이야기를 만들어낸다는 점입니다.

시나리오: 로봇 청소기가 주방에서 화재를 일으켰다고 가정해 봅시다. 중국의 한 신문이 이에 대해 씁니다. 미국의 한 블로그가 이에 대해 씁니다. 프랑스의 한 방송국이 이를 보도합니다. 이들은 모두 동일한 화재에 대해 이야기하고 있지만, 겉보기에는 세 개의 서로 다른 이야기처럼 보입니다.
해결책: RiskNet은 슈퍼 탐정 역할을 합니다. 이 모델은 이 모든 서로 다른 보고서들을 읽고 이렇게 말합니다. "잠깐, 이 세 기사는 정확히 동일한 사건을 설명하고 있구나!" 그런 다음 이들을 하나의 "사건 클러스터(Incident Cluster)"로 결합합니다.
비유: 이것은 퍼즐 조각과 같습니다. 당신은 서로 다른 상자에서 나온 50개의 퍼즐 조각을 가지고 있는데, 이 조각들은 모두 동일한 그림의 일부를 보여주고 있습니다. RiskNet은 이 조각들을 분류하여, 혼란스러운 파편 더미가 아니라 사고의 전체 그림을 볼 수 있게 해줍니다.

3. 라벨링 시스템 (파일 정리하기)

이제 깨끗하게 정리된 고유한 사고 목록을 확보했으므로, 연구자들이 패턴을 찾을 수 있도록 정리해야 합니다.

그들은 모든 사고에 대해 다음과 같은 특정 태그가 붙은 파일 캐비닛을 만들었습니다.
- 누가 피해를 입었는가? (피해자)
- 무엇이 잘못되었는가? (원인)
- 얼마나 심각했는가? (심각도)
- 어디서 발생했는가? (장소)
- 어떤 종류의 AI가 연루되었는가? (도구)
비유: 이것은 병원 응급실의 기록지와 같습니다. 단순히 "환자가 내원함"이라고 적는 대신, "환자: 홍길동; 부상: 골절; 원인: 자전거 사고; 심각도: 보통"이라고 적는 것과 같습니다. 이렇게 하면 "지난달에 자전거 사고가 몇 건 발생했는가?"와 같은 질문을 던지기 쉬워집니다.

무엇을 발견했는가?

그 결과물은 다음과 같은 데이터셋을 포함하는 RiskNet입니다.

스캔된 수억 개의 뉴스 기사.
수십만 개의 AI 관련 리스크 보고서.
54,000개 이상의 고유하고 검증된 사고 클러스터 (여러 뉴스 기사가 하나의 사건으로 병합된 것).

그들은 대부분의 사고가 매우 적은 주목을 받지만(작은 접촉 사고처럼), 몇몇 거대하고 유명한 사고는 수천 개의 뉴스 기사를 만들어낸다(대규모 도시 정전처럼)는 것을 발견했습니다. 또한 데이터는 "역량 부족"(AI가 단지 충분히 뛰어나지 못함)과 "사이버 공격"이 가장 흔한 유형의 문제라는 것을 보여줍니다.

이것이 왜 중요한가?

연구진은 이 데이터셋이 미래를 위한 초석이라고 말합니다.

정책 입안자들에게: 이는 그들이 무서운 헤드라인이 아닌 실제 문제를 볼 수 있게 하여, 더 나은 규칙을 작성할 수 있도록 돕습니다.
과학자들에게: 이는 새로운 AI 시스템이 기존 시스템보다 더 안전한지 테스트할 수 있는 표준화된 방법을 제공합니다.
모두에게: 이는 "고차원적 원칙"(예: "AI는 안전해야 한다")과 "무질서한 현실"(실제로 무엇이 잘못되는가) 사이의 간극을 메워줍니다.

중요 참고 사항: 이 논문은 이것이 연구 도구이지 법정이 아님을 강조합니다. 이것은 뉴스가 일어났다고 말하는 내용을 정리하는 것입니다. 이것은 법정에서 법적 유죄를 증명하거나 책임을 할당하지 않습니다. 단지 우리가 AI 리스크를 더 잘 연구할 수 있도록 그 지형을 이해하도록 도와줄 뿐입니다.

요약하자면, RiskNet은 혼란스러운 뉴스 보고의 폭풍을 AI가 어디에서 비틀거리는지에 대한 명확하고 조직된 지도로 바꾸어 놓으며, 이를 통해 AI가 어떻게 똑바로 걷도록 도울 수 있을지 파악할 수 있게 해줍니다.

기술 요약: RiskNet

문제 정의

인공지능(AI) 시스템이 고위험 영역에 점점 더 많이 배치됨에 따라, AI 관련 위해 사례에 대한 보고가 빈번해지고 다양해지고 있습니다. EU AI 법(EU AI Act)이나 미국 AI 위험 관리 프레임워크(U.S. AI RMF)와 같은 상위 수준의 거버넌스 체계는 책임 있는 AI를 위한 원칙을 명시하고 있지만, 실질적인 AI 위험 사건을 추적하고 분석하기 위한 대규모의 경험적 자원은 매우 부족한 실정입니다. 기존의 사건 수집 방식은 주로 수동으로 큐레이션되며 규모가 작아, 지속적이고 데이터 기반적인 모니터링이나 후속 계산 분석을 수행하기에는 불충분합니다. 또한, 증거들이 다국어 뉴스 보도에 흩어져 있고 설명 방식이 일관되지 않으며, 기존 도구들은 비영어권 또는 저자원 언어 처리에 어려움을 겪는 경우가 많습니다. 따라서 광범위한 커버리지, 다국어 수집, 사건 단위 정렬(동일한 사건에 대한 여러 보고를 하나로 통합), 그리고 재사용 가능한 벤치마크 주석을 결합한 자원이 절실히 필요합니다.

방법론

RiskNet은 세 가지 주요 단계로 구성된 구조화된 파이프라인을 통해 대규모의 이질적인 뉴스 소스로부터 구축되었습니다.

1. 데이터 소스

데이터셋은 시간적 커버리지와 언어적 다양성을 확보하기 위해 다양한 유형의 콘텐츠를 통합합니다:

공공 사건 데이터셋: AIID (~~5,000개 보고서) 및 AIAAIC (~~4,500개 보고서).
오픈 뉴스 코퍼스: CommonCrawl News (2022–2025, 6억 7,400만 개 기사), OpenNewsArchive (2023, 중국어 기사 880만 개), Hot-list Rankings (2021–2025, 트렌딩 토픽 34만 개).
웹 크롤링: 뉴스 웹사이트 (2024, 약 800개 기사).
라이선스 상업 데이터: China News (2023–2025, AI 관련 부정적 기사 298만 개).

2. AI 위험 사건 식별

이 단계에서는 두 단계의 과정을 거쳐 가공되지 않은 뉴스를 필터링하여 사건 수준의 위험 보고를 식별합니다:

AI 관련성 필터링: 키워드 기반 필터(100개 이상의 용어 사전 사용)를 사용하여 검색 범위를 축소합니다.
AI 위험 사건 결정: 대규모 언어 모델(LLM)이 위험 식별과 구조화된 속성 추출을 동시에 수행합니다. 이는 사건 수준 보고(근거가 있는 행위자, 시스템, 시공간적 맥락, 결과를 포함)와 논의 수준 보고(정책 해석, 논평 또는 일반적인 토론)를 구분합니다. 오직 사건 수준의 보고만이 정렬을 위해 유지됩니다.
추출 스키마: LLM은 세 가지 차원에 걸쳐 속성을 추출합니다: AI 시스템 및 애플리케이션, 사건 맥락(시간, 장소, 행위자, 원인, 결과), 그리고 위험 및 영향(위험 유형, 심각도, 위해 유형).

3. 사건 정렬 (Incident Alignment)

동일한 실제 사건을 참조하는 보고들을 통합하기 위해, RiskNet은 세 단계의 워크플로우를 채택합니다:

이중 뷰 후보 호출 (Dual-View Candidate Recall): 각 쿼리 보고서에 대해 두 가지 뷰를 사용하여 후보를 검색합니다: (1) 전체 텍스트 호출(BGE-M3 임베딩을 사용한 전체 기사 활용) 및 (2) 사건 요소 호출(행위자 및 원인과 같은 구조화된 속성의 임베딩 활용). 두 뷰에서 얻은 상위 $K$ 개의 결과를 병합합니다.
쌍별 동일 사건 예측 (Pairwise Same-Incident Prediction): 단순화된 DeepWide 모델이 두 보고서가 동일한 사건을 설명하는지 예측합니다. "Wide" 구성 요소는 명시적 매칭 특징(범주형 일치 및 텍스트 유사성)을 사용하며, "Deep" 구성 요소는 다층 퍼셉트론(MLP)을 통해 고차원적인 의미적 상호작용을 모델링합니다.
보수적 그래프 기반 클러스터링: 양의 쌍별 예측은 그래프 내의 에지로 형성됩니다. 여기에는 **완전 연결 제약(complete-link constraint)**이 적용됩니다: 보고서는 기존 멤버 모두와 양의 관계로 연결되어야만 클러스터에 추가됩니다. 이는 오류 전파와 비현실적으로 큰 클러스터 형성을 방지합니다.

4. 다차원 사건 분류

정렬된 사건들은 EU AI 법과 MIT 미디어 랩의 분류 체계를 통합한 통일된 분류법을 사용하여 주석이 달립니다:

위험 수준: 수용 불가능, 높음, 제한적, 최소 (EU AI 법 기준).
도메인 태그: 7개의 주요 도메인 및 25개의 하위 도메인 (MIT 분류 기준).
인과 관계 태그: 엔티티(Entity), 의도(Intent), 타이밍(Timing)의 삼중 구조.
주석 전략: LLM이 통합된 사건 증거(5개의 대표 보고서)를 바탕으로 예비 레이블을 생성한 후, 전문가 검토 및 정교화 과정을 거치는 하이브리드 접근 방식을 사용합니다.

주요 기여

RiskNet 데이터셋: 777,100개의 AI 관련 보고서를 포함하며, 이 중 264,776개가 사건 수준의 보고입니다. 이들은 54,386개의 사건 클러스터로 정렬되었습니다.
다국어 범위: 영어와 중국어를 중심으로 다양한 언어와 소스 유형을 다루어, AI 안전 평가의 언어 격차 문제를 해결합니다.
구조화된 파이프라인: AI 위험 뉴스 식별, 사건 수준 스크리닝, 사건 정렬 및 다차원 분류를 위한 재현 가능한 파이프라인을 제공합니다.
벤치마크 서브셋: 사건 분류, 사건 정렬, 다차원 사건 분류를 위한 벤치마크 데이터셋을 공개하여 후속 연구를 촉진합니다.
플랫폼: 데이터를 탐색하고 살펴볼 수 있는 온라인 플랫폼을 제공합니다.

결과 및 검증

식별 성능: AI 관련성 필터링은 0.9557의 재현율(Recall)을 달ach했습니다. LLM 기반 위험 식별은 수동 주석 샘플에 대해 0.9550의 정밀도(Precision)와 0.9717의 재현율을 기록했습니다.
정렬 성능: 사건 정렬 워크플우는 테스트 세트에서 0.895의 Hungarian Macro-F1을 달성했습니다. 쌍별 분류의 경우 0.626의 Positive F1을 기록했습니다.
분류 성능: 미세 조정된 LLM(예: Qwen3-14B-sft)은 프롬프트 기반 접근 방식보다 일관되게 우수한 성능을 보였습니다. 단일 레이블 작업(위험 수준, 의도)에서 미세 조정된 모델은 0.79에서 0.93 사이의 정확도를 달성했습니다. 다중 레이블 도메인 분류의 경우, 미세 조정된 모델은 0.58–0.66의 Micro-F1 점수를 기록했습니다.
데이터 분포: 사건 클러스터 크기는 멱함수 법칙(heavy-tailed distribution)을 따르며(척도 지수 $\alpha \approx 2.53$ ), 29.8%의 사건은 단일 항목(singleton)이며 대다수는 작은 클러스터(2~20개 보고서)를 형성합니다. 이는 AI 위험 사건의 이질적인 가시성을 반영합니다.

의의

RiskNet은 고수준의 거버넌스 원칙과 문서화된 AI 위험 사건의 실재 사이의 간극을 메우는 것을 목표로 합니다. 구조화되고 재사용 가능한 대규모 경험적 자원을 제공함으로써 다음과 같은 연구를 지원합니다:

AI 안전, 거버넌스, 위험 분석 및 벤치마킹 분야의 후속 연구.
AI 관련 위해에 대한 종단적 및 교차 소스 분석.
위험 패턴에 대한 교차 언어 및 교차 도메인 연구.
사건 추적 및 위험 평가를 위한 자동화 도구 개발.

저자들은 RiskNet이 연구, 모니터링 및 종합적 분석을 위한 것이며, 자동화된 고위험 의사결정이나 공식적인 법적 판결을 위한 도구가 아님을 강조합니다. 본 데이터셋은 사건 클러스터가 데이터 기반의 재구성된 결과물이며, 불완전하거나 진화하는 미디어 보도를 반영할 수 있음을 인정합니다.