💬 NLP

From Sports to Safety: Benchmarking Proactive Risk Inference in MLLMs

이 논문은 멀티모달 거대 언어 모델(MLLM)의 선제적 위험 추론 능력을 평가하기 위해 설계된 실세계 스포츠 영상의 포괄적 벤치마크인 SPRINT를 소개하며, 현재의 모델들이 위험을 탐지하는 데는 뛰어나지만 그 근본 원인을 식별하는 데는 어려움을 겪고 빈번하게 오경보를 생성한다는 점을 밝힘으로써, 역동적인 물리적 환경에서의 신뢰할 수 있는 선제적 안전을 위한 결정적인 격차를 강조한다.

원저자: Jiawei Qiu, Yichen Xu, Jianzhe Ma, Mingyang Yu, Wenbin Zhu, Yang Han, Pinzheng Lv, Wenxuan Wang

게시일 2026-08-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiawei Qiu, Yichen Xu, Jianzhe Ma, Mingyang Yu, Wenbin Zhu, Yang Han, Pinzheng Lv, Wenxuan Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 영화를 보고 있다고 상상해 보세요. 하지만 단순히 화면에서 일어나는 일을 보는 것이 아니라, 옆에 앉아 있는 아주 똑똑한 친구가 사건이 터지기 전에 플롯의 반전을 예측해 주는 상황입니다. 인공지능의 세계에서 이 친구는 멀티모달 거대 언량 모델(Multimodal Large Language Model, MLLM)이라고 불립니다. 이들은 이미지와 영상을 '보고' 텍스트를 '읽을 수 있는' 강력한 컴퓨터 두뇌로, 인간과 유사하게 세상을 이해할 수 있게 해줍니다. 오랫동안 과학자들은 이 AI 친구들에게 불이 난 사진을 인식하거나 위험한 동물에 관한 글을 읽는 것처럼, 나쁜 일이 일어난 '후'에 그것을 포착하도록 가르쳐 왔습니다. 하지만 진정한 마법이자 안전의 핵심 과제는 바로 선제적(proactive) 사고 능력에 있습니다. 이는 장면을 관찰하다가 미세하고 미묘한 단서(예를 들어 흔들리는 사다리나 몸이 너무 기울어진 러너)를 포착하여, 재앙이 실제로 닥치기 전에 "잠깐! 뭔가 잘못될 것 같아!"라고 외치는 능력입니다. 이것은 집이 다 타버린 후에 소방서에 전화하는 것과, 불길이 치솟기 전에 연기를 보고 미리 전화하는 것의 차이와 같습니다.

이것이 바로 중국 인민대학교의 연구팀이 테스트하고자 했던 내용입니다. 그들은 아주 단순하면서도 무서운 질문을 던졌습니다. "우리의 현재 AI 슈퍼 브레인들이 실제로 실시간으로 물리적 사고를 예측할 수 있는가, 아니면 그저 똑똑한 척을 하고 있는 것뿐인가?" 이를 알아내기 위해 그들은 SPRINT(Sports Proactive Risk INference Testbed)라는 새로운 테스트 환경을 구축했습니다. 그들은 스케이트보드 충돌 사고부터 체조 낙상 사고까지, 약 3,000개의 실제 스포츠 사고 영상들을 모았고, 이를 아무런 문제가 발생하지 않은 안전한 영상들과 짝을 지었습니다. 그들은 AI에게 단순히 "누군가 다쳤나요?"라고 묻지 않았습니다(이는 사후에 답하기 매우 쉬운 질문입니다). 대신, "무엇이 잘못되려 하고 있으며, 그 이유는 무엇인가?"라고 물었습니다. 그들은 AI가 스케이트보더의 발이 땅에 닿기 전 미끄러지는 것을 포착하는 것처럼, 위험이 싹트고 있는 동안 그 징후를 포착할 수 있는지 확인하고 싶었습니다.

결과는 다소 경종을 울리는 것이었습니다. 연구진은 이 AI 모델들이 위험이 명백해진 후(예: 사람이 바닥에 쓰러져 있는 것을 보는 것)에는 탁월하지만, 사고가 일어나기 '전'에 이를 예측하는 데에는 놀라울 정도로 서투르다는 것을 발견했습니다. 만약 AI에게 사고 영상이 담긴 영상을 주고, 위험을 찾으라는 지시 없이 상황을 설명하라고 하면, AI는 종종 경고 징후를 완전히 놓치곤 했습니다. 더욱 심각한 것은, 연구진이 명시적으로 "여기에 위험이 있습니까?"라고 물었을 때 AI가 패닉에 빠지기 시작했다는 점입니다. AI는 완벽한 공중제비를 도는 체조 선수나 질주하는 러너와 같은 안전한 영상에서도 위험을 찾아내기 시작했는데, 이는 질문 자체가 AI를 편집증적으로 만들었기 때문입니다. 마치 AI가 "문제를 찾았다!"라고 말하고 싶어서 안달이 난 나머지, 존재하지 않는 문제를 스스로 만들어내는 것과 같았습니다.

14가지 다양한 스포츠의 2,888개 영상을 분석한 이 연구는, AI의 위험을 '감지'하는 능력과 이를 '이해'하는 능력 사이의 날카로운 간극을 드러냈습니다. 가장 뛰어난 AI 모델들은 사고가 이미 진행 중일 때 위험이 존재한다는 신호를 95% 이상의 정확도로 보낼 수 있었습니다. 그러나 사고가 왜 발생하는지 설명하거나 영상의 아주 초반 단계에서 이를 예측하도록 요청했을 때, 그 성능은 50% 미만으로 급락했습니다. 실제로 연구진이 위험 여부를 묻는 프롬프트를 사용하여 안전한 영상들을 테스트했을 때, 일부 모델은 에너지 넘치는 무해한 움직임을 사고라고 절반 이상의 확률로 잘못 분류하기도 했습니다.

연구진은 이 새로운 데이터셋을 사용하여 한 모델을 "가르쳐" 봄으로써 이러한 사각지대를 해결하고자 했습니다. 일부 훈련을 거친 후, AI는 사고의 원인을 포착하는 능력이 향상되었고 안전한 영상에서 헛된 경보를 울리는 빈도도 줄어들었습니다. 하지만 이러한 도움에도 불구하고, AI는 여전히 가장 어려운 부분, 즉 스포츠 동작의 초기 단계 영상을 보고 별도의 유도 질문 없이 사고가 발생할 수 있는 구체적인 물리적 이유를 정확히 식별하는 데 어려움을 겪었습니다.

결론적으로, 이 논문은 현재의 AI 친구들이 보이는 것을 묘사하는 데는 점점 익숙해지고 있지만, "선제적 안전(proactive safety)"의 기술은 아직 마스터하지 못했음을 시사합니다. 그들은 여전히 주로 반응적(reactive)이며, 충돌이 일어난 후에야 그것을 이해합니다. 이 연구는 AI가 현실 세계에서 진정으로 안전해지려면(자동차를 운전하거나, 노인을 돌보거나, 스포츠 경기를 관람하는 등), 단순히 명백한 위험을 포착하는 수준을 넘어서야 한다고 결론짓습니다. AI는 위험의 '원인'을 이해하는 법을 배워야 하며, 우리가 던지는 질문에 반응하기보다 자신의 눈을 믿어야 합니다. 그때까지는, AI가 완벽한 점프를 재앙의 전조라고 판단할 수도 있으니, 우리가 계속해서 주의 깊게 지켜봐야 할 것입니다.

기술 요약: SPRINT – 스포츠 선제적 위험 추론 테스트베드 (Sports Proactive Risk INference Testbed)

1. 문제 정의

현재의 멀티모달 거대 언어 모델(MLLM)은 유해 콘텐츠나 적대적 취약성을 탐지하는 능력에 대해 점점 더 많이 평가받고 있습니다. 그러나 선제적 물리적 위험 예측(proactive physical hazard prediction), 즉 사고가 발생하기 전 진화하는 시각적 증거로부터 발생하는 물리적 위험을 예측하는 능력에는 여전히 결정적인 격차가 존재합니다. 기존의 벤치마크는 사후적 탐지(사고가 발생한 후 식별)나 정적인 안전 조언에 초점을 맞추고 있어, 실세계의 안전 개입(예: 자율 비상 제동, 낙상 방지)에 필요한 시간적 역동성을 다루지 못합니다.

핵심 과제는 두 가지입니다:

시간적 예측 (Temporal Anticipation): 위험은 단일한 두드러진 프레임이 아니라 미묘하고 점진적인 단서(예: 불안정한 자세, 궤적 이탈)를 통해 나타납니다.
인과적 근거 (Causal Grounding): 모델은 단순히 위험을 알리는 것을 넘어, 효과적인 개입을 가능하게 하기 위해 구체적인 물리적 원인(예: 장비 결함 vs 균형 상실)을 식별해야 합니다.

현재의 연구는 이러한 특정 능력을 테스트하기 위해 실세계의 동적 비디오 데이터와 세밀한 시간적 및 인과적 주석을 결합한 체계적인 평가 프레임워크가 부족합니다.

2. 방법론

2.1 SPRINT 벤치마크

저자들은 선제적 안전 추론을 평가하기 위해 설계된 벤치마크인 **SPRINT (Sports Proactive Risk INference Testbed)**를 소개합니다.

데이터셋 구성: YouTube에서 가져온 2,888개의 실제 스포츠 비디오로 구성됩니다:
- 2,440개의 사고 비디오: 14가지 스포츠 카테고리(예: 체조, 파쿠르, 스키)와 3가지 환경 설정(표준화된 경기장, 구조화되지 않은 인공 공간, 자연 및 야생 지형)을 포괄합니다.
- 448개의 안전 제어 비디오: 오탐(false alarms)을 진단하기 위해 사고가 없는 것으로 수동 검증된 영상입니다.
주석 스키마 (Annotation Schema):
- 시간적 (Temporal): 사고 비디오당 두 개의 핵심 타임스탬프:
  - $T_1$ (최초 단서 순간): 처음으로 인지 가능한 비정상적인 시각적 단서(예: 기울어진 신체 축).
  - $T_2$ (가장 명백한 순간): 돌이킬 수 없는 사고 순간(예: 충돌).
- 인과적 (Causal): 계층적 원인 주석:
  - $H_1$ (매크로 요인): 해돈 매트릭스(Haddon Matrix)에 정렬된 요인 (개인적, 대인적, 장비/시설, 장소/환경).
  - $H_2$ (직접적 원인): 즉각적인 트리거에 대한 자연어 설명.
- 안전 비디오 주석: 실제 위험 없이 높은 운동 강도를 시뮬레이션하기 위해 최대 운동 강도가 발생하는 순간을 주석 처리했습니다.

2.2 평가 프로토콜

평가는 세 가지 단계적 차원에서 MLLM을 평가합니다:

D1 (위험 탐지): 모델이 현재 또는 임박한 위험을 명시적으로 나타내는가?
D2 (요인 범위): 모델이 올바른 매크로 수준의 유도 요인( $H_1$ )을 식별하는가?
D3 (원인 구체성): 모델이 직접적인 물리적 원인( $H_2$ )을 정확하게 서술하는가?

실험 설계:

전체 비디오 평가: 기술적부터 명시적 안전 문의까지 다양한 프롬프트를 사용하여 위험 인식을 테스트합니다.
시간적 윈도우 평가: 비디오를 세 개의 구간(시작부터 $T_1$ 까지, 시작부터 중간 지점까지, 시작부터 $T_2$ 까지)으로 절단하여, 변화하는 시각적 증거 수준에 따른 조기 경보 능력을 테스트합니다.
진단 실험: 안전 제어 비디오를 사용하여 명시적 위험 쿼리 대 중립적 묘사 하에서의 **오탐률(False Positive Rates)**을 측정함으로써, 프롬프트에 의한 편향과 실제 시각적 추론을 분리합니다.

2.3 평가 대상 모델

본 연구는 최첨단 폐쇄형 모델(Doubao-seed-1.8, Gemini 3 Flash/Pro, GPT-4o, GPT-5)과 오픈 소스 모델(InternVL-3.5-8B, Qwen3-VL-8B)을 벤치마킹합니다.

3. 주요 결과

3.1 민감도-이해 격차 (Sensitivity-Understanding Gap)

위험 탐지와 인과적 이해 사이에는 뚜렷한 격차가 존재합니다:

D1 (탐지): 전체 비디오가 제공될 때 상위 모델들(예: Doubao-seed-1.8)은 위험 신호를 보내는 데 있어 95% 이상의 정확도를 달양합니다.
D3 (인과성): 동일한 모델들이 구체적인 원인을 식별할 때는 50% 미만으로 떨어집니다.
결론: 모델들은 사고와 관련된 시각적 이상 현상을 탐지하지만, 깊은 물리적 인과 추론은 결여된 "피상적 선제적 안전(superficial proactive safety)"에 의존합니다.

3.2 프롬프트 민감도 및 오탐

프롬프트 의존성: 성능은 프롬프트 문구에 매우 민감합니다. 중립적인 프롬프트(예: "상황을 설명하시오") 하에서 상위 모델들의 D1 점수는 크게 하락합니다 (예: 초기 윈도우에서 Doubao-seed-1.8은 88%에서 59%로 하락).
프롬프트 유도 편향: 안전 비디오에 대한 진단 테스트 결과 심각한 오탐이 발견되었습니다. "위험이 있습니까?"라는 질문을 던졌을 때, GPT-5와 Doubaco-seed-1.8 같은 모델의 오탐률은 약 0.13–0.28에서 약 0.59–0.88로 급증했습니다. 이는 모델이 시각적 증거보다는 "위험"이라는 단어에 의해 트리거됨을 시사합니다.

3.3 시간적 예측 (Temporal Anticipation)

조기 경보 실패: 가장 이른 시간적 윈도우(Window A, $T_1$ 까지)에서, 특히 중립적 프롬프트 하에서 성능이 급격히 저하됩니다. 오픈 소스 모델들은 D1 정확도가 9% 미만으로 떨어집니다.
인과적 추론: D3 점수는 나중 윈도우에서도 여전히 낮게(<0.30) 유지되며, 이는 특정 물리적 원인에 근거하여 경고를 제시하는 능력이 근본적으로 부족함을 나타냅니다.

3.4 미세 조정 효용성 (Fine-Tuning Utility)

SPRINT 주석을 사용하여 Qwen3-VL-8B를 지도 미세 조정(SFT)한 결과 유의미한 개선이 나타났습니다:

D1은 약 0.48에서 0.99로 상승했습니다.
D3는 세 배 이상 증가했습니다 (0.16에서 0.52).
안전 비디오에 대한 오탐도 감소했으나, 프롬프트 유도 편향은 일부 조건에서 지속되었습니다. 이는 SPRINT가 학습 자원으로서 가치가 있음을 입증합니다.

4. 주요 기여

SPRINT 벤치마크: 선제적 위험 추론을 위해 특별히 설계된, 세밀한 시간적( $T_1, T_2$ ) 및 계층적 인과적( $H_1, H_2$ ) 주석이 포함된 2,888개의 실제 스포츠 비디오 데이터셋.
체계적 평가 프로토콜: 위험 탐지, 조기 경보 적시성, 인과적 귀속, 그리고 오탐 제어를 포괄하며, 반응적 안전과 선제적 안전 능력을 구분하는 프레임워크.
한계에 대한 실증적 증거: 현재의 MLLM이 프롬프트에 매우 민며하고, 인과적 근거가 부족하며, 위험이 없는 시나리오에서 심각한 오탐률을 보이는 등 피상적인 선제적 안전성을 보인다는 종합적인 결과 제시.

5. 의의 및 주장

본 논문은 현재의 MLLM이 동적인 물리적 환경에 필요한 안정적이고 원인에 근거한 조기 경보 능력이 부족하다고 주장합니다. 연구 결과는 다음을 강조합니다:

피상성: 모델은 물리적 역학을 이해하기보다 "위험"을 하나의 시각적 패턴으로 탐지합니다.
프롬프트 취약성: 안전 행동은 견고한 추론의 결과라기보다 프롬프트 엔지니어링의 산물인 경우가 많습니다.
전환의 필요성: 향ware 연구는 이상 탐지를 넘어 신뢰할 수 있고 원인에 근거한 선제적 안전으로 나아가야 합니다.

저자들은 SPRINT를 이론적 안전 정렬과 실제적인 위험 예측 사이의 간극을 메우기 위한 필수적인 단계로 위치시키며, 스포츠가 자율 주행 및 낙상 감지와 같은 더 넓은 안전 영역을 위한 이론적으로 근거 있는 대리물(해돈 매트릭스를 통해)을 제공한다고 언급합니다.

6. 한계점

논문은 다음과 같은 몇 가지 제약 사항을 명시적으로 인정합니다:

모달리티: 본 벤치마크는 시각-텍스트 상호작용만을 평가하며, 오디오 단서(예: 충돌음)는 제외합니다.
범위: 일반 목적의 MLLM을 대상으로 평가하며, 특화된 비디오 이상 탐지 모델은 제외합니다.
주관성: 품질 관리를 거쳤음에도 불구하고 시간적 경계 주석( $T_1, T_2$ )에는 내재적인 주관성이 존재합니다.
주석 구조: 직접적 원인( $H_2$ )은 자유 텍스트 형식이며, 구조화된 운동학적 분류 체계가 부족하여 인과적 평가의 정밀도를 제한할 수 있습니다.