기술 요약: PaSBench-Video

문제 정의

현재의 멀티모달 거대 언어 모델(MLLM)은 비디오 이해 능력을 갖추고 있으나, **선제적 안전 모니터(proactive safety monitors)**로서 기능하는 능력은 부족하다. 사고는 종종 시각적으로 인지 가능한 경고 징후에 의해 선행되지만, 기존 벤치마크는 첫 번째 가시적 위험 징후와 실제 해가 발생하는 순간 사이의 결정적인 시간 창(critical window)을 평가하는 데 실패하고 있다. 현재의 안전 벤치마크는 세 가지 주요 한계점을 가진다:

1. 정적 입력(Static Inputs): 연속적인 스트리밍 비디오가 아닌 정적 이미지나 이미지 시퀀스에 의존한다.
2. 시간적 보정(Temporal Calibration)의 부재: 성급한 경고(위험이 가시화되기 전에 발행된 경고)와 늦은 경고(해가 발생한 후 발행된 경고)를 구분하지 못한다.
3. 오탐(False-Positive) 측정의 부재: 양호한 장면(benign scenes)에 대한 평가를 누락하여, 빈번한 오경보가 사용자 신뢰를 떨어뜨리고 경보 피로(alarm fatigue)를 유발하는 중요한 문제를 간과한다.

결과적으로, MLLM이 비디오 스트림을 인과적으로 관찰하고, 위험이 실행 가능한 수준이 되는 정확한 순간을 식별하며, 적시에 경고를 발행하고, 안전한 장면에서는 침묵할 수 있는지 결정할 수 있는 통제된 테스트베드가 존재하지 않는다.

방법론

데이터셋 구축: PaSBench-Video

저자들은 운전, 의료, 일상생활(스마트 홈), 산업 생산의 네 가지 도메인에 걸친 740개의 비디오로 구성된 벤치마크인 PaSBench-Video를 소개한다.

• 위험 분할(Risk Split, 481개 비디오): 진화하는 안전 위험을 포함하는 것으로 수동 검증된 클립들이다. 각 비디오는 프레임 단위의 경계값으로 주석이 달렸다:
  • 위험 시작($r$): 실행 가능한 경고를 뒷받침하는 시각적 증거가 나타나는 가장 이른 프레임.
  • 사고($a$): 부정적인 사건이 시작되는 프레임.
  • 위험원 및 회피 행동: 특정 위험 요인(hazard agents)과 권장되는 개입 조치.
• 무위험 분할(No-Risk Split, 259개 비디오): 정상적인 주행, 감시, 홈 모니터링 등의 양호한 클립들로, 오탐률을 측정하기 위해서만 사용된다.
• 데이터 소스: 실제 데이터셋(예: DADA-2000, Nexar, OOPS)과 특정 주석 정밀도를 가진 실제 데이터를 구할 수 없는 의료 및 산업 시나리오를 위해 Kling v3 Omni를 통해 생성된 합성 데이터를 포함한다.
• 필터링: 2단계 필터링(Qwen3.5 및 Gemini-3.1-Pro를 이용한 모델 기반 필터링 후 인간의 최종 판정)을 통해 클립이 예측 가능하고(과거/현재 프레임으로부터 위험 추론 가능), 회피 가능하며(개입 가능), 비의도적이며(조작된 스턴트가 아님), 시각적으로 근거가 있는지(visually grounded)를 엄격히 확인한다.

평가 프로토콜

본 벤치마크는 스트리밍 평가 프로토콜을 채택한다:

• 인과적 관찰: 모델은 슬라이딩 윈도우(3초 윈도우, 0.3초 간격) 내의 과거 및 현재 프레임만을 전달받는다.
• 태스크: 모델은 구조화된 경고(위험원과 조치를 식별)를 발행할지 아니면 침묵을 유지할지 결정해야 한다.
• 지표: 개입 리드 타임 $\tau$(기본값 1.0초)에 의해 매개되는 점진적으로 엄격해지는 계층적 지표를 사용한다:
  1. Any-Det@$\tau$: 사고 전 어떠한 경고라도 탐지함.
  2. Any-Hit@$\tau$: 유효한 위험 창 $[r, a-\tau]$ 내에서 경고를 탐지함.
  3. First-Hit@$\tau$: 비디오의 첫 번째 경고가 $[r, a-\tau]$ 내에 발생함.
  4. First-Act@$\tau$: 첫 번째 경고가 적절한 타이밍에 발생하며, 위험원과 내용을 올바르게 식별함.
• 오탐율(False-Positive Rate): 무위험 비디오 중 $\ge K$번의 경고를 트리거하는 비율로 측정된다.

실험 설정

저자들은 오픈 웨이트 모델(Qwen3.5, Gemma)과 독점 모델(Gemini, Claude, GPT)을 포함한 13개의 MLLM을 벤치마킹하였다. 모든 모델은 동일한 프롬프트, 온도(temperature) 0, 프레임 샘플링을 사용하여 평가되었다.

주요 결과

1. 낮은 성능과 질적 실패

어떤 모델도 가장 엄격한 지표인 First-Act@1에서 **20.0%**를 넘지 못했다. 이는 5개 미만의 비디오만이 적절한 타이밍에 경고를 보내면서 동시에 위험원을 올바르게 식별함을 의미한다. 탐지(Any-Det)와 실행 가능한 경고(First-Act) 사이의 격차는 매우 크다. 예를 들어, Gemini 3.1 Pro는 93.6%의 비디오에서 위험을 탐지하지만, First-Act 점수는 20.0%에 불과하다.

2. 재현율(Recall)과 오탐(False Positives)의 밀접한 결합

재현율과 오탐률 사이에는 강한 양의 상관관계(Pearson $\rho=0.64$)가 존재한다. 모델은 탐지 성능을 높이려 할 때 그에 비례하여 오경보를 늘리지 않고서는 개선될 수 없다. 이는 현재의 모델들이 진정한 위험 추론을 수행하는 시스템이라기보다 **민감도 임계치 탐지기(sensitivity-threshold detectors)**로서 기능하고 있음을 시사한다. 민감도를 높이는 것은 경고를 "놓친 것"에서 "너무 이른 것"으로 옮길 뿐, "유효한" 경고의 비율을 높이지는 못한다.

3. 도메인 의존적 성능

성능은 시각적 판별력에 따라 도메인별로 크게 달라진다:

• 일상생활: 위험이 본질적으로 이례적이기 때문에(예: 사람이 넘어짐, 불꽃 발생) 낮은 오탐률로 중간 정도의 재현율을 달성한다.
• 운전: 모델들이 무분별하게 작동하여 성능이 저조하다. 일상적인 장면(차선 변경, 교차 등)과 충돌 전 장면이 시각적으로 유사하여, 모델이 위험이 실제로 가시화되기 전에 경고를 발생시킨다(고민감도 모델 실패의 90%는 "너무 이른" 경우였다).

4. 실패 모드

타이밍이 적절하더라도 모델은 위험원을 식별하는 데 자주 실패한다:

• 잘못된 위험 객체 (36.9%): 올바른 엔티티 클래스는 식별했으나 구체적인 인스턴스를 틀리는 경우(예: 세단 대신 버스를 예측).
• 엔티티 유형 혼동 (33.9%): 다른 범주의 에이전트를 환각하는 경우(예: 위험이 차량인데 보행자로 예측).
  이러한 오류들은 모델이 단순한 활동 감지를 넘어, 활동이 어떻게 해로 이어질지에 대한 인과적 추론을 수행하는 것이 아니라 **장면 수준의 활동 단서(scene-level activity cues)**에 의존하고 있음을 나타낸다.

5. 배포 제약 사항

역량 격차 외에도 공학적 제약이 즉각적인 배포를 가로막는다:

• 지연 시간(Latency): 가장 빠른 모델(GPT-5.4 mini)조차 중앙값 지연 시간(~3.5초)이 0.3초의 윈도우 간격보다 한 자릿수 더 길다.
• 비용: 상위 모델을 통한 지속적인 모니터링 비용은 카메라당 하루 2,000달러를 초과하며, 오픈 웨이트 모델은 과도한 지연 시간 문제에 직면해 있다.

의의 및 주장

본 논문은 PaSBench-Video가 알고리즘의 발전과 인프라의 개선을 분리하여, 선제적 비디오 안전 경고를 평가할 수 있는 최초의 통제된 테스트베드를 제공한다고 주장한다. 모델에게 인과적 관찰을 제한함으로써, 현재의 MLLM이 인과적 위험 추론보다는 표면적인 활동 단서에 의존하고 있음을 밝혀냈다.

저자들은 선제적 경고 태스크가 공학적 제약(지연 시간, 비용)과 역량 부족(낮은 재현율, 높은 오탐율)으로 인해 아직 배포할 단계가 아님을 강조한다. 그러나 이러한 능력을 벤치마킹하는 것은 단순한 활동 탐지를 넘어 진정한 시간적 위험 추론을 향한 알고리즘적 발전을 가이드하기 위해 "시기적절하고 필수적"이라고 주장한다. 이 데이터셋은 단순한 활동 감지를 넘어 위험 예방(risk anticipation)을 할 수 있는 모델을 개발한다는 명확한 목표 아래 연구를 촉진하기 위해 공개된다.