Metadata-Aware Multi-Prompt Reasoning for Zero-Shot Accident Understanding

기술 요약: 제로샷 사고 이해를 위한 메타데이터 인식 다중 프롬프트 추론

문제 정의
본 논문은 감시 비디오에서의 제로샷 사고 이해(zero-shot accident understanding)라는 과제를 다룹니다. 일반적인 이벤트 탐지와 달리, 이 작업은 레이블이 지정된 실제 세계의 학습 데이터 없이도 다음 세 가지 구별된 구성 요소를 동시에 식별할 것을 요구합니다:

1. 언제(When): 충돌이 발생하는 정확한 시점.
2. 무엇(What): 사고의 구체적인 범주 (예: 후방 추돌, T-본 충돌, 정면 충돌).
3. 어디서(Where): 비디오 프레임 내 물리적 충격 지점의 공간 좌표.

저자들은 실제 CCTV 영상이 짧은 충격 지속 시간, 시각적으로 유사한 사고 범주, 그리고 모델이 실제 상호작용보다는 눈에 띄는 객체에 집중하는 경향성 등 상당한 어려움을 안고 있다고 지적합니다. 기존의 시각-언어 모델(VLM)은 이 복잡하고 다면적인 과제를 단일 엔드 투 엔드 쿼리로 해결하려고 할 때 불안정한 예측을 보이는 경우가 많습니다.

방법론
제안된 솔루션은 문제를 언제(When), 무엇(What), **어디서(Where)**로 분해하여, 미세 조정(fine-tuning) 없이 오픈 웨이트 모델을 활용하는 3단계 파이프라인입니다.

1. 시간 탐지 (언제 - When):

   • 메커니즘: 시스템은 Meta의 Perception Encoder (PE)인 대조 학습 기반 시각-언어 모델을 사용하여, "교통사고(traffic accident)"라는 텍스트 쿼리와의 의미론적 정렬을 기준으로 샘플링된 프레임(8 FPS)의 점수를 매깁니다.
   • 과정: 프레임은 코사인 유사도에 따라 순위가 매겨집니다. 상위 $K$개의 프레임이 선택되며, 가장 이른 시점과 가장 늦은 시점의 피크(peak)를 고정된 오프셋($\delta = 2$초)만큼 확장하여 시간 윈도우를 정의합니다.
   • 출력: 예측된 사고 시간은 이 확장된 윈도우의 중간 지점입니다.

2. 메타데이터 인식 다중 프롬프트 분류 (무엇 - What):

   • 메커니즘: 생성형 VLM(Qwen-3.5-VL 9B)에 선택된 핵심 프레임과 메타데이터(장면 레이아웃, 날씨, 시간대)를 포함한 5가지 보완적 프롬프트를 쿼리로 전달합니다.
   • 프롬프트 관점: 5가지 프롬프트는 다음을 다룹니다: (1) 기본 직접 분류, (2) 움직임 분석, (3) 기하학적 접촉 추론, (4) 대조적 제거, (5) 타이브레이커(tiebreaker).
   • 판결: 출력은 불확실성을 고려한 투표 절차를 통해 집계됩니다. 만약 투표 분포가 모호하거나(낮은 격차 또는 높은 엔트로피), 시스템은 구조화된 타이브레이커 프롬프트에 이어 충격 기하학을 조건으로 하는 상위 2개 후보 간의 집중적인 쌍별 판결(pairwise adjudication)로 이어지는 2단계 해결 단계로 격상됩니다.

3. 공간 충격 국지화 (어디서 - Where):

   • 메커니즘: 개방형 어휘 탐지기(OWL-v2)를 사용하여 충격을 국지화합니다.
   • 조건화: 탐지기는 단순한 쿼리 대신, 예측된 사고 유형(2단계 결과)과 장면 레이아웃(메타데이터) 모두에 의해 조건화된 문구로 프롬프트됩니다. 예를 들어, "고속도로에서 다른 차량의 뒤를 들이받는 자동차"와 같은 식입니다.
   • 집계: 핵심 프레임 전반의 탐지 결과가 풀링됩니다. 최종 충격 지점은 상위 $K$개 바운딩 박스 중심의 점수 가중 중심점(score-weighted centroid)으로 계산되며, 충격 영역은 이 박스들의 합집합입니다. 이 집계 방식은 시간적 일관성을 강제하여 일시적인 허위 양성(false positives)의 가중치를 낮춥니다.

주요 기여

• 분해된 프레임워크: 각 단계가 독립적으로 업그레이드 가능한, CCTV로부터의 제로샷 사고 이해를 위한 3단계 "언제-무엇-어디서" 파이프라인.
• 다중 프롬프트 추론: 레이블링된 캘리브레이션 데이터 없이도 모호한 투표를 해결하는 엔트로피 게이트형 쌍별 판결을 갖춘 5가지 프롬프트 앙상블 체계.
• 유형 조건부 국지화: 공간 탐지기를 예측된 사고 유형 및 장면 맥락에 조건화하는 전략으로, 저자들은 이것이 기존 포인팅 모델의 전경 객체 편향(foreground bias)을 완화한다고 주장합니다.
• 효율성: 시스템은 오직 오픈 웨이트 모델만을 사용하여 단일 24 GB GPU에서 작동하며 미세 조정이 필요하지 않습니다.

결과
본 방법론은 합성 CARLA 데이터를 개발용으로, 실제 고정 뷰 CCTV 클립을 테스트용으로 사용하는 ACCIDENT@CVPR 2026 벤치마크에서 평가되었습니다. 평가 지표는 시간적 정확도($T$), 공간적 정확도($S$), 분류 정확도($C$)의 조화 평균입니다.

• 성능: 제안된 파이프라인은 Private Leaderboard 점수 0.4015를 달성하였으며, 이는 규칙 기반 베이스라인(Baseline A: 0.2734; Baseline B: 0.3188)을 크게 상회하는 수치입니다.
• 구성 요소 분석:
  • 공간 국지화: 가장 큰 성능 향상을 제공했습니다. 유형/장면 조건화를 적용한 OWL-v2를 사용했을 때 프레임 중심 베이스라인보다 점수가 0.053 향상되었습니다.
  • 시간 탐지: $\delta$-확장 윈도우를 사용하는 것이 단일 최고 유사도 프레임을 사용하는 것보다 점수를 0.039 향상시켰습니다.
  • 분류: 다중 프롬프트 앙상블과 판결 절차는 단일 프롬프트 설정보다 일관되지만 다소 작은 개선(0.0054)을 제공했습니다.
• 오류 분석: 잔여 오류는 주로 탐지기가 충격을 놓쳤거나 전경 차량을 선택한 원거리 충돌, 그리고 비, 밤, 혹은 폐쇄(occlusion)와 같은 악조건에서 발생했습니다.

의의 및 주장
본 논문은 제로샷 비디오 이해를 시간적 국지화, 의미론적 분류, 공간적 그라운딩으로 분해하는 것이 직접적인 단일 단계 프롬프팅보다 VLM을 통한 더 신뢰할 수 있는 추론을 가능하게 한다고 주장합니다. 저자들은 공간 탐지기를 예측된 사고 유형에 명시적으로 조건화함으로써, 포인팅 모델의 흔한 실패 모드인 전경 객체 편향을 줄일 수 있다고 강조합니다. 이 연구는 모듈형의 인지 우선 파이프라인이 도메인 특화된 미세 조정 없이도 도전적인 감시 영상에서 견고한 제로샷 성능을 달성할 수 있음을 보여줍니다.