기술 요약: SENSE-VAD

문제 정의

자율주행 자동차(AV)는 운동학적 위험(예: 차선 이탈, 정지 장애물)을 탐지하는 데 있어 상당한 진전을 이루었으나, **사회적으로 복잡한 이상 징후(socially complex anomalies)**라는 핵심적인 안전 필수 시나리오에는 구조적으로 무력합니다. 이는 위험이 움직임의 통계나 외형 자체에 인코딩된 것이 아니라, 에이전트 간의 관계와 사회적 맥락에 담겨 있는 상황을 의미합니다. 예를 들어, 보호자로부터 도망치는 아이, 다른 사람에게 안겨 이동하는 사람, 또는 보행자를 추격하는 추격자 등이 이에 해당합니다. 이러한 시나리오에서 개별 에이전트는 정상적인 이동 궤적을 보일 수 있지만, 그 관계적 구성은 즉각적인 자율주행차의 개입을 요구하는 이상 징후가 됩니다.

현재의 비디오 이상 탐지(VAD) 데이터셋(예: DADA, DoTA, CADP)은 주로 차량 중심의 사고, 운동학적 이상치 또는 단일 객체 이상 현상에 집중하고 있습니다. 이러한 데이터셋은 자율주행에 필요한 에고센트릭(egocentric) 관점, 미세한 사회적 관계 주석, 그리고 미묘한 행동 단서의 다양성을 결-여하고 있습니다. 또한, 기존 방법론들은 주로 움직임 재구성이나 외형 기반 신호에 의존하는데, 이는 움직임 자체가 통계적으로는 타당하지만 사회적으로는 비정상적인 경우를 포착하지 못한다는 한계가 있습니다.

방법론

데이터셋 구축: SENSE-VAD

저자들은 사회적으로 복잡한 이상 징후를 명시적으로 설계한 최초의 합성 비디오 이상 탐지 벤치마크인 SENSE-VAD를 소개합니다.

• 생성 플랫폼: 이 데이터셋은 Unreal Engine 4 및 5 기반의 CARLA 시뮬레이터(버전 0.9.12, 0.9.15, 0.10.0)를 사용하여 생성되었습니다. 버전 선택은 서로 다른 에이전트 제어 요구 사항(예: 안는 장면을 위한 골격 제어(0.9.15), 동물 이동(0.10.0))을 수용하기 위해 시나리오별로 결정되었습니다.
• 이상 징후 분류 체계: 데이터셋은 6개의 개념적 카테고리에 걸친 15개의 이상 클래스를 정의합니다:
  1. 아동 안전: (예: 보호자로부터 도망치는 아이, 유괴, 아이 가려짐)
  2. 집단 행동: (예: 경찰 추격, 군중 혼란)
  3. 개인 행동: (예: 비정상적인 개인 행동, 사람에게 안겨 이동함)
  4. 사람-물체 상호작용: (예: 가방 절도, 방치된 가방, 물체 떨어뜨림)
  5. 자전거 상호작용: (예: 자전거 위험, 자전거-가방 방치, 자전거-차량 충돌)
  6. 차량 및 에이전트: (예: 차량-보행자 충돌, 주인을 떠나는 개)
• 설계 원칙: 핵심 원칙은 사회적 이상과 운동 통계적 이상의 분리입니다. 많은 시나리오가 고립된 상태에서는 정상적인 움직임(예: 차분하게 걷는 아이)을 보이지만, 관계적 맥락(예: 도로를 향해 보호자로부터 도망치는 아이) 때문에 이상 징후가 됩니다.
• 데이터 구성:
  • 합성 클립: 65개의 이상 클립(훈련용 21개, 테스트용 44개)과 프레임별 이진 레이블이 포함됩니다. 각 이상 클래스는 시뮬레이터 특유의 시각적 아티팩트를 모델이 학습하는 것을 방지하기 위해 "행동적으로 매칭된" 정상 클립(예: 보호자 옆에서 차분하게 걷는 아이)과 쌍을 이룹니다.
  • 실세계 프로브(Real-World Probes): 테스트 세트에는 심-투-리얼(sim-to-real) 전이를 평가하기 위해 실제 세계의 정상 및 이상 클립(예: 공공장소에서 비정상적으로 행동하는 사람들)이 포함됩니다.
  • 전체 규모: 800×600 해상도로 기록된 108개 클립, 총 540,888 프레임이며, 에고센트릭 대시캠 관점을 가집니다.

평가 프로토콜

저자들은 네 가지 감독 체계를 대표하는 11가지 최첨단 VAD 방법론을 벤치마킹했습니다:

1. 준지도 학습(Semi-supervised): 정상 데이터로만 학습 (예: 미래 프레임 예측)
2. 약지도 학습(Weakly-supervised): 비디오 수준의 이상 레이블로 학습 (예: VadCLIP, VERA, REWARD)
3. 비지도 학습(Unsupervised): 레이블을 사용하지 않음 (예: NP-VAD, CLAP)
4. 학습 불필요(Training-free): LLM/VLM을 이용한 파운데이션 모델 추론 (예: LAVAD, AnomalyRuler, VADTree)

또한, 실패 원인이 객체 탐지 능력의 한계인지 아니면 사회적 추론 능력의 부족인지 판단하기 위해 구조화된 질문(지각, 예측, 계획, 안전)을 사용하는 Qwen3-VL-4B-Instruct 기반의 VLM 프로빙 연구를 수행했습니다.

주요 결과

벤치마크 성능

• 전반적 실패: 테스트 세트에서 어떤 방법론도 57.2% AUC를 초과하지 못했습니다. 가장 우수한 성능을 보인 방법은 비지도 방식인 **NP-VAD (57.15%)**였으며, 그 뒤를 **CLAP (56.12%)**이 이었습니다.
• 운동학적 방법론의 역전: 움직임 예측이나 명목 분포로부터의 거리에 의존하는 방법들(예: FFP, REWARD, BN-WVAD)은 **기회 미만(below chance)**의 성능(37–44% AUC)을 보였습니다. 이는 사회적으로 복잡한 이상 징후가 운동학적으로는 평범하며, 따라서 표준 통계적 특징으로는 구분이 불가능함을 확인시켜 줍니다.
• 파운데이션 모델: VLM/LLM을 사용하는 학습 불필요 방법론(예: LAVAD, AnomalyRuler)은 기회 수준의 성능(39–49% AUC) 근처에 머물렀습니다.
• 감독 계층의 역전: 일반적인 VAD 벤치마크와 달리, 비지도 방식이 지도 학습 방식보다 우수한 성능을 보였습니다. 이는 지도 학습 모델의 레이블 유도 편향이 사회적 이상 징후에 대해 모델을 오히려 오도하고 있음을 시사합니다.

VLM 프로빙 결과

프로빙 연구 결과, VLM의 실패는 지각(perceptual)의 문제가 아니라 **표상(representational)**의 문제임이 드러났습니다:

• 객체 탐지 vs 사회적 맥락: 모델은 에이전트를 성공적으로 탐지했으나(지각 질문에서 높은 재현율), 해당 장면을 이상하게 만드는 관계적 맥락을 등록하는 데 실패했습니다.
• 안전 질문 실패: 모델은 정상 및 이상 프레임 모두에 대해 "위험함"이라고 답변(100%)했는데, 이는 시각적 근거보다 언어적 사전 지식이 지배적임을 나타냅니다.
• 추론 붕괴: 계획이나 예측을 요청했을 때, 모델은 이상 프레임에서 이상을 감지할 확률이 오히려 정상 프레임에서 오경보를 울릴 확률보다 낮았습니다. 즉, 이상 징후가 모델의 의사결정 과정으로 전파되지 않았습니다.

의의 및 주장

본 논문은 사회적으로 복잡한 이상 징후가 자율주행 인지 분야에서 독특하고 아직 해결되지 않은 과제라고 주장합니다.

1. 격차 식별: 현재의 AV 인지 시스템은 외형과 궤적 신호에 최적화되어 있어, 에이전트 간의 관계에 의해 정의되는 이상 징후에는 눈이 멀어 있습니다.
2. 데이터셋 기여: SENSE-VAD는 사회적 이상을 움직임 기반 이상치와 구분하여, 에고센트릭 관점의 프레임별 레이블이 있는 최초의 벤치마크를 제공함으로써 이 격차를 메웁니다.
3. 방법론적 통찰: 결과는 기존의 운동학적 또는 외형 기반 모델의 개선만으로는 불충분함을 보여줍니다. 신뢰할 수 있는 탐지를 위해서는 에이전트 간의 사회적 관계에 대한 명시적인 추론이 필요합니다.
4. 미래 방향: 저자들은 향후 AV 인지 시스템이 제로샷 파운데이션 모델 쿼리를 넘어, 장면 그래프(scene-graph)나 객체 중심 모델을 활용하여 관계적 구조를 표현하는 직접적인 사회적 맥락 감독(social-context supervision) 프로토콜을 활용해야 한다고 주장합니다.

결론적으로, SENSE-VAD는 합성 데이터이지만, 그 설계 원칙과 실세계 프로브의 포함은 자율주행차가 단순히 운동학적 위험에 반응하는 것을 넘어 사회적 이상 징후를 예측할 수 있도록 하는 필수적인 토대를 제공합니다.