💻 computer science

Two-Pass Zero-Shot Temporal-Spatial Grounding of Rare Traffic Events in Surveillance Video

본 논문은 ACCIDENT@CVPR 2026 벤치마크에서 기존 베이스라인보다 12.7% 높은 성능을 기록하며 감시 영상 내 희귀 교통사고에 대한 최첨단 시공간 기반 추적을 달성하기 위해, 두 단계의 거칠기에서 정밀도로 이어지는 전략과 전문화된 비전 - 언어 모델 역할 할당을 활용하는 제로샷 및 미세조정 불필요 파이프라인을 제시합니다.

원저자: Jiantang Huang

게시일 2026-05-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiantang Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

한 번에 많은 사람이 모이는 번화한 도시 광장에서 일어난 범죄를 해결하려는 형사가 되어 상상해 보세요. 하지만 당신에게는 30 초 분량의 흐릿한 보안 카메라 영상 하나만 있습니다. 당신의 임무는 다음 세 가지를 정확히 찾아내는 것입니다: 정확히 언제 사고가 발생했는지, 화면의 정확히 어디에서 발생했는지, 그리고 어떤 종류의 사고였는지 (예: 추돌 사고 대 측면 충돌).

문제점은 무엇일까요? 모든 영상을 지켜볼 인간 전문가 팀을 고용할 수 없으며, 사고를 식별하는 방법을 배우기 위해 실제 사고 영상을 '학습'할 수도 없습니다 (개인정보 보호법 때문). 따라서 사고에 특화되지 않은 '상용' AI 도구만을 이용해 이 문제를 해결해야 합니다.

이 논문은 두 가지 다른 유형의 AI '형사'를 활용하여 이 퍼즐을 해결하는 교묘한 2 단계 전략을 제시합니다.

문제: "원샷 (One-Shot)" 실수

표준 AI 에게 30 초 분량의 전체 영상을 지켜보게 하고 사고 시간, 위치, 유형을 한 번에 추측하게 하면, 종종 혼란에 빠집니다. 이는 사람에게 전체 영화를 지켜보게 한 뒤, 특정 배우가 재채기한 정확한 초를 말하게 하고, 동시에 화면의 정확한 지점을 가리키며 재채기 유형을 이름 붙이게 하는 것과 같습니다. 그들은 아마도 올바른 영화를 맞출지라도, 시간을 20 초나 틀리게 맞추거나 재채기를 기침과 혼동할 수 있습니다.

저자들은 이전의 AI 시도들이 종종 엄청난 오차 (실제 사고 발생 시간보다 21 초 나중에 발생했다고 추측하는 등) 를 보이거나 사고 유형을 완전히 잘못 파악했음을 발견했습니다.

해결책: "2 패스 (Two-Pass)" 형사 팀

저자들은 시니어 형사와 전문가가 협력하듯, 특정 순서로 작동하는 두 개의 서로 다른 AI 모델을 활용하는 파이프라인을 만들었습니다.

1 단계: "광각" 스캔 (일반인)

먼저, 강력한 AI(Qwen3-VL이라고 함) 를 사용해 초당 1 프레임 속도로 영상을 지켜봅니다.

비유: 형사가 수사 현장 전체를 빠르게 훑어보며 방 전체를 살펴보는 상황을 상상해 보세요. 그들은 아직 모든 지문을 자세히 조사하러 멈추지 않습니다. 단지 활동이 어디에서 발생했는지와 대략 언제 발생했는지에 대한 '직감'을 얻을 뿐입니다.
출력: 이 AI 는 "대략 15 초 경, 화면 중앙 부근에서 사고가 발생했을 가능성이 높으며, 단일 차량 사고로 보입니다"라는 '대략적인' 추측을 제공합니다.
안전망: AI 가 혼란에 빠지거나 API(AI 와의 인터넷 연결) 가 실패할 경우, 시스템은 차량 이동 추적과 같은 간단한 물리 법칙을 사용하여 최선의 추측을 하는 백업 계획을 갖추고 있어 영상이 공백으로 남지 않도록 합니다.

2 단계: "줌인" 정제 (전문가)

다음으로, 시스템은 그 대략적인 추측을 바탕으로 의심되는 사고 시간 주변의 6 초 분량만 담은 작고 고해상도의 '줌인' 클립을 생성합니다.

비유: 이제 형사는 확대경을 끼고 그 6 초 분량만을 슬로우 모션으로 지켜봅니다. 그들은 충격의 정확한 순간과 차량이 닿은 정확한 지점을 찾습니다.
안전 게이트: 시스템에는 두 가지 '안전 점검'이 있습니다.
1. 시간 점검: 줌인된 AI 가 "이 특정 6 초 창구에서는 사고를 볼 수 없다"고 말하거나, 창구 가장자리 (보통 추측을 의미함) 에서 시간을 추측하면, 시스템은 새로운 추측을 무시하고 1 단계에서 나온 원래 '직감'을 고수합니다.
2. 공간 점검: 줌인된 AI 가 화면 가장자리 (종종 실수임) 를 가리키면, 시스템은 이를 무시하고 1 단계에서 나온 원래 위치를 사용합니다.

사고 유형을 위한 "전문가"

마지막으로, 시스템은 첫 번째 AI 가 사고 유형을 이름 짓는 데는 그다지 능하지 않다는 것을 깨닫습니다 (예: '측면 충돌'과 '추돌'을 혼동).

비유: 따라서 그들은 짧고 줌인된 클립을 사고 유형 식별의 전문가인 두 번째 다른 AI 전문가(Gemini 3.1) 에게 넘깁니다. 이 전문가는 사고 순간 만을 바라보며 "이것은 확실히 측면 충돌입니다"라고 말합니다.

결과: 경쟁자 격파

저자들은 이 '2 패스' 팀을 2,000 개 이상의 실제 CCTV 영상이 포함된 실제 세계 벤치마크에서 테스트했습니다.

점수: 그들은 0.539의 점수를 달성했습니다.
비교: 이는 이전의 최선 시도들 (약 0.412 점) 보다 훨씬 더 우수했으며, 단일 AI 모델만 사용한 경우보다도 훨씬 더 좋았습니다.
비용: 전체 2,000 개 영상을 실행하는 데 약 20 달러가 소요되었습니다 (영상당 약 1 센트). 이는 좋은 결과를 얻기 위해 슈퍼컴퓨터가 필요하지 않음을 입증했습니다.

그들이 발견한 것 (실패 분석)

논문은 또한 시스템이 여전히 어려움을 겪는 부분을 솔직한 형사가 한계를 보고하듯 인정합니다:

지연 편향: AI 는 사고가 실제로 발생한 시간보다 약간 나중에 발생했다고 추측하는 경향이 있습니다 (약 1.5 초 지연). 그들은 충격의 순간이 아니라 충격 이후의 잔해를 종종 봅니다.
유형 혼동: 시스템은 '정면 충돌'과 'T 자형 충돌', 또는 '측면 충돌'과 '추돌'을 구별하는 데 여전히 서툴러, 약 40~80% 의 빈도로 이를 혼동합니다.
영상 길이: 영상이 길수록 AI 가 정확한 순간을 찾는 것이 더 어려워집니다. 이는 10 분짜리 건초더미보다 1 시간짜리 건초더미에서 바늘을 찾는 것이 더 어렵다는 것과 유사합니다.

요약

간단히 말해, 이 논문은 희귀한 교통사고를 찾기 위해 새로운 AI 를 처음부터 학습시킬 필요가 없음을 보여줍니다. 대신, 스마트한 '2 패스' 전략을 사용할 수 있습니다: 먼저 광범위하게 스캔하고, 그다음 신중하게 줌인하며, 사고 유형을 이름 짓기 위해 다른 전문가를 활용합니다. 이 접근 방식은 나쁜 추측을 피하기 위한 간단한 안전 점검과 결합되어, 비용을 낮추고 개인정보 보호 규칙을 준수하면서도 이전 방법들보다 훨씬 더 정확한 시스템을 만들어냅니다.

기술 요약: 희귀 교통 사고에 대한 2-pass 제로샷 시공간 기반 위치 특정

문제 제기
본 논문은 실제 CCTV 영상에서 교통 사고를 기반 위치 특정 (grounding) 하는 과제를 다루며, 특히 시간, 공간 좌표, 그리고 충돌 유형의 결합된 위치 특정 (joint localization) 을 목표로 합니다. 이는 현대의 지도 학습에 필요한 라벨링된 사고 영상의 부재로 인해 "희귀 사건" 문제로 규정됩니다. 또한, 개인정보 보호와 법적 책임 문제로 인해 실제 사고 데이터를 활용한 학습이 종종 금지됩니다. 본 연구는 ACCIDENT@CVPR 2026 벤치마크에 초점을 맞추며, 이 벤치마크는 개발을 위해 2,211 개의 합성 CARLA 영상을 제공하지만, 2,027 개의 실제 CCTV 테스트 클립에 대한 학습을 엄격히 금지합니다. 평가 지표는 ACCS로, 시간 (T), 공간 (S), 충돌 유형 (C) 정확도 점수의 조화 평균이며, 단일 하위 작업에서 약한 성분을 가진 시스템을 패널티로 처리합니다.

방법론
저자들은 2-pass 분해와 전문가 역할 할당을 통해 고정된 비전 - 언어 모델 (VLM) 을 활용하는 파인튜닝이 없는 파이프라인을 제안합니다. 이 시스템은 실제 사고 데이터에 대한 학습 없이, 사전 훈련된 모델의 고유 능력에 의존하여 작동합니다.

대략적에서 정밀한 2-pass 분해:
- 1-pass (대략적 기반 위치 특정): 전체 영상을 1 초당 1 프레임 (최대 30 프레임) 으로 샘플링하여 Qwen3-VL-Plus가 처리합니다. 모델은 충격 시간, 위치, 유형을 나타내는 대략적인 튜플 $(t_1, x_1, y_1, c_1)$ 을 출력하도록 프롬프트됩니다. 시간 정렬을 돕기 위해 프레임은 명시적인 [Frame at t.ts] 태그와 함께 직렬화되어, 모델이 시간 위치 특정을 연속 회귀가 아닌 프레임 명명 작업으로 처리할 수 있도록 합니다.
- 2-pass (정밀 정제): 대략적 시간 추정치 $t_1$ 주변의 $\pm 3$ 초 구간을 추출하여 1 초당 5 프레임 (최대 30 프레임, 1024px 해상도) 으로 샘플링합니다. Qwen3-VL-Plus 는 이 구간을 재평가하여 시간 ( $t_2$ ) 과 위치 ( $x_2, y_2$ ) 를 0.1 초 정밀도로 정제합니다.
- 신뢰도 게이트: 두 가지 결정론적 게이트가 정제된 2-pass 추정치를 수용할지, 아니면 견고한 1-pass 추정치로 되돌릴지 결정합니다:
  - 시간 게이트: 2-pass 가 음수 시간을 반환하거나 시간 구간 경계 근처의 시간을 반환할 경우 (낮은 신뢰도 표시), 시스템은 $t_1$ 로 되돌아갑니다.
  - 공간 게이트: 2-pass 좌표가 "가장자리 제한 (edge-clamped)"된 경우 (정규화된 그리드의 0 또는 1000 경계 근처), 시스템은 $(x_1, y_1)$ 로 되돌아갑니다.
전문가 역할 할당:
- 단일 VLM 이 모든 하위 작업을 모두 잘 수행하지 못할 수 있음을 인식하여, 파이프라인은 책임을 분할합니다. Qwen3-VL-Plus는 시간 및 공간 기반 위치 특정 (T+S) 을 담당합니다.
- Gemini 3.1 Flash-Lite는 **충돌 유형 분류 (C)**의 특정 역할을 할당받습니다. 최종 시간 추정치를 중심으로 한 5 초 클립을 잘라내어 (1-pass 중심을 기준으로 2.5 배 줌) 다섯 가지 충돌 유형을 나열한 폐쇄형 세계 프롬프트와 함께 Gemini 에 전달합니다. 이러한 전문화는 모든 작업을 단일 모델로 수행하는 경우보다 유형 정확도를 크게 향상시킵니다.
백업 메커니즘:
- API 실패 경우 (약 17% 의 영상에서 관찰됨), 시스템은 규칙 기반 물리 점수화와 결합된 고정된 검출기 파이프라인 (YOLO26x + ByteTrack) 으로 백업합니다. 이는 어떤 영상도 처리되지 않고 방치되지 않도록 보장합니다.

주요 기여

파인튜닝이 없는 파이프라인: 고정된 VLM 으로부터 결합된 T+S+C 출력을 이끌어내는 방법으로, 라벨링된 실제 사고 데이터의 필요성을 제거합니다.
게이트가 있는 2-pass 분해: 고-주요성 (high-salience) 영역을 정제하는 동시에 두 번째 pass 로부터의 오류 전파를 방지하기 위해 결정론적 신뢰도 검사를 사용하는 전략입니다.
전문가 역할 분할: 유형 분류를 두 번째 전문 VLM(Gemini) 에 할당함으로써 유형 정확도를 0.474 에서 0.591 로 높였음을 입증했으며, 이는 조화 평균 점수에 중요한 개선입니다.
체계적 실패 분석: 본 논문은 시간 기반 위치 특정에서의 +1.55 초 지연 편향, 길이에 따른 저하, 그리고 물리-VLM 오라클 분석을 포함한 실패 모드의 상세한 진단을 제공합니다.

결과
ACCIDENT@CVPR 2026 테스트 세트 (2,027 개 영상) 에서 제안된 파이프라인은 ACCS 0.539(95% 신뢰구간 [0.525, 0.553])를 달성했습니다.

비교 성능: 이는 벤치마크 논문의 최우수 베이스라인 오라클 (0.412) 보다 +0.127 개선된 것이며, 가장 강력한 단일 VLM 베이스라인인 Molmo-7B(0.396) 보다 +0.143 개선된 것입니다.
하위 작업 분해: 이 방법은 T=0.50, S=0.54, C=0.59 를 달성합니다. 주목할 점은 유형 정확도 (C) 가 보고된 것 중 가장 높으며, 공간 정확도는 최우수 단일 VLM 베이스라인보다 약간 뒤처집니다.
비용 효율성: 전체 테스트 세트에 대한 전체 실행 비용은 약 20 달러(영상당 약 0.01 달러)이며, 영상당 최대 세 번의 API 호출을 활용합니다.
실패 진단: 분석은 평균 시간 지연 편향이 +1.55 초 (모델이 접촉 순간이 아닌 충돌 후 잔해를 식별하는 경우가 많음) 이며, "정면 충돌 (head-on)"과 "T 자 충돌 (t-bone)" 사이의 혼란이 상당함을 드러냈습니다.

의의 및 주장
본 논문은 지도 학습 없이 희귀 사건 기반 위치 특정에서 자동화 시스템과 인간 성능 (Human ACCS = 0.843) 간의 격차를 해소하려면 수동으로 설계된 원시 요소 (primitives) 와 단일 샷 프롬프팅을 넘어설 필요가 있다고 주장합니다. 저자들은 데이터 부족과 개인정보 보호가 주요 제약 조건인 안전-중요 작업에 있어 학습이 없는 제로샷 VLM 파이프라인의 타당성을 입증했다고 주장합니다.

저자들은 시스템의 현재 상태에 대해 겸손하게 언급하며, 잔여 시간 모호성 (중앙값 1.1 초 오차) 과 특정 유형 혼란 (정면 충돌/측면 스윕) 은 인간 - 루프 게이트가 없는 완전 자동화된 손실 통보 (FNOL) 시스템에 아직 수용 가능하지 않다고 지적합니다. 그들은 향후 개선은 단순히 모델 크기를 확장하는 것이 아니라 적응형 샘플링과 물리-VLM 융합에 초점을 맞춰야 한다고 결론지었습니다. 본 연구는 복잡한 실제 감시 시나리오에서 제로샷 기반 위치 특정을 개선하기 위한 효과적인 수단으로 전문화된 역할 할당과 대략적에서 정밀한 정제가 있음을 입증했습니다.