Zero-Shot Traffic Accident Detection via a Coarse-to-Fine VLM-Tracking Pipeline

당신이 범죄를 해결하려는 형사라고 상상해 보세요. 하지만 당신이 가진 유일한 증거는 교통 카메라에서 찍힌 흐릿한 30초짜리 보안 영상뿐입니다. 영상은 번져 있고, 자동차들은 아주 작은 점처럼 보이며, 사고는 눈 깜짝할 사이에 일어납니다. 이제, 당신은 컴퓨터에게 사고가 정확히 언제 일어났는지, 화면의 어디에서 차들이 충돌했는지, 그리고 어떤 종류의 사고인지(예: 정면 충돌 또는 측면 충돌)를 알려주어야 합니다. 문제는, 컴퓨터에게 학습을 위해 실제 자동차 사고 사례를 단 하나도 보여주어서는 안 된다는 것입니다. 컴퓨터는 오직 인터넷에 존재하는 방대한 지식만을 사용하여 스스로 문제를 파악해야 합니다. 이것이 바로 **제로샷 학습(Zero-Shot Learning)**의 과제입니다. 즉, 특정 학습 매뉴얼 없이도 기계가 새로운 상황을 인식하도록 가르치는 것입니다. 인공지능의 세계에서 이것은 마치 학생에게 배운 적 없는 주제에 대해 일반적인 상식만을 이용해 기말고사를 통과하라고 요구하는 것과 같습니다.

이 논문은 바로 그 문제를 다룹니다. 저자들은 돋보기를 든 형사처럼 작동하는 영리한 "2단계(two-pass)" 시스템을 구축했습니다. 시스템은 전체 영상을 한꺼번에 바라보며 혼란에 빠지는 대신, 먼저 사고가 일 likely 일어난 시점을 추측하기 위해 빠르고 대략적인 스캔을 수행합니다. 그런 다음 그 아주 짧은 순간으로 줌인하여, 별도의 도구를 사용해 자동차 주변에 박스를 그리고 그들의 정확한 위치를 기록합니다. 이 매우 상세하고 주석이 달린 이미지를 거대한 AI 두뇌(시각-언어 모델, Vision-Language Model)에 입력하여 최종 답을 얻습니다. 결과는 어떠했을까요? 이 시스템은 단 한 번의 실제 사고 영상도 학습 과정에서 본 적이 없음에도 불구하고, 경쟁 조직자들이 발표한 그 어떤 방법보다 사고의 시간, 장소, 유형을 더 잘 맞혔습니다.

형사의 2단계 댄스

이 논문의 핵심 아이디어는 사고를 찾기 위해 전체 영상을 한꺼번에 보는 것은 좋지 않은 전략이라는 것입니다. 사고는 순식간에 일어납니다. 30초짜리 클립 안에서 사고는 100~500밀리초(0.5초 미만!) 동안만 지속될 수 있습니다. 만약 컴퓨터에게 무작위로 몇 개의 프레임을 보여준다면, 그것은 마치 영화의 페이지를 무작위로 넘기며 특정 초를 찾는 것과 같습니다. 결국 액션을 놓칠 가능성이 높습니다. 저자들은 이를 "접촉 프레임 문제(contact-frame problem)"라고 부릅니다.

이를 해결하기 위해 그들은 기본적으로 2단계 조사 방식인 **코스-투-파인 파이프라인(Coarse-to-Fine Pipeline)**을 설계했습니다.

1단계: 광각 스캔 (Coarse Pass)
먼저, 시스템은 전체 영상을 빠르고 넓게 훑어봅니다. 30초 전체에 걸쳐 퍼져 있는 60개의 프레임(이미지)을 추출합니다. 그리고 강력한 AI 모델(Qwen3-VL-32B-Instruct)에게 다음 두 가지를 묻습니다: "사고가 언제 일어난 것 같습니까?" 그리고 "어떤 종류의 사고였습니까?"
이것은 마치 형사가 길 건너편에서 범죄 현장을 힐끗 보는 것과 같습니다. 세부 사항은 볼 수 없지만, "오, 저건 15초 지점 근처에서 자동차 사고가 난 것 같군"이라고 말할 수 있는 것과 같습니다. 이 추측이 완벽하지는 않지만, 시스템에 시작점을 제공합니다. 이는 검색 범위를 시간상으로 고정해주어 다음 단계가 맹목적으로 추측하지 않도록 돕습니다.

2단계: 돋보기 (Fine Pass)
시스템이 대략적인 시간 추정치(예를 들어 15초)를 얻으면, 거기서 멈추지 않습니다. 추정된 시간의 앞뒤로 아주 작은 "윈도우(창)"를 만듭니다. 구체적으로는 추정 시간 전 2초와 후 2초를 포함합니다. 이 순간이 결정적인 순간입니다.
이 4초의 윈도우 안에서 시스템은 고속 모드로 전환합니다. 매우 빠른 객체 탐지기(YOLO11x)와 추적기(BoT-SORT)를 영상의 전체 속도로 실행합니다. 이 도구들은 두 가지 중요한 일을 수행합니다:

1. 박스를 그립니다: 보이는 모든 자동차 주변에 유색 사각형을 그립니다.
2. 보고서를 작성합니다: 단순히 사진만 보여주는 것이 아니라, 그 박스들의 정확한 좌표를 숫자(예: "차량 1은 위치 0.49, 0.62에 있음")로 기록합니다.

이제 시스템은 이 주석이 달리고 확대된 장면을 동일한 거대 AI 모델에게 보여줍니다. 하지만 이번에 AI는 단순히 흐릿한 이미지만 보는 것이 아닙니다. 자동차가 어디에 있는지 설명하는 글이 함께 적힌 사진을 보고 있는 것입니다. 이는 마치 형사에게 용의자들을 가리키는 화살표가 그려진 사진과 함께 "용의자 A는 여기에 서 있음"이라는 메모를 주는 것과 같습니다. 이러한 시각적, 수치적 단서의 결 조합은 AI가 충돌의 정확한 순간과 화면상의 정확한 위치를 찾아내는 데 도움을 줍니다.

왜 이것이 중요하며 무엇을 피했는가

이 논문은 AI에게 전체 영상을 한 번에 입력하는 "직접적인(direct)" 접근 방식에 대해 명시적으로 반대합니다. 저자들은 그렇게 할 경우 AI가 혼란을 겪는다는 것을 발견했습니다. AI는 실제 사고가 언제 일어났는지와 상관없이 사고가 영상 중간에 일어났다고 추측하는 경end "중간 영상 편향(mid-video bias)"을 보이는 경향이 있습니다. 또한 CCTV 영상의 해상도가 낮아 자동차가 매우 작고 흐릿하기 때문에 정확한 위치를 찾는 데 어려움을 겪습니다.

이 "원샷(one-shot)" 방식을 거부함으로써, 저자들은 문제를 세분화하는 것이 훨씬 더 효과적임을 입증했습니다. 또한 그들은 AI 연구의 흔한 함정인 **미세 조정(fine-tuning)**을 피했습니다. 보통 AI를 특정 작업에 능숙하게 만들기 위해 해당 작업의 라벨링된 예시 수천 개를 학습시키지만, 여기에서 저자들은 학습 중에 실제 사고 영상을 전혀 사용할 수 없었습니다. 그들은 전적으로 AI의 기존 지식(제로샷)에 의존해야 했습니다. 시스템 구축을 돕기 위해 합성 데이터셋(CARLA라는 게임에서 생성된 컴퓨터 그래픽 사고 영상)을 사용하긴 했지만, 최종 테스트는 AI가 이전에 본 적 없는 실제의 지저로 가득한 실제 CCTV 영상으로 진행되었습니다.

결과: 새로운 기록

저자들이 2,027개의 실제 CCTV 클립이 포함된 공식 챌린지에서 시스템을 테스트했을 때, 결과는 인상적이었습니다. 이 대회는 "조화 평균(harmonic mean)"이라는 특별한 채점 방식을 사용했는데, 이는 만약 한 과목(예: 시간 맞히기)에서 낙제하면 전체 성적이 0점이 되는 성적표와 같습니다.

저자들의 시스템은 0.504의 점수를 기록했습니다.
이는 여러 모델을 복잡하게 섞은 이전 최고 기록인 0.412를 상당한 차이로 뛰어넘은 수치입니다.
이를 체감해 보자면, 저자들의 방식은 차순위 경쟁자보다 약 22% 더 우수했습니다.

시스템은 특히 사고 시간을 맞히는 데(0.549) 강점을 보였고, 사고 유형을 맞히는 데(0.503)도 뛰어났습니다. 정확한 위치를 맞히는 것(0.468)은 약간 부족했지만, 전반적인 개선 폭이 충분히 커서 1위를 차지할 수 있었습니다.

"안전망"과 오류들

저자들은 AI가 불안정할 수 있다는 점을 인지하고 똑똑하게 대응했습니다. 그들은 시스템이 멈추거나 포기하는 것을 방지하기 위해 몇 가지 "안전망"을 구축했습니다.

• 시간 하한선(The Time Floor): 만약 AI가 사고가 0초에 일어났다고 추측한다면(이는 보통 틀린 답입니다), 시스템은 '0점'을 피하기 위해 조금 더 늦은 시간을 선택하도록 강제했습니다.
• 백업 플랜(The Fallback): 만약 시스템에 데이터가 너무 많아 메모리가 부족해지면(거대 AI 모델에서 흔히 발생하는 문제입니다), 더 적은 프레임으로 다시 시도하는 백업 계획을 실행했습니다.
• JSON 가드(The JSON Guard): 때때로 AI 모델이 답변만 하는 대신 불필요한 텍스트를 덧붙이곤 합니다. 시스템은 이를 무시하고 오직 특정 답변 형식만을 찾도록 프로그래밍되었습니다.

이러한 안전장치에도 불구하고 시스템이 완벽했던 것은 아닙니다. 저자들은 매우 어둡거나 압축률이 높은 영상에서 시스템이 자동차를 식ر하지 못해 화면 중앙을 선택하는 경우가 있음을 발견했습니다. 또한 "측면 충돌(sideswipe)" 사고(차가 살짝 스치는 사고)의 경우, 시스템이 미세한 첫 접촉을 놓치고 약간 다른 순간을 예측하기도 했습니다. 그러나 이것들이 유일한 주요 실패 사례였으며, 시스템은 여전히 다른 모든 모델을 능가했습니다.

요약

이 논문은 자동차 사고를 잘 잡아내는 탐정이 되기 위해 반드시 수백만 개의 실제 사고 데이터를 학습시킬 필요는 없다는 것을 보여줍니다. 대신, "언제"를 찾기 위한 빠른 스캔과 "어디서" 및 "무엇을" 찾기 위한 상세한 주석 기반의 조사를 결합하는 스마트한 전략을 줄 수 있습니다. 강력한 AI 두뇌와 빠르고 정밀한 추적 도구를 결합함으로써, 저자들은 과거의 사고 라이브러리 없이도 실시간으로 교통사고를 이해할 수 있는 시스템을 만들었습니다. 이는 때때로 어려운 문제를 해결하는 최선의 방법이 더 많은 데이터를 쏟아붓는 것이 아니라, 문제를 바라보는 방식을 더 영리하게 생각하는 것임을 상기시켜 줍니다.