🤖 machine learning

A Modular Zero-Shot Pipeline for Accident Detection, Localization, and Classification in Traffic Surveillance Video

이 논문은 ACCIDENT @ CVPR 2026 챌린지를 위해 개발된 제로샷 파이프라인을 소개하며, 프레임 차이 신호의 피크 탐지, Farneback 알고리즘 기반의 광류 중량 중심 계산, 그리고 CLIP 임베딩을 활용한 텍스트 기반 분류라는 세 가지 독립 모듈을 통해 레이블이 없는 실제 데이터 없이도 교통 사고의 발생 시점, 위치, 유형을 동시에 탐지하고 분류하는 방법을 제시합니다.

원저자: Amey Thakur, Sarvesh Talele

게시일 2026-04-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Amey Thakur, Sarvesh Talele

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"사고를 감지하는 똑똑한 AI 시계"**에 대한 이야기입니다.

이 연구는 2026 년에 열린 'ACCIDENT @ CVPR'이라는 대회에 참여하기 위해 개발된 방법론을 소개합니다. 핵심은 실제 사고 영상을 보지 않고도 (라벨이 없는 상태), AI 가 사고의 '언제', '어디', '무슨 종류'인지 알아맞히는 것입니다.

이 복잡한 작업을 해결하기 위해 연구자들은 세 명의 전문가가 팀을 이뤄 일하는 방식을 고안했습니다. 마치 교통사고 현장에서 세 명의 다른 직원이 각자의 역할만 맡아 일하는 것과 비슷합니다.

1. 세 명의 전문가 (모듈)

이 시스템은 사고를 분석할 때 세 가지 단계를 거치는데, 각 단계마다 다른 '전문가'가 담당합니다.

① 시간 감시관 (Temporal Module): "사고가 언제 일어났나?"

역할: 카메라 영상 속의 모든 장면을 빠르게 훑어보며, "어? 방금 뭔가 급하게 변했네?"라고 찾아냅니다.
원리: 영상은 한 장 한 장 이어진 그림입니다. 사고가 나면 차들이 부딱히면서 화면이 갑자기 찌그러지거나 빛이 바뀝니다. 이 시스템은 이전 프레임과 다음 프레임의 차이를 계산합니다.
비유: 마치 심장 박동 모니터를 보는 것과 같습니다. 평소에는 규칙적으로 뛰다가, 갑자기 심장이 터질 듯 세게 뛰는 순간 (피크) 을 찾아냅니다. 연구자들은 이 '급격한 변화'를 수학적으로 계산해서 사고가 일어난 정확한 시간을 찾아냅니다.

② 위치 탐정 (Spatial Module): "사고가 어디에서 일어났나?"

역할: 사고가 일어난 정확한 지점을 찾아냅니다.
원리: 사고가 나면 그 주변에서 물체들이 급격하게 움직입니다. 이 시스템은 **광학 흐름 (Optical Flow)**이라는 기술을 써서, 화면 속 모든 픽셀이 얼마나 움직였는지 계산합니다. 그리고 그 움직임이 가장 강하게 모인 곳을 찾습니다.
비유: 폭죽이 터질 때를 상상해 보세요. 폭죽이 터지면 주변으로 불꽃이 사방으로 퍼집니다. 이 시스템은 그 불꽃이 가장 집중된 '중심점'을 찾아냅니다. 배경의 구름이 움직이거나 다른 차들이 지나가는 것은 '잡음'으로 치부하고, 진짜 충돌이 일어난 '뜨거운 지점'만 골라냅니다.

③ 분류 전문가 (Classification Module): "어떤 종류의 사고일까?"

역할: 앞의 두 전문가가 찾은 사고 장면을 보고, "이건 정면 충돌이야, 뒤에서 들이받은 거야, 아니면 옆으로 스친 거야?"라고 판단합니다.
원리: 이 부분은 CLIP이라는 아주 유명한 AI 모델을 사용합니다. CLIP 은 인터넷에 떠도는 수억 장의 사진과 설명을 함께 공부한 모델입니다.
비유: 이 분류 전문가는 사고 현장의 사진을 보고 설명서를 대조하는 사람입니다.
- 예: "두 차가 정면으로 부딪혔다"라는 설명과 "차 한 대가 벽에 부딪혔다"라는 설명을 AI 가 외워두고 있습니다.
- 사고 장면을 찍은 사진을 AI 에게 보여주면, AI 는 "아, 이 사진의 느낌은 '정면 충돌' 설명과 가장 비슷하네!"라고 판단합니다.
- 중요한 점: 이 시스템은 실제 사고 데이터를 따로 공부하지 않아도 됩니다. 이미 인터넷에서 배운 상식 (사전 학습) 만으로 판단합니다.

2. 이 시스템의 특별한 점: "제 0 회 (Zero-Shot)" 학습

보통 AI 를 훈련시키려면 "이건 사고야, 이건 사고가 아니야"라고 수천 장의 사진을 보여줘야 합니다. 하지만 이 연구는 실제 사고 사진 한 장도 보지 않았습니다.

왜? 실제 사고 영상은 구하기 어렵고, 카메라마다 각도나 조명이 달라서 AI 가 헷갈리기 쉽기 때문입니다.
어떻게? 대신 **합성된 영상 (가상의 게임 같은 영상)**으로만 개발을 했을 뿐, 실제 CCTV 영상은 테스트만 했습니다. 마치 비행기 조종사가 시뮬레이터로만 훈련하고 실제 하늘에 나가는 것과 같습니다.

3. 결과와 한계 (현실은 좀 더 어렵습니다)

이 시스템은 실제 CCTV 영상에서 **약 25%**의 점수를 받았습니다. (점수가 100 점 만점이라기보다는, 세 가지 요소 중 하나라도 틀리면 점수가 크게 깎이는 방식이라서 낮습니다.)

잘한 점: 사고가 일어난 '시간'과 '위치'를 꽤 정확하게 찾아냈습니다.
못한 점: 사고의 '종류'를 잘 못 맞췄습니다.
- 이유: CLIP 이라는 AI 는 주로 눈높이에서 찍은 인터넷 사진으로 배웠습니다. 하지만 실제 CCTV 는 건물 위에서 아래를 내려다보는 각도입니다.
- 비유: 마치 지상에서 본 자동차 사고 사진을 공부한 사람이, 하늘에서 찍은 드론 영상을 보고 사고 종류를 맞추려다 보니 헷갈리는 것과 같습니다. "옆으로 스친 사고"를 "정면 충돌"로 오해하는 경우가 많았습니다.

4. 결론: 이 연구가 주는 메시지

이 논문은 **"복잡한 문제를 작은 조각으로 나누면, AI 가 실제 데이터 없이도 꽤 잘할 수 있다"**는 것을 보여줍니다.

세 명의 전문가 (시간, 위치, 종류) 가 각자 맡은 일만 잘하면, 전체 시스템이 작동합니다.
나중에 이 시스템의 성능을 더 올리려면, 위치 탐정을 더 정교한 기술로 바꾸거나, 분류 전문가에게 실제 CCTV 각도에 맞춰 조금만 더 훈련 (미세 조정) 시키면 될 것입니다.

결국 이 연구는 실제 사고 데이터를 구하기 힘든 상황에서도, AI 가 어떻게 사고를 감지하고 분석할 수 있는지에 대한 새로운 길을 제시한 것입니다.

1. 문제 정의 (Problem Definition)

이 논문은 ACCIDENT @ CVPR 2026 챌린지를 위해 개발된 제로샷 (Zero-Shot) 파이프라인을 제안합니다.

목표: 교통 감시 카메라 (CCTV) 영상에서 교통 사고의 발생 시간, 충돌 위치, 그리고 사고 유형을 자동으로 예측하는 것입니다.
제약 조건: 실제 세계의 레이블이 지정된 훈련 데이터가 전혀 제공되지 않습니다. 개발자는 CARLA 시뮬레이터로 생성된 합성 데이터 (Synthetic Data) 만을 사용할 수 있으며, 테스트 세트는 실제 CCTV 영상으로 구성되어 있습니다.
예측 항목:
1. 사고 발생 시간 (초 단위)
2. 충격 지점의 정규화된 공간 좌표 $(c_x, c_y)$
3. 사고 유형 (5 가지 클래스: 정면충돌, 추돌, 측면 스치기, 단일 차량, T-자 충돌)
평가 지표: 시간적 유사성, 공간적 유사성, 분류 정확도 (Top-1) 의 3 가지 성분의 조화 평균 (Harmonic Mean) 을 사용합니다. 따라서 한 가지 요소라도 실패하면 전체 점수가 0 으로 떨어지는 특성이 있습니다.

2. 방법론 (Methodology)

제안된 파이프라인은 서로 독립적인 3 개의 모듈로 구성되어 있으며, 도메인 특화 미세 조정 (Fine-tuning) 없이 사전 훈련된 가중치만 사용합니다.

2.1 시간적 피크 감지 (Temporal Peak Detection)

원리: 사고 발생 시 연속된 프레임 간의 밝기 변화가 급격히 발생한다는 점을 이용합니다.
과정:
1. 회색조 프레임 간의 평균 절대 차이 (Mean Absolute Difference) 를 계산하여 1 차원 신호를 생성합니다.
2. 이동 평균 (Rolling Mean, 윈도우 크기 5) 을 적용하여 노이즈를 제거합니다.
3. 전체 시퀀스의 평균과 표준편차를 사용하여 Z-score로 정규화합니다.
4. 임계값 ( $\tau = 1.5$ ) 을 초과하는 Z-score 가 가장 높은 프레임을 사고 발생 시간으로 선정합니다.

2.2 공간적 충격 위치 국소화 (Spatial Impact Localization)

원리: 충돌은 이미지 내 특정 영역에 고강도의 운동 에너지를 집중시킵니다.
과정:
1. 예측된 사고 시간을 기준으로 30 프레임 윈도우를 설정합니다.
2. Farneback 밀도 광학 흐름 (Dense Optical Flow) 알고리즘을 사용하여 프레임 간 픽셀 변위를 계산합니다.
3. 흐름 벡터의 크기 (Magnitude) 를 누적하여 맵을 생성합니다.
4. 90 백분위수 (90th percentile) 임계값을 적용하여 배경의 미세한 움직임 (예: 구름, 나뭇잎) 을 제거하고 충돌 영역의 고강도 클러스터만 남깁니다.
5. 임계값을 적용된 맵의 가중치 중심 (Weighted Centroid) 을 계산하여 충격 지점 좌표를 도출합니다.

2.3 충돌 유형 분류 (Collision Type Classification)

원리: CLIP (Contrastive Language-Image Pre-training) 모델을 사용하여 이미지와 텍스트 간의 유사성을 측정합니다.
과정:
1. 텍스트 엔코딩: 각 사고 유형 (5 가지) 에 대해 5 가지의 자연어 프롬프트 (예: "두 대의 차가 정면으로 충돌") 를 생성하고, 이를 CLIP 텍스트 인코더에 입력하여 평균화된 텍스트 임베딩을 생성합니다.
2. 이미지 엔코딩: 사고 시간 주변 8 개의 프레임을 추출하여 CLIP 시각 인코더 (ViT-B/32) 를 통해 이미지 임베딩으로 변환합니다.
3. 유사도 측정: 이미지 임베딩과 각 클래스의 텍스트 임베딩 간의 코사인 유사도 (Cosine Similarity) 를 계산하여 가장 높은 값을 가진 클래스를 최종 예측으로 선택합니다.

3. 주요 기여 (Key Contributions)

완전한 제로샷 접근법: 실제 사고 데이터에 대한 레이블링이나 미세 조정 없이, 사전 훈련된 모델 (CLIP) 과 전통적인 신호 처리 기법 (광학 흐름, Z-score) 만을 사용하여 실제 CCTV 영상에서 사고를 분석할 수 있음을 입증했습니다.
모듈형 아키텍처: 시간, 공간, 분류 모듈이 완전히 분리되어 있어, 각 모듈을 독립적으로 교체하거나 최적화할 수 있는 유연성을 제공합니다.
공개 구현: Kaggle 노트북 형태로 전체 파이프라인을 공개하여 재현성을 보장했습니다.

4. 실험 결과 (Results)

성능: 실제 CCTV 테스트 세트 (2,027 개 영상) 에서 0.2523의 공개 리더보드 점수를 기록했습니다.
성분별 분석:
- 시간 (T) 및 공간 (S): 사고가 정확히 감지될 경우 높은 점수 (최대 0.94, 0.96) 를 보였으나, 배경 노이즈나 다중 차량 이동 시 오차가 발생했습니다.
- 분류 (C): 가장 큰 약점으로 나타났습니다. CLIP 이 합성 데이터 (CARLA) 와 실제 CCTV 의 시점 차이 (Eye-level vs Overhead) 로 인해 사고 유형을 잘못 분류하는 경향이 있었습니다. 특히 '추돌 (Rear-end)'이 가장 많은 합성 데이터와 달리, 테스트 세트에서는 '측면 스치기 (Sideswipe)'와 '단일 차량 (Single)'으로 잘못 분류되는 경향이 있었습니다.
오류 분석:
1. 배경의 대규모 움직임 (나뭇잎 흔들림 등) 이 사고 신호와 유사한 피크를 생성하여 시간 감지를 방해함.
2. 여러 차량이 동시에 움직일 때 광학 흐름의 가중치 중심이 실제 충격 지점에서 이탈함.
3. CLIP 의 학습 데이터가 눈높이 사진 위주라, CCTV 의 고각 (Overhead) 시점에 대한 분류 성능이 떨어짐.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 레이블이 없는 실제 환경에서도 교통 사고 분석이 가능함을 보여주는 중요한 사례입니다. 특히 모듈형 설계를 통해 각 구성 요소의 한계를 명확히 파악하고, 향후 개선 방향을 제시했습니다.

향후 개선 방향:
1. 광학 흐름: Farneback 알고리즘 대신 RAFT와 같은 학습 기반 추정기로 교체하여 저해상도 입력에서의 정확도 향상.
2. 분류 모델: 합성 데이터 세트를 사용하여 CLIP 시각 인코더를 미세 조정 (Fine-tuning) 하여 합성 데이터와 실제 CCTV 간의 도메인 격차 (Domain Gap) 를 해소하고 분류 성능을 극대화할 것.

이 파이프라인은 사고 발생 시 신속한 구조 요청과 객관적인 사고 재구성을 가능하게 하여, 교통 안전 및 응급 대응 시스템의 자동화에 기여할 잠재력을 가지고 있습니다.