Multiple Object Detection and Tracking in Panoramic Videos for Cycling Safety Analysis

이 논문은 왜곡과 경계 연속성 문제를 해결하기 위해 360 도 파노라마 영상을 세그먼트화하고 추적 모델을 개선하는 3 단계 프레임워크를 제안하여, 런던의 실제 도로 환경에서 사이클링 안전 분석 및 차량 추월 감지 성능을 크게 향상시켰음을 보여줍니다.

핵심

이 논문은 자전거를 타는 사람의 안전을 지키기 위해, '360 도 파노라마 카메라'와 '인공지능 (AI)'을 어떻게 함께 쓰는지에 대한 연구입니다.

기존의 연구들은 주로 정면이나 후면 카메라만 썼는데, 이 연구는 자전거 헬멧에 달린 360 도 카메라로 주변을 360 도 모두 비추는 영상을 분석하는 새로운 방법을 개발했습니다.

이 복잡한 기술 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🚲 1. 문제: "구글 지도를 평면으로 펼치면 찌그러져요!"

자전거 헬멧에 달린 360 도 카메라는 마치 지구본을 찍는 것과 같습니다. 하지만 컴퓨터 (AI) 가 영상을 볼 때는 이 지구본을 평평한 종이 (지도) 로 펼쳐야 합니다.

• 문제점: 지구본을 평평하게 펼치면 (이것을 '정사각형 투영'이라고 해요), 극지방 (위쪽과 아래쪽) 은 찌그러지고, 중앙은 너무 작아집니다.
• 비유: 마치 피자 도우를 너무 세게 잡아당겨 늘리면 가장자리가 얇아지고 찢어지는 것처럼요.
• 결과: 기존의 AI 는 이렇게 찌그러진 영상을 보면 "저건 차야, 저건 사람인데?"라고 헷갈려 하거나, 영상의 왼쪽 끝과 오른쪽 끝이 이어져 있는데도 (예: 차가 화면 왼쪽으로 사라지자마자 오른쪽으로 나타나는 경우) 이를 다른 차라고 착각합니다.

🛠️ 2. 해결책: "360 도 영상을 4 개의 조각으로 나누세요!"

연구팀은 이 찌그러진 문제를 해결하기 위해 세 가지 단계로 된 새로운 방법을 고안했습니다.

1 단계: "거울 4 개를 둥글게 배치하다"

전체 영상을 한 번에 보는 대신, 4 개의 작은 창 (서브 이미지) 으로 나누어 봅니다.

• 비유: 마치 거울 4 개를 둥글게 배치해서 한 번에 앞, 뒤, 좌, 우를 동시에 보는 것과 같습니다.
• 효과: 이렇게 하면 찌그러짐이 훨씬 줄어들어, AI 가 차나 사람을 훨씬 정확하게 찾아낼 수 있습니다. 그리고 찢어진 차의 몸통을 다시 한 차 (하나의 객체) 로 이어 붙여주는 기술도 개발했습니다.

2 단계: "이름표와 경계선 규칙을 만들다"

차량을 추적할 때 (Object Tracking), AI 가 실수하는 두 가지 큰 실수를 고쳤습니다.

• 실수 1 (이름표 혼동): 차와 오토바이가 비슷해 보이면 AI 가 "아, 저건 오토바이에서 차로 변신했구나!"라고 착각합니다.
  • 해결: AI 에게 **"차는 차, 오토바이는 오토바이로만 봐!"**라고 카테고리 (종류) 정보를 가르쳐 주어, 서로 다른 물체끼리 이름을 바꾸지 못하게 막았습니다.
• 실수 2 (경계선 실수): 차가 화면 왼쪽 끝으로 사라지자마자 오른쪽 끝에서 나타나면, AI 는 "새로운 차가 나타났네!"라고 생각해서 번호 (ID) 를 바꿔버립니다.
  • 해결: **"왼쪽 끝으로 가면 오른쪽 끝에서 다시 나오는 거야"**라는 경계선 규칙을 가르쳐 주어, 차가 화면을 한 바퀴 돌아도 같은 차 (같은 번호) 로 계속 추적하게 만들었습니다.

3 단계: "추월 (오버테이킹) 감지기"

이제 이 기술로 차량이 자전거를 추월하는 상황을 자동으로 찾아냅니다.

• 원리: 차가 자전거 뒤에서 나타나서 (화면 뒤쪽), 옆을 지나가서 (화면 옆쪽), 앞쪽으로 사라지는 (화면 앞쪽) 순서로 움직이면, AI 는 **"아, 이 차가 자전거를 추월했구나!"**라고 판단합니다.
• 결과: 이 시스템은 82% 이상의 정확도로 추월 상황을 찾아냈습니다.

📊 3. 성과: "왜 이 기술이 중요한가요?"

• 정확도 향상: 기존 방법보다 추적 오류 (번호가 바뀌는 것) 를 10% 이상 줄였고, 정확한 식별률은 2.7% 향상되었습니다.
• 실제 적용: 런던의 실제 도로에서 자전거를 타며 실험해 보니, 밤에 검은색 차가 지나가는 상황이나 버스처럼 큰 차를 제외하고는 대부분의 추월 상황을 잘 찾아냈습니다.
• 미래의 활용: 이 기술은 자전거 타는 사람이 **"지금 내 옆으로 차가 지나가려 한다!"**라고 실시간으로 경고해 주는 앱이나, 도로 설계 (차선 너비 등) 를 개선하는 데 쓰일 수 있습니다.

💡 요약

이 논문은 **"찌그러진 360 도 영상을 4 조각으로 잘라 AI 가 더 잘 보게 하고, 차가 화면을 돌아다닐 때 번호를 잃지 않게 도와주어, 자전거를 추월하는 위험한 차들을 자동으로 찾아내는 기술"**을 개발했다는 것입니다.

마치 자전거를 타는 사람의 눈과 뇌를 AI 로 확장시켜, 보이지 않는 위험까지 미리 감지하게 만든 셈입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 자전거는 친환경 교통수단이지만, 도시 환경에서는 여전히 높은 사고 위험에 노출되어 있습니다. 기존 사고 기록 데이터는 공간적, 시간적 세분화 수준에서 위험 요인을 식별하기에 부족하며, 자연주의적 연구 (Naturalistic studies) 를 통한 비디오 데이터 분석이 대안으로 부상하고 있습니다.
• 문제점:
  • 파노라마 비디오의 한계: 360 도 시야를 제공하는 파노라마 카메라 (예: GoPro Max) 는 전후좌우 상황을 동시에 기록할 수 있어 안전 분석에 이상적이지만, 기존 컴퓨터 비전 모델 (Object Detection, MOT) 을 직접 적용하기 어렵습니다.
  • 기술적 장벽:
    1. 왜곡 (Distortion): 등면적 투영 (Equirectangular projection) 으로 인한 심한 기하학적 왜곡으로 인해 물체가 변형되거나 작게 나타납니다.
    2. 경계 연속성 (Boundary Continuity): 이미지의 좌우 끝이 연결되어 있어 물체가 화면 경계를 가로지를 때 객체가 두 개로 분리되거나 ID 가 끊기는 문제가 발생합니다.
    3. 데이터 부족: 파노라마 영상에 대한 주석 (Annotation) 이 달린 대규모 데이터셋이 부족하여 기존 모델 학습이 어렵습니다.

2. 제안된 방법론 (Methodology)

이 연구는 파노라마 영상에서의 객체 탐지 및 추적을 개선하기 위해 3 단계 프레임워크를 제안합니다.

1 단계: 파노라마 영상 기반 객체 탐지 향상 (Object Detection Enhancement)

• 투영 변환 (Projection Transformation): 원본 360 도 등면적 영상을 4 개의 부분 영상 (Sub-images) 으로 분할하여 투영 (Perspective projection) 합니다.
  • 왜곡을 줄이기 위해 120 도 시야 (FOV) 를 가진 4 개의 창을 생성하며, 인접한 창 간에 30 도의 중첩 (Overlap) 을 두어 경계 근처의 물체 누락을 방지합니다.
• 탐지 및 재투영 (Detection & Reprojection): 각 부분 영상에 대해 COCO 데이터셋으로 사전 학습된 YOLO12 모델을 적용하여 객체를 탐지합니다. 탐지된 바운딩 박스를 원본 파노라마 영상 좌표계로 재투영합니다.
• 박스 병합 (Merging): 여러 부분 영상에 걸쳐 나타나는 긴 물체 (예: 길게 늘어진 차량) 의 경우, 분할된 바운딩 박스를 통합하여 하나의 객체로 재구성합니다.

2 단계: 파노라마 영상 기반 다중 객체 추적 (MOT) 개선

• StrongSORT 기반 개선: 기존 StrongSORT 추적기를 파노라마 환경에 맞게 수정합니다.
  • 카테고리 정보 지원 (Category Information Support): 추적 시 객체의 카테고리 (차량, 자전거, 사람 등) 정보를 고려하여, 서로 다른 카테고리의 객체가 잘못 매칭되는 것을 방지합니다. 인접 카테고리 (예: 자동차와 트럭) 간에는 허용 오차를 두어 재매칭을 용이하게 합니다.
  • 경계 연속성 지원 (Boundary Continuity Support): 화면 경계를 가로지르는 객체 (좌우 연결) 를 추적하기 위해, 객체가 화면 한쪽에서 사라지고 다른 쪽에서 나타나는 경우를 가상 이미지 확장 (Virtual image extension) 기법을 통해 처리합니다. 이를 통해 ID 전환 (ID Switch) 을 줄이고 추적 연속성을 유지합니다.

3 단계: 자동 추월 행동 탐지 (Automated Overtaking Detection)

• 방향 인식: 추적된 객체의 궤적을 분석하여 자전거 기준 '전진' 또는 '후진' 방향을 판단합니다.
• 추월 로직: 전진하는 차량이 자전거의 좌측 또는 우측을 완전히 통과하는 행위를 '추월'로 정의합니다.
  • 등면적 투영의 특성상 (-90 도 ~ 90 도 경계) 차량의 바운딩 박스가 특정 경계선을 통과하는 순서를 감지하여 추월 시작 및 종료 시점을 자동으로 식별합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 3 단계 프레임워크: 파노라마 영상의 왜곡과 경계 연속성 문제를 해결하여 기존 사전 학습된 객체 탐지 및 추적 모델을 적용할 수 있는 통합 프레임워크를 개발했습니다.
2. 경계 연속성 및 카테고리 기반 추적 개선: StrongSORT 에 카테고리 필터링과 경계 연속성 처리 로직을 도입하여, 파노라마 환경에서 발생하는 ID 전환 및 잘못된 매칭을 획기적으로 줄였습니다.
3. 실제 적용 사례 (Overtaking Detection): 개발된 모델을 런던 도로의 실제 자전거 주행 데이터에 적용하여 차량 추월 행동을 자동 탐지하는 유효성을 입증했습니다.
4. 데이터셋 구축: 파노라마 영상 기반의 객체 탐지 및 추적을 위한 주석 데이터셋 (24,454 개 객체, 224 개 트랙) 을 구축하여 공개했습니다.

4. 실험 결과 (Results)

• 객체 탐지 성능:
  • 제안된 방법 (부분 영상 투영 + 박스 병합) 은 다양한 해상도 (640, 1280, 1920) 에서 기존 YOLO12 모델보다 **평균 정밀도 (mAP)**가 향상되었습니다.
  • 특히 소형 및 중형 객체 탐지 성능이 크게 개선되었으며, 고해상도 입력 없이도 높은 정확도를 달성하여 계산 자원 효율성이 높음을 보였습니다.
• 다중 객체 추적 (MOT) 성능:
  • 카테고리 정보와 경계 연속성 지원을 모두 적용한 모델은 기존 모델 대비 ID 전환 (ID Switches) 을 10.0% 감소시켰고, 식별 정밀도 (Identification Precision) 를 2.7% 향상시켰습니다.
  • 오탐지 (False Positives) 는 약 33.5% 감소했습니다.
• 추월 탐지 성능:
  • 제안된 프레임워크를 적용한 추월 탐지 모델은 F-score 0.82를 기록하여 높은 정확도와 재현율을 보였습니다.
  • 오류 원인 분석:
    • False Positive: 자전거 탑승자의 어깨 뒤 확인 (Shoulder check) 이나 회전 시 카메라 각도 변화로 인해 정차 차량을 추월으로 오인하는 경우.
    • False Negative: 야간 검은색 차량 탐지 실패 및 버스 바운딩 박스의 불안정성으로 인한 추월 로직 오작동.

5. 의의 및 결론 (Significance & Conclusion)

• 안전 분석의 혁신: 기존 제한된 시야 (전방/후방) 를 넘어 360 도 전방위적인 환경 데이터를 기반으로 자전거 안전 위험 요인 (특히 추월) 을 정량적으로 분석할 수 있는 도구를 제공했습니다.
• 정책 및 인프라 개선 지원:
  • 최소 통과 거리 (Minimum passing distance) 정책 준수 여부 정량화.
  • 위험이 높은 시간대 (야간) 및 차량 유형 (버스, 대형 차량) 식별을 통한 타겟팅된 단속 및 운전자 교육 지원.
  • 차선 폭, 버퍼, 신호 타이밍 등 도로 설계 및 인프라 개선에 대한 근거 자료 제공.
• 실시간 적용 가능성: 경량화된 모델을 통해 엣지 디바이스 (Edge devices) 에서 실시간으로 추월 경고 및 피드백을 제공하는 시스템 구축의 가능성을 제시했습니다.

이 연구는 컴퓨터 비전 기술을 자전거 안전 분야에 적용하여, 기존에 수집이 어려웠던 미세한 위험 상황 (Near-miss) 을 대규모로 식별하고 분석할 수 있는 새로운 패러다임을 제시했다는 점에서 의의가 큽니다.