FLUID: A Fine-Grained Lightweight Urban Signalized-Intersection Dataset of Dense Conflict Trajectories

이 논문은 드론 기반의 경량화 처리 파이프라인을 통해 도시 신호교차로에서 발생하는 밀집된 충돌 궤적과 풍부한 상호작용 데이터를 수집한 고해상도 데이터셋 'FLUID'를 제안하며, 이는 인간 행동 분석, 교통 행동 모델링 및 자율주행 연구에 중요한 자원을 제공합니다.

핵심

이 논문은 **"FLUID"**라는 이름의 새로운 데이터셋을 소개하는 연구입니다. 이를 쉽게 이해하기 위해 **'도시의 복잡한 교차로를 카메라로 찍어 만든, 아주 정교한 교통 시뮬레이션용 레시피'**라고 상상해 보세요.

기존의 교통 데이터는 마치 "거리의 전체적인 흐름만 대략적으로 본 사진"이라면, 이 FLUID 데이터는 **"모든 차와 보행자의 눈빛, 제스처, 그리고 서로 부딪힐 뻔했던 순간까지 낱낱이 포착한 4K 고화질 영상"**과 같습니다.

핵심 내용을 일상적인 비유로 설명해 드릴게요.

1. 왜 이 데이터가 필요할까요? (배경)

지금까지 자율주행차나 교통 연구자들은 드론으로 찍은 영상을 분석해 왔습니다. 하지만 기존 데이터들은 몇 가지 문제가 있었어요.

• 너무 단순함: 차가 몇 대 지나가는지 세는 수준이라, "차가 왜 갑자기 멈췄지?", "보행자가 왜 갑자기 뛰었지?" 같은 미세한 상호작용을 놓쳤습니다.
• 부족한 정보: 차의 종류나 보행자의 행동, 신호등 상태 같은 '맥락' 정보가 빠져 있는 경우가 많았습니다.
• 검증 불가: "이 데이터가 진짜 맞나요?"라고 물어보면, "우리가 계산했으니 맞아요"라고만 답하고 원본 영상이나 계산 과정을 공개하지 않아 신뢰하기 어려웠습니다.

2. FLUID 는 무엇이 다를까요? (해결책)

이 연구팀은 중국 선전과 안후이성 선안시에서 드론을 띄워 3 가지 다른 형태의 신호등 교차로를 5 시간 동안 촬영했습니다. 그리고 이를 처리하는 **'가볍고 투명한 공정 (Lightweight Pipeline)'**을 개발했죠.

• 드론의 시점 (새의 눈): 드론은 100~120m 상공에서 비행합니다. 마치 새가 하늘에서 내려다보는 것처럼, 모든 차와 보행자의 움직임을 한눈에 볼 수 있어 가려지는 부분이 없습니다.
• 밀도 높은 '부딪힐 뻔한' 순간: 이 데이터의 가장 큰 특징은 **분쟁 (Conflict)**이 매우 많다는 점입니다. 보통 교차로에서는 차들이 잘 지나가지만, FLUID 데이터에서는 1 분당 평균 2.8 건이나 차들이 서로 부딪힐 뻔한 상황을 기록했습니다. 전체 차량의 15% 가 넘는 차가 이런 위험한 순간을 겪었습니다. 마치 복잡한 출퇴근 시간의 지하철처럼, 서로가 서로를 피하며 지나가는 치열한 장면을 담고 있는 거죠.
• 정교한 분류: 단순히 '차'라고만 하는 게 아니라, 트럭, 버스, 자전거, 오토바이, 보행자까지 8 가지 종류로 세분화했습니다. 특히 보행자와 이륜차의 움직임까지 정밀하게 추적합니다.

3. 어떻게 만들었나요? (기술적 과정)

이 데이터는 단순히 찍어서 끝난 게 아니라, 3 단계의 정제 과정을 거쳤습니다.

1. 영상 안정화 (흔들림 제거): 드론이 바람에 흔들려 영상이 흔들릴 수 있는데, 이를 고급 영상 편집 기술로 아주 매끄럽게 다듬었습니다.
2. 정밀한 감지 (눈썰미): AI(야놀자 같은 객체 탐지 모델) 를 여러 개 훈련시켜, 작은 오토바이나 멀리 있는 트럭도 놓치지 않고 찾아냈습니다. 마치 여러 명의 숙련된 감식가가 동시에 영상을 분석하는 것과 같습니다.
3. 데이터 융합 (맞춤형 정렬): 찾은 차들의 위치를 실제 도로 지도에 정확히 맞추고, 신호등이 초록불인지 빨간불인지, 차가 어떤 방향으로 도는지까지 모든 정보를 하나로 엮었습니다.

4. 이 데이터로 무엇을 할 수 있나요? (활용)

이 데이터는 자율주행차와 도시 계획가들에게 보물 같은 자원입니다.

• 자율주행차의 '사회성' 교육: 자율주행차가 인간처럼 **양보 (Yielding)**를 하거나, 위험을 예측하는 법을 배울 수 있습니다. "사람이 건너편에서 손을 흔들면 차가 멈추는가?" 같은 미묘한 상황을 학습할 수 있죠.
• 사고 예방: "어떤 상황에서 차들이 가장 많이 부딪힐 뻔했나?"를 분석해, 위험한 교차로에 신호등이나 도로 표지를 개선하는 데 쓸 수 있습니다.
• 보행자 안전: 보행자가 신호를 위반하거나 위험하게 건너는 패턴을 분석해, 보행자 전용 신호 체계를 최적화할 수 있습니다.

5. 결론: 왜 이것이 중요한가요?

기존 데이터는 "차량이 A 지점에서 B 지점으로 갔다"는 결과만 알려주었다면, FLUID 는 **"왜 그 차가 갑자기 멈췄고, 옆 차는 왜 화났으며, 신호등이 바뀌는 순간 보행자가 어떻게 반응했는지"**라는 이유와 과정까지 모두 보여줍니다.

이 데이터는 자율주행차가 더 안전하고, 우리 도시의 교통이 더 매끄럽게 흐르도록 돕는 '가상 실험실' 역할을 할 것입니다. 연구자들은 이 데이터를 통해 인간의 운전 습관을 더 깊이 이해하고, 더 안전한 미래를 설계할 수 있게 되었습니다.

한 줄 요약:

**"드론으로 찍은 고화질 교차로 영상에 AI 를 입혀, 차들이 서로 어떻게 부딪히며 살아남는지 그 치열하고 정교한 '교통 드라마'를 완벽하게 재현한 데이터셋"**입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 도시 교차로에서의 교통 참여자 (TP) 궤적 데이터는 교통 상태 평가, 정책 최적화, 자율주행 시스템 테스트 등에 필수적입니다. 특히 드론을 활용한 데이터 수집은 시야각의 제한이나 가려짐 (Occlusion) 문제 없이 전체 장면을 파악할 수 있어 유리합니다.
• 기존 데이터셋의 한계:
  • 장면 대표성 부족: 기존 드론 기반 데이터셋 (INTERACTION, inD, SIND 등) 은 교차로 유형 (3 방향, 4 방향 등) 과 신호 제어 방식 (신호등 유무, 보호/허용 단계) 을 다양하게 커버하지 못합니다.
  • 정보의 부족: 보행자 및 이륜차 (VRU) 에 대한 상세 분류가 부재하거나, 충돌 (Conflict) 및 위반 (Violation) 에 대한 정밀한 주석이 부족합니다.
  • 데이터 충실도 (Fidelity) 문제: 많은 데이터셋이 원본 비디오나 처리 파이프라인의 투명성을 제공하지 않아, 데이터의 정확성을 독립적으로 검증하거나 오차 누적 여부를 평가하기 어렵습니다. 또한, 상용 플랫폼 (DataFromSky 등) 은 비용과 접근성 문제가 있습니다.
  • 충돌 빈도: 기존 데이터셋은 교통 혼잡도가 낮아 실제 사고 위험을 대변하는 '밀집된 충돌 (Dense Conflicts)' 시나리오가 부족합니다.

2. 제안 방법론 (Methodology)

저자들은 FLUID라는 새로운 데이터셋과 이를 구축하기 위한 **가벼운 전체 파이프라인 (Lightweight Full-pipeline Framework)**을 제안했습니다.

A. 데이터 수집 (Data Acquisition)

• 장소: 중국 안후이성 선청시의 3 가지 유형 신호등 교차로 (FI: 4 방향, FIDRT: 전용 우회전 차선 포함 4 방향, TI: T 자형 3 방향).
• 장비: DJI Mini 3 드론 (4K, 30fps) 및 지상 카메라.
• 조건: 고도 100~120m 유지, 교통 신호 상태 동기화 기록, 약 5 시간 분량의 원본 영상 수집.

B. 궤적 추출 및 처리 파이프라인 (Processing Pipeline)

1. 비디오 전처리:
   • 드론의 흔들림 보정을 위해 AKAZE/BRISK 기반의 2 단계 안정화 (Stabilization) 적용.
   • 관심 영역 (ROI) 마스킹 및 10fps 로 다운샘플링 (인간 의사결정 시간 범위 포착 및 VRU 감지 용이).
2. 객체 감지 (Object Detection):
   • YOLOv8 아키텍처 사용.
   • 앙상블 전략: DroneVehicle, CODrone, Songdo Vision 등 3 개의 데이터셋으로 각각 학습된 모델을 결합하여 다양한 객체 (자동차, 트럭, 오토바이, 보행자 등) 의 검출 정확도 향상.
   • OBB (Oriented Bounding Box): 항공 관점에서의 정밀한 객체 방향 및 경계 포착을 위해 수평/수직 박스 대신 방향성 박스 사용.
3. 경량 추적 (Lightweight Tracking):
   • SparseTrack 알고리즘 적용 (ByteTrack 기반).
   • 가려짐 (Occlusion) 과 복잡한 혼합 교통 상황에 강인한 가상 깊이 (Pseudo-depth) 추정 및 Deep Cascade Matching (DCM) 사용.
4. 지리 참조 및 정제 (Georeferencing & Refinement):
   • RTK-GNSS 장비를 이용한 지상 제어점 (GCP) 측정으로 카메라 보정 및 왜곡 보정 수행.
   • 픽셀 좌표를 WGS84 및 UTM 투영을 통해 로컬 직교 좌표계로 변환.
   • Savitzky-Golay 필터, Kinematic Interpolation, RTS Smoother를 적용하여 궤적의 노이즈 제거 및 결측치 보간.
5. 데이터 퓨전 및 필터링:
   • 2D-SSM (Surrogate Safety Measures) 기반 필터링: TTC (Time-to-Collision) 와 DGT (Dynamic Gap Time) 를 계산하여 중복된 바운딩 박스나 잘못된 추적을 제거.
   • S-T 매칭: 궤적과 지도 정보를 공간적으로 매칭하여 진행 방향 (좌회전, 직진 등) 을 할당하고, 신호 상태와 시간적으로 동기화하여 위반 (적신호 위반 등) 판별.

3. 주요 기여 및 데이터셋 특징 (Key Contributions)

• FLUID 데이터셋:
  • 규모: 약 5 시간의 영상, 20,000 개 이상의 교통 참여자 (8 개 카테고리).
  • 충돌 밀도: 분당 평균 2.8 건의 차량 충돌 발생, 기록된 차량의 약 **15.14%**가 충돌에 직접 관여 (기존 데이터셋 대비 월등히 높음).
  • 다양성: 3 가지 교차로 유형, 신호 제어 방식 (보호/허용), 다양한 VRU (보행자, 킥보드, 오토바이 등) 포함.
  • 풍부한 정보: 궤적, 신호 상태, 정밀 지도 (Lanelet2 호환), 원본 비디오, 충돌 및 위반 주석 포함.
• 개방형 파이프라인:
  • 원본 데이터부터 처리된 결과까지 공개하여 재현성 확보.
  • DataFromSky 플랫폼 및 지상 기준 측정 (RTK-GNSS) 을 통한 검증 프로세스 공개.

4. 실험 결과 및 검증 (Results & Validation)

• 정확도 검증:
  • 위치 정확도: DataFromSky (DFS) 플랫폼 및 RTK-GNSS 지상 truth 와 비교. FLUID 는 DFS 대비 Hausdorff 거리가 0~0.97m 범위이며, 직선 구간에서 0.3m 미만의 오차를 보임.
  • 객체 수: DFS 는 정지/단시간 궤적을 제거하여 누락률 (56%) 이 발생했으나, FLUID 는 누락이 거의 없으며 ID 스위칭률 (25%) 이 낮음.
  • 속도 분포: 10fps 처리가 고주파수 노이즈를 줄여 더 안정적인 속도 프로파일을 제공함을 확인.
• 충돌 분석:
  • FLUID 는 충돌 주변 10m 이내에서 VRU 가 **35.4%**를 차지하여, 기존 데이터셋 (SIND: 7.2%, inD: 23.7%) 보다 VRU 와 차량의 상호작용 연구에 적합함.
  • 충돌 유형 (후방 추돌, 측면 충돌, 각도 충돌, 정면 충돌) 을 TTC 와 DGT 임계값을 기반으로 정밀하게 분류.

5. 의의 및 활용 가치 (Significance)

• 연구 분야 확장:
  • 인간 선호도 마이닝: 복잡한 교차로에서의 양보 (Yielding) 및 추월 (Passing) 행동 분석.
  • 교통 행동 모델링: VRU 와 차량 간의 상호작용 및 위반 패턴에 대한 정밀한 모델링 가능.
  • 자율주행: 밀집된 충돌 시나리오와 다양한 교통 참여자 유형을 포함한 고충실도 데이터로 자율주행 알고리즘 테스트 및 강화학습 훈련에 활용.
• 기술적 투명성: 원시 데이터와 처리 코드를 공개하여 연구 커뮤니티가 데이터의 신뢰성을 검증하고 방법론을 새로운 시나리오에 확장할 수 있는 기반을 마련함.

결론적으로, FLUID 는 기존 드론 기반 교차로 데이터셋의 한계를 극복하고, 밀집된 충돌 상황과 다양한 교통 참여자를 포함한 고해상도, 고충실도, 개방형 데이터셋을 제공함으로써 교통 공학 및 자율주행 연구에 중요한 자원이 됩니다.