Hybrid Congestion Classification Framework Using Flow-Guided Attention and Empirical Mode Decomposition

기술 요약: FLO-EMD 하이브리드 혼잡 분류 프레임워크

문제 제기
정확한 교통 혼잡 분류는 도로 장면의 맥락과 비정상적인 교통 운동을 동시에 포착하는 모델을 요구합니다. 기존 접근 방식은 일반적으로 이러한 요구 사항을 분리하여 처리합니다. 비전 기반 방법은 주로 외관 단서와 표준 시간적 풀링에 의존하여, 동적인 교통 상태보다는 정적 인프라에 대한 예측 편향을 초래할 수 있습니다. 반면, 신호 기반 접근 방식 (예: 루프 검출기 사용) 은 시간적 역동성을 잘 특징짓지만, 장면 수준의 국소화에 필요한 공간적 맥락이 부족합니다. 더 나아가, 비전 기반 모델은 종종 차선 표시나 그림자 같은 고대비 정적 요소로 주의 메커니즘이 편향되는 경향이 있으며, 정차 및 재출발과 같은 진동과 같은 비정상적인 운동 패턴을 명시적으로 분해하지 못하는 경우가 많습니다.

방법론: FLO-EMD 프레임워크
본 논문은 운동 유도 주의 (motion-guided attention) 와 경험적 데이터 기반 시간적 분해를 결합한 하이브리드 프레임워크인 FLO-EMD를 제안합니다. 이 아키텍처는 병렬 RGB 및 조밀한 광학 흐름 백본을 통해 교통 비디오 클립을 처리하며, 듀얼 스트림 설계를 통해 이를 통합합니다.

1. 광학 흐름 추출 및 운동 특징화:

   • 연속된 프레임 간에 Farneback 알고리즘을 사용하여 조밀한 광학 흐름을 추정합니다.
   • 원시 흐름 필드를 시간 모델링을 위해 직접 심층 네트워크에 입력하는 대신, 시스템은 흐름 통계를 컴팩트한 프레임 단위 운동 기술자로 집계합니다. 여기에는 흐름 크기의 공간 평균 및 표준 편차 ($\mu_M, \sigma_M$) 와 흐름 방향 ($\mu_D, \sigma_D$) 이 포함됩니다.
   • 이러한 기술자들은 장면 수준의 혼잡 역학을 나타내는 시계열 "운동 궤적"을 형성합니다.

2. 듀얼 스트림 백본 및 흐름 유도 주의:

   • 이 프레임워크는 RGB 프레임용과 광학 흐름 필드용 두 개의 병렬 합성곱 인코더를 사용합니다. 두 인코더 모두 공간적 및 채널별로 정렬된 특징 맵을 생성합니다.
   • 흐름 유도 주의 메커니즘(향상된 CBAM 블록) 은 광학 흐름 특징을 사용하여 RGB 특징을 정제합니다.
     • 채널 주의: RGB 및 흐름 특징의 풀링된 기술자에서 계산되어 운동 관련 특징 채널을 강조합니다.
     • 공간 주의: RGB 통계와 함께 리사이즈된 흐름 크기 맵을 포함하여 공간 영역을 재가중치함으로써, 모델이 정적 인프라가 아닌 교통 활성 영역에 집중하도록 보장합니다.

3. 시간적 분석을 위한 경험적 모드 분해 (EMD):

   • 컴팩트한 운동 궤적 (시간에 따른 네 가지 통계 기술자) 은 경험적 모드 분해 (EMD) 를 사용하여 분해됩니다.
   • EMD 는 고정된 주파수 가정 없이 비정상 시계열을 고유 모드 함수 (IMFs) 로 적응적으로 분해합니다.
   • 논문은 각 기술자당 $N=4$개의 IMFs 를 유지합니다. 각 IMF 는 시간 평균과 표준 편차로 요약되어, 다중 스케일 시간적 역학을 포착하는 고정 차원 임베딩 (클립당 32 개의 스칼라 특징) 을 생성합니다.

4. 특징 융합 및 분류:

   • 학습된 시공간 표현 (BiLSTM 과 주의 기반 풀링을 통해 처리된 RGB 및 흐름 스트림에서 유래) 은 EMD 에서 유도된 운동 임베딩과 융합됩니다.
   • 최종 다층 퍼셉트론 (MLP) 은 융합된 벡터를 경미, 중간, 심한 세 가지 혼잡 상태로 분류합니다.
   • 학습은 일반화를 개선하기 위해 레이블 스무딩이 적용된 교차 엔트로피 손실을 사용합니다.

주요 기여

1. 광학 흐름에 대한 EMD 적용: 본 연구는 광학 흐름 시계열에 경험적 모드 분해를 적용하는 것을 도입합니다. 이를 통해 비정상 교통 운동을 고유 모드 함수로 적응적으로 분해하여 혼잡 수준을 구별하는 데 중요한 다중 스케일 시간적 역학을 특징짓고, 고정된 윈도우 시간 분석에 대한 견고한 대안을 제공합니다.
2. 하이브리드 신호 - 비전 프레임워크: 본 논문은 고전적인 신호 처리 (EMD) 와 현대적인 딥러닝 (듀얼 인코더 및 주의) 을 매끄럽게 결합한 통합 아키텍처를 제시합니다. 이 통합은 공간 비디오 분석과 시간적 패턴 인식을 연결하여 순수 비전 기반 또는 순수 센서 기반 접근 방식의 한계를 해결합니다.

실험 결과
이 프레임워크는 시애틀 I-5, AI-City Challenge 2021, 테네시 TDOT, 뉴욕 511NY 등 네 가지 감시 네트워크에서 수집된 1,050 개의 5 초 클립으로 구성된 데이터셋에서 평가되었으며, 맑음, 비, 눈, 안개, 야간 등 다양한 조건을 포함합니다.

• 성능: FLO-EMD 는 전체 테스트 정확도 **97.5%**와 가중 F1 점수 0.9742를 달성하여, TimeSformer 및 Video Swin Transformer 와 같은 트랜스포머 기반 모델, X3D 및 TANet 과 같은 CNN 기반 모델, TSM 및 YOLO+LSTM 과 같은 하이브리드 파이프라인을 포함한 기존 베이스라인을 능가했습니다.
• 견고성: 이 모델은 환경 조건 전반에 걸쳐 일관된 성능을 보였으며, 비 조건에서 가장 낮은 정확도 (93.50%) 를, 맑은 낮 시간대에 가장 높은 정확도 (98.50%) 를 기록했습니다.
• 절차 연구 (Ablation Studies):
  • 흐름 유도 주의를 제거하면 성능이 크게 저하되고 과적합이 증가하여, 운동 조건부 특징 정제의 필요성이 확인되었습니다.
  • EMD 분기를 제거하면 정확도가 감소하여 적응적 시간적 분해의 가치를 입증했습니다.
  • 민감도 분석은 4 개의 IMFs 를 유지하는 것이 뚜렷한 시간적 행동을 포착하는 것과 짧은 수명의 변동에 대한 과적합을 피하는 것 사이의 최적 균형을 제공함을 나타냈습니다.
• 해석 가능성: 주의 시각화는 흐름 유도 메커니즘이 차량 대기열과 같은 교통 활성 영역에 성공적으로 집중하고 정적 배경 요소에는 집중하지 않았음을 보여주었으나, 흐름 아티팩트로 인해 일부 주의가 도로 어깨에 할당되기도 했습니다.

의의 및 주장
본 논문은 FLO-EMD 가 운동 증거를 공간적 특징 선택과 연결하면서 데이터 적응적 시간적 특징화를 유지하는 통합 솔루션을 제공한다고 주장합니다. 기존 CCTV 인프라를 활용함으로써 이 방법은 교통 당국이 추가적인 도로변 센서 설치 없이 감시 범위를 확장할 수 있게 합니다. 저자들은 이 프레임워크의 명시적인 운동 주도 특성이 악천후 및 저조도 조건에서도 신뢰할 수 있는 작동을 지원하여, 지능형 교통 시스템 내의 일상적인 통로 모니터링 및 실시간 운영 의사결정 지원에 적합하다고 주장합니다. 본 연구는 운동 조건부 공간 분석과 적응적 시간적 분해의 결합이 신뢰할 수 있는 혼잡 분류를 위한 효과적인 방향이라고 결론지었으나, 복잡한 도시 교차로로의 일반화 한계와 경계 아티팩트에 의해 주의가 영향을 받을 수 있는 가능성은 인정했습니다.