Trajectory-Aware Adaptive Inference in Object Detection Models

기술 요약: 물체 탐지 모델의 궤적 인식 적응형 추론

문제 제기
자율 해상 항해에 센서가 통합되면서 대규모 멀티모달 데이터셋이 생성되었고, 이로 인해 효율적인 실시간 인지 수요가 증가했습니다. 해상 항과 같은 동적 환경에서는 물체 탐지와 궤적 인식이 긴밀하게 연결되어 있지만, 물체 탐지 모델의 추론 효율성은 종종 간과됩니다. YOLO 계열과 같은 표준 탐지기는 장면의 난이도와 관계없이 모든 입력에 대해 균일한 계산 노력을 적용합니다. 이러한 정적 접근법은 지연 시간과 에너지 효율성이 중요한 자원 제약 환경 (예: 자율 수면 차량 또는 ASV) 에서는 최적의 방법이 아닙니다. 기존 적응형 추론 방법인 다중 종료 신경망과 같은 방법들은 일반적으로 엔트로피나 소프트맥스 확률과 같은 내부 모델 신뢰도 신호에 의존하며, 외부 맥락 데이터를 활용하지는 않습니다. 따라서 장면 복잡도에 따라 계산 부하를 동적으로 조정할 수 있도록 외부 궤적 데이터를 활용하는 추론 전략이 필요합니다.

방법론
저자들은 GPS 궤적 데이터를 YOLOv8 기반 탐지기의 추론 과정에 통합하는궤적 인식 적응형 추론 프레임워크를 제안합니다. 방법론은 세 가지 주요 단계로 구성됩니다:

1. 탐지기 적응 및 스케일 인식 미세 조정:

   • 기본 YOLOv8 모델을 해상 데이터셋으로 미세 조정합니다.
   • YOLOv8이 서로 다른 스케일에서 작동하는 세 개의 탐지 헤드 (P3, P4, P5) 를 통해 암시적 다중 종료 구조를 가지고 있음을 인식하여, 저자들은 이러한 헤드를 잠재적 종료 지점으로 간주합니다.
   • 스케일 인식 학습률 전략이 사용됩니다. 훈련 데이터의 바운딩 박스는 크기 (작음, 중간, 큼) 에 따라 분류됩니다. 학습률은 데이터셋 내 해당 물체 크기의 빈도와 난이도에 따라 각 탐지 헤드에 할당됩니다. 과대표되거나 도전적인 물체 크기와 관련된 헤드는 적절한 전문화를 보장하기 위해 더 높은 학습률을 받습니다.

2. 궤적 기반 난이도 추정:

   • 내부 신뢰도에 의존하는 대신, 시스템은 동기화된 GPS 데이터에서 파생된 외부 운동 단서를 활용합니다.
   • 각 프레임 (또는 1 초 윈도우) 에 대해 두 가지 주요 지표를 계산합니다:
     • 선간 거리 ($d_t$): 하버사인 공식을 사용하여 계산합니다.
     • 접근률 ($v_t$): 이동하는 물체 간의 거리가 시간에 따라 감소하는 비율입니다.
   • 이러한 지표는"장면 난이도"의 대용량으로 작용합니다. 선박이 가까이 있고 수렴률이 높은 시나리오는 복잡하다고 간주되는 반면, 잘 분리되고 천천히 이동하는 시나리오는 단순하다고 간주됩니다.

3. 적응형 추론 제어 (조기 종료 정책):

   • 조건부 정책이 활성화할 탐지 헤드를 결정합니다:
     • 낮은 복잡성: $d_t > \tau_1$(예: 30m) 이고 $v_t < \tau_2$(예: 0.5 m/s) 인 경우, 고해상도 P3 헤드만 활성화됩니다.
     • 높은 복잡성: 그 외의 경우 전체 모델 (P3, P4, P5 헤드) 이 실행됩니다.
   • 이 접근법은 궤적 데이터가 저위험, 저복잡도 환경을 나타낼 때 네트워크의 계산적으로 비용이 많이 드는 부분을 우회할 수 있게 합니다.

주요 기여

• 멀티모달 적응형 추론: 컴퓨터 비전과 이동성 데이터 (GPS 궤적) 를 통합하여 계산 자원 할당을 안내함으로써, 신뢰도 기반 조기 종료를 넘어섭니다.
• 스케일 인식 미세 조정: 대상 도메인 내 물체 크기의 기하학적 분포에 기반하여 탐지 헤드별 학습률을 조절하는 방법론으로, 헤드를 독립적 작동을 위해 최적화합니다.
• 실증적 검증: 제안된 YOLOv8 모델에 대한 포괄적인 평가를 통해 헤드별 지연 시간 - 정확도 트레이드오프에 대한 통찰력을 제공하고 궤적 기반 추론 제어의 유효성을 입증합니다.

실험 결과
이 프레임워크는 onboard ASV 카메라의 동기화된 비디오와 동일한 플랫폼의 GPS 궤적 데이터로 구성된 데이터셋 (250 개 GPS 기록, 3,686 개 비디오 프레임) 을 사용하여 평가되었습니다.

• 헤드 성능: 탐지 헤드의 독립적 평가 결과, P4 헤드(중간 스케일) 가 탐지 수를 주도하며 모델 변형 (Nano, Small, Medium) 전반에서 가장 높은 단독 성능 (mAP@50) 을 달성했습니다. P3 헤드는 더 큰 모델에서 작은 물체에 대한 민감도가 증가한 것으로 나타났습니다.
• 계산 효율성: 개별 헤드를 활성화하면 헤드와 모델 크기에 따라 ~18% 에서 ~33% 까지 상당한 FLOPs 절감 효과와 속도 향상 (Nano 모델의 P3 의 경우 최대 1.61 배) 을 얻었습니다.
• 적응형 전략 성능: 거리 30m 및 접근률 0.5 m/s 임계값으로 설정된 현실적인 해상 시나리오에서:
  • 3,686 프레임 중 3,027 프레임(약 82%) 이 P3 헤드만 사용하여 처리되었습니다.
  • 중앙값 추론 지연 시간은 10.097 ms/프레임(전체 모델) 에서 6.686 ms/프레임(P3 만) 으로 감소했습니다.
  • 비디오 시퀀스의 총 처리 시간은 예상 37.22 초에서 26.89 초로 감소했습니다.
  • 이 전략은 허용 가능한 탐지 정확도와 함께 감소된 지연 시간을 균형 있게 유지하며 효과적인 추적 성능을 유지했습니다.

의의 및 주장
이 논문은 제안된 프레임워크가 정확도와 효율성 간의 유연한 트레이드오프를 제공하여 자율 해상 항해와 같은 실시간 자원 제약 응용 프로그램에 특히 적합하다고 주장합니다. 외부 궤적 단서를 활용함으로써 시스템은 복잡한 내부 신뢰도 모델링 없이 입력 적응형 계산을 달성합니다. 저자들은 이 접근법이 처리 오버헤드와 지연 시간을 크게 낮추면서도 동적 환경에서 예측 성능을 유지한다고 지적합니다.

향후 작업
저자들은 다음과 같은 향후 방향을 제안합니다:

• DETR 과 같은 대체 아키텍처로 방법 일반화.
• 악천후, 센서 노이즈, 낮은 가시성과 같은 까다로운 조건 하에서 견고성 테스트.
• 궤적 및 시각 정보의 융합을 더욱 강화하기 위해 GPS 좌표와 이미지 좌표 간의 명시적 매핑 통합.