A Task-Driven Evaluation of UAV Detection and Tracking under Synthetic Fog

기술 요약: 합성 안개 환경에서의 UAV 탐지 및 추적에 관한 과업 중심 평가

문제 정의

개활지에서 소형 무인 항공기(UAV)를 안정적으로 탐지하고 추적하는 것은 상황 인식 및 회피 시스템을 위해 매우 중요하다. 그러나 안개는 하늘이 지배적인 장거리 이미지에서 타겟과 배경 간의 대비를 감소시키고, 작고 먼 물체를 인식하는 데 필수적인 고주파 세부 정보를 억제함으로써 성능을 심각하게 저하시킨다. 단일 이미지 디헤이징(dehazing) 기술은 크게 발전했으나, 기존 벤치마크들은 이미지 수준의 복원 지표(예: PSм, SSIM)의 개선이 다운스트림 인지 작업의 비례적인 이득으로 이어지는지를 입증하는 데 실패하는 경우가 많다. 또한, 특히 안개 효과가 깊이(depth)에 의해 강력하게 유도되는 시나리오에서, 깊이 인지적 안개 합성, 이미지 복원, 그리고 UAV 탐지/추적을 통제된 프로토콜 내에서 연결하는 체계적인 과업 수준의 연구가 부족하다.

방법론

저자들은 훈련, 탐지 추론, 추적 추론의 세 단계로 구성된 통합된 과업 중심 평가 파이프라인을 제안한다.

1. 합성 안개 생성

주석이 달린 안개 낀 UAV 데이터의 부족을 해결하기 위해, 본 연구는 실제 맑은 날씨의 이미지로부터 합성 안개를 생성하기 위해 깊이 인지적 대기 산란 모델(Atmospheric Scattering Model, ASM)을 사용한다.

• 깊이 추정: 상대적 깊이 표현을 밀도 있게 제공하기 위해 MiDaS를 사용하여 단안 깊이를 추정한다.
• 정규화: 일관된 스케일링을 보장하기 위해 데이터셋 특정 백분위수를 사용하여 원시 깊이 맵을 정규화한 후, 더 큰 값이 더 먼 지점에 해당하도록 반전시킨다.
• 안개 합성: 안개가 낀 이미지 $I(x)$는 $I(x) = J(x)t(x) + A(1 - t(x))$ 식을 사용하여 합성된다. 여기서 $J(x)$는 깨끗한 복사 휘도, $A$는 전역 대기 광도, $t(x) = \exp(-\beta d(x))$는 투과율 맵이다. 매개변수 $\beta$는 안개의 심각도를 조절하며, 가벼운 안개부터 심각한 저하까지 시뮬레이션하기 위해 다섯 단계($0.4, 0.8, 1.6, 2.4, 3.6$)로 변화시킨다.

2. 이미지 복원 평가

MMAUD 데이터셋에서 세 가지 계열의 대표적인 복원 방법들을 평가하여 다운스트림 작업에 가장 적합한 모델을 선정하였다:

• 고전적 방식: 다크 채널 우선법(DCP) 및 컬러 감쇠 우선법(CAP).
• CNN 기반 방식: FFA-Net.
• Transformer 기반 방식: DehazeFormer.
  하늘이 지배적인 이미지에서 우수한 정량적(PSNR, SSIM) 및 정성적 성능을 바탕으로 DehazeFormer가 선정되었다.

3. 탐지 및 훈련 체계

실험에는 CfAR 데이터셋으로 훈련된 YOLO11 제품군(n, s, m) 탐지기가 사용되었다. 두 가지 주요 훈련 전략을 비교하였다:

• 맑은 날씨 전용 훈련(Clean-Only Training): 맑은 이미지만으로 훈련된 탐지기.
• 안개 포함 훈련(Fog-Inclusive Training): 다양한 비율(30%, 50%, 70%, 100% 안개)의 맑은 이미지와 안개로 저하된 이미지를 혼합하여 훈련된 탐지기.
  탐지기는 맑은, 안개 낀, 그리고 복원된 테스트 세트에서 각각 평가되었다.

4. 탐지 기반 추적(Tracking-by-Detection)

추적 성능은 DUT Anti-UAV 데이터셋을 사용하여 ByteTrack 및 BoT-SORT를 통해 평가되었다. 연구는 맑은, 안개 낀, 그리고 복원된 비디오 시퀀스에서의 추적 성능을 측정하였으며, 다중 객체 추적 정확도(MOTA)와 ID F1 점수(IDF1)를 통해 성능을 측정하였다.

주요 기여

1. 과업 중심 프레임워크: 깊이 인지적 안개 합성, 이미지 복원, 객체 탐지 및 추적을 연결하여, 고립된 이미지 복원 품질보다 다운스트림 인지 성능을 우선시하는 통합 파이프라인을 구축하였다.
2. 깊이 인지적 안개 합성: 단안 깊이 추정과 ASM을 사용하여 실제 UAV 이미지로부터 제어된 안개 저하 변형을 생성하는 파이프라인을 구축하였으며, 생성된 데이터셋을 공개하였다.
3. 비교 분석: 기상 저하와 복원이 탐지 견고성 및 시간적 추적 안정성에 미치는 영향을 분석하는 엄격한 실험적 연구를 수행하였으며, 특히 테스트 시점의 복원과 안개 포함 훈련을 비교하였다.

결과

• 안개의 영향: 안개는 주로 거짓 양성(False Positives)보다는 미검출(False Negatives)을 증가시킴으로써 탐지와 추적 모두를 실질적으로 저하시킨다. 안개 심각도가 증가함에 따라 재현율(Recall)이 급격히 떨어지며, 이는 mAP 및 추적 지표(MOTA, IDF1)의 상당한 하락으로 이어진다.
• 복원 vs 훈련:
  • 맑은 날씨 훈련 탐지기: 테스트 시점의 복원은 성능 손실을 부분적으로 회복시켜 일관된 개선을 제공한다. 그러나 복원된 성능이 맑은 날씨의 기준치에 도달하지 못하는 경우가 많으며, 이는 복원이 도메인 차이를 줄이지만 완전히 제거하지는 못함을 나타낸다.
  • 안개 포함 훈련: 안개가 낀 데이터를 포함하여 훈련하는 것이 가장 일관된 성능 향상을 제공한다. 훈련 시 안개의 비율이 높아질수록 안개 낀 입력과 복원된 입력 사이의 성능 격차가 현저히 좁아진다. 일부 경우, 안개 포함 훈련은 복원을 불필요하게 만들거나 오히려 약간 덜 효과적이게 만드는데, 이는 저하된 데이터로부터 직접 학습하는 것이 사후 복원에 의존하는 것보다 우월함을 시사한다.
• 추적 성능: 추적의 견고성은 주로 기초가 되는 탐지기의 견고성에 의해 결정된다. 탐지기가 미검출로 인해 실패할 때, 추적기는 타겟을 복구할 수 없다. 안개 포함 탐지기 훈련은 강력한 추적 성능으로 직접 전이되는 반면, ByteTrack과 BoT-SORT의 선택은 부차적이고 시퀀스 의존적인 효과를 가진다.
• 안정성: 안개 포함 훈련은 안개 심각도에 따른 mAP의 변동 계수(CV)를 크게 감소시키며, 이는 맑은 날씨 전용 훈련에 비해 변화하는 가시성 조건에서도 더 안정적인 성능을 나타냄을 의미한다.

의의 및 주장

본 논문은 이미지 수준의 복원 품질 개선이 반드시 다운스트림 인지의 비례적인 이득으로 이어지지는 않는다고 주장한다. 연구는 맑은 날씨 전용 훈련된 탐지기에게는 복원이 유익하지만, 안개 포함 훈련이 악천후에서의 견고성을 달성하기 위한 더 신뢰할 수 있는 경로임을 입증한다.

저자들은 실제 배포를 위해, 시스템이 복원에 대한 의존도를 줄이기 위해 저하된 데이터로 탐지기를 훈련하는 것을 우선시해야 한다고 결론짓는다. 복원은 맑은 날씨 전용 모델을 위한 유용한 테스트 시점 전처리 단계나, 시각적 명확성이 운영자의 인지에 도움이 되는 인간 참여형(human-in-the-loop) 시나리오에서 여전히 유용할 수 있지만, 이를 보편적인 해결책으로 간주해서는 안 된다. 이러한 결과는 견고성이 격리된 상태가 아닌 탐지와 추적 지표 전반에 걸쳐 공동으로 평가되어야 함을 강조한다. 본 연구는 통제된 합성 안개 평가라는 한계를 인정하며, 실제 악천후 데이터에서의 검증과 다중 모달 인지 탐색을 향후 과제로 제시한다.