Fusion or Confusion? Assessing the impact of visible-thermal image fusion for automated wildlife detection

기술 요약: 융합인가 혼란인가? 자동화된 야생동물 탐지를 위한 가시광-열화상 이미지 융합의 영향 평가

문제 정의
효과적인 야생동물 모니터링은 생물 다양성 보존에 매우 중요하지만, 기존 방식(직접 관찰, 카메라 트랩)은 접근성, 관찰자 편향 및 효율성 측면에서 한계가 있습니다. 가시광(VIS) 센서와 딥러닝을 결합한 항공 이미지는 유망한 대안이지만, 단일 센서 모달리티에 의존하는 것은 은폐된 종을 탐지하거나 복잡한 배경으로부터 목표물을 구별하는 데 실패할 수 있습니다. 열적외선(TIR) 이미지는 상호 보완적인 정보, 특히 열 신호를 탐지하는 데 유용하지만, 가시광 센서에 비해 공간 해상도가 낮고 시야각(FOV)이 다르다는 단점이 있습니다.

본 연구에서 다루는 핵심 과제는 VIS와 TIR 데이터를 정렬하고 융합하는 데 따르는 어려움입니다. 서로 다른 FOV와 해상도로 인한 불일치는 모델 성능을 저하시킬 수 있습니다. 또한, 초기 융합(입력 단계에서의 결합)과 후기 융합(모델 출력의 결합)은 이미 알려진 개념이지만, 최신 객체 탐지 모델을 사용하여 동기화된 항공 VIS-TIR 이미지 상에서 이러한 특정 방법들을 비교한 공개된 연구는 부족한 실정입니다.

연구 방법론
저자들은 캐나다 퀘벡의 6개 헤론리(heronries)에서 대형 청헤론(Ardea herodias)과 그들의 둥지에 초점을 맞춘 사례 연구를 수행했습니다. 데이터는 Zenmuse H20T 센서가 장착된 DJI Matrice 300 드론을 사용하여 동기화된 VIS(4056 × 3040 픽셀) 및 TIR(640 × 512 픽셀) 이미지를 획득했습니다.

방법론은 세 가지 주요 단계로 구성되었습니다:

1. 이미지 정렬: 상당한 FOV 차이(VIS가 TIR보다 약 5배 더 큼)로 인해 VIS 이미지는 중앙 크롭(center-cropped)되었습니다. 가시광-열화상 쌍을 자동으로 정렬하기 위해 딥러닝 기반 특징 매칭 프레임워크인 LightGlue가 채택되었습니다. 특징점(keypoints)이 부족(≤45)하거나 정렬 오차가 높은(>68 px) 쌍은 폐기되었으며, 최종적으로 755개의 정렬된 이미지 쌍이 확보되었습니다.
2. 주석(Annotation): 객체는 바운딩 박스로 라벨링되었습니다. VIS 이미지의 클래스는 "점유된 둥지(occupied nest)", "빈 둥지(empty nest)", "고립된 개체(isolated individual)"를 포함합니다. 둥지가 거의 보이지 않는 TIR 이미지의 경우, 모든 헤론(고립되거나 둥지 안의 개체 모두)을 단일 "헤론(heron)" 클래스로 라벨링했습니다.
3. 모델 학습 및 융합 전략: 본 연구는 분석 시점의 최신 YOLO 아키텍처인 YOLO11n을 활용했습니다. 동일한 테스트 세트에 대해 세 가지 접근 방식을 비교했습니다:
   • VIS 전용(VIS-only): 가시광 이미지만으로 학습된 베이스라인 모델입니다.
   • 초기 융합(Early Fusion): VIS와 TIR 밴드를 입력 단계에서 융합합니다. VIS 이미지는 YCbCr 색 공간으로 변환되었으며, R, G, B 및 TIR 밴드에 PCA(주성분 분석)가 적용되었습니다. R과 TIR에 가중치를 둔 첫 번째 주성분이 휘도(Y) 채널을 대체하여, 학습을 위한 새로운 융합 RGB 이미지를 생성했습니다.
   • 후기 융합(Late Fusion): VIS와 TIR 데이터에 대해 독립적인 모델을 학습시킵니다. 이들의 탐지 출력(바운딩 박스 및 점수)은 기하학적으로 교차됩니다. 이후 분류 및 회귀 트리(CART) 알고리즘이 클래스 점수, IoU(Intersection over Union) 값, 원-핫 인코딩된 결정 등의 특징을 바탕으로 최종 분류를 수행하도록 학습되었습니다. 이 방식은 또한 교차하지 않는 박스들을 단일 모달리티 탐지로 유지하며 처리합니다.

주요 결과
연구는 테스트 데이터셋(점유된 둥지 316개, 빈 둥지 35개, 고립된 개체 20개)에 대해 F1 스코어, 정밀도(precision), 재현율(recall)을 사용하여 성능을 평가했습니다.

• 베이스라인 성능: VIS 전용 모델은 전체 F1 스코어 56.6%(매크로 평균)를 달 기록했으며, 다수 클래스(점유된 둥지: 90.2%)에서는 강력한 성능을 보였으나 소수 클래스(빈 둥지: 44.0%; 고립된 개체: 35.7%)에서는 현저히 낮은 점수를 기록했습니다. TIR 전용 모델은 "헤론" 클래스에 대해 85.4%의 F1 스코어를 달성했습니다.
• 초기 융합: 이 접근 방식은 VIS 전용 모델에 비해 소수 클래스의 탐지 능력을 개선했습니다(예: 고립된 개체 탐지가 55.6%로 증가). 미탐지율(false negatives)을 4%로 줄였으나, 오탐지율(false positives)은 9%로 약간 증가했습니다. 전체 F1 스코어는 64.3%였습니다.
• 후기 융합: 이 방법은 주요 타겟인 점유된 둥지 탐지에서 탁월한 성과를 보였으며, 가장 높은 F1 스코어(93.0%)와 가장 낮은 미탐지율(3%)을 기록했습니다. 그러나 다른 방법들에 비해 오탐지율(14%)이 높았습니다. 주목할 만한 발견은 CART 분류기가 상관관계가 없는 오류를 효과적으로 필터링하여 두 소스 모두에서 발생하는 오탐지를 90%의 재현율로 식별해냈다는 점입니다.
• 데이터 손실: 초기 융합의 엄격한 정렬 요구 사항으로 인해, 주로 수면 배경에서의 특징점 부족으로 인해 가용 이미지 쌍의 61%가 폐기되었습니다. 후기 융합은 픽셀 단위의 완벽한 정렬에 덜 민적하여 더 많은 데이터를 활용할 수 있었습니다.

의의 및 주장
본 논문은 동기화된 항공 VIS-TIR 야생동물 탐지에 대해 후기 융합을 초기 융합과 성공적으로 비교 적용한 첫 사례라고 주장합니다. 저자들은 융합 방법이 일반적으로 단일 소스 모델보다 부가적인 가치를 제공하지만, 방법의 선택에는 트레이드오프가 따른다고 단언합니다:

• 후기 융합은 주요 타겟(점유된 둥지)에 특히 효과적이며, 불완전한 이미지 정렬을 허용함으로써 데이터 손실을 줄이고 운영상의 견고함을 제공합니다.
• 초기 융합은 소수 클래스에 대한 유망함을 보여주지만, 정밀한 픽셀 수준의 정렬이 필요하다는 제약이 있습니다.
• 운영적 제한: 저자들은 특정 종(대형 청헤론) 조사에 있어서, 주간의 높은 VIS 전용 모델 성능을 고려할 때 융합 방식의 부가 가치가 아직 운영상의 복잡성이나 데이터 손실을 정당화할 만큼은 아니라고 겸허히 결론지었습니다. 저자들은 융합 기술이 은폐된 종(예: 흰꼬리사슴)이나 야행성/박명성 조사를 위한 TIR이 VIS에서 얻을 수 없는 중요한 정보를 제공하는 상황에서 더 유용할 것이라고 제안합니다.
• 향후 방향: 연구는 현재의 드론 기반 융합 방식(좁은 FOV와 정렬 제약이 있음)보다 항공기에 장착된 초고해상도 가시광 센서(넓은 FOV)를 사용하는 것이 운영 조사에 더 실질적인 절충안이 될 수 있음을 시사합니다.

이 연구는 자동화된 야생동물 모니터링을 위한 딥러닝의 잠재력을 강조하는 동시에, 실제 조사 맥락에서 다중 센서 데이터 통합의 기술적 장애물을 현실적으로 다루고 있습니다.