Evaluating an Adaptive Multispectral Turret System for Autonomous Tracking Across Variable Illumination Conditions

기술 요약: 가변 조명 조건에서의 자율 추적을 위한 적응형 다중 스펙트럼 터렛 시스템 평가

문제 정의
자율 로봇 플랫폼은 긴급 서비스 및 국방과 같은 핵심 분야에 점점 더 많이 배치되고 있으며, 예측 불가능한 환경 조건에서도 신뢰할 수 있는 실시간 객체 탐지를 필요로 한다. 전통적인 RGB(Red-Green-Blue) 탐지 파이프라인은 저조도 환경에서 성능이 크게 저하되는 반면, 장파장 적외선(LWIR) 열화상 시스템은 어둠 속에서 효과적이지만 가시광선 센서가 제공하는 색상 및 질감 정보를 결식한다. 기존의 다중 모드 융합 접근 방식은 벤치마크 성능과 실제 운영 신뢰성 사이의 불일치, 특히 인간의 개입 없는 동적 조명 변화에 대한 융합 전략, 임베디드 플랫폼에서의 계산 효율성 및 적응성 간의 트레이드오프 문제로 인해 어려움을 겪는 경우가 많다.

방법론
저자들은 RGB와 LWIR 비디오 스트림을 융합하여 자율 추적 성능을 향고시키는 적응형 프레임워크를 개발하였다. 시스템 아키텍처는 RGB 카메라(Emeet S600), 열화상 카메라(FLIR Vue Pro R), 그리고 주변 광 센서(Adafruit VEML-7700)를 갖춘 라즈베리 파이 5 기반의 터렛 프로토타입으로 구성된다. 파이는 센서 데이터를 계산 집약적인 추론을 수행하는 원격 서버로 전달하며, 서버는 팬(pan) 및 틸트(tilt) 제어를 위한 스텝 모터에 탐지 좌표를 반환한다.

핵심 실험 방법론은 다음과 같다:

1. 데이터 수집: 회전 플랫폼 위의 다양한 색상의 머그컵을 대상으로 동기화된 RGB 및 열화상 비디오 스트래임을 기록하였다. 약 22,000개의 융합 이미지가 생성 및 주석 처리되었다.
2. 조명 범주화: 장면은 럭스(lux) 측정값을 기준으로 세 가지 범주로 분류되었다: 풀 라이트(Full-light, >1000 lux), 디머 라이트(Dim-light, 10–1000 lux), 노 라이트(No-light, <10 lux).
3. 융합 전략: 프레임은 순수 RGB부터 순수 LWIR까지 범위가 11단계인 11개의 비율($\alpha$는 1.0에서 0.0까지 0.1씩 감소)을 사용하여 선형 블렌딩 공식($F = \alpha \cdot RGB_{norm} + (1 - \alpha) \cdot LWIR_{norm}$)으로 융합되었다.
4. 모델 학습: 저자들은 33개의 서로 다른 YOLOv11 nano (YOLOv11n) 모델을 미세 조정(fine-tuning)하였다. 각 모델은 하나의 융합 비율과 하나의 조명 범주의 조합에 특화되었다. 비교를 위해 두 개의 사전 학습된 베이스라인(COCO 데이터셋으로 학습된 YOLOv5n 및 YOLOv11n)이 사용되었다.
5. 평가: 성능은 6가지 머그컵 색상(테일(teal) 및 옐로우(yellow)를 포함한 두 가지 제외 색상 포함)에 대한 평균 탐지 신뢰도를 사용하여 측정되었다. 가장 견고한 모델을 식별하기 위해 평균 신뢰도와 표준 편차(변동성) 사이의 균형을 맞추는 복합 점수가 계산되었다.

주요 기여
본 논문은 세 가지 주요 기여를 제시한다:

1. 실용적인 융합 접근 방식: 다양한 조명 조건에서 타겟 가시성을 개선하기 위해 정렬된 RGB 및 LWIR 이미지를 다양한 불투명도로 혼합하는 방법.
2. 특화된 모델 학습: 22,000개 이상의 주석 처리된 이미지를 활용하여 특정 조명 체계에 최적화된 융합 구성을 식별하기 위한 33개 YOLO 모델의 학습 및 평가 (저자들이 오픈 소스로 공개함).
3. 적응형 프레임워크: 주변 조도 읽기에 따라 최적의 탐지 모델을 동적으로 선택하는 런타임 시스템을 구현하여, 수동 개입 없이 조명별 모델 간 전환을 가능하게 함.

결과
평가 결과, 적응형 RGB–LWIR 융합은 모든 조건에서 단일 모드 베이스라인(YOLOv5n 및 YOLOv11n)보다 유의미하게 우수한 성능을 보였다:

• 풀 라이트(Full-Light): 최적의 구성은 80% RGB / 20% LWIR였으며, **92.8%**의 평균 신뢰도를 달성했다. 이는 YOLOv11n 베이스라인(82.6%)과 YOLOv5n(71.5%)을 크게 상회하는 수치이다.
• 디머 라이트(Dim-Light): 90% RGB / 10% LWIR 구성이 **92.0%**의 평균 신뢰도로 가장 높은 성능을 나타냈으며, 이는 YOLOv11n(72.4%) 및 YOLOv5n(69.5%) 베이스라인을 능가했다.
• 노 라이트(No-Light): 성능은 중간 단계의 융합 수준에서 정점을 찍었다. 40% RGB / 60% LWIR 모델은 **71.0%**의 신뢰도를 달성했다. 50/50 비율이 약간 더 높은 평균 신뢰도를 보였으나, 40/60 비율이 훨씬 낮은 변동성(더 높은 복합 점수) 덕분에 최적으로 선택되었다. 두 융합 모델 모두 베이스라인(YOLOv11n: 54.1%; YOLOv5n: 38.4%)보다 우수했으나, 통계적 유의성은 밝은 조건보다 낮았다.
• 일반화: 시스템은 제외된 머그컵 색상(테일 및 옐로우)에 대해서도 높은 신뢰도를 유지하여, 학습된 융합 동작이 훈련 세트를 넘어 일반화됨을 입증했다.

의의 및 주장
저자들은 본 연구가 고정된 융합 전략이나 단일 모드 탐지보다 적응형, 조명 인지형 융합의 우월성을 입증한다고 주장한다. 실시간 럭스 읽기에 따라 최적의 융합 비율과 그에 해당하는 특화된 모델을 동적으로 선택함으로써, 시스템은 베이스라인 YOLO 모델 대비 평균 탐지 신뢰도에서 최대 30%의 절대적 이득을 얻는다.

본 논문은 가변적인 환경에서 고정된 융합 비율은 최적이 아니라는 점을 강조한다. 대신, 제안된 조건별 모델 학습 방식은 시스템이 밝은 조건에서는 RGB(질감, 색상)의 강점을 활용하고 어두운 곳에서는 LWIR(열 신호)의 강점을 활용하면서, 한 모달리티가 저하될 때 중간 단계의 혼합을 통해 탐지를 안정화할 수 있도록 한다. 저자들은 이 접근 방식이 복잡하고 계산 비용이 많이 드는 온라인 특징 재가중치(feature reweighting) 대신 단일 센서 읽기에 의존하여 임베디드 시스템 배포를 단순화한다고 언급한다. 결과는 이 프레임워크가 조명 조건이 급격히 변할 수 있는 자율 보안 터렛, 이동 로봇, 수색 및 구조 작업과 같은 미션 크리티컬한 작업에 직접 적용될 수 있음을 시사한다.

한계점
저자들은 정적 훈련 이미지와 동적 움직임 간의 훈련-테스트 도메인 변화, 수동 주석 처리로 인한 레이블 노이즈 가능성, 단일 고정 열 색상 팔레트 사용 등을 포함한 몇 가지 한계를 인정하였다. 또한 센서 노이즈와 열 반사가 간혹 오탐(false positives)을 유발한다고 언급하였다. 향-후 연구로는 데이터 다양성 확대, 데이터 증강 적용, 시간적 추론 아키텍처 탐구 등을 통해 이를 해결할 것을 제안하였다.