기술 요약: InfraNet: 효율적인 적외선 객체 탐지를 위한 품질 인식 RGB 가이드

1. 문제 정의

열악한 시각적 조건(예: 저조도, 눈부심, 안개) 하에서의 강건한 객체 탐지는 멀티모달 인지 시스템의 중요한 과제로 남아 있습니다. 적외선(IR) 센싱은 주변 광원과 독립적으로 열 복사를 포착함으로써 강건함을 제공하지만, 기존의 융합 기반 방법들은 일반적으로 학습과 추론 과정 모두에서 RGB와 IR 모달리티를 동일하게 취급합니다. 이러한 "동등한 취급" 가정은 열악한 조건에서 RGB 모달리티가 갖는 불신성(unreliability)이라는 결정적인 결함을 간과합니다.

RGB 이미지가 심하게 저하될 때(예: 어두워지거나 노이즈가 심해질 때), 신뢰할 수 있는 IR 특징에 이들을 무분별하게 융합하는 것은 무관하거나 해로운 정보를 도입하여 전체 탐지 정확도를 떨어뜨리는 "부정적 전이(negative transfer)"를 초래할 수 있습니다. 또한, 현재 대부분의 최첨단(SOTA) 융합 방법들은 추론 시에 이중 모달 입력을 요구하므로, RGB 센서를 사용할 수 없거나 손상된 상황에서는 실용성이 떨어집니다. 따라서 RGB를 학습 중에는 IR 학습을 강화하기 위한 가이드 신호로 활용하되, 추론 시에는 효율적이고 높은 정확도의 IR 단독 배포를 허용하는 프레임워크가 필요합니다.

2. 방법론

핵심 프레임워크: InfraNet

저자들은 RGB 가이드를 학습 중에 조절하도록 설계되었으며, RGB-IR 또는 IR 단독 모드에서의 유연한 배포를 지원하는 IR 중심의 품질 인식 프레임워크인 InfraNet을 제안합니다. InfraNet은 다음과 같은 비대칭 구조를 채택합니다:

1. 주 경로(Primary IR Pathway): 예측을 위해 다중 스케일 적외선 특징을 추출합니다.
2. 보조 경로(Auxiliary RGB Pathway): 신뢰도가 제어된 감독 신호를 제공합니다.

핵심 구성 요소: QualGate

InfraNet의 핵심 혁신은 네트워크 내 여러 스케일에 배치된 품질 인식 융합 모듈인 QualGate입니다. QualGate는 교차 모달 상호작용을 동적으로 조절하기 위해 작업 지향적 제어 신호를 학습합니다. 그 작동 방식은 두 가지 병렬 메커니즘을 포함합니다:

• 신뢰도 제어 점수 ($q$): 보조 RGB 특징($A_{in}$)으로부터 경량 MLP를 사용하여 스칼라 점수 $q \in (0, 1)$를 예측합니다. 이 점수는 수기로 제작된 이미지 품질 지표가 아니라 탐지 목적에 최적화됩니다.
• RGB 억제 게이트 (RGB Suppression Gate): 보조 기여도는 $w_{rgb}(q) = q$에 의해 가중치가 부여됩니다. RGB 품질이 낮을 때($q$가 낮을 때), 노이즈 주입을 방지하기 위해 RGB 가이드의 비중을 낮춥니다.
• IR 증폭 게이트 (IR Amplification Gate): 동시에, 역 신뢰도 이득 $\alpha(q)$가 IR 스트림에 적용됩니다. $\alpha(q) = \text{clip}(1.5 - q; 1.0, 1.5)$로 정의된 이 메커니즘은 RGB 가이드가 약할 때 IR 특징의 기여도를 높여 IR 표현이 견고하게 유지되도록 합니다.
• 융합 (Fusion): 최종 출력 $A_{out}$은 억제된 보조 항과 증폭된 IR 주입의 결합입니다:
  $$A_{out} = w_{rgb}(q) \cdot A_{in} + \sum_{k=1}^{K} \alpha(q) \cdot g_k \cdot F_k$$
  여기서 $F_k$는 정렬된 IR 특징을 나타내며, $g_k$는 콘텐츠 게이트입니다.

아키텍처 변형

InfraNet을 기반으로 두 가지 특정 아키텍처가 설계되었습니다:

1. InfraNet-IR: 계산 효율성에 최적화된 경량 단일 브랜치 네트워크입니다. 쌍을 이룬 RGB-IR 입력을 사용하여 학습되지만(특권적 보조 감독으로서 RGB 활용), IR 단독 추론으로 배포됩니다. 테스트 시에는 RGB 브랜치와 모든 융합 모듈이 제거되어 추가적인 오버헤드가 발생하지 않습니다.
2. InfraNet-RGB-IR: 학습과 추론 과정 모두에서 RGB와 IR 입력을 처리하며, 신뢰도 제어된 교차 모달 융합을 위해 QualGate를 사용하는 고용량 이중 브랜치 구조입니다.

학습 전략

프레임워크는 다음과 같은 비대칭 손실 함수를 사용합니다:
$$\mathcal{L} = \mathcal{L}^{(\text{main})}_{\text{det}} + w_{\text{aux}} \mathcal{L}^{(\text{aux})}_{\text{det}}$$
여기서 보조 손실 가중치 $w_{\text{aux}}$는 0.25로 설정됩니다. 이는 최적화가 적외선 경로에 의해 지배되도록 하면서, 보조 브랜치가 IR 표현을 강화하기 위해 적응형 가이드를 제공하도록 보장합니다.

3. 주요 기여

• InfraNet 프레임워크: RGB를 신뢰도가 제어된 보조 신호로 취급하여 IR 단독 배포를 가능하게 하는, 품질 인식 및 RGB 가이드 기반의 적외선 객체 탐지 프레임워크를 제안합니다.
• QualGate 모듈: 신뢰할 수 없는 RGB 가이드를 억제하고 IR 특징을 보상하여, 저하된 RGB 데이터로부터의 부정적 전이 위험을 완화하는 새로운 작업 지향적 제어 신호 학습 융합 메커니즘을 제시합니다.
• 이중 모드 배포: 효율적인 단일 모달 추론과 고용량 이중 모달 융합 모두에서 경쟁력 있는 성능을 달리는 두 가지 변형(InfraNet-IR 및 InfraNet-RGB-IR)을 구현합니다.

4. 실험 결과

본 방법은 LLVIP, FLIR-Aligned, M3FD, DroneVehicle의 4가지 벤치마크 데이터셋에서 평가되었습니다.

• 성능: InfraNet은 모든 데이터셋에서 강력하거나 경쟁력 있는 정확도를 달성했습니다.
  • LLVIP에서 RGB-IR 변형(YOLOv8)은 70.5% mAP를 달성하여 SOTA인 WaveMamba(66.0%)를 능가했습니다. IR 단독 변형은 추론 오버헤드 없이 68.8% mAP를 달성했습니다.
  • FLIR-Aligned에서 IR 단독 변형(ResNet50)은 53.0% mAP와 함께 9.4ms의 추론 시간을 기록하여, 경쟁력 있는 정확도를 유지하면서도 이중 모달 경쟁 모델들보다 훨씬 빨랐습니다.
  • DroneVehicle에서 IR 단독 YOLOv12 변형은 84.7% mAP50을 달성하여 WaveMamba를 +4.9% 절대 수치로 앞질렀으며, 특히 소형 객체(예: 자동차, 버스) 탐지에서 주목할 만한 개선을 보였습니다.
  • M3FD에서 본 방법은 RGB 가시성이 심각하게 저하되는 야간 및 챌린지 서브셋에서 강건함을 입증했습니다.
• 효율성: InfraNet-IR은 배포 시 RGB 브랜치와 융합 모듈을 완전히 제거함으로써 IR 단독 추론 시 높은 효율성을 유지합니다.
• Ablation 연구: 실험을 통해 QualGate의 RGB 억제 및 IR 증폭 브랜치가 모두 필수적임을 확인했습니다. 하나라도 제거될 경우 성능 저하가 발생했습니다. 학습된 제어 점수 $q$는 명시적인 품질 주석 없이도 제어된 RGB 저하(안개, 밝기 변화)에 효과적으로 적응하는 것으로 나타났습니다.

5. 의의 및 주장

본 논문은 InfraNet이 "동등한 융합"에서 "IR 중심의 품질 인식 가이드"로 패러다임을 전환함으로써, 열악한 조건에서의 RGB 불신성 문제를 해결한다고 주장합니다.

• 강건성: 신뢰할 수 없는 RGB 신호를 억제하고 IR 특징을 증폭함으로써, IR 표현의 오염을 방지하여 저조도 및 악천후에서도 안정적인 탐지를 가능하게 합니다.
• 배포 유연성: 추론 시 이중 모달 입력을 요구하는 기존 융합 방법들과 달리, InfraNet-IR은 RGB 센서를 사용할 수 없거나 손상된 시나리오를 위한 실용적인 솔루션을 제공하며, 런타임 시 이중 스트림 구조를 유지하기 위한 계산 비용 없이 높은 정확도를 달성합니다.
• 효율성: 학습 중의 보조 감독이 런타임 오버헤드 없이 IR 단독 성능을 크게 향상시킬 수 있음을 보여주며, 이는 자율 주행 및 UAV 감시와 같은 자원 제한적인 애플리케이션에 적합합니다.