Adding Thermal Awareness to Visual Systems in Real-Time via Distilled Diffusion Models

기술 요약: FusionProxy

문제 제기
순수 RGB 기반의 비전 시스템은 야간, 안개, 눈부심과 같은 열악한 환경 조건에서 어려움을 겪으며, 이로 인해 성능 저하와 안전 위험이 발생합니다. 적외선 (열) 이미징은 열을 방출하는 소원을 포착함으로써 중요한 보완 정보를 제공하지만, 기존 고정밀 융합 방법은 실시간 엣지 배포에는 실용적이지 않습니다. 최첨단 확산 기반 융합 모델 (예: DDFM, Mask-DiFuser) 은 우수한 품질을 생성하지만 반복적 샘플링으로 인해 막대한 지연 시간을 겪으며, 종종 프레임당 수 초가 소요됩니다. 반면, 실시간 방법 (예: TarDAL) 은 효과적인 융합을 위해 너무 많은 융합 품질을 희생합니다. 또한 LiDAR 및 레이더와 같은 능동 센서는 간섭과 비용 측면에서 확장성 한계에 직면해 있습니다. 핵심 과제는 기존에 재학습 없이 고정된 RGB 사전 학습 비전 모델과 호환되는 출력을 보장하면서, 상용 하드웨어에서 필요한 추론 속도로 확산 수준의 융합 품질을 달성하는 것입니다.

방법론: FusionProxy
저자들은 확산 교사 앙상블을 경량 결정론적 학생 네트워크로 증류하는 플러그 앤 플레이 실시간 이미지 융합 모듈인 FusionProxy를 제안합니다. 이 프레임워크는 세 가지 주요 단계로 작동합니다:

1. 확산 교사 앙상블: 단일 교사에 의존하는 대신, 이 방법은 상호 보완적인 학습 분포를 가진 두 개의 사전 학습된 확산 융합 모델을 사용하여 앙상블을 구성합니다: DDFM(도메인 기반 열 모델링을 위한 IR-VIS 쌍으로 학습됨) 과 Mask-DiFuser(광범위한 사전 지식과 질감 충실도를 위한 자연 이미지로 학습됨). 각 입력 쌍에 대해 각 교사로부터 $N$개의 샘플을 추출하여 앙상블을 형성합니다.
2. 이중 신호 증류 손실: 학생 네트워크는 교사 샘플에서 도출된 두 가지 상호 보완적 통계를 사용하여 앙상블 평균을 근사하도록 학습됩니다:
   • 불확실성 가중 픽셀 감독: 원시 이미지 공간에서 교사 앙상블의 픽셀별 분산이 픽셀 수준 감독의 가중치로 사용됩니다. 교사 앙상블이 일치하는 픽셀 (낮은 분산) 은 더 높은 가중치를 받고, 모호한 영역 (높은 분산) 은 학생이 교사 노이즈를 학습하는 것을 방지하기 위해 가중치가 낮아집니다.
   • 공간 적응형 다중 기반 정렬: 다양한 하위 모델과의 호환성을 보장하기 위해 학생은 고정된 기반 백본 (VGG-16, DINOv2, CLIP, SAM) 패널에 대해 정렬됩니다. 각 백본에 대한 교사 샘플 간의 픽셀별 특징 분산은 라우팅 신호로 작용합니다. 이를 통해 시스템은 각 픽셀 위치에서 백본의 지역적 정보량 (예: 경계를 위한 SAM, 의미를 위한 CLIP) 에 따라 다른 백본의 기여도를 동적으로 가중할 수 있습니다.
   • 구조적 일관성: 픽셀 공간에서 평균화로 인해 부드러워질 수 있는 고주파 세부 정보를 보존하기 위해 SSIM 기반 손실이 추가됩니다.
3. 학생 아키텍처 및 강건성: 학생은 IR 및 VIS 입력을 이중 인코더를 통해 처리하는 경량 결정론적 단일 패스 네트워크 (기본적으로 ConvNeXt V2 기반 U-Net) 입니다. 실제 세계의 센서 정렬 오차를 처리하기 위해, 학습 과정은 정렬된 교사 앙상블에 대한 감독 하에 IR 입력에 무작위 아핀 교란 (이동 및 회전) 을 주입하여, 추론 비용을 추가하지 않고도 학생이 암묵적으로 보상하는 것을 학습하도록 합니다.

주요 기여

• 실시간 확산 품질 융합: FusionProxy 는 상용 하드웨어 (예: RTX 4070, RTX 3060, Apple M3) 에서 엄격한 실시간 제약 조건 (≥30 FPS) 하에 확산 수준의 융합 품질을 달성한 최초의 방법으로, 고정밀 확산 모델과 배포 가능한 비전 시스템 간의 격차를 해소합니다.
• 이중 신호 증류 프레임워크: 이 논문은 캐시된 교사 순전파 세트를 사용하여 불확실성 가중 픽셀 감독과 공간 적응형 다중 기반 정렬을 모두 주도하는 새로운 증류 손실을 소개합니다. 이는 융합된 출력이 이질적이고 고정된 하위 모델과 견고하며 호환되도록 보장합니다.
• 플러그 앤 플레이 배포: 이 방법은 완전히 독립적인 모듈로 설계되었습니다. 일단 학습되면, 가시 카메라 입력을 교체하는 드롭인 방식으로 탐지, 분할 또는 폐루프 주행과 같은 모든 비전 인식 시스템에 통합될 수 있으며, 하위 모델의 재학습이나 미세 조정이 필요하지 않습니다.

실험 결과
광범위한 실험을 통해 FusionProxy 의 효능이 여러 차원에서 검증되었습니다:

• 융합 품질: MSRS 벤치마크에서 FusionProxy 는 65.4 의 mIoU 를 달성하여, 최상의 비실시간 베이스라인 (65.9 의 Mask-DiFuser) 과 0.5 포인트 이내의 차이를 보이지만 약 103 배 더 빠르게 실행됩니다. 표에서 비실시간 ControlFusion 다음으로 두 번째로 좋은 학습된 IQA 점수 (MUSIQ, CLIP-IQA) 를 기록했습니다.
• 하위 성능: 수정 없이 고정된 모델에 플러그인되었을 때, 융합된 출력은 성능을 크게 향상시킵니다. YOLOv8 탐지의 경우 mAP 가 +17.0 증가했고, SegFormer-B2 분할의 경우 mIoU 가 +16.3 증가했습니다.
• 폐루프 주행: CARLA 시뮬레이션에서 열악한 가시성 (밀집 안개, 야간 눈부심) 하에 고정된 CILRS 주행 정책에 FusionProxy 를 통합한 결과, 성공률은 52.4% 에서 86.5% 로 증가했고 충돌 위험은 32.0 에서 3.5 로 감소했습니다.
• 추론 속도: FusionProxy 는 실시간 추론을 달성합니다 (480×640 해상도에서 RTX 4070 에서 84 FPS, RTX 3060 에서 47.7 FPS, Apple M3 에서 37.8 FPS). 이는 비실시간이거나 현저히 느린 다른 모든 확산 기반 방법을 능가합니다.

의의 및 주장
이 논문은 FusionProxy 가 특수 하드웨어나 시스템 재학습 없이 기존 RGB 기반 비전 스택에 열 인식을 추가함으로써 "종일 인식"을 위한 유연하고 일반화 가능한 솔루션을 제공한다고 주장합니다. 학생 아키텍처를 교사의 무거운 노이즈 제거 네트워크에서 분리함으로써, 이 방법은 경량 백본이 확산 등급의 융합 품질을 계승할 수 있게 합니다. 저자들은 이 접근 방식이 현재 융합 방법의 확장성 및 지연 시간 문제를 해결하여, 실제 세계의 자율 주행 및 감시 응용 프로그램에 고정밀 열 통합을 실용적으로 만든다고 강조합니다. 논문은 겸손하게 한계를 지적합니다: 학생이 결정론적이기 때문에 교사 앙상블의 생성적 다양성을 유지하지 못하며, 이는 불확실성 인식 추론을 위해 여러 가능한 융합 출력이 필요한 응용에는 적합하지 않을 수 있습니다.