기술 요약: FGD-Det

1. 문제 정의

가시광선(RGB)과 적외선(IR) 데이터를 통합하는 다중 스펙트럼 객체 탐지는 실질적인 배포를 저해하는 두 가지 주요 물리적 병목 현상에 직면해 있습니다:

1. 정보 밀도 비대칭성 (Information Density Asymmetry): 가시광선 이미지는 조밀한 질감을 포함하는 반면, 적외선 신호는 희소합니다. 표준 대칭형 듀얼 스트림 아키텍처는 두 양식(modality)을 동일하게 취급하여, IR 브랜치에서 심각한 계산 중복을 초래합니다.
2. 공간적 미정렬 (Spatial Misalignment): 실제 환경의 센서 시차(parallax)와 하드웨어 진동은 양식 간의 기하학적 불일치를 유발합니다. 표준 벤치마크는 정렬된 쌍을 제공하지만, 학습된 모델은 이러한 결정론적 좌표에 과적합되어 실제 물리적 왜곡 상황에서 일반화에 실패합니다. 또한, 기존 융합 방법들은 모든 네트워크 깊이에서 균일한 정렬 전략을 적용하며, 이는 기하학적 등록(registration)이 필요한 얕은 층에서 의미론적 합의(semantic consensus)가 필요한 깊은 층으로의 변화를 무시합니다.

2. 방법론

저자들은 비대칭 아키텍처와 단계별 융합 패러다임을 통해 이러한 병목 현상을 해결하도록 설계된 FGD-Det (Frequency-Guided Decoupled Alignment and Asymmetric Fusion) 프레임워크를 제안합니다.

A. 양식 인식 비대칭 백본 (Modality-Aware Asymmetric Backbone)

거울 형태의 동질적 백본 대신, FGD-Det는 이질적인 듀얼 스트림 설계를 채택합니다:

• RGB 스트림: 조밀한 가시광선 질감을 처리하기 위해 더 큰 파라미터 용량(예: YOLOv11-s/n)을 활용합니다.
• IR 스트림: 희소한 적외선 양식에 초경량 추출 경로를 할당하여 유효하지 않은 계산을 줄입니다.
• 교차 스케일 가이드 (Cross-Scale Guidance): 얕은 층과 중간 층에서는 IR 특징이 RGB 특징의 정렬을 가이드합니다. 가장 깊은 층에서는 대칭형 융합 설계가 채택됩니다.

B. 단계별 융합 패러다임 (Stage-Wise Fusion Paradigm)

프레임워크는 네트워크 깊이에 따라 두 가지 구별되는 융합 모듈을 사용합니다:

1. 주파수 가이드 디커플링 정렬 및 융합 (FG-DAF)
기하학적 편차가 지배적인 얕은 층 및 중간 층에서 사용됩니다. 이는 세 단계의 캐스케이드 방식으로 작동합니다:

• 세부 사항 보존 주파수 표현 (DPFR): Focus 기반의 손실 없는 다운샘플링과 주파수 인핸서(FE)를 사용하여 IR 양식으로부터 구조적 윤곽을 추출합니다. 이는 배경의 중복성을 억제하면서 객체의 경계선을 보존하는 고주파 사전 정보($Freq_{ir}$)를 생성합니다.
• 사전 모듈레이션 변형 정렬 (PMDA): 공간적 등록을 명시적으로 제약합니다. 오프셋 네트워크는 양방향 변위 필드를 예측하며, 이는 고주파 사전 정보에서 유도된 에지 마스크에 의해 모듈레이션됩니다. 이는 질감이 없는 배경에서 무작위적인 오프셋이 발생하는 것을 방지합니다. 특징 간의 대응 관계를 감독하기 위해 대비 학습 정렬 손실($L_{contrast}$)이 도입됩니다.
• 양식 디커플링 어텐션 집계 (MDAA): 디커플링된 어텐션 가중치를 사용하여 정렬된 특징을 융합합니다. 이를 통해 네트워크가 각 양식에 독립적인 중요도를 할당할 수 있게 하여, 단일 양식의 의미론을 보존하는 동시에 교차 양식 시너지를 가능하게 합니다.

2. 주파수 가이드 대칭 융합 (FG-SF)
수용 영역(receptive field)이 크고 공간적 오프셋이 자연스럽게 감쇄되는 가장 깊은 층(P5)에서 사용됩니다.

• 단순화: 교차 스케일 차원 축소(Focus 모듈)를 제거하고 엄격한 에지 마스크 제약을 완화합니다.
• 메커니 mechanism: 전역적 의미론적 합의를 촉진하기 위해 FG-DAF의 핵심적인 주파수 가이드 및 대비 학습 손실을 유지하면서, 적응형 공간 정렬을 위해 고수준의 의미론적 상관관계에 의존합니다.

C. 강건성 평가 프로토콜 (Robustness Evaluation Protocol)

논문은 훈련 과정 중 공간 미정렬 증강(Spatial-Misalignment Augmentation) 기법(IR 이동을 ±15 및 ±30 픽셀로 시뮬레이션)과 삼중 참조 평가(Triple-Reference Evaluation, TRE) 프로토콜을 도입합니다. TRE는 예측을 분류하여 진정한 다중 양식 융합, 단일 양식 의존, 또는 허위 탐지를 구분하며, 양식 의존 비율(MRR) 및 허위 탐지율(SDR)과 같은 지표를 제공합니다.

3. 주요 기여

1. 비대칭 백본 패러다임: 파라미터 용량을 양식별 정보 밀도에 맞추는 자원 할당 전략을 통해 효율성과 정확성의 트레이드오프를 달계합니다.
2. 통합 주파수 가이드 융합: 명시적인 스펙트럼 제약을 사용하여 얕은/중간 층에서 디커플링 정렬을 수행하고, 가장 깊은 층에서는 교차 양식 특징의 고스팅 현상을 제거하기 위해 대칭 변형을 채택하는 모듈을 구현합니다.
3. 강화된 강건성 평가: 공간 미정렬 증강과 TRE 프로토콜을 도입하여 표준 mAP 메트릭을 넘어 교차 양식 융합의 강건성을 진단합니다.

4. 실험 결과

LLVIP 및 FLIR 벤치마크에서 평가된 FGD-Det은 크게 감소된 계산 비용으로 최첨단 성능을 입증했습니다:

• 효율성: 모델은 46.4 GFLOPs로 동작합니다.
• LLVIP 성능: 98.1% AP50 및 68.9% AP50:95를 달성했습니다. 이는 ICAFusion(240 GFLOPs)을 능가하며, 훨씬 무거운 모델(예: TFDet-y5, 180 GFLOPs)의 약 1/4 ~ 1/25 수준의 계산 비용으로 유사한 성능에 도달합니다.
• FLIR 성능: 83.1% AP50 및 48.0% AP50:95를 달성하여 DAMSDet 및 Fusion-Mamba 변형 모델과 대등하거나 이를 능가합니다.
• 강건성: 시뮬레이션된 물리적 시차(최대 30 픽셀) 하에서도 FGD-Det은 정밀한 타겟 경계 집중을 유지합니다. M3FD 데이터셋에 대한 TRE 평가에서, FGD-Det은 가장 높은 **강건 융합 점수(RFStotal)**인 338.76을 기록했으며(베이스라인 대비 19.2% 향상), 가장 낮은 허위 탐지율을 기록하여 단일 양식 의존이 아닌 진정한 융합을 확인했습니다.

5. 의의 및 주장

본 논문은 FGD-Det이 이론적 정렬과 실제 배포 제약 사이의 간극을 성공적으로 메웠다고 주장합니다. 비대칭 구조와 단계별 융합을 통해 다음을 달성합니다:

• 중복 제거: 대칭형 듀얼 스트림 백본에 내재된 계산 낭비를 제거합니다.
• 우수한 일반화: 시뮬레이션된 물리적 왜곡 및 교차 데이터셋 전이 하에서도 강력한 일반화 성능을 보여주며, 표준 모델이 특징 고스팅이나 탐지 누락을 겪는 곳에서도 정확한 타겟 집중을 유지합니다.
• 새로운 패러다임 제시: 특징의 계층적 진화에 적응하는 "사전 정보-정렬-집계(Prior-Alignment-Aggregation)" 루프를 확립하여, 기하학적 교정에서 의미론적 합의로 나아가는 과정을 보여줍니다.

저자들은 FGD-Det을 자원이 제한된 전천후 다중 스펙트럼 탐지 시스템을 위한 강력한 후보로 위치시키며, 정확도와 효율성 사이의 파레토 최적(Pareto-optimal) 균형을 제공한다고 강조합니다.