기술 요약: DPOFusion

문제 정의

적외선 및 가시광선 이미지 융합 (IVIF) 은 상호 보완적인 스펙트럼 정보를 통합하여 인간의 지각을 향상시키고 하류 비전 작업을 개선하는 것을 목표로 합니다. 그러나 기존 방법들은 이질적인 요구사항을 유연하게 수용하는 데 있어 치명적인 한계에 직면해 있습니다. 다양한 사용자와 응용 분야는 전체 이미지 품질, 자연스러운 외관, 또는 물체 감지 및 분할과 같은 기계 비전 작업에 대한 특정 적합성과 같이 상충되는 목표를 우선시합니다. 현재 학습 기반 접근 방식은 일반적으로 각 특정 요구사항에 대해 별도의 모델과 복잡한 학습 전략을 필요로 하며, 다양한 인간 및 기계 선호도에 부합하는 적응형 융합이 가능한 통합 프레임워크가 부족합니다.

방법론

저자들은 이질적인 요구사항에 맞춰 이미지 융합을 정렬하기 위해 **직접 선호도 최적화 (DPO)**를 활용하는 DPOFusion 프레임워크를 제안합니다. 이 프레임워크는 두 가지 주요 구성 요소와 데이터 수집 파이프라인으로 구성됩니다:

1. 속성 정렬 잠재 확산 모델 (PALDM)

PALDM 은 후보 생성기로 작용합니다. 다양한 속성을 가진 다양하고 고품질의 융합 결과를 생성하도록 설계되었습니다.

• 사전 잠재 융합: 먼저 사전 잠재 융합 모델 ($\epsilon_{lfm}$) 을 공동 융합 손실 (joint fusion loss) 을 사용하여 훈련하여 생성 과정을 안내합니다.
• 공동 조건부 손실: 다양한 후보를 생성하기 위해 PALDM 은 공동 조건부 손실을 사용합니다. 이는 표준 융합 잠재와 속성 보간 잠재 (원본 잠재와 사전 융합 잠재의 선형 보간으로 생성됨) 를 모두 제거하는 잠재 확산 모델을 훈련시킵니다. 이를 통해 모델은 생성된 출력을 특정 속성 설명 텍스트 프롬프트 (예: "주로 적외선 정보") 와 정렬할 수 있습니다.

2. 선호도 제어 잠재 확산 모델 (PCLDM)

PCLDM 은 특정 선호도 신호에 기반하여 융합 결과를 조정하는 미세 조정 모듈입니다.

• 아키텍처: 고정된 PALDM($\epsilon_{ref}$) 에서 초기화되며, 0 으로 초기화된 1$\times$1 컨볼루션을 통해 연결된 학습 가능한 브랜치를 도입합니다. 이 구조는 기본 융합 능력을 유지하면서도 새로운 선호도에 대한 빠른 적응을 가능하게 합니다.
• 인스턴스 직접 선호도 최적화 (IDPO): 이것이 핵심 혁신입니다. 전역적으로 최적화하는 표준 DPO 와 달리, IDPO 는 마스크된 관심 영역 내에서만 선호도 감독을 적용하고 다른 곳에서는 엄격한 픽셀 단위 일관성을 강제합니다.
  • 손실 함수: IDPO 손실 ($L_{IDPO}$) 은 마스크된 영역에 대한 선호도 정렬 손실 (모델이 '기각된' 샘플보다 '승리한' 샘플을 선호하도록 장려) 과 마스크되지 않은 영역에 대한 일관성 손실 (출력이 고정된 참조 모델에 가깝게 유지되도록 보장) 을 결합합니다. 이는 지역적 적응과 전역적 충실도 사이의 균형을 맞춥니다.

3. 선호도 데이터 수집

이 프레임워크는 세 가지 소원에서 이질적인 선호도 데이터를 수집하여 대응하는 마스크 ($I_m$) 와 함께 훈련 쌍 ($I_w^0 \succ I_l^0$) 을 생성합니다.

• 인간 피드백 (RLHF): 인간 주석가는 후보 이미지에서 선호하는 영역을 선택합니다.
• 시각 - 언어 모델 (RLVF): VLM(특히 QWEN3-Omni-Think) 은 기술적 이미지 품질 (선명도, 아티팩트 등) 을 기반으로 후보를 순위 매깁니다.
• 작업 주도 모델 (RLDF): 하류 모델 (감지를 위한 YOLOv11, 분할을 위한 SegFormer) 이 후보를 평가합니다. 선호/기각된 샘플은 작업 성능 지표 (mAP, mIoU) 에 의해 결정되며, 마스크는 대상 영역 또는 감지 패치에서 파생됩니다.

주요 기여

1. 통합 프레임워크: DPOFusion 은 각기 다른 모델이 필요하지 않고 다양한 사용자 선호도 (인간, VLM) 와 기계 비전 작업 (감지, 분할) 에 적응할 수 있는 단일 프레임워크를 제시합니다.
2. 인스턴스 직접 선호도 최적화 (IDPO): 저자들은 이미지 융합을 위한 DPO 의 새로운 적응인 IDPO 를 도입합니다. 선호도 최적화를 특정 마스크 영역으로 제한함으로써, IDPO 는 전역 이미지 구조나 일관성을 저하시키지 않으면서 정밀한 지역 정렬을 달성합니다.
3. 속성 정렬 생성: 공동 조건부 손실과 PALDM 의 통합은 다양한 후보의 풍부한 풀을 생성하여 효과적인 선호도 주석 및 미세 조정을 가능하게 합니다.
4. 작업 지향 적응성: 이 프레임워크는 시각적 품질을 유지하면서 하류 작업 성능을 향상시키기 위해 (예: 작은 대상의 분할 개선 또는 밀집된 대상의 감지 개선) 융합 출력을 구체적으로 미세 조정할 수 있는 능력을 입증합니다.

실험 결과

저자들은 LLVIP, MSRS, RoadScene, M3FD 와 같은 실제 데이터셋에서 DPOFusion 을 U2Fusion, DDFM, SHIP, Text-IF 등 9 가지 최첨단 방법과 비교 평가했습니다.

• 인간 및 VLM 정렬: 정량적 지표 (엔트로피, 표준 편차, 평균 기울기, MUSIQ, CNNIQA) 는 DPOFusion 변형 (RLHF 및 RLVF) 이 최첨단 성능을 달성함을 보여줍니다. 정성적 결과는 저조명 및 복잡한 조명 시나리오에서 특히 우수한 텍스처 보존과 자연스러운 외관을 나타냅니다.
• 하류 작업 성능:
  • 시맨틱 분할: RLDF-Seg 변형은 기준선 대비 mIoU 가 0.5% 향상되었으며, 정성적 결과는 작은 대상의 더 나은 분할을 보여줍니다.
  • 물체 감지: RLDF-OD 변형은 mAP 가 4.2% 향상되어 밀집된 대상과 작은 대상에 대한 효과적인 특징 포착을 입증했습니다.
• 애블레이션 연구: 실험은 PALDM 의 공동 조건부 손실이 더 고품질의 후보를 산출하며, IDPO 가 전역 일관성을 유지하면서 선호도 정렬에 있어 표준 DPO 및 대비 손실보다 훨씬 우수함을 확인했습니다.
• 효율성: 확산 기반이지만 DPOFusion 은 압축된 잠재 공간에서 작동하여 이미지당 1.7 초의 추론 시간을 단축합니다 (DDFM 의 7.8 초 대비). 이는 다른 생성형 융합 방법보다 더 효율적입니다.

중요성 및 주장

이 논문은 DPOFusion 이 인간 및 기계 비전으로부터의 다양한 선호도에 부합하는 적응형 융합을 달성하는 "열려 있고 도전적인 문제"를 성공적으로 해결했다고 주장합니다. DPO 를 활용함으로써 이 프레임워크는 명시적인 보상 모델과 하류 작업에 대한 복잡한 공동 최적화 파이프라인의 필요성을 제거합니다.

저자들은 DPOFusion 을 "자신의 방식대로 융합 (fusion in your way)"을 위한 통합적이고 유연한 솔루션으로 위치시킵니다. 이는 인간 시각 지각, 언어 지시, 또는 하류 작업 지표에 의해 주도되든 간에 최소한의 미세 조정을 통해 기본 모델을 특정 요구사항을 충족하도록 미세 조정할 수 있는 능력을 갖추고 있습니다. 이 연구는 적외선 및 가시광선 이미지 융합 분야에서 적응형 융합 품질과 작업 지향 전이 가능성에 대한 새로운 기준을 설정합니다.