Hyperbolic Cycle Alignment for Infrared-Visible Image Fusion

1. 문제 정의 (Problem)

• 배경: 적외선 (Infrared) 과 가시광선 (Visible) 이미지를 융합하는 기술은 다양한 센서의 상호 보완적 정보를 결합하여 시각적 인식 능력을 향상시키는 핵심 기술입니다.
• 핵심 과제: 효과적인 융합을 위해서는 두 모드 간의 **정밀한 이미지 정렬 (Registration)**이 필수적입니다. 그러나 실제 환경에서는 센서 위치 차이, 촬영 각도 변화, 모션 블러 등으로 인해 이미지 간에 비선형적인 오정렬 (Misalignment) 이 발생합니다.
• 기존 방법의 한계:
  • 기존 대부분의 융합 알고리즘은 입력 이미지가 이미 정렬되어 있다고 가정하거나, 유클리드 공간 (Euclidean Space) 기반의 단순한 이미지 변환 (Translation) 을 사용합니다.
  • 유클리드 공간은 선형적인 관계는 잘 처리하지만, 적외선과 가시광선 간의 복잡한 **비선형 모달리티 차이 (Nonlinear Modality Discrepancy)**를 처리하는 데 한계가 있어, 정렬 실패 시 고스트 아티팩트 (Ghosting) 나 정보 손실이 발생합니다.
  • 기존 정렬 - 융합 방법들은 별도의 정렬 모듈을 사용하며, 이는 추가적인 노이즈를 유발하고 정렬 성능에 과도하게 의존하는 문제가 있습니다.

2. 제안 방법론 (Methodology)

저자들은 유클리드 공간의 한계를 극복하기 위해 **쌍곡 공간 (Hyperbolic Space)**을 이미지 정렬에 최초로 적용한 **Hy-CycleAlign (Hyperbolic Cycle Alignment Network)**을 제안했습니다.

A. 핵심 아이디어: 쌍곡 공간의 활용

• 이론적 근거: 쌍곡 공간 (특히 푸앵카레 모델, Poincaré Model) 은 음의 곡률 (Negative Curvature) 을 가지며, 계층적 구조를 자연스럽게 표현할 수 있습니다.
• 민감도 향상: 저자들은 쌍곡 공간이 유클리드 공간보다 정렬 오차 (Misalignment) 에 대해 훨씬 더 민감하게 반응한다는 것을 수학적으로 증명했습니다 (Theorem 1). 점들이 쌍곡 공간의 경계에 가까워질수록 거리 변화에 대한 기울기 (Gradient) 가 급격히 증가하여, 미세한 오정렬도 효과적으로 보정할 수 있습니다.

B. 아키텍처: Hy-CycleAlign

1. 듀얼 패스 순환 정렬 프레임워크 (Dual-path Cyclic Registration):
   • 전방향 정렬: 적외선 이미지를 가시광선 이미지에 정렬 ($T \to V$).
   • 역방향 정렬: 정렬된 이미지를 다시 원래 적외선 이미지로 복원 ($V \to T$).
   • 이 순환 구조 (Closed-loop) 를 통해 정렬된 결과와 원본 이미지 간의 기하학적 일관성 (Geometric Consistency) 을 보장하며, 별도의 정밀한 정렬 데이터셋 없이도 학습이 가능합니다.
2. 쌍곡 계층 대비 정렬 모듈 (H2CA, Hyperbolic Hierarchy Contrastive Alignment):
   • 이미지를 유클리드 공간에서 푸앵카레 공간으로 매핑합니다.
   • 픽셀 수준 (Pixel-level): 이미지 전체의 특징을 쌍곡 공간에서 정렬합니다.
   • 에지 수준 (Edge-level): 소벨 (Sobel) 연산자로 추출한 에지 정보를 쌍곡 공간에서 정렬합니다.
   • 이 모듈은 모달리티 간 비선형 차이를 줄이고 계층적 구조를 보존하며 정렬 제약을 가합니다.
3. 손실 함수 (Loss Function):
   • 적대적 손실 ($L_{adv}$): 정렬된 이미지의 에지가 원본과 구별되지 않도록 제약을 가합니다.
   • 순환 일관성 손실 ($L_{cc}$): 역방향 정렬 후 복원된 이미지가 원본과 일치하도록 합니다.
   • 쌍곡 계층 대비 손실 ($L_{h2c}$): 쌍곡 공간에서의 픽셀 및 에지 거리를 최소화합니다.
   • 부드러움 손실 ($L_{sm}$): 변형 필드의 매끄러움을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 쌍곡 공간 기반 이미지 정렬: 적외선 - 가시광선 이미지 정렬 문제를 쌍곡 공간에서 해결한 최초의 방법론을 제안했습니다.
2. 순환 일관성 프레임워크: 정방향 및 역방향 정렬을 결합한 폐루프 구조를 통해 외부 정렬 데이터에 대한 의존성을 줄이고 정렬 정확도를 높였습니다.
3. H2CA 모듈: 유클리드 공간의 비선형 모달리티 차이를 쌍곡 공간의 구조적 특성을 이용해 효과적으로 완화하는 계층적 대비 정렬 모듈을 설계했습니다.
4. 이론적 증명: 쌍곡 공간이 정렬 오차에 대해 유클리드 공간보다 민감하게 반응함을 수학적으로 증명하여 방법론의 타당성을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: DroneVehicle, LLVIP, MFNet 등 다양한 misaligned(오정렬) 멀티모달 데이터셋에서 평가되었습니다.
• 정량적 평가:
  • 정렬 성능: Hausdorff Distance (HD, HD95), ASSD, DSC 등 정렬 관련 지표에서 기존 최첨단 방법 (ReCoNet, SuperFusion, MURF 등) 보다 우수한 성능을 보였습니다. 특히 MFNet 데이터셋에서 HD(67.38), HD95(22.43) 등에서 가장 낮은 오차를 기록했습니다.
  • 융합 품질: 공간 주파수 (SF) 및 엔트로피 (EN) 등 융합 이미지 품질 지표에서도 상위권을 기록했습니다.
• 정성적 평가:
  • 복잡한 배경과 큰 모달리티 차이 (예: 열화상과 가시광선) 가 있는 장면에서도 선명한 에지 정렬과 자연스러운 융합 이미지를 생성했습니다.
  • 기존 방법들에서 발생하는 고스트 아티팩트나 정렬 오류가 현저히 감소했습니다.
• 하류 작업 (Downstream Tasks): 정렬 및 융합된 이미지를 객체 감지 (Object Detection) 작업에 적용했을 때, YOLOv11-m 기반의 감지 정확도 (Precision, mAP) 가 기존 방법 대비 가장 높게 나타났습니다.
• 효율성: 쌍곡 공간 변환으로 인해 파라미터 수는 다소 증가했으나 (약 18.26M), FLOPs(연산량) 은 기존 주요 모델들과 유사하거나 더 낮은 수준 (16.66G) 을 유지하여 효율적입니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 이미지 정렬 문제를 유클리드 공간의 선형 변환에서 벗어나, 비선형 관계를 더 잘 표현할 수 있는 **쌍곡 공간 (Non-Euclidean Space)**으로 확장한 획기적인 시도입니다.
• 실용성: 정밀한 정렬 데이터가 없는 실제 환경 (실제 드론 촬영, 야간 감시 등) 에서도 강력한 정렬 및 융합 성능을 발휘하여, 보안 감시, 수색 구조, 자율 주행 등 다양한 분야의 멀티모달 센서 융합 기술 발전에 기여할 것으로 기대됩니다.
• 향후 과제: 쌍곡 공간 연산의 계산 효율성 향상과 더 큰 모달리티 차이를 가진 이미지 (예: 초고해상도 또는 극단적인 조명 변화) 에 대한 적응성 강화가 향후 연구 과제로 제시되었습니다.

이 논문은 Hy-CycleAlign을 통해 멀티모달 이미지 정렬의 새로운 지평을 열었으며, 특히 비선형 오차 보정에 쌍곡 기하학을 적용한 점이 학술적, 실용적으로 큰 의미를 가집니다.