Hyperbolic Cycle Alignment for Infrared-Visible Image Fusion

Resumo Técnico: Hy-CycleAlign

1. O Problema

A fusão de imagens infravermelha (IR) e visível é crucial para aplicações como vigilância e resgate, pois combina a sensibilidade térmica do IR com os detalhes de textura de alta resolução da imagem visível. No entanto, o sucesso dessa fusão depende criticamente de um alinhamento preciso (registro) entre as duas modalidades.

Os principais desafios identificados são:

• Não-linearidade das Discrepâncias: As diferenças nos mecanismos de imagem (radiação térmica vs. reflexão de luz) e variações de viewpoint criam discrepâncias não-lineares complexas que os métodos tradicionais de registro baseados em espaço Euclidiano (como translações simples) não conseguem lidar eficazmente.
• Falha de Alinhamento: Métodos existentes frequentemente assumem que as imagens de entrada já estão alinhadas ou dependem de módulos de translação que introduzem ruído e distorções estruturais, resultando em artefatos de "fantasma" e fusão subótima.
• Limitação Geométrica: O espaço Euclidiano possui dificuldade em representar estruturas hierárquicas e relações não-lineares complexas inerentes às diferenças entre modalidades.

2. Metodologia: Hy-CycleAlign

Os autores propõem o Hy-CycleAlign (Hyperbolic Cycle Alignment Network), o primeiro método de registro de imagens baseado em espaço hiperbólico (especificamente o modelo de Poincaré). A abordagem é composta por três pilares principais:

• Registro Cíclico de Duplo Caminho (Dual-Path Cyclic Registration):

  • O framework utiliza uma estrutura de malha fechada. Uma rede de registro "para frente" alinha a imagem IR para a visível ($T \to V$), gerando uma imagem alinhada $T_v$.
  • Uma rede de registro "para trás" (inversa) tenta reconstruir a imagem IR original a partir da imagem alinhada ($T_v \to T$), gerando $T_{vt}$.
  • Isso cria uma consistência cíclica que força o modelo a aprender transformações reversíveis e geometricamente consistentes, eliminando a necessidade de pares de imagens perfeitamente alinhados manualmente para treinamento.

• Alinhamento Contrastivo Hierárquico Hiperbólico (H2CA):

  • Este é o núcleo da inovação. As imagens e suas bordas são mapeadas do espaço Euclidiano para o espaço de Poincaré (espaço hiperbólico).
  • O módulo H2CA impõe restrições de alinhamento em dois níveis hierárquicos:
    1. Nível de Pixel: Alinhamento de características profundas no espaço hiperbólico.
    2. Nível de Borda: Alinhamento de bordas extraídas (usando operador Sobel) no espaço hiperbólico.
  • O uso do espaço hiperbólico permite capturar melhor a estrutura hierárquica e as relações não-lineares entre as modalidades, reduzindo a interferência causada pelas discrepâncias modais.

• Função de Perda (Loss Function):

  • O modelo é otimizado combinando quatro componentes:
    1. Perda Adversarial ($L_{adv}$): Usa discriminadores para distinguir bordas entre a imagem original e a alinhada, garantindo a preservação de detalhes estruturais.
    2. Perda de Consistência Cíclica ($L_{cc}$): Garante que a reconstrução inversa seja idêntica à entrada original.
    3. Perda Contrastiva Hierárquica Hiperbólica ($L_{h2c}$): Minimiza a distância geodésica no espaço de Poincaré entre pixels e bordas correspondentes.
    4. Perda de Suavidade ($L_{sm}$) e Fusão ($L_f$): Garantem campos de deformação suaves e alta qualidade na imagem fundida final.

3. Contribuições Principais

1. Primeiro Registro Hiperbólico: É a primeira abordagem de registro de imagens baseada em espaço hiperbólico, explorando a curvatura negativa para lidar com não-linearidades em fusão multimodal.
2. Framework Cíclico Sem Supervisão Total: Introduz uma estrutura de consistência cíclica que reduz a dependência de dados anotados manualmente de alta precisão.
3. Análise Teórica e Prática: Os autores provam teoreticamente que o espaço de Poincaré é mais sensível a desalinhamentos do que o espaço Euclidiano (especialmente à medida que os pontos se aproximam da fronteira do disco), permitindo correções mais precisas.
4. Módulo H2CA: Desenvolvimento de um mecanismo que mapeia pixels e bordas para o espaço hiperbólico, alinhando diferentes níveis hierárquicos da imagem simultaneamente.

4. Resultados Experimentais

O método foi avaliado em três conjuntos de dados públicos: DroneVehicle, LLVIP e MFNet (incluindo cenários com transformações não-lineares artificiais para simular desalinhamentos complexos).

• Desempenho de Registro: O Hy-CycleAlign superou consistentemente os métodos state-of-the-art (como SuperFusion, ReCoNet, MURF, IMF) em métricas de alinhamento como Hausdorff Distance (HD), ASSD e DSC.
• Qualidade de Fusão: As imagens fundidas apresentaram melhor retenção de detalhes, menor ruído e ausência de artefatos de sobreposição incorreta.
• Ablação: Experimentos demonstraram que:
  • O registro em espaço Euclidiano (mesmo com estrutura cíclica) é inferior.
  • A combinação de alinhamento de pixels e bordas no espaço hiperbólico oferece o melhor desempenho.
• Tarefa de Baixo Nível (Detecção de Objetos): Ao aplicar o registro e fusão do Hy-CycleAlign em uma tarefa de detecção de objetos (YOLOv11), o método alcançou a maior precisão e mAP, provando que um alinhamento superior melhora diretamente o desempenho de tarefas downstream.
• Eficiência: Embora introduza mais parâmetros devido à transformação hiperbólica, o custo computacional (FLOPs) permanece comparável aos métodos existentes.

5. Significado e Impacto

Este trabalho representa um avanço significativo na visão computacional multimodal ao demonstrar que espaços não-Euclidianos podem resolver problemas fundamentais de registro que o espaço Euclidiano não consegue tratar adequadamente.

• Inovação Geométrica: Abre novas fronteiras para o uso de geometria hiperbólica em tarefas de visão computacional que envolvem dados complexos e hierárquicos.
• Aplicabilidade Prática: Oferece uma solução robusta para cenários do mundo real onde sensores não estão perfeitamente calibrados ou onde as condições de imagem variam drasticamente (ex: vigilância 24h, resgate em desastres).
• Generalização: A capacidade de lidar com desalinhamentos não-lineares sem necessidade de anotação manual extensiva torna o método altamente escalável para aplicações industriais e militares.

Em resumo, o Hy-CycleAlign redefine o estado da arte na fusão de imagens IR-Visível ao substituir a geometria plana tradicional por uma geometria hiperbólica, permitindo um alinhamento mais sensível, preciso e robusto.