Combined Dictionary Unfolding Network with Gradient-Adaptive Fidelity for Transferable Multi-Source Fusion

1. Declaração do Problema

A Fusão de Imagens de Múltiplas Fontes (MSIF) visa integrar informações complementares de fontes heterogêneas (por exemplo, infravermelho/visível, múltipla exposição, exames médicos) em uma única imagem informativa. Embora as Redes de Desdobramento Profundo (DUNs) tenham surgido como uma ponte promissora entre a otimização orientada a modelos e a aprendizagem orientada a dados, os métodos existentes enfrentam duas limitações críticas:

• Ineficiência na Atualização de Recursos: A maioria dos métodos de fusão baseados em DUN é derivada da aprendizagem de dicionário acoplado utilizando minimização alternada. Esta abordagem atualiza recursos comuns e específicos de modalidade em ramos separados e sequenciais. Este design introduz uma sobrecarga computacional significativa, latência de acesso à memória e inchaço de parâmetros, tornando o implantação em dispositivos de borda com recursos limitados difícil.
• Treinamento Não Supervisionado Complexo: As funções de perda não supervisionadas existentes frequentemente combinam múltiplos objetivos heterogêneos (por exemplo, SSIM, MSE, preservação de gradiente, perdas perceptuais). Estes exigem um equilíbrio cuidadoso e frequentemente dependem de redes pré-treinadas pesadas, complicando a otimização e reduzindo a generalizabilidade entre diferentes tarefas de fusão.

2. Metodologia: CDNet

Os autores propõem o CDNet, uma Rede de Desdobramento de Dicionário Combinado leve que aborda os problemas acima através de reorganização estrutural e uma nova função de perda.

A. Arquitetura de Desdobramento de Dicionário Combinado

Em vez de comprimir uma rede existente ou introduzir novos priores, o CDNet traduz o prior de decomposição único-comum da aprendizagem de dicionário acoplado em uma arquitetura de desdobramento conjunto estruturalmente restrita.

• Representação Conjunta: Em vez de manter dicionários separados e atualizar variáveis ($Z_X, Z_Y, Z_C$) sequencialmente, o CDNet reorganiza estas em uma representação de recursos combinada $W = [Z_X, Z_Y, Z_C]^T$ e um dicionário combinado com estrutura de blocos $D$.
• CDBlock (Bloco de Dicionário Combinado): A inovação central é o CDBlock, que implementa uma topologia de interação esparsa por blocos. Ele realiza uma atualização conjunta derivada de modelo de todas as representações (comuns e únicas) dentro de uma única passagem forward, substituindo os ramos alternados fragmentados.
  • Utiliza o framework do Algoritmo Iterativo de Encolhimento e Limiar Aprendido (LISTA).
  • Os kernels convolucionais ($d_D$ e $d_U$) são estruturados explicitamente para mimetizar a topologia esparsa por blocos do dicionário $D$ e sua transposta, impondo a lógica de decomposição enquanto permitem flexibilidade aprendível.
• Processamento Apenas de Luminância: Para melhorar a transferabilidade entre tarefas, o CDNet opera exclusivamente no canal de luminância (Y) no espaço YCbCr, fundindo os canais de crominância através de uma estratégia de fusão ponderada leve. Isso evita variações de cor específicas do sensor que prejudicam a generalização.

B. Perda de Fidelidade de Imagem de Alta e Baixa Frequência (HLIF)

Para permitir o treinamento não supervisionado sem imagens de referência, os autores projetam uma perda HLIF compacta:

• Pesos Adaptativos ao Gradiente: Gera pesos adaptativos ($Z_x, Z_y$) a partir dos gradientes da imagem de origem usando um mapeamento sigmoidal. Isso suprime o ruído enquanto preserva bordas salientes.
• Restrições de Fidelidade Dupla:
  1. Fidelidade de Alta Frequência ($L_{HIF}$): Usa uma norma $L_1$ para garantir que o gradiente fundido corresponda ao gradiente da fonte dominante, preservando detalhes estruturais e bordas.
  2. Fidelidade de Baixa Frequência ($L_{LIF}$): Usa uma norma $L_2$ no domínio da imagem para garantir consistência global de luminância e suavidade.
• Esta perda é agnóstica à modalidade, não requer redes pré-treinadas e facilita a aprendizagem por transferência entre diferentes cenários de fusão.

3. Principais Contribuições

1. Inovação Estrutural: Traduz o prior de dicionário acoplado em uma arquitetura de desdobramento conjunto esparsa por blocos, permitindo atualizações síncronas de todos os componentes de representação e eliminando a sobrecarga sequencial da minimização alternada.
2. Eficiência: Deriva o CDBlock como uma realização convolucional estruturalmente restrita, substituindo ramos fragmentados por um bloco de fusão unificado e leve.
3. Perda Transferível: Introduz a perda HLIF, um objetivo compacto e adaptativo ao gradiente que equilibra preservação estrutural e consistência de luminância sem supervisão pesada.
4. Generalização entre Tarefas: Demonstra que um modelo treinado apenas no conjunto de dados SICE (múltipla exposição) pode generalizar efetivamente para tarefas de Infravermelho-Visível, Médica e Segmentação Semântica sem ajuste fino.

4. Resultados Experimentais

O CDNet foi avaliado em quatro tarefas: Fusão de Múltipla Exposição (MEF), Fusão Infravermelho-Visível (IVF), Fusão de Imagens Médicas (MIF) e IVF para Segmentação Semântica.

• Eficiência: O CDNet é extremamente leve, contendo apenas 6.5K parâmetros (aprox. 1/94 do GIFNet) e exigindo 0.4 GFLOPs (aprox. 1/93 do GIFNet). Alcança um tempo de inferência de 1.55 ms para imagens de 256×256.
• Desempenho (Tarefa IVF):
  • No conjunto de dados TNO, o CDNet supera o segundo melhor método em 1.23 dB em PSNR e alcança a métrica de artefatos mais baixa (Nabf = 0.0012).
  • No conjunto de dados RoadScene, supera o vice-campeão em 1.59 dB em PSNR.
• Desempenho (MEF e MIF): O CDNet alcança resultados state-of-the-art ou competitivos nos conjuntos de dados MEFB, SICE, PET-MRI e SPECT-MRI, frequentemente ocupando o primeiro lugar em PSNR, SSIM e qualidade perceptual (HyperIQA).
• Tarefa a Jusante: Na segmentação semântica (conjunto de dados FMB), imagens fundidas pelo CDNet produziram o maior mIoU (57.0%) e mAcc (65.1%), superando outros métodos de fusão.
• Estudos de Ablação: Confirmaram que a estratégia de atualização unificada reduz parâmetros em ~18% e tempo de inferência em ~26% comparado a atualizações alternadas. A perda HLIF mostrou-se robusta e transferível, melhorando o desempenho quando aplicada a outras redes base.

5. Significado

Este artigo apresenta uma mudança de paradigma no desdobramento profundo para fusão de imagens. Ao migrar da minimização alternada para o desdobramento conjunto, o CDNet demonstra que fusão de alta fidelidade pode ser alcançada com eficiência computacional extrema.

• Implantação em Borda: A redução drástica em parâmetros e FLOPs torna a MSIF de alta qualidade viável para dispositivos de borda (por exemplo, drones, robôs móveis) onde DUNs anteriores eram pesados demais.
• Fusão Universal: A capacidade de treinar em um único conjunto de dados (SICE) e implantar em diversas modalidades (médica, térmica, exposição) sem retreinamento aborda um grande gargalo na implantação prática, reduzindo a necessidade de coleta de dados específicos de tarefa e treinamento de modelos.
• Interpretabilidade: O método mantém a interpretabilidade da otimização orientada a modelos (via estrutura de dicionário) enquanto aproveita a eficiência da aprendizagem profunda, oferecendo uma solução transparente e eficiente para percepção de múltiplas fontes.