There and Back Again: A Flexible-Frame Transformer for Multi-Exposure Fusion

Resumo Técnico: FreeMEF – Um Transformer de Quadro Flexível para Fusão de Múltiplas Exposições

Problema
A Fusão de Múltiplas Exposições (MEF - Multi-Exposure Fusion) visa reconstruir imagens de Alto Alcance Dinâmico (HDR) fundindo múltiplos quadros de Baixo Alcance Dinâmico (LDR) capturados em diferentes níveis de exposição. Embora as abordagens baseadas em aprendizado tenham avançado neste campo, elas enfrentam duas limitações críticas que dificultam a implantação prática:

1. Restrições de Entrada Fixa: As arquiteturas existentes são projetadas para um número específico e fixo de quadros de entrada (por exemplo, 2, 3 ou 5). Em cenários do mundo real, onde as estratégias de exposição variam, esses modelos exigem modificações arquitetônicas e retreinamento para diferentes contagens de quadros, prejudicando a eficiência de implantação.
2. O Paradoxo da Similaridade: Mecanismos de atenção convencionais dependem da similaridade entre quadros para agregar informações. No entanto, na imagem HDR, as regiões que mais necessitam de restauração (áreas saturadas superexpostas ou subexpostas) exibem uma similaridade pixel a pixel extremamente baixa em relação aos seus correspondentes em quadros de exposição normal. Os mecanismos de atenção cruzada padrão, que priorizam regiões de alta similaridade, falham em recuperar efetivamente informações complementares dessas áreas críticas, levando a uma recuperação de detalhes deficiente.

Metodologia: FreeMEF
Os autores propõem o FreeMEF, um framework de transformer de quadro flexível que desacopla as características de referência das características base, permitendo que um único modelo lide com comprimentos de sequência de entrada arbitrários sem retreinamento. A arquitetura consiste em dois componentes primários:

1. Módulo de Espaço de Estado Recorrente (RSSM - Recurrent State Space Module):

   • Em vez de processar os quadros em paralelo, o RSSM funde sequencialmente as características de um número arbitrário de exposições de entrada.
   • Ele utiliza uma Equação de Espaço de Estado Atenta (ASE - Attentive State-Space Equation) para capturar contextos espaciais-temporais globais com complexidade computacional linear.
   • O módulo emprega uma estratégia de alinhamento deformável para lidar com o movimento entre os quadros e atualiza um estado oculto recorrentemente. Isso permite que a rede agregue informações de múltiplos quadros em uma única característica de fusão global ($H_T$), independentemente da contagem de entrada.

2. Bloco de Guia de Características Globais (GFGB - Global Feature Guided Block):

   • Este bloco processa o quadro base utilizando a característica global agregada ($H_T$) como guia auxiliar. Ele compreende dois submódulos projetados para resolver o paradoxo da similaridade e otimizar a regulação da exposição:
     • Atenção Híbrida de Extremidade (EAHA - Extremity-Aware Hybrid Attention): Para abordar o paradoxo da similaridade, a EAHA gera um vetor de consulta híbrido. Ela estima um mapa de extremidade para identificar regiões saturadas. Nessas regiões, o modelo muda da consulta de base pouco confiável ($Q_{base}$) para uma consulta de referência ($Q_{ref}$) derivada do histórico global. Isso permite que o modelo utilize priors estruturais do contexto global para restaurar detalhes clipados onde a similaridade pixel a pixel é baixa.
     • Rede Feed-Forward de Injeção Afim (AFFN - Affine-Injection Feed-Forward Network): Redes Feed-Forward (FFNs) padrão carecem da capacidade de se adaptar a mudanças globais de exposição. A AFFN injeta informações de radiância global na FFN via modulação afim (escalonamento $\gamma$ e deslocamento $\beta$). Isso recalibra explicitamente o contraste e o brilho das características locais com base nas estatísticas de alto alcance dinâmico preservadas no histórico global.

Principais Contribuições

• Arquitetura de Quadro Flexível: O FreeMEF é o primeiro método de MEF que desacopla conceitualmente as características de referência das características base, permitindo que um único modelo treine e realize inferência em números arbitrários de quadros de entrada sem redesenho arquitetônico ou retreinamento.
• Mecanismo de Fusão Recorrente (RSSM): Um novo módulo que agrega progressivamente características de exposição usando modelagem de espaço de estados, acomodando comprimentos de entrada variáveis enquanto mantém o contexto global.
  ^{*} Resolução do Paradoxo da Similaridade: A introdução do GFGB, especificamente EAHA e AFFN, resolve efetivamente a falha da atenção padrão em regiões saturadas e alcança controle preciso de brilho.
• Desempenho Superior: O método demonstra desempenho estado da arte quantitativa e qualitativamente em múltiplos conjuntos de dados.

Resultados Experimentais
Os autores avaliaram o FreeMEF em três conjuntos de dados de referência: Kalantari et al., Real-HDRV e SICE.

• Desempenho Quantitativo: No conjunto de dados Kalantari, o FreeMEF alcançou um PSNR de 28,418 dB, superando o segundo melhor método (AFUNet) em 1,192 dB. No Real-HDRV, melhorou o PSNR em 0,515 dB em relação ao segundo colocado.
• Generalização (Cross-Dataset/Quadros Variáveis): Em avaliações de cross-dataset (treinamento no Kalantari, teste no SICE com 2, 3 e 5 quadros), o FreeMEF superou consistentemente as bases de entrada fixa. Notavelmente, mostrou ganhos significativos nos cenários de 2 e 5 quadros, onde outros métodos exigiam retreinamento ou mudanças arquitetônicas. Por exemplo, no subconjunto de 5 quadros do SICE, o FreeMEF melhorou o PSNR em 1,116 dB em relação ao segundo melhor método.
• Eficiência: O modelo mantém um baixo custo computacional, economizando aproximadamente 39% e 56% em FLOPs em comparação ao AFUNet e HDR-Transformer, respectivamente, mantendo contagens de parâmetros adequadas para implantação móvel.
• Qualidade Visual: Comparações qualitativas mostram uma recuperação superior de rostos retroiluminados e sujeitos em movimento, com supressão eficaz de artefatos de ghosting de movimento comuns em métodos de fusão paralela.

Significância e Alegações
O artigo afirma que o FreeMEF aborda a rigidez fundamental dos sistemas de MEF atuais. Ao se afastar das restrições de entrada fixa e dos paradigmas de fusão paralela, o mecanismo recorrente proposto de "ir e voltar" permite a adaptação contínua a diversas configurações de exposição do mundo real. Os autores afirmam que sua abordagem não apenas melhora a qualidade de restauração em regiões saturadas desafiadoras, mas também estabelece um framework mais eficiente e versátil para imagens HDR, eliminando a necessidade de múltiplos modelos especializados para diferentes contagens de quadros.

Limitações
Os autores reconhecem que, embora o FreeMEF seja robusto, pequenas desvios de cor podem ocorrer nos resultados fundidos em comparação com o ground truth. Isso é atribuído a lacunas excessivamente grandes entre os níveis de exposição, o que pode fazer com que as cores desviem da aparência real da cena.