Resumo Técnico: ExpoMotion e a Rede de Projeção de Householder

1. Declaração do Problema

A Fusão de Múltiplas Exposições (MEF - Multi-Exposure Fusion) é uma técnica crítica para estender a faixa dinâmica de sensores de imagem padrão, que frequentemente falham em capturar cenas que abrangem mais de 10 ordens de magnitude (desde a luz estelar até a luz solar direta). Embora a MEF ofereça um caminho direto para imagens de alta qualidade no domínio de exibição sem os artefatos secundários (ex: halos) associados aos Operadores de Mapeamento de Tom (Tone Mapping Operators) usados na reconstrução de HDR, ela enfrenta obstáculos significativos em ambientes dinâmicos.

Os principais desafios são:

• Artefatos de Movimento: O tremor da câmera e objetos em movimento causam desalinhamentos severos entre os quadros de exposição, resultando em "fantasmas" (ghosting) ou rasgos.
• Escassez de Benchmarks: Os benchmarks existentes focam majoritariamente em cenas estáticas. Os conjuntos de dados dinâmicos atuais ou carecem de Verdade de Campo (Ground Truth - GT) confiável devido ao movimento do mundo real, ou carecem de realismo por serem gerados sinteticamente. Além disso, os métodos atuais de geração de GT frequentemente dependem de reconstruções HDR mapeadas de tom, que herdam distorções de contraste e não se alinham com as preferências perceptivas humanas.
• Limitações Algorítmicas: Abordagens padrão que dependem de fluxo óptico ou mecanismos de atenção baseados em similaridade lutam com a MEF. O warping baseado em fluxo introduz distorções geométricas em regiões ocluídas, enquanto a atenção padrão falha em distinguir entre detalhes complementares úteis (ex: texturas em sombras superexpostas) e artefatos de desalinhamento.

2. Metodologia Proposta

Os autores propõem uma solução de duas frentes: um novo conjunto de dados em larga escala (ExpoMotion) e uma nova arquitetura de rede (HOP).

A. O Conjunto de Dados ExpoMotion

Para enfrentar a falta de benchmarks dinâmicos de alta qualidade, os autores construíram o ExpoMotion, um conjunto de dados composto por 1.738 sequências e 10.909 imagens.

• Estratégia de Aquisição: O conjunto de dados integra três protocolos:
  1. Movimento Controlado: Cenas estáticas com quadros de referência trocados para simular movimento enquanto mantém um GT livre de artefatos.
  2. Movimento de Laboratório: Capturado em um laboratório de movimento profissional para manipular dinâmicas precisas e iluminação.
  3. Movimento do Mundo Real: Capturas "in-the-wild" para avaliação perceptual sem referência.
• Geração de Verdade de Campo (Ground Truth): Foi empregado um pipeline de humano no ciclo (human-in-the-loop). Candidatos a GT foram gerados via múltiplos algoritmos e softwares comerciais (ex: Lightroom, Photomatix). Estes foram então triados por avaliadores e meticulosamente refinados por fotógrafos profissionais para garantir fotorealismo, qualidade livre de artefatos e alinhamento com a percepção humana.
• Escala e Diversidade: O conjunto de dados é significativamente maior que os benchmarks existentes (ex: 19× maior que o Kalantari17) e cobre uma gama mais ampla de luminância, resolução (média de 2563 × 1896) e diversidade semântica.

B. A Rede de Projeção Ortogonal de Householder (HOP)

Os autores propõem a HOP, que reformula o deghosting de MEF de uma perspectiva matemática, desacoplando a tarefa em Pré-alinhamento de Exposição e Filtragem de Fantasmas.

1. Alinhamento de Iluminação de Priores Globais (GPIA):

   • Objetivo: Retificar discrepâncias drásticas de faixa dinâmica antes da agregação de características.
   • Mecanismo: Inspirado na teoria de Retinex, a GPIA extrai priores de iluminação global via pooling médio. Ela computa um mapa de razão de iluminação para modular os quadros auxiliares, alinhando seus níveis de exposição com o quadro de referência. Isso desacopla a correção de iluminação do tratamento de movimento.

2. Atenção Ortogonal de Householder (HOA):

   • Objetivo: Remover artefatos de movimento (fantasmas) enquanto preserva detalhes de alta frequência.
   • Mecanismo: Em vez da atenção padrão baseada em similaridade, a HOA modela os artefatos como perturbações ortogonais.
     • Ela constrói um vetor de conflito ($v$) baseado na diferença entre as características de referência e auxiliares.
     • Emprega uma transformação de Householder ($H = I - 2vv^T$) para refletir geometricamente as características auxiliares.
     • Ao projetar as características em um hiperplano definido pelo vetor de conflito, a rede efetivamente "rejeita" os componentes fantasmas desalinhados enquanto preserva o subespaço do sinal.
     • Um fator de escala adaptativo e um portão de intensidade permitem que a rede ajuste finamente a força de rejeição e evite a supressão de detalhes úteis.

3. Rede de Alimentação Direta Guiada por Gradiente (GGFN):

   • Objetivo: Aumentar a preservação de detalhes de alta frequência (bordas, texturas).
   • Mecanismo: Este módulo combina um ramo de convolução depth-wise aprendível com um ramo de Operador Laplaciano Discreto fixo. O ramo Laplaciano atua como um filtro passa-alta codificado rigidamente, forçando a rede a atender às fronteiras estruturais. Os dois ramos são fundidos via um parâmetro aprendível, regularizando o processo de aprendizado com informação explícita de borda.

3. Principais Contribuições

1. Conjunto de Dados ExpoMotion: Um benchmark de MEF dinâmico em larga escala, apresentando diversos padrões de movimento (controlado, laboratório e mundo real) e Verdade de Campo refinada por especialistas, projetado especificamente para avaliação rigorosa de deghosting.
2. Rede HOP: Uma arquitetura inovadora que utiliza transformações de Householder para desacoplar matematicamente a harmonização de exposição e a filtragem de fantasmas, oferecendo uma alternativa geométrica aos mecanismos de atenção padrão.
3. Desempenho: Experimentos extensos demonstrando que a HOP supera métodos de estado da arte tanto em métricas quantitativas (PSNR/SSIM) quanto em qualidade perceptual (métricas sem referência), particularmente em condições de iluminação extremas e dinâmicas.

4. Resultados Experimentais

• Desempenho Quantitativo: Nos conjuntos de teste de movimento controlado Kalantari17, RealHDRV e o próprio conjunto dos autores, o modelo HOP-B alcançou resultados de estado da arte. Por exemplo, no Kalantari17, ele atingiu 28.804 dB de PSNR, superando o forte competidor Restormer em ~0.5 dB usando apenas ~60% dos parâmetros (15.69M vs. 26.10M).
• Generalização: Quando treinada no ExpoMotion e testada em datasets externos do mundo real (Sen e Tursen), a HOP-B superou significativamente os modelos treinados em outros datasets (ex: +4.9 pontos no score MUSIQ em comparação ao treinamento no Kalantari17). Isso valida a capacidade do dataset de ensinar modelos a generalizar através de diversos cenários de movimento e iluminação.
• Qualidade Visual: Comparações qualitativas mostram que a HOP remove efetivamente artefatos de fantasma ao redor de objetos em movimento (ex: postes de lâmpadas, pessoas) e recupera detalhes em sombras e luzes extremas onde outros métodos falham ou introduzem ruído.
• Estudos de Ablação: A remoção de qualquer componente central (GPIA, HOPU ou GGFN) resultou em uma queda de desempenho de aproximadamente 0.4–1.0 dB, confirmando a necessidade e a sinergia dos módulos propostos.

5. Significância e Alegações

O artigo afirma que o ExpoMotion e a HOP abordam o gargalo crítico do MEF de cena dinâmica, onde os métodos atuais lutam com o equilíbrio entre restauração de detalhes e supressão de artefatos.

• Impacto do Dataset: Ao fornecer um benchmark com GT confiável para cenas dinâmicas, os autores permitem que a comunidade avalie rigorosamente as capacidades de deghosting, indo além das limitações de dados estáticos ou gerados sinteticamente.
• Mudança Metodológica: A introdução das transformações de Householder oferece uma abordagem matematicamente fundamentada para o deghosting, tratando-o como um problema de projeção geométrica em vez de uma simples tarefa de correspondência de características. Isso permite um tratamento mais robusto de desalinhamentos sem as distorções geométricas típicas do warping baseado em fluxo.
• Eficiência: O método proposto alcança desempenho superior com alta eficiência computacional, tornando-o adequado para implantação prática.

Limitações: Os autores reconhecem que o framework atual é projetado para uma fusão de três entradas (superexposta, referência, subexposta). Isso limita a aplicabilidade imediata a dispositivos ou datasets que forneçam um número variável de exposições, um desafio identificado para pesquisas futuras.