Resumo Técnico: DeLux – Restauração de Artefatos Locais Cross-Modais em Vídeo Usando Dados Neuromórficos

1. Definição do Problema

Câmeras RGB convencionais são suscetíveis a artefatos de iluminação severos, como reflexos de lente (lens flare), brilho excessivo (glare), superexposição e cintilação (flicker), particularmente em cenas externas com intervalos dinâmicos extremos. Esses artefatos frequentemente causam perda localizada de informação onde as intensidades de pixels estão totalmente saturadas ou clipadas, tornando a recuperação via pós-processamento padrão apenas de RGB impossível. Os métodos de restauração existentes normalmente abordam esses problemas isoladamente (por exemplo, apenas glare ou apenas superexposição) ou dependem de mapeamento de tons globais. Esta última abordagem preserva a integridade estrutural dos artefatos ópticos (como raios de flare) enquanto comprime o intervalo dinâmico, falhando em recuperar detalhes completamente obscurecidos pela degradação. Além disso, a literatura atual carece de um paradigma generalizado capaz de abordar simultaneamente diversas degradações de iluminação espacialmente discretas.

2. Metodologia: O Pipeline DeLux

Os autores propõem o DeLux, um pipeline de prova de conceito modular e de ponta a ponta que utiliza fluxos de eventos neuromórficos como um prior estrutural para guiar a detecção direcionada e a inpainting de artefatos de iluminação em vídeo RGB. O framework desacopla explicitamente a detecção de artefatos da fusão multimodal e da inpainting de imagem. O pipeline consiste em quatro estágios distintos:

1. Reconstrução de Evento-para-Vídeo: Dados de eventos assíncronos de uma câmera neuromórfica são convertidos em frames de vídeo em escala de cinza densos usando modelos pré-treinados (E2VID ou E2VID++). Essas reconstruções servem como uma modalidade secundária, capturando mudanças de brilho com precisão de microssegundos e um intervalo dinâmico que excede 140 dB, mesmo quando os sensores RGB estão saturados.
2. Detecção de Artefatos: Uma rede de segmentação dedicada baseada em UNet processa o frame RGB de entrada para gerar um mapa de confiança pixel a pixel (máscara de artefato) indicando a probabilidade de presença de artefatos (glare, flare, superexposição, flicker). Este passo é treinado em máscaras de artefatos geradas sinteticamente para generalizar entre diferentes condições.
3. Fusão Multimodal: O frame RGB, a reconstrução baseada em eventos e a máscara de artefato são concatenados ao longo da dimensão de canais. Um módulo convolucional combina essas entradas para criar uma representação unificada. Crucialmente, a máscara de artefato atua como uma interface de override manual, permitindo que o comportamento de fusão seja configurado na inferência sem retreinamento. Este estágio garante que os detalhes estruturais do fluxo de eventos sejam utilizados primariamente em regiões corrompidas.
4. Remoção de Artefatos: Um módulo baseado em UNet realiza inpainting direcionada. Ele recebe a representação fundida e produz uma imagem RGB limpa e livre de artefatos. O modelo é treinado para restaurar regiões corrompidas enquanto preserva o conteúdo não afetado.

Estratégia de Treinamento:
O pipeline é treinado via otimização conjunta dos módulos de detecção, fusão e remoção, enquanto o reconstrutor de evento-para-vídeo permanece congelado. O objetivo de treinamento combina três componentes de perda:

• Perda de Detecção ($L_{det}$): Perda de Huber entre as máscaras de artefato previstas e as reais (ground-truth).
• Perda de Reconstrução ($L_{recon}$): Uma combinação de Erro Absoluto Médio (MAE), Similaridade Estrutural Multi-Escala (MS-SSIM), perda perceptual VGG e regularização de Variação Total (TV).
• Perda de Não-Máscara ($L_{nm}$): Um termo de consistência que penaliza edições em regiões sem artefatos, garantindo que o modelo não altere pixels limpos.

Dados:
O sistema é treinado em um conjunto de dados híbrido compreendendo artefatos sintéticos injetados em frames limpos (usando CARLA e Cityscapes) e dados neuromórficos do mundo real (DSEC, E2VID). Para avaliação no mundo real, os autores selecionaram janelas temporais específicas de filmagens automotivas onde artefatos severos ocorrem naturalmente.

3. Principais Contribuições

• Nova Direção de Pesquisa: O artigo introduz a "restauração de artefatos locais cross-modais", um paradigma que trata artefatos de iluminação localizados como perda de informação específica de uma modalidade, mitigada pela integração de uma modalidade de detecção secundária (eventos neuromórficos) para guiar a inpainting de RGB.
• Framework DeLux: O primeiro sistema projetado para detectar e remover múltiplos tipos de artefatos de iluminação dentro de um único pipeline de aprendizado profundo ao fundir vídeo padrão com dados de eventos neuromórficos.
• Benchmark Rigoroso: Os autores estabelecem um benchmark composto por artefatos de iluminação sintéticos e do mundo real, fornecendo um protocolo de avaliação para futuros modelos de restauração cross-modais. Eles disponibilizam ferramentas de geração de artefatos sintéticos e conjuntos de dados curados do mundo real para fomentar novas pesquisas.

4. Resultados Experimentais

Os autores avaliaram o DeLux contra baselines de estado da arte, incluindo modelos de restauração de modalidade única (Flare7K++, Wu et al., SHDR), uma abordagem de rede única unificada (DAD†) e modelos de HDR guiados por eventos (HDRev-Diff).

• Desempenho em Dados Sintéticos: O DeLux alcançou o desempenho mais alto em todos os tipos de artefatos (glare, flares, superexposição) em termos de MS-SSIM, PSNR e MAPE. Alcançou um MS-SSIM médio superior a 0,99 em todos os tipos de artefatos, superando significativamente os baselines apenas de RGB e os modelos de HDR guiados por eventos.
• Desempenho no Mundo Real: Em filmagens automotivas do mundo real, o DeLux demonstrou uma redução de até 88% na severidade dos artefatos (medida pelo métrica customizada Strong Artifact Suppression, SAS). Em contraste, baselines de mapeamento de tom global como o HDRev-Diff frequentemente falharam em suprimir artefatos localizados, resultando em pontuações SAS negativas para certas sequências.
• Eficiência: O DeLux opera a 16,5 FPS com 90,2 milhões de parâmetros em uma NVIDIA A100, sendo um ou dois ordens de magnitude mais rápido e leve que os baselines baseados em difusão (ex: HDRev-Diff a 1,1 FPS com 1,6B de parâmetros).
• Estudos de Ablação: O estudo confirmou que remover a modalidade de eventos (DeLux-NE) ou o detector explícito (DeLux-ND) degrada severamente o desempenho. A perda de não-máscara ($L_{nm}$) foi considerada crítica para equilibrar a precisão da detecção com a reconstrução localizada controlada.

5. Significância e Alegações

O artigo afirma que o DeLux representa um afastamento significativo das abordagens de melhoria global. Ao desacoplar explicitamente a localização de artefatos da fusão multimodal, o framework evita a alteração indesejada de regiões de imagem limpas, permitindo que a rede utilize seletivamente a modalidade secundária apenas onde o sensor RGB falhou.

Os autores posicionam o DeLux como um modelo para lidar com severas degradações de imagem localizadas usando modalidades de detecção secundárias. Eles argumentam que esta abordagem cross-modal vai além das restrições de sensor único, oferecendo um caminho para sistemas de processamento de imagem altamente confiáveis capazes de operar sob condições de iluminação adversas.

Limitações Reconhecidas pelos Autores:

• Cenas Estáticas: Câmeras de eventos inerentemente têm dificuldade em cenas estacionárias onde nenhum evento é disparado, embora a arquitetura modular permita a integração de outras modalidades (ex: térmica) para mitigar isso.
• Avaliação Sintética: Embora overlays sintéticos de alta qualidade tenham sido usados, eles não podem reproduzir totalmente a complexa interação física da luz em montagens de lentes reais.
• Consistência Temporal: Como a implementação atual restaura frames independentemente, os outputs não são garantidos como temporalmente consistentes, podendo resultar em flicker visível. Os autores identificam a modelagem de múltiplos frames como uma direção necessária para trabalhos futuros.
• Otimização: A dependência de um reconstrutor E2VID congelado limita a otimização total de ponta a ponta, sugerindo que futuros pipelines poderiam ingerir representações de eventos brutas diretamente.