Resumo Técnico: UniISP

Declaração do Problema

As pipelines de imageamento atuais enfrentam uma dicotomia entre a percepção visual humana e os requisitos de visão computacional. As pipelines tradicionais de Processamento de Sinal de Imagem (ISP) são projetadas manualmente para produzir imagens RGB visualmente agradáveis para consumo humano. No entanto, essas operações (por exemplo, redução de ruído, nitidez, mapeamento de tons) frequentemente introduzem artefatos de compressão e perda de informações, degradando o desempenho de tarefas subsequentes de visão computacional, particularmente em condições desafiadoras como ambientes de baixa luminosidade.

Por outro lado, métodos projetados para visão computacional frequentemente contornam ISPs tradicionais para utilizar dados brutos do sensor diretamente ou empregam redes ISP treinadas conjuntamente. Embora essas abordagens melhorem métricas específicas de tarefas (por exemplo, precisão de detecção de objetos), as imagens RGB resultantes frequentemente falham em atender aos padrões estéticos humanos, aparecendo não visualizáveis ou carecendo de fidelidade de cor. Há uma falta de frameworks de otimização dedicados que satisfaçam simultaneamente os requisitos duplos de gerar imagens de alta qualidade para visualização humana, preservando ao mesmo tempo a integridade das informações para interpretação por máquinas.

Metodologia

O artigo propõe UniISP, um framework neural ISP leve, de ponta a ponta, baseado em uma arquitetura U-Net. O UniISP é projetado para processar dados brutos do sensor em imagens sRGB que são simultaneamente otimizadas para qualidade visual humana e tarefas subsequentes de visão computacional. O framework consiste em três componentes principais:

1. Módulo de Atenção Híbrida (HAM)

Para garantir reconstrução de imagem de alta qualidade adequada à percepção humana, o UniISP emprega um Módulo de Atenção Híbrida como sua base.

• Autoatenção por Canal: Inspirado no Restormer, o módulo aplica autoatenção ao longo da dimensão do canal em vez da dimensão espacial. Isso reduz a complexidade computacional de $O((H \cdot W)^2)$ para $O(C^2)$, tornando interações globais viáveis para imagens de alta resolução.
• Melhoria Dinâmica de Recursos: Diferentemente de mecanismos de atenção estáticos, a autoatenção por canal amplifica dinamicamente canais informativos e suprime os ruidosos com base no contexto, o que é crucial para a conversão de RAW para RGB.
• Codificação Posicional Relativa (RPE): A RPE é integrada para preservar informações estruturais, fornecendo pistas sobre as posições relativas dos canais, aprimorando a modelagem de dependências tanto locais quanto de longo alcance.
• Aprendizado Supervisionado: O HAM é treinado com aprendizado supervisionado para garantir que as imagens geradas estejam alinhadas com preferências visuais humanas.

2. Adaptador de Recursos

Para preencher a lacuna entre a etapa ISP e redes subsequentes de visão computacional (que são tipicamente pré-treinadas em dados RGB), um Adaptador de Recursos é introduzido.

• Fusão no Domínio da Frequência: O adaptador utiliza um módulo FreqFusion para agregar saídas de codificador multi-escala (D1–D4). Ele separa os recursos em componentes de baixa frequência (contexto global) e alta frequência (detalhes finos).
• Integração Multiestágio: Os recursos fundidos são progressivamente mesclados na base da rede subsequente via concatenação e conexões residuais. Esse mecanismo permite que a rede incorpore flexivelmente informações do domínio RAW, reduzindo o deslocamento de domínio e facilitando a transferência de pesos pré-treinados.

3. Framework de Treinamento Adaptativo

O UniISP emprega uma estratégia de otimização conjunta para equilibrar objetivos de visão humana e visão computacional.

• Função de Perda: Uma perda total $L_{total}$ é definida como uma soma ponderada da perda de visão humana ($L_{human}$) e da perda de visão computacional ($L_{machine}$).
• Ponderação Dinâmica: O fator de ponderação $\lambda$ é computado adaptativamente em cada etapa de treinamento usando Médias Móveis Exponenciais (EMA) das perdas. Se a perda de visão humana for alta, $\lambda$ diminui para enfatizar o desempenho da máquina, e vice-versa.
• Tratamento de Alinhamento: Para conjuntos de dados não alinhados (onde imagens RAW e RGB de referência vêm de câmeras diferentes), o framework incorpora um módulo de Mapeamento de Cor Global (GCM) e uma máscara robusta de consistência de fluxo óptico. Essa máscara filtra áreas de alinhamento imprecisas (por exemplo, oclusões, padrões repetitivos) para garantir supervisão confiável.

Contribuições Principais

1. Framework Unificado: A proposta do UniISP, um framework ISP aprendível e leve capaz de atender simultaneamente às necessidades da percepção visual humana e de tarefas de visão computacional.
2. Módulo de Atenção Híbrida (HAM): A introdução de um mecanismo de atenção inovador que combina autoatenção com atenção convolucional clássica. Esse design aproveita diferentes tipos de atenção para aprimorar a representação de recursos e a generalização, mantendo a eficiência computacional.
3. Adaptador de Recursos: O desenvolvimento de um módulo que integra e adapta recursos multi-escala da etapa ISP para redes subsequentes, enriquecendo a compreensão do modelo e melhorando o desempenho de tarefas subsequentes sem sacrificar a qualidade visual.
4. Avaliação Abrangente: Experimentos extensivos em múltiplas tarefas (mapeamento RAW para RGB, detecção de objetos, segmentação semântica) e conjuntos de dados demonstram a eficácia do framework e suas capacidades de generalização.

Resultados Experimentais

O artigo avalia o UniISP em três tarefas principais usando vários conjuntos de dados (ZRR, PASCAL RAW, LOD, ADE20K RAW):

• Mapeamento RAW para RGB: No conjunto de dados ZRR, o UniISP supera métodos state-of-the-art (incluindo AWNet, MW-ISPNet, LiteISP e FourierISP) em todas as métricas PSNR, SSIM e LPIPS. Ele alcança esses resultados com significativamente menos parâmetros e menor complexidade computacional (GFLOPs) devido ao seu design leve de HAM. Resultados qualitativos mostram imagens mais nítidas com detalhes mais ricos e maior fidelidade de cor.
• Detecção de Objetos: Nos conjuntos de dados PASCAL RAW e LOD, o UniISP melhora significativamente o desempenho de detecção em cenários de baixa luminosidade em comparação com métodos como RAW-Adapter. A inclusão do Adaptador de Recursos mostra-se crítica para aproveitar recursos da etapa ISP. O UniISP alcança um equilíbrio, fornecendo qualidade visual humana superior enquanto evita o contraste severo frequentemente visto em otimização apenas para máquinas, levando a uma detecção robusta em condições normais, superexpostas e escuras.
• Segmentação Semântica: No conjunto de dados ADE20K RAW, o UniISP supera métodos concorrentes em diferentes tamanhos de base (MIT-B0, B3, B5) e níveis de iluminação. Notavelmente, um modelo UniISP com uma base menor (MIT-B3) supera outros métodos que usam bases maiores (MIT-B5) em condições de baixa luminosidade, atribuído à fusão eficaz de recursos do adaptador.

Significado e Afirmações

O artigo afirma ser a primeira exploração da otimização simultânea de ISP tanto para percepção visual humana quanto para tarefas de visão computacional. Ele postula que pesquisas existentes trataram esses objetivos separadamente, levando a soluções subótimas tanto para visualização humana quanto para análise por máquinas.

O significado do UniISP reside em sua capacidade de:

• Preservar a Integridade das Informações: Ao evitar a perda de informações inerente às pipelines tradicionais de duas etapas (RAW $\to$ ISP-Humano $\to$ Tarefa de Máquina), o UniISP retém informações fisicamente significativas dos sensores brutos.
• Preencher a Lacuna de Domínio: O Adaptador de Recursos propaga efetivamente recursos RAW para redes subsequentes, permitindo que modelos RGB pré-treinados funcionem eficazmente em dados brutos.
• Alcançar Otimização Dupla: O framework de treinamento adaptativo equilibra com sucesso os objetivos frequentemente conflitantes de qualidade estética e desempenho semântico, provando que uma abordagem unificada é viável e superior a estratégias de otimização separadas.

Os autores concluem que este trabalho sugere direções potenciais para sistemas ISP futuros, particularmente em cenários híbridos como direção autônoma, onde visualização em tempo real para usuários e reconhecimento ambiental para máquinas são ambos necessários.