Bridging the Training-Deployment Gap: Gated Encoding and Multi-Scale Refinement for Efficient Quantization-Aware Image Enhancement

Resumo Técnico: Preenchendo a Lacuna entre Treinamento e Implantação em Aprimoramento de Imagem

1. O Problema

O artigo aborda um desafio crítico na visão computacional móvel: o descompasso entre treinamento e implantação (training-deployment gap).

• Contexto: Modelos de aprimoramento de imagem baseados em Deep Learning (Deep ISP) conseguem transformar fotos de baixa qualidade de smartphones em imagens de alta qualidade (nível DSLR). No entanto, esses modelos são geralmente treinados em precisão de ponto flutuante (FP32/FP16).
• Desafio: Para serem executados em dispositivos móveis reais, os modelos precisam ser quantizados para precisão inteira de 8 bits (INT8) para ganhar eficiência e velocidade.
• Falha Atual: Técnicas de quantização padrão (após o treinamento, ou PTQ) falham em tarefas de nível de pixel como aprimoramento de imagem. Isso ocorre porque as distribuições de ativação desses modelos são altamente sensíveis, assimétricas e dependentes da entrada. A quantização direta introduz artefatos visuais severos (mudanças de cor, banding, ruído), degradando drasticamente a qualidade da imagem final, tornando-a inaceitável para usuários.

2. Metodologia Proposta

Os autores propõem uma solução integrada que combina uma nova arquitetura de rede com uma estratégia de otimização específica para implantação.

A. Arquitetura Híbrida de Aprimoramento
O modelo utiliza uma estrutura hierárquica de três escalas projetada para equilibrar o contexto global e os detalhes de textura:

• Blocos de Codificador com Portão (Gated Encoder Blocks): Inspirados em arquiteturas existentes, mas com uma inovação: cada etapa de down-sampling usa um mecanismo de "portão" (gating). Em vez de apenas passar a saída final, o bloco preserva um triplet de características $(x_a, x_g, x_b)$, onde $x_g$ é o produto de Hadamard (interseção) de dois ramos paralelos. Isso atua como um mecanismo de atenção espacial e de canal leve, permitindo que o decodificador acesse tanto informações semânticas filtradas quanto características direcionais brutas via conexões de pulo (skip connections) multicanal.
• Refinamento Multiescala: Uma estratégia de refinamento é aplicada em múltiplas resoluções (escalas S/2, S/4 e no gargalo S/8) tanto no codificador quanto no decodificador. Isso garante que a estrutura global de iluminação e os detalhes de textura locais sejam preservados simultaneamente.
• Fusão de Características Multirramo: No decodificador, três fluxos de informação (características semânticas de alto nível, características refinadas do codificador e características de pulo brutas) são concatenados e processados para reconstruir a imagem com alta fidelidade.

B. Treinamento Consciente de Quantização (QAT)
A contribuição central para resolver o problema de implantação é a integração do QAT no processo de treinamento:

• Simulação de Hardware: Durante o treinamento, operadores de "quantização falsa" (FakeQuant) são inseridos no grafo computacional. Eles simulam o arredondamento e o clamping (limitação) de valores que ocorrem em hardware INT8, mas mantêm os cálculos internos em FP32.
• Estimador Direto (STE): Como a operação de arredondamento não é diferenciável, utiliza-se o Straight-Through Estimator para permitir que os gradientes fluam e atualizem os pesos, ensinando a rede a ser robusta contra os erros de quantização.
• Objetivo: O modelo aprende representações inerentemente robustas, minimizando a degradação de qualidade ao ser convertido para INT8.

C. Função de Perda
O modelo é supervisionado por uma combinação de três funções de perda:

1. PSNR (Peak Signal-to-Noise Ratio): Foca na fidelidade de pixel.
2. Similaridade Cosseno: Garante a integridade estrutural alinhando a direção dos vetores de características.
3. Perda Consciente de Outliers (Outlier-Aware): Estabiliza o treinamento ponderando dinamicamente os pixels com base na distribuição de erro, evitando que valores extremos dominem o gradiente.

3. Principais Contribuições

1. Identificação de Desafios Específicos: Mapeamento claro das causas de degradação em modelos de aprimoramento de imagem ao serem implantados em dispositivos móveis (sensibilidade de ativações e dependência de cor).
2. Novo Framework de Treinamento: Introdução do QAT especificamente adaptado para Deep ISP, garantindo otimização consistente com a implantação.
3. Arquitetura Eficiente: Proposta de uma rede com blocos de codificador com portão e refinamento multiescala que mantém alta qualidade visual com baixo custo computacional.
4. Validação de Escalabilidade: Demonstração de que o modelo mantém um equilíbrio ideal entre eficiência computacional e qualidade perceptual, sendo viável para dispositivos comerciais padrão.

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados DPED (iPhone vs. DSLR) e avaliados no desafio Mobile AI 2026.

• Desempenho Quantitativo:
  • O modelo alcançou o 2º lugar no desafio, com uma pontuação final de 3.8.
  • Obteve PSNR de 21.82 dB e SSIM de 0.7653 em inferência INT8.
  • Comparado à quantização pós-treinamento (PTQ) direta, o modelo QAT mostrou uma melhoria significativa: +0.474 dB em PSNR e +0.111 em SSIM na configuração INT8.
• Eficiência e Latência:
  • Ao utilizar o acelerador QNN HTP (Hexagon Tensor Processor) da Qualcomm, a latência de inferência caiu de 151 ms (FP16) para 41.8 ms (INT8 QAT), representando um aumento de velocidade de 3.6x.
  • A latência no TFLite GPU Delegate também foi reduzida de 469 ms para 319 ms ao migrar para INT8.
• Qualidade Visual:
  • Resultados qualitativos mostraram que o modelo QAT em 8 bits preserva a fidelidade de cor e detalhes finos (como texto em placas de carro) quase tão bem quanto o modelo FP32, enquanto o modelo PTQ direto sofria de mudanças de cor severas (ex: céu rosa) e ruído.
• Estudos de Ablação:
  • A remoção das etapas de refinamento reduziu drasticamente a latência, mas fez o modelo falhar nos requisitos mínimos de qualidade (PSNR < 22 dB).
  • A largura de canal c=32 foi identificada como a configuração ótima, oferecendo o melhor equilíbrio entre precisão e custo computacional.

5. Significado e Impacto

Este trabalho é significativo porque estabelece um paradigma robusto para aplicações de visão computacional de alta fidelidade em dispositivos de borda (edge devices).

• Ponte Teórico-Prática: Demonstra que é possível fechar a lacuna entre o design de arquitetura teórica (precisão infinita) e as restrições de hardware real (8 bits) sem sacrificar a qualidade perceptual.
• Viabilidade Comercial: Ao reduzir a latência em mais de 3x e manter a qualidade, o método torna viável a execução de modelos complexos de aprimoramento de imagem em tempo real em smartphones comuns, sem a necessidade de hardware especializado caro.
• Direção Futura: O sucesso do QAT em tarefas de nível de pixel sugere que técnicas semelhantes devem ser adotadas em outras áreas de restauração de imagem e super-resolução, onde a sensibilidade a ruídos de quantização é crítica.

Em resumo, o artigo oferece uma solução completa e validada para implantar modelos de aprimoramento de imagem de alta qualidade em dispositivos móveis, superando as limitações tradicionais da quantização através de uma co-otimização de arquitetura e treinamento.