PaaF: Raising the perceived quality of INR-Based Image Compression

Resumo Técnico: PaaF – Elevando a Qualidade Percebida da Compressão de Imagem Baseada em INR

Declaração do Problema
As Representações Neurais Implícitas (INRs) oferecem um paradigma para compressão de imagem onde as imagens são representadas como funções que mapeiam coordenadas para cores, aproximadas por redes neurais. Embora essa abordagem permita independência de resolução e decodificação paralelizável, os codecs baseados em INR existentes sofrem de duas limitações primárias: tempos de codificação proibitivamente longos (frequentemente horas) e uma lacuna persistente de desempenho em métricas de qualidade clássicas (como PSNR) em comparação com codecs tradicionais (ex: JPEG) e métodos baseados em latentes aprendidos. Tentativas anteriores de melhorar a compressão por INR, como meta-aprendizado ou abordagens híbridas, ou introduziram restrições ligadas a dados de treinamento específicos ou adicionaram complexidade ao processo de decodificação.

Metodologia: PaaF (Picture as a Function)
Os autores propõem o PaaF, um codec de imagem puramente baseado em INR projetado para aumentar o desempenho de taxa-distorção, mantendo a simplicidade e a paralelizabilidade da decodificação por INR. A metodologia integra vários componentes técnicos inovadores:

1. Representação Baseada em Coordenadas e Pré-processamento:

   • As imagens são mapeadas de coordenadas de pixels $(p_x, p_y)$ para coordenadas normalizadas $(c_x, c_y) \in [-1, 1]$.
   • Uma transformação de espaço de cores converte RGB para YCbCr, seguida de subtração da média por canal e normalização para $[-1, 1]$. Isso melhora empiricamente a qualidade de reconstrução.

2. Configuração Arquitetônica Exponencial:

   • Para otimizar a razão bits-por-pixel, a rede emprega uma heurística exponencial para contagens de recursos de camadas. As contagens de recursos diminuem exponencialmente com a profundidade da camada, criando gargalos proporcionais à profundidade.
   • Reinicializações de pesos e intervalos de perturbação também decaem exponencialmente durante o treinamento.

3. Ativações SIREN Automoduladas:

   • A rede utiliza um módulo enxuto único onde todas as camadas (exceto a cauda) empregam ativações sinusoidais automoduladas (SIRENs).
   • Diferente das SIRENs tradicionais que exigem redes de modulação auxiliares, o PaaF amostra deterministicamente deslocamentos de fase ($\phi_i$) e modulações de período ($\omega_i$) com base no índice de recurso de saída. Esses parâmetros são regeneráveis via configurações de gerador de números pseudoaleatórios compartilhados, eliminando a necessidade de transmiti-los no fluxo de bits.

4. Quantização Adaptativa de Grão Fino:

   • O artigo introduz um esquema de quantização não uniforme motivado pela observação de que os pesos pós-treinamento seguem uma distribuição Laplaciana.
   • Em vez de estratégias de bits fixos, o PaaF usa um fator de escala $s$ e uma contagem de símbolos $M = 2^e$ (onde $e$ não é necessariamente um inteiro) para mapear valores para inteiros discretos.
   • Uma busca dicotômica eficiente é empregada para encontrar o $e$ ideal que minimize a compensação taxa-distorção, equilibrando a redução de taxa com a queda de qualidade.

5. Codificação de Entropia e Pipeline de Treinamento:

   • Os parâmetros quantizados são comprimidos usando Brotli e um codificador de intervalo (range coder), selecionando a melhor distribuição (Laplaciana ou Gaussiana) para o conjunto de dados específico.
   • O pipeline de treinamento envolve ajuste iterativo com perturbação de peso e subdivisão de conjunto de dados (unshuffling de pixels) para reduzir o computo por etapa. A quantização é integrada ao processo de seleção ao final de cada época, seguido de ajuste fino consciente da quantização (quantization-aware fine-tuning).

6. Funções de Perda:

   • Os autores adaptam as funções de perda para presets específicos:
     • PSNR: Utiliza uma aproximação matematicamente estável de $\log(\cosh(x))$.
     • MS-SSIM: Combina perda L1 e SSIM.
     • Visual: Uma combinação de LogCosh e SSIM, projetada para otimizar a qualidade perceptual.

Principais Contribuições

• Codec PaaF: Um novo codec de imagem de código aberto baseado puramente em INRs que se afasta de soluções híbridas ou baseadas em latentes.
• Inovações Arquitetônicas: Introdução de camadas SIREN automoduladas que removem a necessidade de redes de modulação auxiliares e uma nova configuração exponencial para a profundidade da rede.
  {% endblock %}
• Quantização Adaptativa: Um esquema de quantização flexível que substitui estratégias de bits fixos, permitindo contagens de símbolos que não são potências de 2 para melhor se ajustar à distribuição dos pesos.
• Avaliação Abrangente: Um benchmarking rigoroso do PaaF contra métodos baseados puramente em INR existentes (COIN, ICE, Strümpler et al., NIF) e um baseline tradicional (JPEG) nos conjuntos de dados Kodak e CLIC2020.

Resultados Experimentais

• Desempenho Quantitativo: No conjunto de dados Kodak, o PaaF supera todos os métodos baseados em INR comparados em todas as métricas (PSNR, MS-SSIM, LPIPS) e taxas de bits. No dataset de alta resolução CLIC2020, o PaaF mostra vantagens particularmente fortes em métricas perceptuais (LPIPS), alcançando ganhos de BD-Rate de até -87% sobre competidores em certas configurações.
• Estudos de Ablação: Experimentos confirmam que o esquema de quantização adaptativa supera significativamente a quantização de bits fixos (6, 7, 8 e 12 bits), especialmente em codificações de maior qualidade. As combinações de função de perda propostas (LogCosh/SSIM) também demonstram desempenho superior sobre combinações padrão L2 ou L2+SSIM, particularmente em LPIPS.
• Análise Qualitativa: Comparações visuais mostram que o PaaF (especificamente o preset "Visual") reduz o desfoque e artefatos (como aliasing de cor e padrões ondulados) vistos no JPEG e outros métodos de INR, reconstruindo fielmente detalhes de alta frequência como bordas de paredes e folhas de árvores em baixas taxas de bits.

Significância e Alegações
O artigo afirma que o PaaF consegue reduzir com sucesso a lacuna entre representações funcionais e paradigmas de compressão estabelecidos. Ao melhorar o design arquitetônico e introduzir quantização adaptativa, os autores demonstram que métodos baseados puramente em INR podem alcançar melhorias consistentes tanto em métricas quantitativas quanto em qualidade perceptual sem depender de representações latentes híbridas.

Os autores enfatizam que, embora os métodos baseados em INR ainda exijam treinamento por imagem (uma limitação quanto ao tempo de codificação), o processo de decodificação permanece eficiente, paralelizável e capaz de produzir reconstruções de alta fidelidade e livres de artefatos. O trabalho sugere que representações de dados funcionais têm potencial significativo para revolucionar a compressão multimídia, desde que otimizações computacionais e estudos de qualidade subjetiva continuem a avançar. Os autores posicionam o PaaF não como um competidor direto de todos os codecs existentes, mas como um avanço significativo dentro do domínio específico de compressão baseada puramente em INR.