Resumo Técnico: Quantização de Codebook Agrupada para Compressão de Imagem Baseada em Gaussianas 2D

Declaração do Problema

Representações de imagem baseadas em Gaussianas, como as propostas por Zhang et al. [2025a], modelam o conteúdo da imagem usando primitivas paramétricas compactas (Gaussianas 2D) para alcançar alta fidelidade visual e renderização independente de resolução. No entanto, armazenar o grande número de parâmetros de ponto flutuante não restritos exigidos para cada primitiva (posição, rotação-escala e cor) degrada significativamente a eficiência de taxa-distorção, particularmente em alvos de alta fidelidade.

Embora o trabalho anterior (GI) tenha tentado abordar isso usando Quantização Vetorial (VQ) global e Quantização Vetorial Residual (RQ) para comprimir esses atributos em codebooks discretos, um único codebook global tem dificuldade em mapear a imensa variância dos parâmetros de imagens naturais. Essa restrição de capacidade leva inevitavelmente a erros de quantização e artefatos visuais. O desafio central é preservar a reconstrução precisa da Gaussiana enquanto se restringe a entropia dos parâmetros para melhorar a eficiência do codebook.

Metodologia: Quantização Vetorial Guiada por Agrupamento (CGVQ)

Os autores propõem o CGVQ, um método que particiona os parâmetros das Gaussianas em grupos homogêneos antes da quantização. O princípio subjacente é que, para uma capacidade fixa de codebook, distribuições de parâmetros mais estreitas produzem melhores resultados de quantização.

1. Estratégia de Agrupamento (Clustering)

Antes do treinamento do codebook, o método agrupa as primitivas Gaussianas 2D com base na similaridade de características usando K-Means clustering:

• Vetor de Características: Para cada primitiva $G_i$, um vetor de características $f_i$ é construído concatenando os atributos de rotação ($r_i$), escala ($s_i$) e cor RGB ($c_i$).
• Exclusão da Posição: A posição 2D ($\mu_i$) é deliberadamente excluída das características de agrupamento porque a qualidade da compressão é altamente sensível à precisão espacial; o agrupamento baseado na posição poderia degradar a fidelidade geométrica.
• Processo: As características normalizadas são particionadas em $K$ clusters disjuntos para minimizar a variância intra-cluster. O número de clusters $K$ é selecionado manualmente (tipicamente entre 4 e 16) para equilibrar a fidelidade de reconstrução e a eficiência de compressão.
• Consistência: O agrupamento é realizado uma única vez após a convergência do treinamento inicial, e as atribuições de cluster resultantes são compartilhadas entre todos os quantizadores específicos de parâmetros.

2. Treinamento de Codebook por Cluster

Em vez de um único codebook global, o CGVQ treina três codebooks independentes por cluster para explorar as distintas propriedades estatísticas de cada tipo de atributo:

1. Posição ($\mu$): Modelada usando Treinamento Consciente de Quantização (QAT) de ponto flutuante de 16 bits com um estimador "Straight-Through" FakeVQ.
2. Rotação-Escala (RS): Modelada usando um codebook de Quantização Vetorial Uniforme (UQ).
3. Cor ($c$): Modelada usando um codebook de Quantização Vetorial Residual (RQ) para refinamento fino de resíduos.

Esses codebooks são treinados de ponta a ponta minimizando uma função de perda conjunta: $L = L_{recon} + L_{vq}$. A perda de reconstrução ($L_{recon}$) combina perda $L_1$ pixel a pixel e perda $L_1$ perceptual no espaço de características, enquanto $L_{vq}$ atua como uma perda de compromisso (commitment loss) para regularizar as saídas do codificador em direção às suas entradas de codebook atribuídas.

3. Pipeline de Decodificação

Durante a decodificação, cada cluster comprimido é processado independentemente:

• Índices de quantização são usados para buscar valores em os três codebooks dedicados (FP16 para posição, UQ para RS, RQ para cor).
• As primitivas decodificadas de todos os $K$ clusters são compostas em um conjunto único de Gaussianas para renderização.
• Redução de Bitrate: As tabelas de índices de quantização passam por Codificação de Bits Parciais (Partial Bits Back Encoding) para reduzir ainda mais o bitrate final.

Principais Contribuições

1. Quantização Particionada: A proposta do CGVQ, que particiona as primitivas Gaussianas 2D em grupos de baixa variância antes da quantização, em vez de aplicar uma estratégia de quantização global.
2. Codebooks Localizados: Demonstração de que codebooks localizados e específicos de cada cluster fornecem um compromisso superior entre compressão e fidelidade em comparação com as linhas de base de codebook global, melhorando o PSNR e o SSIM em taxas de bits comparáveis.
3. Otimização de Agrupamento: Destaque para o potencial do K-Means clustering como uma direção para otimizar a quantização de codebook em representações Gaussianas.

Resultados Experimentais

Experimentos foram conduzidos no dataset Kodak com primitivas Gaussianas variando de 10K a 25K.

• Desempenho de Taxa-Distorção: O CGVQ supera consistentemente a linha de base GI. Em uma fidelidade de reconstrução semelhante (aprox. 31.0 dB), o CGVQ alcança uma redução de 20% em bits por pixel (bpp) (1.92 bpp vs. 2.40 bpp para GI).
• Regime de Alta Fidelidade: A vantagem é mais pronunciada em regimes de alta qualidade (acima de 30 dB), onde o CGVQ mantém um PSNR mais alto e uma maior similaridade estrutural (SSIM).
• Eficiência de Parâmetros: Com uma contagem fixa de 15K primitivas, o CGVQ melhora o PSNR em 1.68 dB sobre o GI. Além disso, o CGVQ com 15K primitivas alcança qualidade visual comparável ao GI com 19K primitivas, representando uma redução de 21% na contagem de primitivas necessária.
• Compromisso Computacional: Aumentar o número de clusters ($K$) melhora a qualidade da compressão, mas introduz overhead de tempo de execução. À medida que $K$ aumenta de 1 para 16, o FPS de codificação cai de $2.91 \times 10^{-2}$ para $1.9 \times 10^{-3}$, e o FPS de decodificação cai de 133.3 para 33.3.

Significância e Alegações

O artigo afirma que o CGVQ aborda efetivamente o custo de armazenamento das primitivas Gaussianas 2D ao aproveitar o princípio de que distribuições de parâmetros mais estreitas são mais fáceis de quantizar com precisão. Ao particionar as primitivas em clusters homogêneos baseados em aparência e anisotropia, o método restringe a variância dos parâmetros dentro dos grupos, permitindo que designs de múltiplos codebooks localizados capturem detalhes de alta frequência de forma mais precisa do que abordagens globais.

Os autores posicionam este trabalho como uma extensão do framework GI, oferecendo uma estratégia de quantização mais eficiente que melhora o desempenho de taxa-distorção. No entanto, eles reconhecem explicitamente um compromisso: embora a qualidade da compressão melhore com um agrupamento mais fino, isso ocorre às custas de velocidades de codificação e decodificação reduzidas. O método é apresentado como um passo para otimizar a quantização de codebook para compressão de imagem baseada em Gaussianas, equilibrando fidelidade visual com eficiência computacional.