Resumen Técnico: Cuantización de Libro de Códigos Agrupado para la Compresión de Imágenes Basada en Gaussianas 2D

Declaración del Problema

Las representaciones de imágenes basadas en Gaussianas, como las propuestas por Zhang et al. [2025a], modelan el contenido de la imagen utilizando primitivas paramétricas compactas (Gaussianas 2D) para lograr una alta fidelidad visual y un renderizado independiente de la resolución. Sin embargo, almacenar la gran cantidad de parámetros de punto flotante no restringidos requeridos para cada primitiva (posición, rotación-escala y color) degrada significamente la eficiencia de la relación tasa-distorsión, particularmente en objetivos de alta fidelidad.

Aunque el trabajo previo (GI) intentó abordar esto utilizando Cuantización de Vectores (VQ) global y Cuantización de Vectores Residuales (RQ) para comprimir estos atributos en libros de códigos discretos, un único libro de códigos global lucha por mapear la inmensa varianza de los parámetros de las imágenes naturales. Esta limitación de capacidad conduce inevitablemente a errores de cuantización y artefactos visuales. El desafío central es preservar la reconstrucción precisa de la Gaussiana mientras se restringe la entropía de los parámetros para mejorar la eficiencia del libro de códigos.

Metodología: Cuantización de Vectores Guiada por Clústeres (CGVQ)

Los autores proponen CGVQ, un método que particiona los parámetros de las Gaussianas 2D en grupos homogéneos antes de la cuantización. El principio subyacente es que, para una capacidad de libro de códigos fija, las distribuciones de parámetros más estrechas producen mejores resultados de cuantización.

1. Estrategia de Agrupamiento (Clustering)

Antes del entrenamiento del libro de códigos, el método agrupa las primitivas Gaussianas 2D basándose en la similitud de sus características mediante K-Means clustering:

• Vector de Características: Para cada primitiva $G_i$, se construye un vector de características $f_i$ concatenando los atributos de rotación ($r_i$), escala ($s_i$) y color RGB ($c_i$).
• Exclusión de la Posición: La posición 2D ($\mu_i$) se excluye deliberadamente de las características de agrupamiento porque la calidad de la compresión es altamente sensible a la precisión espacial; agrupar basándose en la posición podría degradar la fidelidad geométrica.
• Proceso: Las características normalizadas se particionan en $K$ clústeres disjuntos para minimizar la varianza intra-clúster. El número de clústeres $K$ se selecciona manualmente (típicamente entre 4 y 16) para equilibrar la fidelidad de reconstrucción y la eficiencia de compresión.
• Consistencia: El agrupamiento se realiza una sola vez después de que el entrenamiento inicial converge, y las asignaciones de clúster resultantes se comparten entre todos los cuantificadores específicos de parámetros.

2. Entrenamiento de Libro de Códigos por Clúster

En lugar de un único libro de códigos global, CGVQ entrena tres libros de códigos independientes por clúster para explotar las distintas propiedades estadísticas de cada tipo de atributo:

1. Posición ($\mu$): Modelada mediante Cuantización Consciente del Entrenamiento (QAT) de punto flotante de 16 bits con un estimador "Straight-Through" FakeVQ.
2. Rotación-Escala (RS): Modelada mediante un libro de códigos de Cuantización de Vectores Uniforme (UQ).
3. Color ($c$): Modelada mediante un libro de códigos de Cuantización de Vectores Residuales (RQ) para un refinamiento de residuo de grano fino.

Estos libros de códigos se entrenan de extremo a extremo minimizando una función de pérdida conjunta: $L = L_{recon} + L_{vq}$. La pérdida de reconstrucción ($L_{recon}$) combina la pérdida $L_1$ de píxel por píxel y la pérdida $L_1$ perceptual en el espacio de características, mientras que $L_{vq}$ actúa como una pérdida de compromiso para regularizar las salidas del codificador hacia sus entradas de libro de códigos asignadas.

3. Flujo de Decodificación

Durante la decodificación, cada clúster comprimido se procesa de forma independiente:

• Los índices de cuantización se utilizan para buscar valores en los tres libros de códigos dedicados (FP16 para posición, UQ para RS, RQ para color).
• Las primitivas decodificadas de todos los $K$ clústeres se componen en un único conjunto de Gaussianas para el renderizado.
• Reducción de Bitrate: Las tablas de índices de cuantización se someten a una Codificación de Bits Parcial de Retorno (Partial Bits Back Encoding) para reducir aún más el bitrate final.

Contribuciones Clave

1. Cuantización Particionada: La propuesta de CGVQ, que particiona las primitas Gaussianas 2D en grupos de baja varianza antes de la cuantización, en lugar de aplicar una estrategia de cuantización global.
2. Libros de Códigos Localizados: La demostración de que los libros de códigos localizados y específicos por clúster proporcionan un intercambio fidelidad-compresión superior en comparación con las bases de libros de códigos globales, mejorando el PSNR y el SSIM a tasas de bits comparables.
3. Optimización de Agrupamiento: Destacar el potencial de K-Means clustering como una dirección para optimizar la cuantización de libros de códigos en representaciones Gaussianas en el futuro.

Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos Kodak con primitivas Gaussianas que van desde 10K hasta 25K.

• Desempeño de Tasa-Distorsión: CGVQ supera consistentemente a la línea base GI. A una fidelidad de reconstrucción similar (aprox. 31.0 dB), CGVQ logra una reducción del 20% en bits por píxel (bpp) (1.92 bpp frente a 2.40 bpp para GI).
• Régimen de Alta Fidelidad: La ventaja es más pronunciada en los regímenes de alta calidad (por encima de 30 dB), donde CGVQ mantiene un PSNR más alto y una mayor similitud estructural (SSIM).
• Eficiencia de Parámetros: Con un conteo fijo de 15K primitivas, CGVQ mejora el PSNR en 1.68 dB sobre GI. Además, CGVQ con 15K primitivas logra una calidad visual comparable a GI con 19K primitivas, lo que representa una reducción del 21% en el conteo de primitivas requerido.
• Compromiso Computacional: El aumento del número de clústeres ($K$) mejora la calidad de compresión pero introduce una sobrecarga de tiempo de ejecución. A medida que $K$ aumenta de 1 a 16, los FPS de codificación caen de $2.91 \times 10^{-2}$ a $1.9 \times 10^{-3}$, y los FPS de decodificación caen de 133.3 a 33.3.

Significado y Reivindicaciones

El artículo afirma que CGVQ aborda eficazmente el costo de almacenamiento de las primitivas Gaussianas 2D aprovechando el principio de que las distribuciones de parámetros más estrechas son más fáciles de cuantizar con precisión. Al particionar las primitivas en clústeres homogéneos basados en la apariencia y la anisotropía, el método restringe la varianza de los parámetros dentro de los grupos, permitiendo que los diseños de múltiples libros de códigos localizados capturen los detalles de alta frecuencia con mayor precisión que los enfoques globales.

Los autores posicionan este trabajo como una extensión del marco GI, ofreciendo una estrategia de cuantización más eficiente que mejora el desempeño de la relación tasa-distorsión. Sin embargo, reconocen explícitamente un compromiso: si bien la calidad de compresión mejora con un agrupamiento más fino, esto conlleva un costo de reducción en las velocidades de codificación y decodificación. El método se presenta como un paso hacia la optimización de la cuantización de libros de códigos para la compresión de imágenes basada en Gaussianas, equilibrando la fidelidad visual con la eficiencia computacional.