PaaF: Raising the perceived quality of INR-Based Image Compression

Resumen Técnico: PaaF – Elevando la Calidad Percibida de la Compresión de Imágenes Basada en INR

Declaración del Problema
Las Representaciones Neuronales Implícitas (INR) ofrecen un paradigma para la compresión de imágenes donde las imágenes se representan como funciones que mapean coordenadas a colores, aproximadas mediante redes neuronales. Si bien este enfoque permite la independencia de la resolución y la decodificación paralelizable, los códecs basados en INR existentes sufren dos limitaciones primarias: tiempos de codificación prohibitivamente largos (a menudo de horas) y una brecha de rendimiento persistente en métricas de calidad clásicas (como el PSNR) en comparación con los códecs tradicionales (por ejemplo, JPEG) y los métodos basados en latentes aprendidos. Los intentos previos para mejorar la compresión por INR, como el meta-aprendizaje o los enfoques híbridos, han introducido o bien restricciones ligadas a datos de entrenamiento específicos o han añadido complejidad al proceso de decodificación.

Metodología: PaaF (Picture as a Function)
Los autores proponen PaaF, un códec de imagen basado puramente en INR diseñado para mejorar el rendimiento de tasa-distorsión manteniendo la simplicidad y la paralelización de la decodificación de INR. La metodología integra varios componentes técnicos novedosos:

1. Representación Basada en Coordenadas y Preprocesamiento:

   • Las imágenes se mapean desde coordenadas de píxeles $(p_x, p_y)$ a coordenadas normalizadas $(c_x, c_y) \in [-1, 1]$.
   • Una transformación de espacio de color convierte RGB a YCbCr, seguido de una resta de la media por canal y normalización al rango $[-1, 1]$. Esto mejora empíricamente la calidad de la reconstrucción.

2. Configuración Arquitectónica Exponencial:

   • Para optimizar la relación de bits por píxel, la red emplea una heurística exponencial para el recuento de características de las capas. El recuento de características disminuye exponencialmente con la profundidad de la capa, creando cuellos de botella proporcionales a la profundidad.
   • Los reinicios de pesos y los rangos de perturbación también decaen exponencialmente durante el entrenamiento.

3. Activaciones SIREN Automoduladas:

   • La red utiliza un módulo ligero único donde todas las capas (excepto la cola) emplean activaciones sinusoidales automoduladas (SIRENs).
   • A diferencia de las SIRENs tradicionales que requieren redes de modulación auxiliares, PaaF muestrea de forma determinista los desfases de fase ($\phi_i$) y las modulaciones de periodo ($\omega_i$) basándose en el índice de características de salida. Estos parámetros son regenerables mediante configuraciones de generadores de números pseudoaleatorios compartidos, lo que elimina la necesidad de transmitirlos en el flujo de bits.

4. Cuantificación Adaptativa de Grano Fino:

   • El artículo introduce un esquema de cuantificación no uniforme motivado por la observación de que los pesos post-entrenamiento siguen una distribución Laplaciana.
   • En lugar de estrategias de bits fijos, Paa vez utiliza un factor de escala $s$ y un recuento de símbolos $M = 2^e$ (donde $e$ no es necesariamente un entero) para mapear los valores a enteros discretos.
   • Se emplea una búsqueda dicotómica eficiente para encontrar el $e$ óptimo que minimice la relación tasa-distorsión, equilibrando la reducción de la tasa con la caída de calidad.

5. Codificación de Entropía y Pipeline de Entrenamiento:

   • Los parámetros cuantificados se comprimen usando Brotli y un codificador de rango, seleccionando la mejor distribución (Laplaciana o Gaussiana) para el conjunto de datos específico.
   • El pipeline de entrenamiento involucra un ajuste iterativo con perturbación de pesos y subdivisión de datos (unshuffling de píxeles) para reducir el cómputo por paso. La cuantificación se integra en el proceso de selección al final de cada época, seguido de un ajuste fino totalmente consciente de la cuantificación (quantization-aware fine-tuning).

6. Funciones de Pérdida:

   • Los autores adaptan las funciones de pérdida a presets específicos:
     • PSNR: Utiliza una aproximación matemáticamente estable de $\log(\cosh(x))$.
     • MS-SSIM: Combina la pérdida L1 y SSIM.
     • Visual: Una combinación de LogCosh y SSIM, diseñada para optimizar la calidad perceptual.

Contribuciones Clave

• Códec PaaF: Un nuevo códec de imagen de código abierto basado puramente en INR que se aparta de las soluciones híbridas o basadas en latentes.
• Innovaciones Arquitectónicas: Introducción de capas SIREN automoduladas que eliminan la necesidad de redes de modulación auxiliares y una novedosa configuración exponencial para la profundidad de la red.
• Cuantificación Adaptativa: Un esquema de cuantificación flexible que reemplaza las estrategias de bits fijos, permitiendo recuentos de símbolos que no son potencias de 2 para ajustarse mejor a la distribución de los pesos.
• Evaluación Exhaustiva: Un benchmarking riguroso de PaaF contra métodos basados puramente en INR existentes (COIN, ICE, Strümpler et al., NIF) y un baseline tradicional (JPEG) en los conjuntos de datos Kodak y CLIC2020.

Resultados Experimentales

• Rendimiento Cuantitativo: En el conjunto de datos Kodak, PaaF supera a todos los métodos basados en INR comparados en todas las métricas (PSNR, MS-SSIM, LPIPS) y tasas de bits. En el conjunto de datos de alta resolución CLIC2020, PaaF muestra ventajas particularmente fuertes en métricas perceptuales (LPIPS), logrando ganancias de BD-Rate de hasta -87% sobre sus competidores en ciertas configuraciones.
• Estudios de Ablación: Los experimentos confirman que el esquema de cuantificación adaptativa supera significativamente a la cuantificación de bits fijos (6, 7, 8 y 12 bits), especialmente en codificaciones de alta calidad. Las combinaciones de funciones de pérdida propuestas (LogCosh/SSIM) también demuestran un rendimiento superior sobre las combinaciones estándar de L2 o L2+SSIM, particularmente en LPIPS.
• Análisis Cualitativo: Las comparaciones visuales muestran que PaaF (específicamente el preset "Visual") reduce la borrosidad y los artefactos (como el aliasing de color y patrones ondulados) vistos en JPEG y otros métodos de INR, reconstruyendo fielmente detalles de alta frecuencia como bordes de paredes y hojas de árboles a bajas tasas de bits.

Significado y Reivindicaciones
El artículo afirma que PaaF logra cerrar con éxito la brecha entre las representaciones funcionales y los paradigmas de compresión establecidos. Al mejorar el diseño arquitectónico e introducir la cuantificación adaptativa, los autores demuestran que los métodos basados puramente en INR pueden lograr mejoras consistentes tanto en métricas cuantitativas como en la calidad perceptual sin depender de representaciones latentes híbridas.

Los autores enfatizan que, si bien los métodos basados en INR aún requieren un entrenamiento por imagen (una limitación respecto al tiempo de codificación), el proceso de decodificación sigue siendo eficiente, paralelizable y capaz de producir reconstrucciones de alta fidelidad y libres de artefactos. El trabajo sugiere que las representaciones de datos funcionales tienen un potencial significativo para revolucionar la compresión multimedia, siempre que las optimizaciones computacionales y los estudios de calidad subjetiva continúen avanzando. Los autores posicionan a PaaF no como un competidor directo de todos los códecs existentes, sino como un avance significativo dentro del dominio específico de la compresión basada puramente en INR.