Adaptive Learned Image Compression with Graph Neural Networks

Resumen Técnico: GLIC (Graph-based Learned Image Compression)

1. El Problema

La compresión de imágenes aprendida (LIC) de última generación se basa principalmente en Redes Neuronales Convolucionales (CNN) o Transformadores. Sin embargo, estos enfoques presentan limitaciones fundamentales:

• Rigidez Estructural: Las CNN utilizan kernels fijos y los Transformadores emplean mecanismos de atención basados en ventanas. Ambos imponen campos receptores fijos y patrones de conectividad estáticos.
• Conectividad No Adaptativa: Estos métodos conectan píxeles basándose únicamente en su proximidad euclidiana (vecindad espacial). Esto puede acoplar características no redundantes simplemente porque están cerca en el espacio, ignorando que la redundancia en las imágenes naturales es altamente no uniforme (las regiones suaves tienen alta redundancia, mientras que las texturadas o con bordes tienen baja redundancia).
• Incapacidad Global: La rigidez local impide capturar eficientemente dependencias a larga distancia (redundancia global) sin incurrir en costos computacionales prohibitivos (complejidad cuadrática en Transformadores globales).

2. Metodología Propuesta: GLIC

Los autores proponen GLIC, un marco de compresión basado en Redes Neuronales de Grafos (GNN) que introduce conectividad dinámica y dependiente de los datos. El núcleo de la metodología es el bloque de Agregación de Características Basada en Grafos (GFA), que opera en dos etapas clave:

A. Muestreo de Candidatos a Escala Dual (Dual-scale Sampling)
Para lograr un campo receptor flexible sin costo cuadrático ($O(N^2)$), se construyen dos tipos de grafos para cada nodo (píxel):

1. Muestreo Local Denso: Recoge candidatos dentro de una ventana fija (similar a CNN), capturando estructuras locales de bajo nivel.
2. Muestreo Global Disperso: Utiliza una cuadrícula de malla (mesh-grid) inspirada en convoluciones dilatadas para seleccionar nodos dispersos en toda la imagen, capturando dependencias a larga distancia.

• Resultado: Cada píxel selecciona vecinos de ambos conjuntos, permitiendo una conectividad que abarca desde lo local hasta lo global de manera eficiente (complejidad casi lineal).

B. Asignación de Cuota de Vecinos Consciente de la Complejidad
En lugar de un grado fijo (número de vecinos), el modelo asigna dinámicamente la cantidad de conexiones según la dificultad de compresión de cada región:

• Puntuación RMS-Gradient (RMS-G): Se utiliza un operador Sobel para calcular el gradiente de cada píxel. Las regiones con alta variación (bordes, texturas) obtienen puntuaciones más altas, indicando menor redundancia y mayor dificultad de compresión.
• Presupuesto Adaptativo: Basado en la puntuación RMS-G, se asigna una "cuota" de vecinos ($d^*_i$) a cada nodo. Las zonas complejas reciben más conexiones para agregar información y eliminar redundancia, mientras que las zonas suaves reciben menos, evitando sobre-conexión.
• Construcción del Grafo: Se utiliza una búsqueda por dicotomía (bisection search) sobre la similitud coseno para seleccionar los vecinos que superan un umbral adaptativo, asegurando que solo se conecten nodos con contenido correlacionado.

C. Agregación de Características
Una vez construido el grafo dirigido, se actualizan las características mediante una agregación condicionada por las aristas, priorizando las relaciones entre píxeles similares independientemente de su distancia euclidiana.

3. Contribuciones Clave

1. Grafos a Escala Dual: Permiten campos receptores flexibles donde cada píxel puede seleccionar nodos relevantes tanto de su vecindad inmediata como de regiones distantes de la imagen.
2. Mecanismo de Puntuación Consciente de la Complejidad: Evalúa la compresibilidad de cada píxel (usando RMS-G) y determina dinámicamente el grado de conexión óptimo, asignando más capacidad a regiones estructuralmente complejas.
3. Rendimiento SOTA con Eficiencia: El modelo GLIC logra un rendimiento de tasa-distorsión superior al estándar de referencia (VTM-9.1) y a otros métodos de LIC, manteniendo una complejidad computacional lineal en lugar de cuadrática.

4. Resultados Experimentales

El modelo fue evaluado en los conjuntos de datos Kodak, Tecnick y CLIC, comparándose contra el codec de video VTM-9.1 y métodos recientes (FTIC, CCA, MambaIC, etc.).

• Mejoras en Tasa-Distorsión (BD-rate):
  • Kodak: Reducción del 19.29% en BD-rate frente a VTM-9.1.
  • Tecnick: Reducción del 21.69%.
  • CLIC: Reducción del 18.71%.
• Eficiencia Computacional:
  • GLIC reduce significativamente los parámetros, FLOPs y latencia de decodificación en comparación con métodos SOTA como MambaIC y WeConvene.
  • Por ejemplo, frente a MambaIC, reduce los parámetros en un 57.2% y la latencia de decodificación en un 41.0%, sin sacrificar calidad.
• Campos Receptores Efectivos (ERF):
  • Las visualizaciones muestran que GLIC tiene un campo receptor mucho más amplio y adaptativo. A diferencia de los métodos anteriores que muestran formas isotrópicas fijas, GLIC adapta su campo receptivo al contenido (ej. ignorando el fondo al procesar un objeto en primer plano), alineándose mejor con la percepción humana de la redundancia.

5. Significado e Impacto

Este trabajo representa un avance significativo en la compresión de imágenes aprendida al superar la rigidez inherente de las arquitecturas basadas en CNN y Transformadores.

• Paradigma de Conectividad: Demuestra que la conectividad dinámica y dependiente del contenido (vía GNN) es superior para modelar la redundancia espacial no uniforme de las imágenes naturales.
• Eficiencia: Logra un equilibrio óptimo entre rendimiento de compresión y costo computacional, resolviendo el dilema tradicional entre la conectividad global (alta calidad, alto costo) y la local (bajo costo, menor calidad).
• Aplicabilidad: Al ser más eficiente que los modelos basados en Transformadores globales y más efectivo que los basados en ventanas, GLIC ofrece una solución viable para la compresión de imágenes de alta resolución en escenarios prácticos.

En conclusión, GLIC establece un nuevo estado del arte al demostrar que la modelación de redundancia basada en grafos, adaptativa al contenido y de complejidad lineal, es una vía superior para la compresión de imágenes de próxima generación.