Next-Frame Decoding for Ultra-Low-Bitrate Image Compression with Video Diffusion Priors

1. El Problema

La compresión de imágenes de ultra-baja tasa de bits (ULB-IC) busca transmitir imágenes con una calidad perceptual excepcional utilizando muy pocos datos. Aunque los métodos basados en difusión (Diffusion Models) han demostrado un gran potencial para generar realismo, enfrentan tres desafíos críticos:

• Fidelidad y Desviación Semántica: Los modelos de difusión de imágenes tradicionales a menudo inician desde ruido gaussiano puro. Esto introduce incertidumbre, lo que puede causar que la imagen generada se desvíe semánticamente de la fuente original (por ejemplo, cambiar la identidad de un objeto o la estructura de la escena).
• Ineficiencia Computacional: El proceso de denoising iterativo (múltiples pasos) de los modelos de difusión es extremadamente costoso en tiempo de inferencia, lo que dificulta su aplicación práctica.
• Control Ineficaz: Las técnicas actuales a menudo inyectan condiciones (como latentes comprimidos) mediante concatenación de canales, lo que no aprovecha de manera óptima el contexto espacial y temporal para guiar la generación.

2. Metodología Propuesta: NeFIC

Los autores proponen un nuevo paradigma llamado NeFIC (Next-Frame Image Compression), que reinterpreta la decodificación de una imagen estática como una transición temporal virtual. En lugar de generar una imagen desde cero, el sistema evoluciona una "imagen ancla" compacta hacia la imagen final de alta fidelidad.

Conceptos Clave:

• Marco Ancla (Anchor Frame): Se define un estado intermedio explícito: una imagen decodificada de baja calidad que preserva la geometría de la escena, el diseño semántico y la apariencia general, pero descarta los detalles de alta frecuencia.
• Predicción del Siguiente Cuadro (Next-Frame Prediction): La decodificación se reformula como una tarea de predicción del siguiente cuadro en un video virtual de dos cuadros:
  1. Cuadro 1: El marco ancla (condición).
  2. Cuadro 2: La imagen original objetivo.
• Uso de Priors de Video (VDM): Se utiliza un modelo de difusión de video preentrenado (CogVideoX) para modelar esta transición. Aprovecha la capacidad inherente de los VDMs para refinar estructuras borrosas a nítidas (transición "defocus-to-focus") y su capacidad de aprendizaje en contexto (in-context learning).

Esquema de Entrenamiento de Dos Etapas:

Para cerrar la brecha entre la generación de video y la decodificación de imágenes, y para lograr eficiencia, se propone un entrenamiento en dos fases:

1. Etapa I: Adaptación de Decodificación del Siguiente Cuadro:

   • Se ajusta finamente (fine-tuning) el modelo de difusión de video (VDM) y el códec del ancla.
   • El objetivo es aprender a sintetizar detalles finos a partir del ancla compacta, suprimiendo artefactos temporales no deseados (como movimiento de objetos o parpadeo).
   • Se utiliza un mecanismo de LoRA (Low-Rank Adaptation) en las proyecciones de atención para mantener la eficiencia.

2. Etapa II: Bypass Generativo de Un Paso (One-Step Generative Bypass):

   • Para eliminar la latencia del denoising iterativo, se colapsa el proceso de difusión a un solo paso.
   • Codificación Condicional del Ancla: El codificador del ancla se condiciona con los latentes del VAE de video para alinear mejor el espacio latente de compresión con el de generación.
   • Refinamiento por Bypass: Se introduce un módulo (basado en Transformer) que mapea los latentes decodificados del ancla a un "latente de bypass". Este latente sirve como inicialización informativa (en lugar de ruido gaussiano) para el paso único de generación.
   • Esto reduce la ambigüedad y permite una decodificación en un solo paso que mantiene la fidelidad.

3. Contribuciones Clave

1. Nuevo Paradigma ULB-IC: Reinterpretación de la decodificación generativa como una evolución temporal virtual desde un ancla compacta, en lugar de una generación estática desde ruido.
2. Decodificación Eficiente: Un pipeline de entrenamiento de dos etapas que adapta modelos de difusión de video para la compresión y permite la generación en un solo paso, eliminando la necesidad de múltiples iteraciones de denoising.
3. Arquitectura de Inyección de Condiciones: Uso de concatenación de tokens y atención 3D (RoPE) en lugar de concatenación de canales, lo que permite una recuperación adaptativa explícita y una mejor consistencia estructural.
4. Rendimiento de Estado del Arte (SOTA): Logra un equilibrio superior entre realismo perceptual, fidelidad a la fuente y eficiencia de inferencia.

4. Resultados Experimentales

Los experimentos se realizaron en conjuntos de datos como CLIC2020, Kodak y DIV2K.

• Ahorro de Tasa de Bits: En el conjunto de pruebas CLIC2020, el método NeFIC logra un ahorro de tasa de bits superior al 50% en comparación con el método de referencia DiffC, manteniendo métricas de calidad perceptual (LPIPS, DISTS, FID, KID) equivalentes o mejores.
• Métricas de Fidelidad: Supera a modelos recientes como StableCodec y DLF en métricas de distorsión (PSNR, MS-SSIM) y realismo, demostrando que la fidelidad de la fuente no se sacrifica por el realismo generativo.
• Velocidad de Decodificación: Gracias a la generación de un solo paso, NeFIC ofrece una aceleración de decodificación de hasta 5x en comparación con los métodos basados en difusión iterativa.
• Análisis de Ablación: Se demostró que tanto la Etapa I (adaptación) como la Etapa II (bypass de un paso) son críticas. Eliminar el refinamiento por bypass o la codificación condicional degrada significativamente la fidelidad semántica y la calidad perceptual.

5. Significado e Impacto

Este trabajo es significativo porque resuelve la trinidad clásica de la compresión generativa: realismo, fidelidad y eficiencia.

• Al tratar la compresión de imágenes como un problema de predicción temporal, aprovecha de manera más natural los priors de los modelos de difusión de video, que son más robustos para mantener la coherencia estructural que los modelos de imagen estática.
• La solución de "un solo paso" hace viable el uso de modelos de difusión grandes en escenarios prácticos de compresión, donde la latencia es un factor limitante.
• Proporciona una nueva dirección para la investigación en compresión, sugiriendo que la evolución temporal y el aprendizaje en contexto son claves para la próxima generación de códecs generativos.