Resumen Técnico: Tokenización Jerárquica de Imágenes para Super Resolución de Imágenes Multi-Escala

Declaración del Problema

La Super Resolución de Imágenes (ISR) tiene como objetivo generar imágenes de alta resolución (HR) a partir de entradas de baja resolución (LR). Aunque los recientes modelos Visuales Auto-Regresivos (VAR) han demostrado ser prometedores al alinearse bien con el paradigma de "predicción de la siguiente escala", su aplicación a la ISR enfrenta dos limitaciones críticas:

1. Incapacidad para Generar Escalas Intermedias: Los métodos existentes basados en VAR para ISR (por ejemplo, VARSR) dependen de la Cuantización Residual (RQ), donde los residuos se acumulan para reconstruir una imagen final de resolución fija. Los residuos intermedios no garantizan reconstrucciones semánticamente significativas en escalas inferiores. En consecuencia, estos modelos no pueden producir salidas intermedias válidas (por ejemplo, una imagen aumentada 2×) durante una sola pasada hacia adelante; están restringidos a un factor de escala predefinido y fijo.
2. Dependencia de Grandes Recursos: Los enfoques actuales más avanzados a menudo requieren modelos base masivos (por ejemplo, más de 1 mil millones de parámetros) o conjuntos de datos extensos y cuidadosamente anotados (incluyendo muestras negativas para la guía libre de clasificadores) para lograr un rendimiento competitivo.

Metodología

Los autores proponen un marco novedoso que integra dos componentes clave en el pipeline de entrenamiento VAR para abordar las deficiencias mencionadas anteriormente: Tokenización Jerárquica de Imágenes (HIT) y regularización mediante Optimización Directa de Preferencias (DPO).

1. Tokenización Jerárquica de Imágenes (HIT)

El RQVAE estándar tokeniza una imagen descomponiendo las características latentes en una secuencia de residuos, pero estos residuos no están inherentemente alineados con escalas de imagen específicas. El enfoque HIT propuesto modifica este proceso:

• Codificación Secuencial: En lugar de tokenizar la resolución completa y luego reducir la muestra, la imagen de entrada se reduce progresivamente a escalas objetivo (por ejemplo, 1×, 2×, 4×).
• Superposición de Tokens: La tokenización se aplica secuencialmente a estas versiones reducidas. Crucialmente, los tokens generados para escalas inferiores se reutilizan y comparten al calcular los residuos para escalas superiores.
• Ajuste Fino: El vocabulario y el decodificador de un RQVAE preentrenado se ajustan finamente utilizando un decodificador específico por escala y pérdidas de reconstrucción para cada escala objetivo. Esto asegura que el vocabulario sea semánticamente consistente a través de diferentes resoluciones.
• Resultado: Esto crea un "fuerte sesgo inductivo" donde el modelo aprende que los tokens tempranos representan estructuras semánticas gruesas válidas en múltiples escalas, permitiendo que el decodificador reconstruya imágenes válidas en resoluciones intermedias (por ejemplo, 128×128, 256×256, 512×512) a partir de la misma secuencia de tokens.

2. Regularización DPO

Para mejorar la calidad de la imagen sin depender de modelos de recompensa externos o conjuntos de datos negativos a gran escala, los autores introducen un término de regularización basado en la Optimización Directa de Preferencias (DPO):

• Mecanismo: El modelo se entrena para maximizar la verosimilitud logarítmica de los tokens HR de verdad fundamental, penalizando simultáneamente la verosimilitud de los tokens que se asemejan a una simple interpolación bilineal de la entrada LR.
• Formulación: La función de pérdida se define como $\mathcal{L}_{DPO} = - \log \sigma \left ( \beta \log \frac {p(z_{HR})}{p(z_{LR})} \right )$, donde $p(z_{HR})$ y $p(z_{LR})$ son las probabilidades de las secuencias de tokens HR y LR, respectivamente.
• Ventaja: Este enfoque aprovecha la propia capacidad del modelo para distinguir entre secuencias HR y LR, eliminando la necesidad de VLMs externos o la recolección de muestras negativas.

Arquitectura y Entrenamiento

• Tamaño del Modelo: Los autores utilizan un transformador relativamente pequeño (310 millones de parámetros, 16 bloques) en comparación con los modelos de más de 1 mil millón de parámetros utilizados en trabajos anteriores.
• Datos de Entrenamiento: El modelo se entrena en conjuntos de datos estándar de ISR (DIV2K, DIV8K, Flickr2k, OST y un subconjunto de FFHQ) sin corpora externos propietarios o masivos.
• Condicionamiento: A diferencia de VARSR, que utiliza ControlNet, este método utiliza directamente las características del codificador RQVAE de la imagen LR aumentada como señales de condicionamiento.

Contribuciones Clave

1. Primera ISR Basada en VAR Multi-Escala: El artículo introduce el primer enfoque basado en VAR capaz de decodificar escalas intermedias al espacio de la imagen manteniendo la consistencia semántica a través de las escalas, permitiendo una salida multi-escala en una sola pasada hacia adelante.
2. Fuerte Sesgo Inductivo mediante HIT: La Tokenización Jerárquica de Imágenes propuesta actúa como un fuerte sesgo inductivo, permitiendo que un modelo pequeño de 310 millones de parámetros logre resultados de última generación sin la necesidad de bases grandes.
3. Entrenamiento Simplificado mediante DPO: La introducción de un término de regularización basado en DPO simplifica el proceso de entrenamiento al eliminar la dependencia de muestras negativas anotadas a gran escala o modelos de recompensa externos, y sin embargo produce una nitidez y calidad superiores.

Resultados Experimentales

El método propuesto (H-VAR) se evaluó en conjuntos de datos sintéticos (DIV2K-Val) y del mundo real (RealSR, DRealSR) frente a líneas base basadas en GAN, difusión y AR.

• Capacidad Multi-Escala: A diferencia de las líneas base (VARSR, Baseline) que fallan al producir imágenes coherentes en escalas intermedias (por ejemplo, 256×256), H-VAR reconstruye con éxito imágenes válidas en escalas 1×, 2× y 4× a partir de una sola pasada.
• Rendimiento:
  • En RealSR, H-VAR logra una PSNR de 25.55 y una LPIPS de 0.256, superando a VARSR (PSNR 24.61, LPIPS 0.350) y a otros métodos de difusión/GAN.
  • En DRealSR, H-VAR logra una PSNR de 28.73, superando a VARSR (28.16) y a StableSR (27.87).
• Eficiencia: El modelo de 310 millones de parámetros supera significativamente al modelo VARSR de 1 mil millón de parámetros mientras requiere menos recursos computacionales (tiempo de inferencia de 0.25s frente a 0.93s para VARSR en DIV2K-Val).
• Ablación: Eliminar el componente HIT resulta en una caída significativa del rendimiento, confirmando su papel como un sesgo inductivo crítico. De manera similar, eliminar la regularización DPO conduce a resultados más borrosos y puntuaciones PSNR/LPIPS más bajas.

Significado y Afirmaciones

El artículo afirma avanzar en el paradigma de aplicar VAR a la ISR al resolver la limitación de "escala fija" inherente a las formulaciones estándar de RQVAE. Al introducir la Tokenización Jerárquica de Imágenes, los autores demuestran que es posible lograr resultados de super resolución de última generación con un modelo compacto (310 millones de parámetros) entrenado en conjuntos de datos estándar, sin necesidad de datos propietarios masivos ni mecanismos de guía externos complejos. El trabajo destaca que la estructura de la propia tokenización (HIT) es un motor poderoso del rendimiento, actuando como un fuerte sesgo inductivo que guía al modelo hacia representaciones multi-escala semánticamente significativas.