Resumen Técnico: RaPD (Difusión de Píxeles Agnóstica a la Resolución)

1. Declaración del Problema

Las imágenes naturales son inherentemente continuas, sin embargo, los modelos generativos modernos operan predominantemente en cuadrículas espaciales discretas (ya sea en espacios latentes de VAE o en espacios de píxeles). Esta discretización impone una limitación fundamental: generar imágenes en resoluciones arbitrarias y no vistas requiere aumentar el número de tokens y el costo computacional, lo que hace desafiante la generación nativa de alta resolución.

Los enfoques existentes para la generación en resoluciones arbitrarias típicamente introducen continuidad solo en la etapa de decodificación.

• GANs utilizan MLPs consultados por coordenadas, pero sufren de capacidad de generación limitada.
• Modelos de Difusión Latente (LDMs) emplean decodificadores flexibles, pero el proceso de difusión en sí mismo permanece confinado a un espacio latente comprimido y discreto, heredando el cuello de botella del VAE y atando la semántica al contenido discreto.
• Modelos de Difusión de Píxeles operan directamente sobre píxeles, pero aún generan en cuadrículas discretas fijas.
• Campos de Imagen Neuronales (NIFs) como LIIF y CLIF permiten renderizado libre de resolución, pero se entrenan principalmente para interpolación y reconstrucción. Sus latentes están optimizados para señales de apariencia local y carecen de la estructura semántica requerida para el modelado generativo de alta calidad.

El problema central abordado es la brecha entre reconstrucción y generación: las representaciones continuas existentes son excelentes para la reconstrucción de super-resolución, pero fallan cuando se utilizan directamente para la generación de imágenes a partir de texto. El artículo pregunta si la generación de imágenes puede formularse sobre "píxeles continuos" en lugar de cuadrículas discretas o proxies comprimidos.

2. Metodología

Los autores proponen RaPD (Difusión de Píxeles Agnóstica a la Resolución), un marco que realiza la difusión directamente dentro de un espacio latente continuo de Campo de Imagen Neuronal (NIF). El marco consta de dos etapas principales y tres componentes técnicos clave.

2.1 Marco Básico

RaPD adopta un diseño de dos etapas:

1. Etapa 1 (Aprendizaje de NIF): Un codificador $E_\phi$ mapea una imagen de entrada a un latente NIF denso y de alta resolución $z$ sin submuestreo espacial. Un Renderizador de Atención Consultada por Coordenadas (CQAR) renderiza este latente en coordenadas objetivo arbitrarias.
2. Etapa 2 (Entrenamiento de Difusión): El codificador y el renderizador se congelan. Un desruidador estilo DiT se entrena para predecir la velocidad de ajuste de flujo en latentes NIF normalizados, condicionado por incrustaciones de texto.

En la inferencia, un único latente desruidado se renderiza en cualquier resolución objetivo cambiando únicamente la cuadrícula de coordenadas consultadas, manteniendo el costo de difusión fijo independientemente del tamaño de salida.

2.2 Guía de Representación Semántica (SRG)

Para cerrar la brecha entre los NIFs orientados a la reconstrucción y el modelado generativo, RaPD introduce SRG, que opera tanto a nivel de representación como de entrenamiento de difusión:

• Destilación Semántica: Dado que los latentes NIF estándar carecen de estructura semántica, RaPD inyecta semántica desde un modelo fundacional de visión congelado (DINOv2 ViT-B/14) en el latente NIF denso durante la Etapa 1.
  • El latente NIF $z$ se proyecta para coincidir con la cuadrícula de parches de DINOv2.
  • Se optimiza una pérdida de alineación que comprende una pérdida de coseno (imponiendo acuerdo semántico por posición) y una pérdida de similitud de matriz de distancias (preservando la geometría relacional por pares).
  • Esto actúa como supervisión formativa, moldeando el latente en una representación consciente de la generación sin sacrificar las capacidades de renderizado por coordenadas.
• Desplazamiento de Paso de Tiempo Consciente de la Densidad Latente: Los horarios estándar de ajuste de flujo están diseñados para latentes de VAE comprimidos. Los latentes NIF de RaPD son densos y de alta resolución. Para compensar esta mayor densidad de información, los autores introducen un factor de desplazamiento de paso de tiempo más grande ($s=32$) en el horario de ajuste de flujo. Esto prioriza las etapas de ruido intenso (pequeño $t$), que son críticas para generar contenido coherente en espacios latentes densos.

2.3 Renderizador de Atención Consultada por Coordenadas (CQAR)

Los decodificadores implícitos existentes (por ejemplo, LIIF, CLIF) utilizan MLPs punto a punto o CNNs superficiales que procesan características locales de forma independiente. Estos fallan al utilizar la estructura semántica global inyectada por SRG.

RaPD reemplaza estos con CQAR, que realiza atención sobre las coordenadas de salida consultadas en lugar de la cuadrícula de latente de entrada.

• Construcción de Tokens: Para cada coordenada objetivo, se construye un token a partir de la característica latente del vecino más cercano, la coordenada absoluta, el desplazamiento relativo y el tamaño de la celda.
• Atención Ventanada: Estos tokens son procesados por bloques de atención auto-ventanada estilo Swin. Esto permite razonamiento semántico inter-píxel, permitiendo que el renderizador razone globalmente a través de los píxeles consultados mientras mantiene un costo computacional escalable.

3. Contribuciones Clave

1. Marco RaPD: Un marco de difusión de píxeles agnóstico a la resolución que genera señales de imagen continuas directamente en un espacio latente NIF, desacoplando el costo de difusión de la resolución de salida.
2. Guía de Representación Semántica (SRG): Una estrategia para transformar latentes continuos orientados a la reconstrucción en representaciones conscientes de la generación mediante destilación semántica y horarios de ajuste de flujo adaptados.
3. Renderizador de Atención Consultada por Coordenadas (CQAR): Un decodificador novedoso que reemplaza operadores implícitos locales con atención condicionada por coordenadas y consciente de la escala, permitiendo renderizado arbitrario de resolución espacialmente coherente.

4. Resultados Experimentales

El artículo evalúa RaPD frente a modelos de difusión latente de última generación (por ejemplo, SD3, FLUX.1-dev) y modelos de difusión de píxeles (por ejemplo, PixelGen, DeCo, PixNerd).

• Calidad de Generación: En GenEval, RaPD logra una puntuación general de 0.85, superando a PixelGen (0.79) y DeCo (0.83), con mejoras significativas en categorías composicionales (dos objetos, conteo, color). En DPG-Bench, RaPD obtiene 81.6, superando a las líneas base de difusión de píxeles.
• Generación en Resoluciones Arbitrarias: RaPD demuestra una fuerte generalización a resoluciones fuera de distribución (hasta $4096^2$) a pesar de haber sido entrenado con supervisión hasta $512^2$. Las imágenes generadas mantienen una estructura global coherente y detalles finos en altas resoluciones.
• Eficiencia: Una ventaja crítica es la escalabilidad computacional. Mientras que los modelos de difusión de píxeles de cuadrícula fija (PixelGen, DeCo) exhiben un crecimiento cuadrático en el tiempo de inferencia con la resolución, RaPD mantiene el costo de desruido casi fijo.
  • En $4096^2$, PixelGen y DeCo tardan >61 segundos.
  • RaPD tarda solo 2.13 segundos para la misma resolución, ya que el costo de difusión es independiente del tamaño de salida.

5. Significancia y Limitaciones

Significancia:
El artículo afirma que RaPD cambia fundamentalmente el paradigma de la generación de imágenes al formular el proceso sobre "píxeles continuos". Demuestra exitosamente que la generación agnóstica a la resolución de alta calidad es posible sin el cuello de botella de información de los VAEs ni la escalabilidad cuadrática de costos de la difusión de píxeles discretos. Al tratar el espacio latente como una señal continua en lugar de una cuadrícula discreta, RaPD logra una combinación única de calidad de generación y eficiencia de inferencia en altas resoluciones.

Limitaciones:
Los autores reconocen varias restricciones:

1. Escala de Datos: El modelo se entrena en ~36 millones de imágenes (BLIP3o), lo cual es sustancialmente menor que los modelos a escala comercial (por ejemplo, SD3, FLUX), limitando potencialmente la calidad de generación absoluta.
2. Codificador de Texto: El uso de un codificador de texto Qwen3-1.7B congelado y relativamente compacto puede restringir la comprensión de prompts complejos en comparación con sistemas que utilizan modelos de lenguaje más grandes.
3. Optimización de Inferencia: La implementación actual aún no utiliza optimizaciones avanzadas como FlashAttention, núcleos fusionados o cuantización FP8, lo que significa que las latencias reportadas son límites superiores conservadores.

El artículo concluye que el trabajo futuro podría centrarse en escalar conjuntos de datos/modelos, extender el marco a la generación/editable controlable e implementar aceleración de inferencia consciente del hardware.