Next Visual Granularity Generation

El artículo presenta NVG, un marco de generación de imágenes que descompone la imagen en una secuencia estructurada de granularidad visual progresiva, desde el diseño global hasta los detalles finos, logrando un rendimiento superior al de VAR en la generación condicional de clases en ImageNet.

Lo esencial

¡Claro que sí! Imagina que quieres pintar un cuadro, pero en lugar de empezar por los detalles pequeños (como el brillo en un ojo o la textura de una hoja), decides hacerlo al revés: primero defines la estructura general y luego vas rellenando poco a poco.

Este paper, titulado "Next Visual Granularity Generation" (NVG), propone una nueva forma de enseñar a las computadoras a crear imágenes. Aquí te lo explico con analogías sencillas:

1. El Problema: Pintar sin un boceto

La mayoría de los modelos actuales de generación de imágenes (como los que hacen fotos de gatos o paisajes) funcionan de dos formas principales:

• Como un escritor: Escriben la imagen palabra por palabra (token por token), de izquierda a derecha. Si se equivocan en la primera palabra, el resto del cuadro sale mal. Es como intentar escribir un libro sin hacer un índice primero.
• Como un borrador difuso: Empiezan con una mancha de ruido aleatorio y van "limpiando" la imagen poco a poco hasta que aparece algo. Es como intentar esculpir una estatua golpeando una piedra gigante sin saber qué forma tiene.

Ambos métodos a veces pierden la estructura o se equivocan en los detalles importantes.

2. La Solución: El "Boceto de Granos" (NVG)

Los autores proponen un método llamado NVG. Imagina que la imagen no es una foto fija, sino una serie de capas de "granulosidad" (como si fuera un zoom que va y viene).

Imagina que tienes un lienzo en blanco y quieres pintar un perro:

1. Paso 1 (El Esqueleto): En lugar de pintar el perro, primero decides: "Aquí va el fondo, aquí va el perro". Solo defines las zonas grandes. Es como poner una cinta adhesiva en el suelo para marcar dónde estará el mueble.
2. Paso 2 (Las Formas): Ahora divides esas zonas. "Dentro de la zona del perro, aquí va la cabeza, aquí las patas". Ya tienes formas básicas.
3. Paso 3 (Los Detalles): Ahora divides la cabeza: "Aquí el ojo, aquí la oreja".
4. Paso 4 (El Brillo): Finalmente, añades los detalles finos: el brillo en el ojo, la textura del pelaje.

La magia de NVG:
El modelo hace esto de forma automática y ordenada.

• Primero genera un "Mapa Estructural" (un dibujo en blanco y negro que dice dónde va qué cosa).
• Luego, genera el "Contenido" (los colores y texturas) basándose en ese mapa.
• Repite este proceso, haciendo el mapa más detallado en cada paso, hasta que la imagen está lista.

3. Analogías para entenderlo mejor

• La Analogía del Constructor de Casas:

  • Los modelos antiguos intentan poner los ladrillos, las ventanas y el techo al mismo tiempo o en orden aleatorio. A veces ponen una ventana donde debería ir el techo.
  • NVG es como un arquitecto: Primero dibuja los cimientos y las paredes (estructura), luego pone las habitaciones (formas), luego las puertas y ventanas (partes), y finalmente pinta las paredes y pone las cortinas (detalles). ¡Nunca pone una cortina antes de que exista la pared!

• La Analogía de la Escultura:

  • Imagina un bloque de mármol.
  • NVG no empieza tallando el bigote del gato. Primero quita el mármol sobrante para dejar la forma general del gato. Luego quita más mármol para definir la cabeza y el cuerpo. Finalmente, talla los bigotes.
  • Esto evita que el modelo se confunda y empiece a dibujar un bigote en el lugar de la cola.

4. ¿Por qué es tan bueno esto?

• Control Total: Si quieres cambiar la pose de un perro, solo tienes que cambiar el "Mapa Estructural" inicial (el dibujo en blanco y negro) y el modelo generará un perro nuevo con esa pose exacta, pero con un color o raza diferente. Es como usar una plantilla.
• Menos Errores: Al ir de lo general a lo específico, el modelo no se pierde. No se equivoca al poner un ojo en la frente porque primero ya definió dónde está la cabeza.
• Calidad: En las pruebas, este método crea imágenes más realistas y nítidas que los métodos anteriores, usando incluso menos tiempo de computadora.

En resumen

NVG es como enseñar a una computadora a pintar siguiendo el método clásico de los artistas: primero el boceto, luego las formas, y al final los detalles. Al obligar a la IA a pensar en la "estructura" antes que en el "color", logra crear imágenes más bonitas, más ordenadas y que obedecen mejor a lo que le pedimos.

Es como pasar de intentar adivinar la imagen pixel por pixel a tener un plano arquitectónico claro antes de construir la casa.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Next Visual Granularity Generation" (NVG), presentado como ponencia en ICLR 2026.

1. El Problema

Los modelos generativos actuales interpretan las imágenes de maneras que a menudo ignoran su estructura espacial compleja o sufren de limitaciones inherentes:

• Modelos basados en tokens (Autoregresivos): Tratan las imágenes como oraciones visuales (secuencias 1D), lo que descuida la estructura 2D intrínseca y sufre de sesgo de exposición (exposure bias) y acumulación de errores.
• Modelos de Difusión y Flujos: Ven las imágenes como muestras de distribuciones de probabilidad. Aunque generan alta fidelidad, a menudo requieren módulos adicionales o fine-tuning extenso para controlar la estructura, ya que el proceso de generación es estocástico y no explícitamente estructurado.
• Modelos Autoregresivos Visuales (como VAR): Descomponen las imágenes en una pirámide de resoluciones, pero pueden mezclar información visual de semánticas distintas en etapas tempranas, creando ambigüedad en la representación.

El desafío central es desarrollar un marco que permita un control granular sobre la generación de imágenes, imitando el proceso natural de "de lo general a lo específico" (como en la pintura), manteniendo una estructura espacial coherente y reduciendo la ambigüedad en las etapas iniciales.

2. Metodología: Next Visual Granularity (NVG)

El autor propone un nuevo marco llamado Next Visual Granularity (NVG), que representa las imágenes como una secuencia estructurada de granularidad visual variable.

A. Construcción de la Secuencia de Granularidad Visual (VGS)

En lugar de usar una resolución fija o una pirámide de escalas espaciales, NVG descompone la imagen en múltiples etapas manteniendo la misma resolución espacial, pero variando el número de tokens únicos utilizados.

• Enfoque Bottom-Up: Se utiliza una estrategia de agrupamiento (clustering) de abajo hacia arriba. Comenzando con la granularidad más fina (cada píxel/token único), se agrupan iterativamente los tokens más similares hasta formar un solo clúster que representa toda la imagen.
• Componentes de cada etapa $i$:
  1. Contenido ($c_i$): Un conjunto de $n_i$ tokens únicos extraídos de un código compartido.
  2. Estructura ($s_i$): Un mapa binario (o de etiquetas) que indica cómo se asignan esos tokens en el espacio latente.
• Resultado: Una jerarquía donde las etapas iniciales capturan la separación fondo/primero plano y formas generales, mientras que las etapas finales refinan detalles finos.

B. Pipeline de Generación

El proceso de generación es iterativo y sigue un orden estricto: Primero Estructura, luego Contenido.

1. Generador de Estructura:
   • Utiliza un modelo de flujo rectificado (rectified flow) ligero.
   • Resuelve el problema de "inicio en frío" (cold-start) generando un mapa de estructura jerárquico completo desde el ruido.
   • En cada etapa $i$, predice la estructura completa, pero solo utiliza la parte correspondiente a la etapa actual para refinar el mapa, actuando como una tarea de "inpainting" estructural.
2. Generador de Contenido:
   • Utiliza un Transformer con RoPE (Rotary Position Embedding) consciente de la estructura. Esto permite que el modelo entienda que los tokens dentro del mismo clúster estructural comparten una posición estructural, preservando la jerarquía.
   • Refinamiento de Lienzo (Canvas Refinement): A diferencia de los modelos autoregresivos que predicen el siguiente token, NVG predice el lienzo final ($x$) basado en el lienzo actual ($x_i$).
   • El objetivo de entrenamiento es minimizar la diferencia entre el lienzo predicho y el lienzo real, simulando el error de cuantización residual. Esto reduce el sesgo de exposición al corregir errores acumulados en lugar de simplemente extender la secuencia.

C. Representación Compacta

Se introduce una incrustación de estructura jerárquica compacta (basada en bits) que codifica las relaciones padre-hijo entre etapas, permitiendo que el modelo distinga las etapas y los clústeres sin depender del orden de los IDs.

3. Contribuciones Clave

1. Nueva Paradigma de Granularidad: Introduce la representación de imágenes como secuencias de granularidad variable (mismo tamaño espacial, diferente número de tokens únicos), capturando explícitamente la jerarquía visual.
2. Control Estructural Explícito: La generación de mapas de estructura separada permite un control directo sobre la disposición espacial de los objetos sin necesidad de módulos condicionales externos o fine-tuning posterior.
3. Reducción de Ambigüedad y Sesgo: Al separar la estructura del contenido y utilizar un enfoque de refinamiento residual, se mitiga la ambigüedad semántica en las etapas tempranas y se reduce la acumulación de errores típica de los modelos autoregresivos.
4. Escalabilidad: El marco demuestra un comportamiento de escalado claro, donde el rendimiento mejora consistentemente al aumentar el tamaño del modelo.

4. Resultados Experimentales

Los modelos NVG se entrenaron en el dataset ImageNet (condicionales por clase) y se compararon con los modelos más avanzados (GANs, Difusión, Autoregresivos, VAR).

• Métricas Cuantitativas:
  • NVG supera consistentemente a la serie VAR (Visual Autoregressive Modeling) en todas las configuraciones de tamaño.
  • FID (Fréchet Inception Distance): Mejora de 3.30 a 3.03 (NVG-d16), 2.57 a 2.44 (NVG-d20) y 2.09 a 2.06 (NVG-d24) en comparación con VAR.
  • IS (Inception Score) y Recall: También muestran mejoras o resultados comparables a los mejores modelos (SiT-X, IBQ-XXL).
• Eficiencia:
  • NVG requiere menos pasos de generación (9 pasos vs 10 en VAR) y menos parámetros totales para lograr un rendimiento superior.
  • Aunque la generación de estructura añade un paso computacional, el modelo sigue siendo más rápido que los modelos de difusión estándar y consume menos memoria que VAR (debido a la falta de caché KV masiva).
• Análisis Cualitativo:
  • Control de Estructura: Se puede reutilizar el mapa de estructura de una imagen (ej. un wallaby) para generar una imagen completamente diferente (ej. un conejo) manteniendo la composición espacial.
  • Robustez: El modelo maneja bien casos extremos, como estructuras poco claras o múltiples objetos, refinando progresivamente la imagen desde formas generales hasta detalles precisos.
  • Calidad: Las imágenes generadas muestran alta fidelidad y alineación con los mapas de estructura binaria generados.

5. Significado e Impacto

El trabajo NVG representa un avance significativo en la generación de imágenes al abordar la limitación fundamental de tratar las imágenes como datos planos o secuencias lineales sin estructura.

• Interpretabilidad: Al descomponer la imagen en niveles de granularidad, el proceso de generación se vuelve más interpretable y controlable.
• Aplicaciones Futuras: Este enfoque abre nuevas posibilidades para la generación de video (rastreando regiones estructuradas a lo largo del tiempo), razonamiento espacial jerárquico y aplicaciones de diseño donde el control de la composición es crítico.
• Validación de Escalado: Demuestra que los enfoques basados en la estructura visual, en lugar de solo en la resolución o la secuencia de tokens, son altamente escalables y competitivos con los paradigmas dominantes actuales.

En resumen, NVG propone un cambio de paradigma hacia una generación de imágenes estructurada, jerárquica y controlable, logrando un estado del arte superior en calidad y eficiencia en la tarea de generación condicional de imágenes.