🤖 machine learning

End-to-End Autoregressive Image Generation with 1D Semantic Tokenizer

Este trabajo propone una tubería de entrenamiento de extremo a extremo que optimiza conjuntamente un tokenizador semántico 1D y un modelo generativo autoregresivo, logrando un rendimiento de generación de imágenes de vanguardia con un FID de 1.48 en ImageNet 256x256.

Autores originales: Wenda Chu, Bingliang Zhang, Jiaqi Han, Yizhuo Li, Linjie Yang, Yisong Yue, Qiushan Guo

Publicado 2026-05-04

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Wenda Chu, Bingliang Zhang, Jiaqi Han, Yizhuo Li, Linjie Yang, Yisong Yue, Qiushan Guo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que quieres enseñar a una computadora a dibujar imágenes describiéndolas palabra por palabra, como un narrador. Esto se llama generación autoregresiva. La computadora adivina la siguiente "palabra" (o en este caso, un fragmento visual) basándose en las anteriores.

Sin embargo, hay un gran problema en cómo las computadoras suelen hacer esto.

El Problema: La "Cuadrícula" vs. La "Historia"

La mayoría de las computadoras que crean imágenes dividen una imagen en una cuadrícula 2D (como un tablero de ajedrez). Intentan describir la imagen leyendo esta cuadrícula fila por fila, como si leyeran un libro.

El Problema: En una cuadrícula, la pieza en la esquina superior derecha depende de la pieza en la esquina inferior izquierda. Pero en una historia (una lista 1D), no puedes hablar del final de la historia antes de haber contado el principio. Esta discrepancia confunde a la computadora y hace que las imágenes se vean desordenadas.

Los intentos anteriores trataron de solucionar esto de dos maneras:

Cambiar el orden de la historia: Obligar a la computadora a leer la cuadrícula en órdenes extraños y aleatorios (como leer un libro al revés o saltando de un lado a otro).
Aplanar la cuadrícula: Aplastar la imagen 2D en una sola línea larga de datos. Pero a menudo, esto aplastaba la imagen tan fuerte que se perdían los detalles, o la computadora no podía aprender a dibujarlos bien.

La Solución: EOSTok (El Equipo "De Extremo a Extremo")

Los autores de este artículo crearon un nuevo sistema llamado EOSTok. Piénsalo como un equipo de dos trabajadores que aprenden juntos, en lugar de que uno entrene al otro.

1. Los Dos Trabajadores

Trabajador A (El Tokenizador): Este es el "compresor". Toma una foto de alta definición y la aplasta en una lista corta y 1D de "tokens" (como un código secreto).
Trabajador B (El Generador): Este es el "narrador". Mira el código secreto e intenta predecir el siguiente token en la lista para recrear la imagen.

2. La Vieja Forma (El Error de "Dos Etapas")

Antes, estos trabajadores entrenaban por separado:

Etapa 1: Se entrenaba al Trabajador A solo para aplastar la imagen perfectamente. Una vez terminado, se congelaba (se bloqueaba en su lugar).
Etapa 2: Se entrenaba al Trabajador B para predecir los tokens.
El Defecto: El Trabajador A no sabía que el Trabajador B sería quien usaría los tokens. Así que el Trabajador A podría haber creado un código que era excelente para ahorrar espacio pero terrible para predecir el siguiente paso. Era como un traductor escribiendo un libro en un idioma que el siguiente traductor no podía entender.

3. La Nueva Forma (Entrenamiento de Extremo a Extremo)

EOSTok entrena a ambos trabajadores al mismo tiempo.

El Bucle de Retroalimentación: Si el Trabajador B (el narrador) comete un error, la señal de error viaja todo el camino de regreso al Trabajador A. El Trabajador A aprende: "Oh, necesito cambiar mi código secreto ligeramente para que el Trabajador B pueda predecir la siguiente parte más fácil".
El Resultado: Evolucionan juntos. El Trabajador A aprende a crear un código que no es solo una buena compresión, sino un código que es fácil de predecir.

El Secreto: Tres Trucos

Para que esto funcione perfectamente, los autores añadieron tres ingredientes especiales:

1. La "Verificación de Píxeles" (Pérdida APR)
Normalmente, la computadora solo verifica si la predicción del "siguiente token" es correcta. Pero a veces, la computadora se vuelve muy buena adivinando tokens pero produce una imagen borrosa y fea al final.

La Solución: El sistema toma la apuesta de la computadora del siguiente token, la convierte de nuevo en una imagen y verifica si esa imagen se parece a la real. Esto obliga a la computadora a preocuparse por la calidad final de la imagen, no solo por el juego de adivinar tokens.

2. El "Profesor Inteligente" (Modelos Fundacionales de Visión)
Los autores trajeron a un "Profesor Inteligente" (una IA preentrenada que ya sabe cómo se ven los objetos).

La Trampa: Si fuerzas a la lista 1D a verse exactamente como el mapa 2D del Profesor, pierdes el beneficio de la lista 1D (se convierte en una cuadrícula de nuevo).
La Solución: Usaron un método llamado "Alineación Implícita". En lugar de forzar a la lista 1D a copiar el mapa del Profesor, simplemente aseguraron que la comprensión oculta dentro del sistema coincidiera con el conocimiento del Profesor. Es como permitir que un estudiante aprenda los conceptos de un profesor sin obligarlo a copiar la letra del profesor. Esto mantiene el flujo 1D suave pero hace que el contenido sea mucho más inteligente.

3. El Equilibrio del "Libro de Códigos"
El sistema utiliza un diccionario (libro de códigos) de tokens visuales.

Si el diccionario es demasiado pequeño, las imágenes se ven pixeladas.
Si el diccionario es demasiado enorme, la computadora se confunde al intentar elegir la palabra correcta.
Los autores descubrieron que al hacer la computadora más grande (más potente), podía manejar un diccionario más grande sin confundirse, resolviendo el compromiso entre detalle y predictibilidad.

Los Resultados

El artículo afirma que este nuevo método es un gran éxito.

En una prueba estándar (ImageNet 256x256), su modelo logró una puntuación de 1.48 (menor es mejor).
Este es un resultado de Estado del Arte, lo que significa que es actualmente el mejor en el mundo para este tipo específico de generación de imágenes sin usar trucos de guía adicionales.
El modelo funciona mejor a medida que se hace más grande (escalado), lo que demuestra que el sistema es robusto.

En resumen: EOSTok es una nueva forma de enseñar a las computadoras a dibujar haciendo que el "compresor" y el "predictor" aprendan juntos, verificando su trabajo contra píxeles reales y usando a un profesor inteligente para guiarlos sin obligarlos a encajar en una cuadrícula rígida. El resultado es una computadora que puede generar imágenes increíblemente realistas simplemente prediciendo la siguiente pieza de un rompecabezas.

Aquí se presenta un resumen técnico detallado del artículo "Generación de imágenes autoregresiva de extremo a extremo con un Tokenizador Semántico 1D" (EOSTok).

1. Planteamiento del Problema

La generación de imágenes autoregresiva (AR) ha surgido como una alternativa sólida a los modelos de difusión, dependiendo de tokens visuales discretos para comprimir imágenes en representaciones latentes. Sin embargo, los enfoques existentes enfrentan dos desafíos principales:

Desalineación Espacial: La mayoría de los tokenizadores de imágenes utilizan estructuras de cuadrícula 2D (preservando la disposición espacial). Esto induce dependencias bidireccionales entre los tokens, lo que entra en conflicto con la factorización unidireccional requerida por el modelado AR estándar en orden de barrido.
Paradigmas de Entrenamiento Subóptimos: Los métodos actuales suelen emplear una estrategia de entrenamiento en dos etapas: primero se entrena un tokenizador para la reconstrucción (congelado) y luego se entrena un modelo AR sobre los tokens resultantes. Esto impide que el tokenizador se adapte a las necesidades específicas de la tarea generativa.
Brecha en la Función de Pérdida: La pérdida de Predicción del Siguiente Token (NTP) utilizada en los modelos AR opera en el espacio de tokens discretos y no se correlaciona directamente con la calidad final de la generación en el espacio de píxeles. Optimizar únicamente para NTP puede provocar un "colapso del espacio latente", donde el tokenizador utiliza solo unos pocos tokens para minimizar la pérdida de predicción, degradando la fidelidad de la imagen.

2. Metodología: EOSTok

Los autores proponen EOSTok (Tokenizador Semántico Unidimensional de Extremo a Extremo), un marco que optimiza conjuntamente un tokenizador de visión 1D y un modelo generativo AR en una sola etapa.

A. Tokenizador de Transformer de Visión 1D

Arquitectura: Basada en una estructura de autoencoder ViT (similar a TiTok).
Proceso: Los parches de imagen 2D se aplanan y concatenan con tokens de consulta aprendibles. Un encoder ViT causal procesa esta secuencia, generando únicamente tokens latentes 1D (descartando las incrustaciones de parches espaciales).
Cuantización: Utiliza IBQ (Cuantización de Cuello de Botella Mejorado) para mapear vectores latentes continuos a un código discreto, habilitando el modelado AR.
Decodificador: Un decodificador ViT 1D reconstruye las imágenes concatenando los tokens cuantizados con tokens de máscara aprendibles.

B. Entrenamiento Conjunto de Extremo a Extremo

En lugar de congelar el tokenizador, el encoder, el decodificador y el modelo AR se entrenan simultáneamente. La función de pérdida total combina:

Pérdida de Reconstrucción ( $L_{recon}$ ): Pérdidas estándar de VQ-VAE (L1/L2, Perceptual, GAN) para garantizar la fidelidad de la imagen.
Pérdida de Predicción del Siguiente Token ( $L_{NTP}$ ): Pérdida estándar de entropía cruzada para el modelo AR.
Pérdida de Reconstrucción de Predicción Autoregresiva (APR) ( $L_{APR}$ ):
- La Innovación: Para cerrar la brecha entre la predicción de tokens y la calidad de píxeles, los tokens predichos por el modelo AR (en modo de forzado del profesor) se decodifican de nuevo al espacio de píxeles por el decodificador del tokenizador.
- Mecanismo: La pérdida compara estos píxeles decodificados con la imagen de verdad fundamental.
- Efecto: Esto proporciona supervisión generativa de extremo a extremo al tokenizador, evitando que el tokenizador "hackee" la pérdida NTP colapsando el espacio latente (usando demasiados pocos tokens).

C. Alineación de Representación Semántica (VFM)

Para inyectar información semántica global sin imponer priores espaciales 2D (lo cual perjudicaría el rendimiento AR), los autores proponen Alineación Implícita:

Alineación Directa (Rechazada): Alinear los tokens latentes 1D directamente con características VFM 2D impone una estructura 2D sobre el espacio 1D, degradando el rendimiento.
Sustitución Directa (Rechazada): Reemplazar los parches de imagen con características VFM como entrada.
Alineación Implícita (Propuesta): Alinea las incrustaciones de parches ocultas del encoder 1D (antes de que se extraigan los tokens de consulta) con las características VFM (por ejemplo, de DINOv2). Esto destila conocimiento semántico en el espacio latente secuencial sin imponer restricciones espaciales 2D explícitas.
Alineación del Decodificador: El decodificador también se alinea con características VFM para tratar la reconstrucción como una tarea de generación condicional, ayudando a la convergencia.

3. Contribuciones Clave

Marco de Entrenamiento de Extremo a Extremo: Una nueva tubería de una sola etapa que optimiza conjuntamente la reconstrucción y la generación, permitiendo que el tokenizador aprenda representaciones específicamente adaptadas para el modelado AR.
Pérdida APR: Una función de pérdida crítica que decodifica las predicciones AR al espacio de píxeles, asegurando que el tokenizador aprenda un espacio latente que sea tanto reconstructivo como predecible generativamente, previniendo el colapso latente.
Alineación Semántica Implícita: Una estrategia para aprovechar los Modelos Fundacionales de Visión (VFM) para tokenizadores 1D que mejora la calidad de generación sin reintroducir los sesgos espaciales 2D que obstaculizan el modelado AR.
Rendimiento de Vanguardia: Lograr resultados SOTA en la generación de ImageNet 256×256 sin guía de clasificador.

4. Resultados Experimentales

El modelo fue evaluado en el benchmark ImageNet-1K 256×256.

Calidad de Generación:
- EOSTok-H (644M parámetros): Logra un gFID de 1.48 (sin guía) y un IS de 239.5. Este es un nuevo estado del arte para modelos AR sin guía, superando a modelos basados en difusión como REPA-XL/2 (gFID 1.42 con guía) y otras líneas base AR.
- EOSTok-L (312M parámetros): Logra un gFID de 1.74 sin guía.
Calidad de Reconstrucción:
- EOSTok-L logra un rFID de 0.73, demostrando capacidades de reconstrucción de alta fidelidad.
Estudios de Ablación:
- Pérdida APR: Sin APR, el uso del código de libro cae drásticamente (de ~99% a ~51%) y el gFID empeora significativamente (8.01 vs 3.32).
- Alineación Semántica: La alineación implícita mejora el gFID de 12.27 (línea base) a 3.32. La alineación directa empeora el rendimiento, confirmando que los priores 2D son perjudiciales para el modelado AR 1D.
- Orden de Secuencia: Los modelos entrenados con supervisión de extremo a extremo muestran un rendimiento significativamente mejor en las secuencias de tokens originales en comparación con secuencias invertidas o aleatorias, demostrando que el espacio latente está optimizado para la predicción causal.
- Escalabilidad: El rendimiento mejora consistentemente con el tamaño del modelo (de S a H) y el tamaño del código de libro, con modelos más grandes mitigando la compensación entre reconstrucción y generación.

5. Significado

Este artículo cambia fundamentalmente el paradigma de la generación de imágenes autoregresiva:

De Dos Etapas a Una Etapa: Demuestra que entrenar conjuntamente el tokenizador y el generador produce resultados superiores en comparación con el enfoque tradicional de tokenizador congelado.
Viabilidad de Tokenización 1D: Prueba que los tokenizadores 1D, cuando se entrenan adecuadamente con guía semántica y retroalimentación de extremo a extremo, pueden superar a los tokenizadores basados en cuadrículas 2D para la generación AR al eliminar conflictos de dependencia espacial.
Cerrando la Brecha de Pérdida: La introducción de la pérdida APR resuelve el problema crítico donde la optimización a nivel de token falla al traducirse en calidad a nivel de píxel, un cuello de botella común en el modelado generativo discreto.
Escalabilidad: El método escala efectivamente, logrando resultados SOTA con un modelo de 644M parámetros, sugiriendo un camino prometedor para escalar modelos de visión AR a tamaños mayores.