💻 computer science

Unified Multimodal Autoregressive Modeling with Shared Context-Visual Tokenizer is Key to Unification

UniAR introduce un marco autorregresivo unificado que aprovecha un único tokenizador visual discreto para cerrar la brecha entre la comprensión y la generación visual, permitiendo la síntesis y edición de imágenes de alta fidelidad mediante contexto compartido, predicción de bits paralelos y un decodificador basado en difusión, al tiempo que logra un rendimiento de vanguardia en evaluaciones comparativas multimodales.

Autores originales: Wujian Peng, Lingchen Meng, Yuxuan Cai, Xianwei Zhuang, Yuhuan Yang, Rongyao Fang, Chenfei Wu, Junyang Lin, Zuxuan Wu, Shuai Bai

Publicado 2026-06-17

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Wujian Peng, Lingchen Meng, Yuxuan Cai, Xianwei Zhuang, Yuhuan Yang, Rongyao Fang, Chenfei Wu, Junyang Lin, Zuxuan Wu, Shuai Bai

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot artista superinteligente. En el pasado, si querías que este robot mirara una imagen y te dijera lo que veía, tenías que usar un par de "gafas" (una forma específica de traducir imágenes en datos). Pero si querías que el robot dibujara una imagen nueva, tenías que cambiar a un par de "gafas" completamente diferente que hablara un lenguaje distinto.

Esto significaba que, después de que el robot dibujaba una imagen, no podía inmediatamente "mirar" su propia creación para entenderla. Tenía que tomar el dibujo, pasarlo por las gafas de "mirar" nuevamente, y luego intentar entenderlo. Era como escribir una carta en francés y luego tener que traducirla de nuevo al inglés antes de poder leerla tú mismo.

UniAR es un nuevo sistema que soluciona esto dándole al robot un solo par de gafas tanto para ver como para dibujar.

Aquí te explicamos cómo funciona, desglosado en conceptos simples:

1. El Traductor Universal (El Tokenizador Visual)

Normalmente, las computadoras descomponen las imágenes en diminutas piezas de rompecabezas llamadas "tokens".

El Problema: Los sistemas antiguos usaban dos conjuntos diferentes de piezas de rompecabezas. Un conjunto era excelente para reconocer un gato (significado de alto nivel), pero malo para dibujar la textura del pelaje (detalle de bajo nivel). El otro era excelente para dibujar el pelaje, pero confundía lo que realmente era un "gato".
La Solución de UniAR: Construyeron un único traductor que convierte las imágenes en un código especial hecho de bits binarios (solo ceros y unos), como un código Morse digital masivo.
- La Analogía: Imagina que en lugar de usar un diccionario con 10,000 palabras, este robot usa un código donde cada palabra es una combinación de 64 dígitos de ceros y unos. Esto crea un vocabulario tan enorme ( $2^{64}$ ) que puede describir casi cualquier cosa sin necesidad de un diccionario gigante.
- El Truco de Magia: Este traductor observa la imagen a diferentes "profundidades". Ve la forma general (como una capa profunda) y los detalles finos como la textura (como una capa superficial) todo al mismo tiempo. Esto permite al robot tanto entender la imagen como dibujarla perfectamente usando el mismo código.

2. El Escritor Veloz (Predicción de Bits en Paralelo)

Una vez que la imagen se convierte en ese código de ceros y unos, el robot necesita escribirlo, bit por bit.

El Problema: Escribir una imagen completa bit por bit es increíblemente lento. Es como escribir una novela letra por letra, esperando a que la tinta se seque antes de escribir la siguiente letra.
La Solución de UniAR: En lugar de escribir un bit a la vez, el robot escribe grupos de bits simultáneamente.
- La Analogía: Imagina a un mecanógrafo que antes escribía una letra y luego esperaba. Ahora, puede escribir una palabra entera (o incluso una frase pequeña) en una sola pulsación de tecla. Esto hace que el robot sea 32 veces más rápido generando imágenes porque predice fragmentos del código todos a la vez.

3. El Pintor (El Decodificador Visual)

El robot escribe el código (los ceros y unos), pero eso aún no es una imagen. Necesita un pintor que convierta ese código de nuevo en una imagen real.

La Innovación: El robot escribe el código, y un "pintor" separado (un Transformador de Difusión) toma ese código y pinta la imagen.
La Eficiencia: El robot no necesita escribir cada uno de los píxeles. Escribe una versión comprimida de la imagen, y el pintor "escala" esa imagen hacia arriba para crear una obra maestra de alta resolución (como 1024x1024 píxeles). Esto mantiene el trabajo del robot ligero y rápido.

¿Qué puede hacer este robot?

Debido a que el robot utiliza el mismo "cerebro" y "lenguaje" tanto para mirar como para dibujar, tiene algunas capacidades nuevas y geniales:

Autocorrección y Conversación: Puedes pedirle al robot: "Dibuja un bote en el agua". Lo dibuja. Luego, sin necesidad de volver a escanear la imagen, puedes preguntar: "¿Es el bote azul?" o "Cambia el fondo por una playa". El robot entiende su propio dibujo instantáneamente porque habló el mismo lenguaje para crearlo y para leerlo.
Renderizado de Texto: Es muy bueno dibujando texto dentro de las imágenes (como escribir "Hola" en un letrero en una foto), lo cual suele ser muy difícil para la IA.
Edición: Puede intercambiar objetos (como convertir una cabra en un conejo) o cambiar colores siguiendo tus instrucciones.

¿Cómo lo entrenaron?

Le enseñaron al robot en tres pasos:

Conceptos Básicos de Lectura y Escritura: Le suministraron una cantidad masiva de datos (texto e imágenes) para aprender el código universal.
Ajuste Fino (Fine-Tuning): Le mostraron ejemplos de alta calidad para asegurar que siguiera bien las instrucciones.
Aprendizaje por Refuerzo (La Fase de "Práctica"): Dejaron que el robot intentara dibujar imágenes, revisaron si el resultado era bueno (usando un sistema de recompensa) y le permitieron aprender de sus errores. Esto hizo que su renderizado de texto y su seguimiento de instrucciones fueran aún más precisos.

La Conclusión

UniAR es un avance porque dejó de tratar el "entender" y el "crear" como dos trabajos separados. Al utilizar un único código eficiente basado en bits para ambos, el robot ahora puede pensar, dibujar y hablar sobre sus dibujos en un flujo continuo y fluido, siendo al mismo tiempo más rápido y preciso que los modelos anteriores.

Resumen Técnico: UniAR – Modelado Autorregresivo Multimodal Unificado con Contexto Compartido

Planteamiento del Problema

Los Modelos Multimodales Unificados (UMMs) pretenden integrar la comprensión y la generación visual dentro de un único sistema, permitiendo que un modelo interprete su propio contenido visual generado sin necesidad de volver a codificarlo. Sin embargo, los enfoques actuales suelen depender de dos tokenizadores visuales dispares: uno optimizado para la semántica de alto nivel (comprensión) y otro para detalles de bajo nivel (generación). Esta arquitectura de doble tokenizador divide el espacio de representación, obligando a que las imágenes generadas sean recodificadas antes de que el modelo pueda entenderlas. Esto rompe el objetivo de "contexto compartido" y obstaculiza una verdadera unificación. Además, diseñar un único tokenizador que satisfaga simultáneamente las necesidades conflictivas de la comprensión discriminativa y el detalle generativo, mientras escala su vocabulario de manera eficiente, sigue siendo un desafío significativo.

Metodología

Los autores proponen UniAR, un marco autorregresivo unificado que une la comprensión y la generación mediante un único tokenizador visual discreto. La arquitectura consta de tres componentes principales:

1. Tokenizador Visual Unificado

UniAR adapta un codificador de visión preentrenado (SigLIP2-So400M ViT) en un tokenizador discreto utilizando Cuantización Esférica Binaria (BSQ).

Cuantización Bit a Bit Libre de Búsqueda (Lookup-Free): En lugar de mapear las características a un código explícito (como en VQ-VAE), la BSQ cuantiza las características visuales en vectores binarios discretos ( $u \in \{0, 1\}^{64}$ ). Esto elimina la necesidad de un libro de códigos explícito y escala exponencialmente el tamaño teórico del vocabulario ( $2^{64}$ ) con un gasto mínimo.
Fusión de Características Multinivel: Para abordar la tensión entre la semántica de alto nivel y los detalles de bajo nivel, el tokenizador agrega características de múltiples capas del codificador visual (la capa final más tres capas intermedias). Este diseño jerárquico preserva tanto los detalles finos como las pistas semánticas.
Objetivo de Entrenamiento: El tokenizador se ajusta de extremo a extremo utilizando una combinación de la pérdida de Entropía Cruzada (CE) del LLM original y la pérdida de entropía suave de la BSQ. Una vez adaptado, el codificador de visión se congela para garantizar la consistencia de los índices visuales.

2. Modelo Autorregresivo Unificado

Construido sobre un esqueleto de LLM preentrenado (Qwen3-8B), el modelo trata los tokens visuales y de texto de igual manera bajo un paradigma de predicción del siguiente token.

Predicción Bit a Bit en Paralelo: Para reducir la longitud de la secuencia visual y acelerar la generación, UniAR emplea un mecanismo de predicción bit a bit en paralelo. Predice vectores binarios visuales multinivel dentro de una cuadrícula espacial de $2 \times 2$ simultáneamente. Esto logra una tasa de compresión visual de 32× en la predicción autorregresiva.
Cabezal de Predicción Visual: El modelo emite logits para grupos de índices BSQ. La dimensión de salida se define como $d_{vis} = 2 \times d_{BSQ} \times g$ , donde $g$ representa el número de niveles jerárquicos y unidades espaciales.
Robustez mediante el Volteo de Índices (Index Flipping): Para cerrar la brecha entre el entrenamiento con teacher-forcing y la inferencia autorregresiva, el modelo aplica un volteo aleatorio de índices visuales durante el preentrenamiento. Esto simula errores acumulativos, mejorando la estabilidad durante el muestreo de alta temperatura y facilitando el aprendizaje por refuerzo posterior.

3. Decodificador Visual Basado en DiT

Un decodificador de Transformer de Difusión (DiT) reconstruye imágenes de alta fidelidad a partir de los tokens visuales discretos predichos.

Traducción de Token a Imagen: El decodificador se condiciona únicamente en los tokens visuales (mediante la adición elemento a elemento de la señal visual a los estados ocultos ruidosos) y no recibe prompts de texto como entrada. Este diseño deja toda la generación semántica y estructural al modelo autorregresivo.
Upsampling de Resolución: Para aliviar la carga computacional del modelado autorregresivo, el decodificador emplea una estrategia de upsampling de resolución (interpolación bicúbica 2D). Esto permite la generación de imágenes de alta resolución (por ejemplo, $1024 \times 1024$ ) prediciendo solo 256 tokens visuales.

Pipeline de Entrenamiento

UniAR sigue un proceso de entrenamiento de tres etapas:

Preentrenamiento: Preentrenamiento a gran escala en corpora multimodales (1 billón de tokens) con una relación 1:1 de datos de comprensión y de generación. La generación visual está restringida a resoluciones específicas (512×512 o 960×960) con priors espaciales definidos por dimensiones de cuadrícula.
Ajuste Fino Supervisado (SFT): Entrenamiento en datos curados de alta calidad (aprox. 50 mil millones de tokens) utilizando el formato ChatML.
Aprendizaje por Refuerzo (RL): Aplicado exclusivamente a tareas de generación de imágenes para refinar la calidad, el renderizado de texto y el seguimiento de instrucciones. El decodificador visual se introduce solo en esta etapa para decodificar imágenes para el cálculo de recompensas.

Principales Contribuciones

Marco Unificado con un Único Tokenizador: UniAR es el primer modelo unificado que aprovecha tokens visuales de bits multinivel, unificando efectivamente la generación y la comprensión en un contexto compartido sin necesidad de recodificación.
Cuantización de Bits Eficiente: La adopción de la cuantización de bits libre de búsqueda sobre características multinivel expande significativamente el tamaño teórico del vocabulario con un bajo costo, mientras que la fusión multinivel cierra la brecha entre los requisitos generativos y discriminativos.
Predicción de Bits en Paralelo y Decodificación Eficiente: La introducción de la predicción de bits en paralelo reduce la longitud de la secuencia visual, y el decodificador basado en DiT con upsampling de resolución permite la generación eficiente de alta resolución con secuencias visuales compactas.

Resultados Experimentales

Experimentos extensos demuestran que UniAR alcanza un rendimiento de estado del arte (SOTA) en la generación y edición de imágenes, manteniendo la competitividad en la comprensión multimodal.

Seguimiento de Instrucciones: En GenEval, UniAR logra una puntuación general de 0.86 (0.86 con reescritura de prompts), superando a modelos propietarios como GPT-4o (0.84) y modelos dedicados solo a la generación como FLUX.1-dev (0.82). Muestra una fortaleza particular en el conteo de objetos, la vinculación de atributos de color y las relaciones espaciales.
Renderizado de Texto: UniAR alcanza resultados SOTA en benchmarks de renderizado de texto, puntuando 0.873 en OneIG-EN (superando a GPT-4o) y 0.917 en LongText-EN (superando a Gemini 2.5 Flash Image).
Edición de Imágenes: En ImgEdit Bench, UniAR obtiene 3.73, superando a modelos de edición especializados como Flux.1 Kontext (3.71) y modelos unificados como OmniGen2 (3.44).
Comprensión Multimodal: UniAR supera significativamente a los modelos unificados existentes en tareas orientadas a OCR (OCRBench, DocVQA, InfoVQA) y comprensión de video (MVBench). Logra un rendimiento comparable a VLMs de código abierto SOTA como Qwen3-VL, aunque se observa un ligero retraso en MMMU, atribuyéndolo a la falta de datos de preentrenamiento de puro texto y la ausencia de RL para tareas de comprensión.
Capacidades Emergentes: El modelo demuestra una capacidad emergente para realizar generación y comprensión intercaladas. Sin entrenamiento específico en datos intercalados de múltiples turnos, UniAR puede generar una imagen y, posteriormente, responder preguntas detalladas sobre su propio resultado dentro del mismo contexto, eliminando la necesidad de recodificación.

Significación y Reivindicaciones

El artículo afirma que UniAR representa un paso significativo hacia la verdadera unificación en el modelado multimodal. Al aprovechar un único tokenizador visual discreto y un contexto autorregresivo compartido, UniAR resuelve la tensión inherente entre la comprensión y la generación visual. Los autores enfatizan que su enfoque:

Elimina la necesidad de tokenizadores dispares y la carga asociada de la recodificación.
Logra una generación de alta fidelidad y un robusto seguimiento de instrucciones mediante una cuantización de bits eficiente y una predicción en paralelo.
Demuestra que un espacio de representación unificado permite capacidades emergentes, como la autointerpretación del contenido generado, lo cual es difícil de lograr con arquitecturas fragmentadas.

El trabajo sugiere que la combinación de fusión de características multinivel, cuantización libre de búsqueda y predicción de bits en paralelo proporciona un camino escalable y eficiente para los sistemas multimodales unificados.