A Simple Baseline for Unifying Understanding, Generation, and Editing via Vanilla Next-token Prediction

Este trabajo presenta Wallaroo, un modelo autoregresivo sencillo que unifica la comprensión, generación y edición multimodal mediante predicción de tokens siguientes, soportando múltiples resoluciones e idiomas, y demostrando un rendimiento competitivo en diversos benchmarks.

Lo esencial

¡Hola! Imagina que quieres construir un "supercerebro" de inteligencia artificial que no solo pueda ver y entender el mundo (como un humano), sino que también pueda crear nuevas imágenes desde cero y modificar las existentes, todo en un solo lugar.

Antes de este trabajo, la mayoría de las IAs eran como especialistas: unas eran excelentes entendiendo fotos, otras geniales pintando cuadros, pero pocas podían hacer las tres cosas a la vez sin confundirse.

Aquí te explico qué es Wallaroo, el "supercerebro" que presentan en este informe, usando una analogía sencilla:

🎨 La Analogía del "Chef Polifacético"

Imagina un restaurante.

• El modelo antiguo (Difusión): Era como tener un chef que solo sabe cocinar platos complejos (crear imágenes) pero necesita que otro chef le explique qué ingredientes hay en la mesa (entender la imagen). No hablan bien entre sí.
• Wallaroo: Es un chef maestro que tiene una sola receta base: "Predecir el siguiente ingrediente".

En lugar de tener dos cerebros separados, Wallaroo usa un solo cerebro que funciona como un lector de libros. Si le das una foto y una pregunta, "lee" la foto palabra por palabra (o píxel por píxel) y escribe la respuesta. Si le das una descripción, "escribe" la imagen píxel por píxel. Si le das una foto y un pedido de cambio, "reescribe" la parte de la foto que necesitas.

🚀 ¿Cómo funciona Wallaroo? (La Magia Simplificada)

El equipo de investigadores (de la Universidad de Pekín y Meituan) tomó un modelo de lenguaje muy inteligente (llamado Qwen2.5 VL) y le dio tres superpoderes nuevos, pero manteniendo las cosas simples:

1. Dos Caminos Diferentes para los Ojos:

   • Para entender una foto (decirte qué hay en ella), usa sus "gafas normales" (NaViT), que ven el contexto general.
   • Para crear una foto, usa unas "gafas de pixelado" (un tokenizador VQ). Imagina que convierte la foto en un rompecabezas de piezas discretas (códigos) para poder "escribirla" de nuevo.
   • ¿Por qué? Porque entender y crear requieren ver las cosas de forma distinta. Separar estos caminos evita que el chef se maree.

2. El Entrenamiento de 4 Etapas (El Gimnasio del Chef):
   No aprendieron todo de golpe. Lo hicieron paso a paso:

   • Paso 1: Le enseñaron a crear imágenes simples.
   • Paso 2: Le enseñaron a entender y crear al mismo tiempo (como leer y escribir a la vez).
   • Paso 3: Le enseñaron a trabajar con fotos de diferentes tamaños (desde pequeñas hasta grandes) y en diferentes idiomas (chino e inglés).
   • Paso 4: Le dieron un entrenamiento final de "edición" para que aprendiera a cambiar cosas en una foto existente (como borrar un objeto o cambiar el fondo).

3. El Truco de la Edición:
   Para editar, Wallaroo es muy astuto. Mira la foto original con sus "gafas normales" (para entender el significado) y con sus "gafas de pixelado" (para ver los detalles finos). Combina ambas visiones para saber exactamente qué cambiar sin arruinar el resto de la imagen.

🏆 ¿Qué tan bueno es?

Los resultados son impresionantes:

• Entendimiento: Es tan bueno como los mejores modelos que solo entienden imágenes.
• Generación: Puede crear imágenes muy buenas, aunque los modelos dedicados solo a pintar (como los que usan "difusión") aún tienen un ligero ventaja en detalles ultra-realistas.
• Edición: ¡Aquí brilla! Supera a muchos modelos especializados en editar fotos, logrando cambios muy naturales.

💡 ¿Por qué es importante?

Wallaroo demuestra que no necesitas máquinas complejas y separadas para hacer todo. Con una arquitectura simple (solo predecir el siguiente "token" o pieza de información), puedes unificar la comprensión, la creación y la edición.

Es como si descubrieran que un solo instrumento musical (un piano) puede tocar música clásica, jazz y rock, en lugar de necesitar un violín, una batería y una guitarra por separado.

⚠️ Un pequeño detalle a mejorar

Actualmente, el usuario tiene que decirle manualmente al modelo: "Oye, ahora quiero que me describas esta foto" o "Ahora quiero que edites esta otra". El modelo no decide automáticamente qué "botón" apretar. El equipo sugiere que en el futuro, el modelo debería ser tan inteligente que sepa por sí mismo qué tarea hacer según el contexto.

En resumen: Wallaroo es un paso gigante hacia una Inteligencia Artificial General (AGI) que ve, entiende, crea y modifica el mundo visual todo en uno, usando una lógica simple pero poderosa: predecir lo que sigue.

Resumen técnico

Resumen Técnico: Wallaroo

1. El Problema

El campo de la inteligencia artificial multimodal ha avanzado significativamente en la comprensión (entendimiento) y la generación de imágenes por separado. Sin embargo, unificar estas capacidades en un solo modelo sigue siendo un desafío crítico para avanzar hacia la Inteligencia Artificial General (AGI). Las aproximaciones actuales presentan limitaciones:

• Enfoques basados en Difusión: Muchos modelos utilizan codificadores de comprensión multimodal como condicionantes para generadores de difusión. Esto crea un flujo de información unidireccional (de comprensión a generación) y baja eficiencia en la interacción de información.
• Enfoques Híbridos: Algunos intentan integrar modelos autoregresivos y difusión dentro de transformadores, pero la presencia de ruido en la representación de difusión reduce la eficiencia de la interacción.
• Limitaciones de Tokenización: Los modelos puramente autoregresivos anteriores a menudo sufren por una tokenización visual deficiente o conflictos entre las representaciones de alto nivel (comprensión) y bajo nivel (generación).

El objetivo es desarrollar un modelo unificado que pueda comprender, generar y editar imágenes simultáneamente utilizando una arquitectura simple y eficiente, sin depender de la complejidad de la difusión.

2. Metodología: Wallaroo

Wallaroo es una línea base autoregresiva simple que unifica estas tres tareas mediante la predicción de tokens siguientes (next-token prediction).

• Arquitectura Base:

  • Se construye sobre Qwen2.5 VL (7B), manteniendo su diseño original para la comprensión multimodal.
  • Decoupling (Desacoplamiento) Visual: Para la generación, se añade un tokenizador VQ (basado en LlamaGen) que convierte las imágenes en IDs discretos. Esto desacopla la codificación visual en dos vías: una para comprensión (usando NaViT integrado) y otra para generación (usando el tokenizador VQ).
  • Adaptadores: Se utilizan adaptadores MLP (capas totalmente conectadas) para proyectar las representaciones de los tokens de imagen al espacio dimensional del transformador.
  • Edición: Para la edición, el modelo integra representaciones complementarias: usa tanto el codificador NaViT (semántico) como el tokenizador VQ (detalles de bajo nivel). Se introduce un "Adaptador de Edición" y una "Cabeza de Edición" separadas para evitar conflictos de pérdida durante el entrenamiento.

• Estrategia de Entrenamiento de Cuatro Etapas:

  1. Alineación Preliminar: Entrenamiento del adaptador de generación y la cabeza de generación para alinearlos con el espacio de representación de Qwen2.5 VL.
  2. Pre-entrenamiento Conjunto: Entrenamiento conjunto de datos de comprensión multimodal y generación de texto-a-imagen para alinear los espacios de representación.
  3. Escalado de Tamaño y Adaptación Multi-resolución: Aumento del tamaño de imagen a 512x512 y entrenamiento con imágenes de múltiples resoluciones. Se introducen tokens especiales (<hw_info>) para especificar dimensiones y tokens de fin de línea (<eol>) para manejar filas de tokens de imagen.
  4. Ajuste Fino Unificado: Entrenamiento final con un conjunto de datos de alta calidad que incluye comprensión, generación y edición, activando la funcionalidad de edición con un pequeño conjunto de datos específico.

• Objetivo de Entrenamiento: Se utiliza exclusivamente la pérdida de predicción de tokens siguientes, asignando pesos iguales a las tres tareas.

3. Contribuciones Clave

• Unificación Pura: Wallaroo es una de las primeras iniciativas que utiliza un modelo autoregresivo "puro" (sin difusión) para unificar comprensión, generación y edición simultáneamente.
• Soporte Multilingüe y Multi-resolución: El modelo soporta nativamente entrada y salida de imágenes en múltiples resoluciones y es bilingüe (chino e inglés).
• Simplicidad: Logra capacidades complejas con un principio minimalista, haciendo el mínimo número de modificaciones posible al modelo base (Qwen2.5 VL).
• Descubrimientos sobre Edición: El trabajo identifica que la edición actúa como un puente efectivo entre comprensión y generación, y que el orden de los tokens (representaciones de bajo nivel antes que las de alto nivel) es crucial para el rendimiento en tareas de edición.

4. Resultados

Los experimentos se realizaron en diversos benchmarks estándar:

• Comprensión Multimodal: Wallaroo logra un rendimiento competitivo, superando a modelos unificados anteriores como Janus-Pro, Mogao y OmniGen2 en benchmarks como MMB (83.0) y POPE, manteniendo capacidades cercanas a Qwen2.5 VL original.
• Generación de Imágenes: En benchmarks como GenEval y DPG, Wallaroo muestra resultados competitivos frente a otros modelos autoregresivos (como Show-o2 y Janus-Pro), aunque sigue estando por debajo de los modelos basados en difusión (como OmniGen2 y BAGEL) debido a la pérdida de detalles inherente a la cuantización vectorial (VQ).
• Edición de Imágenes: En el benchmark ImgEdit, Wallaroo obtiene un rendimiento general de 2.92, superando a la mayoría de los modelos de generación/edición puros (como AnyEdit, UltraEdit) y acercándose a modelos basados en difusión.
• Estudios de Ablación: Se demostró que el tokenizador LlamaGen es superior a MoVQGAN y que una tasa de enmascaramiento del 60% durante el entrenamiento de edición ofrece el mejor equilibrio entre regularización y preservación de detalles.

5. Significado y Conclusión

Wallaroo demuestra que los modelos autoregresivos tienen un gran potencial para unificar la comprensión y la generación multimodal, ofreciendo una interacción de información más eficiente que los enfoques híbridos o basados en difusión.

• Limitaciones: La calidad de la generación de imágenes aún se ve limitada por la tokenización VQ (pérdida de detalles finos) y la necesidad de que el usuario seleccione manualmente la "cabeza" (head) correcta (texto, imagen o edición) en lugar de una selección dinámica basada en el contexto.
• Futuro: El trabajo sugiere que mejorar los tokenizadores VQ o utilizar modelos de difusión como paso de post-procesamiento podría mitigar la pérdida de calidad. Además, plantea la hipótesis de que comenzar desde un modelo de edición autoregresivo podría ser una vía más natural para reconciliar las representaciones de alto y bajo nivel.

En resumen, Wallaroo establece una nueva línea base simple y efectiva que valida la viabilidad de la predicción de tokens siguientes como paradigma unificado para la inteligencia multimodal.