Tuna-2: Pixel Embeddings Beat Vision Encoders for Multimodal Understanding and Generation

1. Planteamiento del Problema

Los Modelos Multimodales Unificados (UMM) actuales suelen depender de codificadores de visión preentrenados (por ejemplo, CLIP para comprensión, VQ-VAE para generación) para convertir imágenes crudas en representaciones latentes. Este enfoque modular introduce varias limitaciones críticas:

• Desalineación de Representaciones: Codificadores separados para comprensión y generación crean una desconexión entre ambas tareas, impidiendo una optimización totalmente de extremo a extremo.
• Sesgos Inductivos: Los codificadores preentrenados imponen resoluciones de entrada fijas y limitan el acceso a detalles visuales de bajo nivel y finos, obstaculizando el rendimiento en tareas que requieren percepción precisa.
• Complejidad Arquitectónica: La dependencia de múltiples componentes modulares (codificadores, conectores, decodificadores) complica el pipeline de entrenamiento e impide que el modelo aprenda una representación verdaderamente unificada directamente desde píxeles crudos.

Los autores preguntan: ¿Podemos construir un modelo multimodal unificado que realice tanto comprensión como generación directamente desde píxeles crudos, descartando por completo los codificadores de visión preentrenados?

2. Metodología

El artículo introduce Tuna-2, un modelo multimodal unificado nativo que opera enteramente en espacio de píxeles. La metodología se desarrolla mediante una simplificación progresiva de arquitecturas existentes:

A. Evolución Arquitectónica

Los autores proponen una evolución de tres etapas para llegar al diseño final sin codificadores:

1. Tuna (Línea base): Utiliza un diseño modular estándar con un codificador VAE para generación y un codificador de representación (por ejemplo, SigLIP) para comprensión.
2. Tuna-R (Intermedio): Elimina el VAE pero conserva un codificador de representación preentrenado (SigLIP 2). Utiliza una capa de incrustación de parches para convertir imágenes en tokens para el decodificador LLM, realizando generación en espacio de píxeles mediante flujo rectificado.
3. Tuna-2 (Final): Elimina por completo el codificador de representación preentrenado. Reemplaza codificadores complejos con simples capas de incrustación de parches que tokenizan directamente los píxeles de imagen crudos. Todo el sistema es un único decodificador Transformer monolítico que procesa tokens de texto y visuales conjuntamente.

B. Generación en Espacio de Píxeles

En lugar de difusión latente, Tuna-2 emplea flujo rectificado directamente en el espacio de píxeles:

• Objetivo: El modelo predice la imagen limpia $x_1$ a partir de una muestra ruidosa $x_t$ construida mediante un programa lineal: $x_t = tx_1 + (1-t)x_0$.
• Función de Pérdida: Minimiza el error de predicción de velocidad ($v_\theta$), donde $v_\theta = \frac{x_\theta - x_t}{1-t}$.
• Inferencia: Utiliza un solucionador de Euler para desruidar imágenes paso a paso.

C. Aprendizaje de Características Basado en Máscaras

Para abordar la dificultad de aprender representaciones robustas en el espacio de píxeles de alta dimensión (propenso a atajos superficiales), los autores introducen un esquema de enmascaramiento:

• Mecanismo: Durante el entrenamiento, parches de imagen aleatorios se enmascaran y reemplazan con un token de máscara aprendible.
• Doble Función:
  • Para Generación: Obliga al modelo a reconstruir parches limpios a partir de entradas ruidosas parcialmente observadas, creando una tarea de desruido más difícil.
  • Para Comprensión: Actúa como regularizador, forzando al modelo a realizar razonamiento bajo observación visual parcial, evitando la sobredependencia de señales visuales específicas.

D. Pipeline de Entrenamiento

El modelo se entrena completamente de extremo a extremo en dos etapas:

1. Etapa 1 (Preentrenamiento): Entrenamiento conjunto en descripción de imágenes y generación de texto a imagen (70% datos de comprensión, 30% datos de generación) utilizando una base de 7 mil millones de parámetros (Qwen2.5-7B-Instruct).
2. Etapa 2 (SFT): Ajuste fino supervisado en datasets de seguimiento de instrucciones de imagen, edición y generación de alta calidad.

3. Contribuciones Clave

1. Arquitectura Tuna-2: El primer UMM nativo que logra un rendimiento de vanguardia (SOTA) tanto en comprensión como en generación descartando por completo los codificadores de visión preentrenados, confiando únicamente en incrustaciones de píxeles.
2. Validación Empírica del Diseño Sin Codificadores: Demuestra que, aunque los codificadores preentrenados ayudan en la convergencia temprana, una arquitectura monolítica sin codificadores los supera en comprensión multimodal, particularmente en tareas de granularidad fina, tras un preentrenamiento suficiente.
3. Escalabilidad en Espacio de Píxeles: Prueba que el flujo rectificado en espacio de píxeles puede escalarse a modelos unificados grandes, compitiendo con enfoques en espacio latente para la generación y edición de imágenes de alta fidelidad.
4. Estrategia de Enmascaramiento: Introduce un esquema de aprendizaje basado en máscaras que estabiliza el entrenamiento en el espacio de píxeles de alta dimensión y mejora la robustez de la representación.

4. Resultados Experimentales

Los autores evaluaron Tuna-2 frente a varias líneas base (incluyendo Tuna, Tuna-R, Show-o2, BAGEL y modelos solo de generación como FLUX.1).

• Comprensión Multimodal (Tabla 1):
  • Tuna-2 logra un rendimiento SOTA entre UMMs nativos de escala 7B en benchmarks generales (GQA, MMVet, MMMU) y benchmarks centrados en píxeles (V*, CountBench, VisuLogic).
  • Supera significativamente a Tuna-R en tareas de percepción de granularidad fina, sugiriendo que eliminar el sesgo inductivo del codificador permite un mejor aprendizaje de detalles visuales de bajo nivel.
• Generación de Imágenes (Tablas 2 y 3):
  • Tuna-2 es competitivo con modelos unificados SOTA en GenEval y DPG-Bench.
  • Aunque Tuna-R (con codificador) lidera ligeramente inicialmente en métricas de generación, Tuna-2 alcanza el nivel tras el SFT.
  • Diversidad: Tuna-2 genera imágenes significativamente más diversas que Tuna-R y Tuna, según lo juzgado por LLMs (GPT-5.4, Claude Opus).
• Edición y Reconstrucción de Imágenes (Tablas 4 y 5):
  • Tuna-2 tiene un rendimiento sólido en edición de imágenes (ImgEdit), superando a muchas líneas base unificadas.
  • En tareas de reconstrucción de imágenes, Tuna-2 logra una calidad de reconstrucción (PSNR/SSIM) comparable a VAEs especializados como FLUX.1, demostrando que las representaciones en espacio de píxeles pueden codificar información visual fielmente.
• Análisis de Atención (Figura 7):
  • Las visualizaciones muestran que Tuna-2 tiene mapas de atención más precisos y estables, enfocándose correctamente en regiones visuales relevantes incluso cuando los priores lingüísticos son engañosos (por ejemplo, identificando una taza de vidrio en un contexto de fútbol), mientras que los modelos basados en codificadores a menudo dependen de priores de texto o distractores salientes.

5. Significado y Conclusión

El artículo desafía fundamentalmente el paradigma predominante de que los codificadores de visión preentrenados son necesarios para la IA multimodal de alto rendimiento.

• Cambio de Paradigma: Demuestra que el "aprendizaje de extremo a extremo en espacio de píxeles" es un camino viable y superior para desarrollar representaciones visuales más fuertes, especialmente para tareas que requieren percepción de granularidad fina.
• Simplicidad: Al despojar a la arquitectura de codificadores modulares complejos, Tuna-2 simplifica el diseño a un único Transformer, reduciendo la sobrecarga de ingeniería y permitiendo una optimización conjunta real.
• Dirección Futura: Los resultados sugieren que los futuros UMMs nativos deberían priorizar el modelado directo de píxeles sobre la compresión en espacio latente, ya que esta última puede introducir cuellos de botella de información que limitan la capacidad del modelo para percibir y generar detalles visuales de alta fidelidad.

En resumen, Tuna-2 demuestra que una arquitectura simple y sin codificadores, entrenada directamente sobre píxeles crudos, puede superar a sistemas complejos basados en codificadores en comprensión mientras mantiene capacidades de generación competitivas, ofreciendo un plano escalable para la próxima generación de modelos multimodales.