💻 computer science

LaViDa-R1: Advancing Reasoning for Unified Multimodal Diffusion Language Models

LaViDa-R1 es un modelo de lenguaje de difusión multimodal unificado que potencia las capacidades de razonamiento mediante la integración de el ajuste fino supervisado y el aprendizaje por refuerzo multitarea dentro de un novedoso marco de post-entrenamiento, demostrando un sólido rendimiento en diversas tareas de comprensión y generación visual.

Autores originales: Shufan Li, Yuchen Zhu, Jiuxiang Gu, Kangning Liu, Zhe Lin, Yongxin Chen, Molei Tao, Aditya Grover, Jason Kuen

Publicado 2026-07-08

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shufan Li, Yuchen Zhu, Jiuxiang Gu, Kangning Liu, Zhe Lin, Yongxin Chen, Molei Tao, Aditya Grover, Jason Kuen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes a un artista muy talentoso que puede tanto pintar cuadros como escribir historias. Este artista, llamado LaViDa-O, es bueno siguiendo instrucciones, pero cuando se le pide que resuelva un rompecabezas difícil o que explique por qué tomó cierta decisión, a veces simplemente adivina o se apresura a dar la respuesta.

El artículo presenta un nuevo método de entrenamiento llamado LaViDa-R1. Piensa en esto no como enseñarle al artista nuevos datos, sino como enseñarle cómo pensar. Es como darle al artista un "gorro de pensar" que lo obliga a hacer una pausa, esbozar su razonamiento, revisar su trabajo y, solo entonces, revelar su obra maestra final.

Así es como lo hicieron, utilizando algunas analogías sencillas:

1. El "Gimnasio Unificado" (Post-entrenamiento Unificado)

Normalmente, si quieres entrenar a una IA para que sea mejor en matemáticas, solo le muestras problemas de matemáticas. Si quieres que sea mejor editando fotos, solo le muestras tareas de edición de fotos. Esto es como enviar a un estudiante a una clase de matemáticas por la mañana y a una clase de fotografía por la tarde, pero sin permitirle nunca mezclar ambas habilidades.

LaViDa-R1 pone todo en un "gimnasio" gigante. Entrena al modelo en matemáticas, edición de fotos, localización de objetos en imágenes y respuesta a preguntas, todo al mismo al mismo tiempo. El artículo afirma que este enfoque "unificado" hace que el modelo sea más inteligente en general, en lugar de ser solo un especialista en un área.

2. El truco de "Forzar la Respuesta" (Cuando el estudiante está atascado)

Imagina que el artista está intentando resolver un problema matemático. Lo intenta tres veces, pero las tres respuestas son incorrectas. En una sesión de entrenamiento normal, el profesor simplemente diría: "Inténtalo de nuevo", y el artista podría frustrarse o no aprender nada porque no sabe cómo falló.

LaViDa-R1 utiliza un truco llamado Answer-Forcing (Forzar la Respuesta).

El Escenario: El modelo no logra resolver el problema.
El Truco: El profesor escribe secretamente la respuesta correcta al final del papel.
La Magia: Debido a que este modelo está construido como un modelo de "difusión" (que funciona rellenando huecos), puede mirar la respuesta correcta al final y trabajar hacia atrás para completar los pasos de razonamiento faltantes en el medio.
El Resultado: El modelo aprende: "Ah, si quiero obtener esta respuesta, necesito pensar de esta manera". Crea un "proceso de pensamiento" perfecto de la nada para enseñarse a sí mismo.

3. La "Búsqueda en Árbol" (Explorando el bosque)

A veces, no hay una única "respuesta correcta" para verificar (como cuando editas una foto para que parezca "más tropical"). El modelo simplemente tiene que adivinar qué se ve bien.

Si el modelo lo intenta 10 veces y las 10 veces se ven mal, no recibe una retroalimentación útil.
LaViDa-R1 utiliza la Búsqueda en Árbol (Tree Search).

Imagina que el modelo comienza un viaje y toma 10 caminos diferentes.
Comprueba qué camino parece el mejor.
En lugar de empezar de nuevo desde el principio, toma ese mejor camino, retrocede un poco y luego se ramifica para intentar 10 variaciones nuevas desde ese punto específico.
Esto es como un excursionista que se da cuenta de que "ese sendero que tomé fue genial", así que regresa a ese punto y prueba 10 direcciones nuevas desde allí, en lugar de empezar de nuevo desde la base de la montaña. Esto le ayuda a encontrar la mejor solución más rápido.

4. El "Cuadro de Mando Equilibrado" (Mejor calificación)

Al entrenar estos modelos, la computadora tiene que calcular qué tan "buena" fue una suposición. Normalmente, este cálculo es desordenado y desigual, como un profesor calificando un examen donde algunas preguntas cuentan por 10 puntos y otras por 1 punto, solo por accidente.

El artículo introduce un Estimador de Verosimilitud Complementaria.

Piensa en esto como un sistema de calificación que asegura que cada una de las palabras en la respuesta del modelo reciba una calificación justa.
Utiliza dos "vistas" diferentes de la respuesta para asegurar que ninguna parte del razonamiento sea ignorada. Esto evita que el modelo se confunda por una retroalimentación desigual.

Los Resultados: ¿Qué lograron?

El artículo afirma que, al usar estos trucos, LaViDa-R1 se volvió significativamente mejor en:

Matemáticas Visuales: Resolver problemas matemáticos que involucran imágenes y gráficos.
Localización de Objetos (Object Grounding): Encontrar objetos específicos en una imagen basándose en descripciones complejas (por ejemplo, "Encuentra a la persona que no es probable que sea un jugador").
Edición de Imágenes: Cambiar fotos basándose en instrucciones (por ejemplo, "Convierte esta cabaña en el bosque en una casa de playa") razonando primero sobre qué es lo que debe cambiar.

En resumen: El artículo presenta una nueva forma de entrenar una IA multimodal (que ve y lee) para "pensar antes de hablar". Al mezclar diferentes tipos de tareas, forzar al modelo a aprender de sus propios errores usando las respuestas correctas como guía, y utilizar estrategias de búsqueda inteligentes, crearon un modelo que es mucho mejor razonando que las versiones anteriores.

Resumen Técnico: LaViDa-R1

Planteamiento del Problema

Los Modelos de Lenguaje de Difusión (dLLMs) han surgido como una alternativa prometedora a los modelos autorregresivos (AR), ofreciendo beneficios como contexto bidireccional, decodificación paralela y paradigmas de generación unificados para texto e imágenes. Sin embargo, extender las capacidades de razonamiento de los dLLMs a un entorno multimodal de propósito general presenta varios desafíos críticos que los métodos existentes no han abordado plenamente:

Especificidad de la Tarea: Los dLLMs de razonamiento actuales suelen centrarse en dominios estrechos (p. ej., razonamiento matemático) y requieren un ajuste fino específico para la tarea, careciendo de un marco unificado para diversas tareas multimodales como la edición de imágenes y el posicionamiento de objetos (object grounding).
Inestabilidad del Entrenamiento: Aplicar Aprendizaje por Refuerzo (RL) a los dLLMs es propenso al colapso del modelo. Además, la inclusión de regularizadores de divergencia KL, aunque destinados a prevenir el colapso, a menudo dificulta la exploración y degrada el rendimiento de la tarea.
Señales de Entrenamiento Desvanecidas: Para tareas complejas, los modelos pueden fallar al generar muestras de alta calidad durante el entrenamiento, lo que conduce a señales de recompensa bajas o nulas. Esto es particularmente problemático en entornos de RL on-policy donde el cálculo de ventaja basado en grupos produce ventajas de cero si todas las muestras en un grupo reciben recompensas bajas.
Estimación de Verosimilitud Intratable: A diferencia de los modelos AR, los dLLMs no pueden calcular la verosimilitud de la secuencia de forma exacta. Los métodos de estimación existentes (p. ej., Monte Carlo) a menudo sufren de señales faltantes para los tokens enmascarados o gradientes de tokens desequilibrados, lo que conduce a la inestabilidad del entrenamiento.

Metodología

El artículo propone LaViDa-R1, un dLLM multimodal de razonamiento de propósito general construido sobre un nuevo marco unificado de post-entrenamiento. La metodología integra tres componentes principales:

1. Objetivo de Post-Entrenamiento Unificado

LaViDa-R1 introduce un objetivo de política de gradiente unificado que combina de manera fluida el Ajuste Fino Supervisado (SFT), el Aprendizaje por Refuerzo en Línea (Online RL) y la Autodestilación.

Formulación: Los autores observan que objetivos como el GRPO en línea, SFT y la destilación Best-of-N pueden expresarse en una forma unificada: $J_{Unified}(\theta) = \frac{1}{N} \sum A_i \log \pi_\theta(y_i|x_i)$ .
SFT como Regularización: En lugar de utilizar un término de divergencia KL (que requiere un modelo de referencia y dificulta la exploración), el marco lo reemplaza con un término de regularización SFT. Esto permite al modelo explorar el espacio de acciones más allá de la distribución preentrenada mientras evita el colapso, reduciendo significativamente los costos computacionales al eliminar la necesidad de un modelo de referencia.
Agregación Ponderada: El marco agrega las ventajas de diferentes objetivos (p. ej., GRPO y autodestilación) utilizando un promedio ponderado, lo que permite la optimización simultánea sin necesidad de remuestreo.

2. Generación de Rollout Guiada

Para abordar el problema de las señales de entrenamiento desvanecidas cuando los modelos no logran generar salidas de alta calidad, LaViDa-R1 emplea dos mecanismos de generación guiada:

Forzado de Respuesta (Answer Forcing): Para tareas con respuestas de verdad fundamental verificables (p. ej., razonamiento matemático, posicionamiento de objetos), si el modelo falla en generar una respuesta correcta en un grupo, el sistema inyecta el token de la respuesta correcta en una secuencia totalmente enmascarada. Luego, aprovecha las capacidades de inpainting bidireccional del dLLM para generar un rastro de razonamiento sintético condicionado a la respuesta correcta. Esto asegura una señal de entrenamiento de alta calidad incluso cuando la generación inicial del modelo es deficiente.
Búsqueda en Árbol (Tree Search): Para tareas sin respuestas de verdad fundamental (p. ej., edición de imágenes), el marco utiliza un algoritmo de búsqueda en árbol. Genera un grupo inicial de muestras, selecciona la trayectoria con la recompensa más alta y se ramifica desde un estado de difusión intermedio de esa mejor muestra para generar nuevas muestras. Esta expansión iterativa aumenta el tamaño efectivo del grupo y la probabilidad de encontrar trayectorias de alta recompensa.

3. Estimador de Verosimilitud de Enmascaramiento Complementario

Para resolver los desafíos de estimar la verosimilitud de la secuencia en los dLLMs, los autores proponen un nuevo estimador:

Mecanismo: En lugar del muestreo estándar de Monte Carlo, el método utiliza dos muestras con enmascaramiento complementario. Si una muestra enmascara un conjunto de tokens, la segunda muestra enmascara el conjunto complementario (desenmascarando lo que la primera enmascaró y viceversa).
Ponderación: A diferencia de trabajos previos que utilizan una función de ponderación $w(t) = 1/t$ , LaViDa-R1 utiliza un peso uniforme $w(t) = 1$ .
Beneficios: Este enfoque asegura que cada token en la secuencia sea contabilizado exactamente una vez a través de las dos muestras, evitando que se ignoren tokens importantes. También evita los gradientes de tokens desequilibrados causados por la ponderación $1/t$ , que favorece desproporcionadamente a los tokens enmascarados en los pasos de difusión tempranos.

Contribuciones Clave

Marco de Razonamiento Multimodal Unificado: LaViDa-R1 es el primer trabajo que extiende las capacidades de razonamiento mediante RL a un amplio espectro de tareas multimodales, incluyendo razonamiento matemático visual, preguntas visuales, posicionamiento de objetos intensivo en razonamiento y edición de imágenes, dentro de un único modelo unificado.
Post-Entrenamiento Unificado Estable: El artículo introduce un paradigma práctico de post-entrenamiento que reemplaza la regularización KL con SFT, permitiendo una exploración estable y evitando el colapso del modelo sin la sobrecarga computacional de los modelos de referencia.
Algoritmos de Generación Guiada: El desarrollo de los mecanismos de "Forzado de Respuesta" y "Búsqueda en Árbol" mitiga eficazmente el problema de la señal de entrenamiento desvanecida inherente al RL en línea para tareas complejas.
Mejora en la Estimación de Verosimilitud: El estimador de enmascaramiento complementario propuesto con ponderación uniforme proporciona una señal de gradiente más estable y precisa para el entrenamiento de dLLM en comparación con los métodos basados en MC existentes.

Resultados Experimentales

Experimentos extensos demuestran que LaViDa-R1 logra un sólido rendimiento a través de diversos benchmarks, superando al modelo base (LaViDa-O) y a las líneas base de SFT:

Razonamiento Matemático Visual: Mejoras significativas en MathVista (+3.10) y MathVerse.
Preguntas Visuales (VQA): Ganancias en ChartQA (+1.70) y MMMU-Pro.
Posicionamiento Intensivo en Razonamiento: Un aumento sustancial en el conjunto de datos Lisa-Grounding, con un incremento de +37.50 puntos en P@0.5 en comparación con el modelo base.
Edición de Imágenes: Mejora en el rendimiento en el benchmark ImgEdit (+0.10 en la puntuación general), demostrando la capacidad de explorar más allá de los modos supervisados.
Tareas Solo de Lenguaje: Ganancias notables en GSM8K y Math500, lo que sugiere que el entrenamiento de razonamiento unificado también beneficia las capacidades de lenguaje puro.

Significación y Reivindicaciones

El artículo afirma que LaViDa-R1 representa un paso significativo hacia la unificación de la comprensión y la generación multimodal con el razonamiento. Al integrar con éxito diversas tareas en un solo dLLM capaz de razonar, el trabajo aborda la fragmentación de los modelos multimodales actuales. Los autores enfatizan que su estrategia de post-entrenamiento unificado, que combina SFT y RL sin divergencia KL, ofrece un camino más estable y computacionalmente eficiente para mejorar el razonamiento en los modelos de difusión.

El trabajo destaca que los dLLMs de razonamiento pueden aprovechar la visibilidad global para modelar conjuntamente los rastros de razonamiento y los resultados finales, permitiendo un refinamiento holístico que es difícil para los modelos autorregresivos. Aunque el artículo reconoce limitaciones —como la brecha actual entre los dLLMs y los MLLMs AR de vanguardia en rendimiento de razonamiento, y la falta de marcos de inferencia eficientes para dLLMs—, postula que la receta propuesta proporciona una base robusta para la futura escalabilidad y la exploración de tareas de razonamiento multimodal más complejas.