💻 computer science

LaViDa-R1: Advancing Reasoning for Unified Multimodal Diffusion Language Models

LaViDa-R1 est un modèle de langage de diffusion multimodal unifié qui fait progresser les capacités de raisonnement en intégrant le réglage fin supervisé et l'apprentissage par renforcement multi-tâches au sein d'un nouveau cadre de post-entraînement, démontrant une forte performance à travers diverses tâches de compréhension et de génération visuelles.

Auteurs originaux : Shufan Li, Yuchen Zhu, Jiuxiang Gu, Kangning Liu, Zhe Lin, Yongxin Chen, Molei Tao, Aditya Grover, Jason Kuen

Publié 2026-07-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shufan Li, Yuchen Zhu, Jiuxiang Gu, Kangning Liu, Zhe Lin, Yongxin Chen, Molei Tao, Aditya Grover, Jason Kuen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un artiste très talentueux qui peut à la fois peindre des tableaux et écrire des histoires. Cet artiste, appelé LaViDa-O, est doué pour suivre des instructions, mais lorsqu'on lui demande de résoudre un puzzle difficile ou d'expliquer pourquoi il a fait un certain choix, il se contente parfois de deviner ou de se précipiter vers la réponse.

Le document présente une nouvelle méthode d'entraînement appelée LaViDa-R1. Voyez cela non pas comme l'apprentissage de nouveaux faits par l'artiste, mais comme l'apprentissage de la manière de réfléchir. C'est comme donner à l'artiste un « bonnet de réflexion » qui le force à faire une pause, à esquisser son raisonnement, à vérifier son travail, et seulement ensuite à révéler son chef-d'œuvre final.

Voici comment ils ont procédé, en utilisant des analogies simples :

1. La « Salle de sport unifiée » (Post-entraînement unifié)

Habituellement, si vous voulez entraîner une IA à être meilleure en mathématiques, vous ne lui montrez que des problèmes de mathématiques. Si vous voulez qu'elle soit meilleure pour éditer des photos, vous ne lui montrez que des tâches d'édition de photos. C'est comme envoyer un étudiant à un cours de mathématiques le matin et à un cours de photographie l'après-midi, sans jamais le laisser mélanger ces deux compétences.

LaViDa-R1 met tout dans une seule et même « salle de sport » géante. Il entraîne le modèle sur les mathématiques, l'édition de photos, la détection d'objets dans des images et la réponse à des questions, tout cela en même temps. Le document affirme que cette approche « unifiée » rend le modèle plus intelligent de manière globale, plutôt que d'en faire un simple spécialiste dans un domaine précis.

2. Le tour de l'« Imposition de la réponse » (Quand l'étudiant est bloqué)

Imaginez que l'artiste essaie de résoudre un problème de mathématiques. Il essaie trois fois, mais les trois réponses sont fausses. Dans une session d'entraînement normale, le professeur dirait simplement : « Réessaie », et l'artiste pourrait être frustré ou n'apprendre rien parce qu'il ne sait pas comment il a échoué.

LaViDa-R1 utilise une astuce appelée Imposition de la réponse (Answer-Forcing).

Le scénario : Le modèle ne parvient pas à résoudre le problème.
L'astuce : Le professeur écrit secrètement la bonne réponse tout à la fin de la feuille.
La magie : Comme ce modèle est construit comme un modèle de « diffusion » (qui fonctionne en remplissant des blancs), il peut regarder la bonne réponse à la fin et travailler à rebours pour remplir les étapes de raisonnement manquantes au milieu.
Le résultat : Le modèle apprend : « Oh, si je veux obtenir cette réponse, je dois réfléchir de cette manière. » Il crée un « processus de pensée » parfait à partir de rien pour s'enseigner à lui-même.

3. La « Recherche en arbre » (Explorer la forêt)

Parfois, il n'y a pas de « bonne réponse » unique à vérifier (comme lorsqu'on édite une photo pour qu'elle paraisse « plus tropicale »). Le modèle doit simplement deviner ce qui est esthétique.

Si le modèle essaie 10 fois et que les 10 résultats sont mauvais, il ne reçoit aucun retour utile.
LaViDa-R1 utilise la Recherche en arbre (Tree Search).

Imaginez que le modèle commence un voyage et emprunte 10 chemins différents.
Il vérifie quel chemin semble le meilleur.
Au lieu de repartir du début, il prend ce meilleur chemin, revient un peu en arrière, puis bifurque pour essayer 10 nouvelles variations à partir de ce point spécifique.
C'est comme un randonneur qui réalise : « Ce sentier que j'ai pris était excellent », alors il revient à cet endroit et essaie 10 nouvelles directions à partir de là, plutôt que de repartir du bas de la montagne. Cela l'aide à trouver la meilleure solution plus rapidement.

4. Le « Tableau de bord équilibré » (Une meilleure notation)

Lors de l'entraînement de ces modèles, l'ordinateur doit calculer à quel point une supposition était « bonne ». Habituellement, ce calcul est désordonné et inégal — comme un professeur corrigeant un examen où certaines questions comptent pour 10 points et d'autres pour 1 point, juste par accident.

Le document introduit un Estimateur de vraisemblance complémentaire.

Voyez cela comme un système de notation qui garantit que chaque mot de la réponse du modèle reçoit une note équitable.
Il utilise deux « vues » différentes de la réponse pour s'assurer qu'aucune partie du raisonnement n'est ignorée. Cela empêche le modèle d'être confus par un retour d'information inégal.

Les Résultats : Qu'ont-ils accompli ?

Le document affirme qu'en utilisant ces astuces, LaViDa-R1 est devenu nettement meilleur en :

Mathématiques visuelles : Résoudre des problèmes mathématiques impliquant des images et des graphiques.
Ancrage d'objets (Object Grounding) : Trouver des objets spécifiques dans une image basés sur des descriptions complexes (ex : « Trouvez la personne qui n'est probablement pas un joueur »).
Édition d'images : Modifier des photos selon des instructions (ex : « Transformez ce chalet en forêt en une maison de plage ») en raisonnant d'abord sur ce qui doit changer.

En bref : Le document présente une nouvelle façon d'entraîner une IA multimodale (qui voit et lit) pour qu'elle « réfléchisse avant de parler ». En mélangeant différents types de tâches, en forçant le modèle à apprendre de ses propres erreurs en utilisant les bonnes réponses comme guide, et en utilisant des stratégies de recherche intelligentes, ils ont créé un modèle qui est bien meilleur pour le raisonnement que les versions précédentes.

Résumé Technique : LaViDa-R1

Problématique

Les modèles de langage de diffusion (dLLM) sont apparus comme une alternative prometteuse aux modèles autorégressifs (AR), offrant des avantages tels qu'un contexte bidirectionnel, un décodage parallèle et des paradigmes de génération unifiés pour le texte et les images. Cependant, l'extension des capacités de raisonnement des dLLM à un cadre multimodal polyvalent présente plusieurs défis critiques que les méthodes existantes n'ont pas pleinement résolus :

Spécificité des tâches : Les dLLM de raisonnement actuels se concentrent souvent sur des domaines étroits (ex. : raisonnement mathématique) et nécessitent un ajustement fin (fine-tuning) spécifique à la tâche, manquant ainsi d'un cadre unifié pour des tâches multimodales diverses comme l'édition d'images et le ciblage d'objets (object grounding).
Instabilité de l'entraînement : L'application de l'apprentissage par renforcement (RL) aux dLLM est sujette à l'effondrement du modèle (model collapse). De plus, l'inclusion de régulariseurs de divergence KL, bien qu'intentionnée pour prévenir l'effondrement, entrave souvent l'exploration et dégrade la performance de la tâche.
Disparition des signaux d'entraînement : Pour des tâches complexes, les modèles peuvent échouer à générer des échantillons de haute qualité pendant l'entraînement, conduisant à des signaux de récompense faibles ou nuls. Cela est particulièrement problématique dans les configurations de RL on-policy où le calcul d'avantage basé sur des groupes produit des avantages nuls si tous les échantillons d'un groupe reçoivent de faibles récompenses.
Estimation de vraisemblance intraitable : Contrairement aux modèles AR, les dLLM ne peuvent pas calculer exactement la vraisemblance de la séquence. Les méthodes d'estimation existantes (ex. : Monte Carlo) souffrent souvent de signaux manquants pour les jetons non masqués ou de gradients de jetons déséquilibrés, ce qui entraîne une instabilité de l'entraînement.

Méthodologie

Le papier propose LaViDa-R1, un dLLM de raisonnement multimodal et polyvalent, construit sur un nouveau cadre d'entraînement post-apprentissage unifié. La méthodologie intègre trois composantes centrales :

1. Objectif de Post-Entraînement Unifié

LaViDa-R1 introduit un objectif de politique de gradient unifié qui combine de manière fluide l'ajustement fin supervisé (SFT), l'apprentissage par renforcement en ligne (Online RL) et l'auto-distillation.

Formulation : Les auteurs observent que des objectifs tels que le GRPO en ligne, le SFT et la distillation Best-of-N peuvent être exprimés sous une forme unifiée : $J_{Unified}(\theta) = \frac{1}{N} \sum A_i \log \pi_\theta(y_i|x_i)$ .
Le SFT comme régularisation : Au lieu d'utiliser un terme de divergence KL (qui nécessite un modèle de référence et entrave l'exploration), le cadre le remplace par un terme de régularisation SFT. Cela permet au modèle d'explorer l'espace d'action au-delà de la distribution pré-entraînée tout en évitant l'effondrement, réduisant considérablement les coûts de calcul en éliminant le besoin d'un modèle de référence.
Agrégation pondérée : Le cadre agrège les avantages provenant de différents objectifs (ex. : GRPO et auto-distillation) via une moyenne pondérée, permettant une optimisation simultanée sans rééchantillonnage.

2. Génération par Rollout Guidée

Pour remédier au problème de disparition des signaux d'entraînement lorsque les modèles ne parviennent pas à générer des sorties de haute qualité, LaViDa-R1 emploie deux mécanismes de génération guidée :

Forçage de la réponse (Answer Forcing) : Pour les tâches avec des réponses de vérité terrain vérifiables (ex. : raisonnement mathématique, ciblage d'objets), si le modèle échoue à générer une réponse correcte dans un groupe, le système injecte le jeton de la réponse de vérité terrain dans une séquence entièrement masquée. Il exploite ensuite les capacités d'inpainting bidirectionnelles du dLLM pour générer une trace de raisonnement synthétique conditionnée par la réponse correcte. Cela garantit un signal d'entraînement de haute qualité même lorsque la génération initiale du modèle est médiocre.
Recherche en arbre (Tree Search) : Pour les tâches sans réponses de vérité terrain (ex. : édition d'images), le cadre utilise un algorithme de recherche en arbre. Il génère un groupe initial d'échantillons, sélectionne la trajectoire ayant la récompense la plus élevée, et bifurque à partir d'un état de diffusion intermédiaire de ce meilleur échantillon pour générer de nouveaux échantillons. Cette expansion itérative augmente la taille effective du groupe et la probabilité de trouver des trajectoires à haute récompense.

3. Estimateur de Vraisemblance par Masquage Complémentaire

Pour résoudre les défis de l'estimation de la vraisemblance de séquence dans les dLLM, les auteurs proposent un nouvel estimateur :

Mécanisme : Au lieu de l'échantillonnage standard de Monte Carlo, la méthode utilise deux échantillons avec un masquage complémentaire. Si un échantillon masque un ensemble de jetons, le second échantillon masque l'ensemble complémentaire (démasquant ce que le premier a masqué et vice versa).
Pondération : Contra-irement aux travaux précédents qui utilisent une fonction de pondération $w(t) = 1/t$ , LaViDa-R1 utilise un poids uniforme $w(t) = 1$ .
Avantages : Cette approche garantit que chaque jeton de la séquence est comptabilisé exactement une fois à travers les deux échantillons, empêchant les jetons importants d'être ignorés. Elle évite également les gradients de jetons déséquilibrés causés par la pondération $1/t$ , qui favorise de manière disproportionnée les jetons masqués lors des premières étapes de diffusion.

Contributions Clés

Cadre de Raisonnement Multimodal Unifié : LaViDa-R1 est le premier travail à étendre les capacités de raisonnement via le RL à un large spectre de tâches multimodales, incluant le raisonnement mathématique visuel, les questions-réponses visuelles, le ciblage d'objets intensif en raisonnement et l'édition d'images, au sein d'un seul modèle unifié.
Post-Entraînement Unifié Stable : Le papier introduit un paradigme de post-entraînement pratique qui remplace la régularisation KL par le SFT, permettant une exploration stable et prévenant l'effondrement du modèle sans la surcharge de calcul des modèles de référence.
Algorithmes de Génération Guidée : Le développement des mécanismes de "Answer Forcing" et de "Tree Search" atténue efficacement le problème de disparition du signal d'entraînement inhérent au RL on-line pour les tâches complexes.
Estimation de Vraisemblance Améliorée : L'estimateur de masquage complémentaire proposé avec une pondération uniforme fournit un signal de gradient plus stable et plus précis pour l'entraînement des dLLM par rapport aux méthodes basées sur MC existantes.

Résultats Expérimentaux

Des expériences approfondies démontrent que LaViDa-R1 atteint des performances solides à travers divers benchmarks, surpassant le modèle de base (LaViDa-O) et les bases SFT :

Raisonnement Mathématique Visuel : Améliorations significatives sur MathVista (+3.10) et MathVerse.
Questions-Réponses Visuelles : Gains sur ChartQA (+1.70) et MMMU-Pro.
Ciblage Intensif en Raisonnement : Une augmentation substantielle sur le jeu de données Lisa-Grounding, avec une hausse de +37.50 points en P@0.5 par rapport au modèle de base.
Édition d'Images : Performance améliorée sur le benchmark ImgEdit (+0.10 au score global), démontant la capacité à explorer au-delà des modes supervisés.
Tâches Uniquement Linguistiques : Gains notables sur GSM8K et Math500, suggérant que l'entraînement de raisonnement unifié bénéficie également aux capacités de langage pur.

Signification et Revendications

Le papier affirme que LaViDa-R1 représente une étape importante vers l'unification de la compréhension et de la génération multimodale avec le raisonnement. En intégrant avec succès des tâches diverses dans un seul dLLM capable de raisonner, ce travail répond à la fragmentation des modèles multimodaux actuels. Les auteurs soulignent que leur stratégie de post-entraînement unifiée, qui combine SFT et RL sans divergence KL, offre une voie plus stable et plus efficace en termes de calcul pour améliorer le raisonnement dans les modèles de diffusion.

Ce travail met en évidence que les dLLM de raisonnement peuvent tirer parti de la visibilité globale pour modéliser conjointement les traces de raisonnement et les sorties finales, permettant un raffinement holistique difficile pour les modèles autorégressifs. Bien que le papier reconnaisse des limites — telles que l'écart actuel entre les dLLM et les meilleurs modèles MLLM autorégressifs en termes de performance de raisonnement, et l'absence de cadres d'inférence efficaces pour les dLLM — il pose que la recette proposée fournit une base robuste pour le passage à l'échelle futur et l'exploration de tâches de raisonnement multimodal plus complexes.