🤖 AI

UniT: Unified Multimodal Chain-of-Thought Test-time Scaling

L'article présente UniT, un cadre qui permet aux modèles multimodaux unifiés d'effectuer une mise à l'échelle itérative au moment du test via un raisonnement, une vérification et un raffinement en plusieurs étapes, démontrant que l'entraînement sur des trajectoires de raisonnement courtes se généralise efficacement à des chaînes d'inférence plus longues et améliore considérablement les tâches complexes de compréhension et de génération visuelles.

Auteurs originaux : Leon Liangyu Chen, Haoyu Ma, Zhipeng Fan, Ziqi Huang, Animesh Sinha, Xiaoliang Dai, Jialiang Wang, Zecheng He, Jianwei Yang, Chunyuan Li, Junzhe Sun, Chu Wang, Serena Yeung-Levy, Felix Juefei-Xu

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Leon Liangyu Chen, Haoyu Ma, Zhipeng Fan, Ziqi Huang, Animesh Sinha, Xiaoliang Dai, Jialiang Wang, Zecheng He, Jianwei Yang, Chunyuan Li, Junzhe Sun, Chu Wang, Serena Yeung-Levy, Felix Juefei-Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un artiste très talentueux mais impatient comment peindre une scène complexe.

Le Problème : L'Artiste du « One-Shot »
La plupart des modèles d'IA artistique actuels sont comme cet artiste impatient. Vous leur donnez une consigne (par exemple, « Dessine un oiseau sur une branche avec un port en arrière-plan »), et ils recrachent immédiatement une image. Si l'oiseau est bizarre ou si l'arrière-plan est incorrect, ils ne le corrigent pas. Ils se contentent de vous donner le résultat en disant : « Voilà, c'est fini. » Cela fonctionne pour des tâches simples, mais pour des requêtes complexes impliquant plusieurs étapes ou des détails spécifiques, le résultat est souvent désordonné.

La Solution : UniT (L'Artiste qui « Réfléchit »)
Le papier présente UniT, un nouveau cadre qui apprend à un modèle d'IA unifié à s'arrêter, réfléchir et affiner son travail avant de le livrer. Au lieu de simplement peindre une seule fois, UniT agit comme un peintre qui :

Esquisse une idée initiale.
Prend du recul pour l'observer de manière critique (« Attends, l'oiseau est trop petit »).
Décompose le problème (« D'abord, je dois corriger l'oiseau, ensuite je corrigerai l'arrière-plan »).
Se souvient de ce qu'il a fait à l'étape précédente pour ne pas effacer accidentellement son propre travail.
Répète ce cycle jusqu'à ce que la peinture soit parfaite.

Le papier appelle cela le Multimodal Chain-of-Thought (Chaîne de pensée multimodale). C'est comme donner à l'IA un « processus de réflexion » où elle se parle à elle-même par texte tout en regardant l'image, planifie les corrections, puis les applique.

Comment ils l'ont enseigné (L'Usine du « Professeur Robot »)
On ne peut pas simplement dire à une IA de « réfléchir plus intensément ». Il faut lui montrer comment faire. Les chercheurs ont construit une usine automatisée (un pipeline agentique) pour créer des données d'entraînement :

Ils ont utilisé une IA puissante pour générer une image désordonnée basée sur une consigne.
Ils ont utilisé un « Modèle Vision-Langage » (un critique intelligent) pour regarder l'image, rédiger une critique détaillée et planifier des corrections spécifiques.
Ils ont utilisé un outil d'édition pour effectuer réellement ces corrections.
Ils ont répété cette boucle jusqu'à ce que l'image soit parfaite.

Ce processus a créé des milliers d'exemples de « bonne réflexion », montrant à l'IA comment vérifier son travail, décomposer de grandes tâches en petites étapes (décomposition de sous-objectifs) et garder le contexte de l'ensemble du projet (mémoire de contenu). Ils ont ensuite entraîné leur modèle principal, Bagel, sur ces exemples.

Les Résultats : Pourquoi « Réfléchir » bat « Deviner »
Le papier compare deux façons d'utiliser la puissance de calcul supplémentaire pour obtenir de meilleurs résultats :

Mise à l'échelle Parallèle (L'approche « Loterie ») : Vous demandez à l'IA de générer 10 images différentes en même temps et vous choisissez la meilleure. C'est comme acheter 10 tickets de loterie ; vous espérez qu'un ticket gagne, mais vous ne devenez pas réellement plus intelligent.
Mise à l'échelle Séquentielle (L'approche « UniT ») : Vous demandez à l'IA de générer une image, de réfléchir, de la corriger, puis de générer une version meilleure. C'est comme pratiquer une compétence.

Le papier affirme qu'UniT gagne haut la main :

Meilleure Qualité : Sur les tests d'édition d'images complexes et de raisonnement, UniT a nettement surpassé les modèles standards « one-shot » et même l'approche de la « loterie ».
Efficacité : UniT a obtenu de meilleurs résultats en utilisant 2,5 fois moins de puissance de calcul que la méthode parallèle de la « loterie ». Il est plus efficace d'affiner une bonne idée que de deviner 10 idées aléatoires.
Généralisation : Même si l'IA a été principalement entraînée sur des boucles de réflexion courtes (environ 3 à 4 étapes), elle peut naturellement étendre sa réflexion à des tâches plus longues et plus complexes (4, 5 étapes ou plus) sans entraînement supplémentaire. Elle a appris comment réfléchir, et non pas seulement quoi penser.

Les « Comportements Cognitifs » (La Recette Secrète)
Le papier met en évidence trois habitudes spécifiques que l'IA a apprises, qui sont comme des compétences cognitives humaines :

Vérification : Vérifier le travail par rapport aux instructions (« Ai-je vraiment retiré les livres ? »).
Décomposition de Sous-objectifs : Diviser une tâche immense en étapes minuscules et gérables (« D'abord zoomer, ensuite changer l'arrière-plan, puis éclaircir la lumière »).
Mémoire de Contenu : Garder une trace de toute l'histoire à travers de multiples éditions afin que l'image finale ait du sens dans son ensemble, et non comme une collection de changements aléatoires.

En Résumé
UniT est un cadre qui transforme un modèle d'IA unique en un artiste auto-correcteur et itératif. En lui apprenant à vérifier, planifier et se souvenir via une « chaîne de pensée », il peut gérer des tâches visuelles complexes à plusieurs étapes bien mieux que les modèles qui se contentent de deviner et d'espérer que cela fonctionne. Cela prouve que donner plus de temps à une IA pour « réfléchir » (mise à l'échelle au moment du test) est un moyen puissant de la rendre plus intelligente, tant pour la création que pour la compréhension d'images.

Résumé Technique : UniT : Mise à l'échelle de la réflexion au moment du test pour les modèles multimodaux unifiés

Énoncé du problème

Les modèles multimodaux unifiés visent à intégrer la compréhension et la génération visuelles et linguistiques au sein d'une architecture unique. Cependant, les modèles unifiés actuels opèrent principalement en mode passage unique, produisant une sortie une seule fois sans mécanismes explicites d'évaluation, de réflexion ou de raffinement itératif. Cette limitation est critique pour les tâches nécessitant une composition spatiale complexe, des interactions multi-objets ou des instructions évolutives (par exemple, la génération compositionnelle, l'édition multi-tours et le raisonnement visuel), où le raisonnement humain et celui de l'IA bénéficient naturellement de processus étendus et multi-étapes.

Alors que la mise à l'échelle au moment du test (Test-Time Scaling - TTS) — l'allocation de calcul supplémentaire lors de l'inférence via un raisonnement itératif — a considérablement amélioré les performances des modèles de langage uniquement textuels (ex. o1, DeepSeek-R1), étendre ce paradigme aux modèles multimodaux unifiés reste un défi ouvert. Les approches existantes reposent souvent sur des pipelines modulaires (modèles distincts pour la génération, la vérification et l'édition) ou sur l'échantillonnage parallèle (Best-of-N), qui ne parviennent pas à exploiter le potentiel synergique d'un modèle unique effectuant raisonnement, génération et raffinement de manière cohérente et entrelacée.

Méthodologie : Le cadre UniT

Les auteurs présentent UniT, un cadre permettant la réflexion par chaîne de pensée (Chain-of-Thought - CoT) multimodale pour la mise à l'échelle au moment du test. UniT intègre trois composantes clés pour induire des comportements cognitifs (vérification, décomposition de sous-objectifs et mémoire de contenu) au sein d'un seul modèle unifié :

1. Synthèse de données agentique

Pour entraîner le modèle au raisonnement itératif, les auteurs ont développé un pipeline automatisé (Fig. 2) qui synthétise 12 000 trajectoires de raisonnement de haute qualité à plusieurs tours. Ce pipeline coordonne trois rôles de modèles distincts :

Génération d'images : Un modèle de génération d'images (Flux Pro) crée des images initiales à partir de prompts.
Vérification et Planification : Un modèle de langage visuel (VLM, Qwen3-VL) évalue l'image par rapport au prompt. S'il n'est pas satisfait, il engage un raisonnement CoT explicite pour identifier les déficiences, décomposer les tâches complexes en sous-objectifs et réécrire les instructions d'édition.
Raffinement : Un modèle d'édition d'image (Flux Kontext ou Qwen-Image-Edit) applique les instructions générées.
Itération : Cette boucle continue jusqu'à ce que le VLM vérifie que la sortie satisfait le prompt.

Comportements cognitifs induits :

Vérification : Évaluer les sorties par rapport aux spécifications pour déterminer la nécessité d'un raffinement.
Décomposition de sous-objectifs : Décomposer des tâches de composition complexes en étapes d'édition séquentielles.
Mémoire de contenu : Maintenir la compréhension du contenu visuel à travers les tours via un contexte multimodal unifié.

Filtrage des données : Le pipeline applique des filtres stricts pour garantir la qualité, éliminant les trajectoires présentant une régression de qualité, des éditions sémantiquement non pertinentes ou des changements visuels négligeables (LPIPS < 0,03).

2. Entraînement du modèle unifié

Les auteurs affinent Bagel, une architecture multimodale unifiée capable de compréhension et de génération, sur les 12 000 trajectoires synthétisées.

Échelle d'entraînement : 700 heures de GPU H100.
Objectif : Le modèle apprend à intérioriser les schémas de raisonnement multimodaux, lui permettant d'effectuer la planification, la génération, la réflexion et le raffinement de manière autonome sans changer de modèle.
Mécanisme d'inférence : Le modèle entraîné utilise un schéma de guidage sans classe (Classifier-Free Guidance - CFG) imbriqué. Il applique un guidage textuel (conditionné par l'instruction actuelle) suivi d'un guidage d'image (conditionné par l'historique complet de la génération, incluant l'image initiale et les sorties précédentes). Cela assure un fort alignement avec les instructions textuelles tout en préservant la cohérence structurelle à travers les tours.

3. Mise à l'échelle au moment du test avec imposition de budget

Lors de l'inférence, le modèle UniT opère de manière autonome. Le budget de calcul ( $C$ ) est défini comme le nombre de tours de génération d'images.

Mise à l'échelle séquentielle : Le modèle affine son résultat de manière itérative sur $C$ tours, en s'appuyant sur les résultats précédents.
Imposition de budget (Budget Forcing) : Si le modèle termine prématurément, le système supprime le jeton de fin de séquence (EOS), force un prompt "Let's edit" (Éditons), et poursuit le raisonnement. S'il dépasse le budget, seule l'image finale du tour $C$ est conservée.
Comparaison : Cette approche est contrastée avec l'échantillonnage parallèle (Best-of-N), où $N$ images indépendantes sont générées et la meilleure est sélectionnée.

Résultats clés

1. Généralisation au-delà de l'entraînement

Des modèles entraînés sur des trajectoires d'une moyenne de 3,6 tours de raffinement parviennent à généraliser avec succès à des chaînes d'inférence plus longues d'une moyenne de 4,7 tours au moment du test. Cela démontre une capacité émergente à extrapoler les capacités de raisonnement au-delà de la distribution d'entraînement, une marque distinctive d'une mise à l'échelle efficace du temps de test.

2. Échelle séquentielle vs Parallèle

La mise à l'échelle par chaîne de pensée séquentielle surpasse systématiquement l'échantillonnage parallèle Best-of-N sur tous les benchmarks :

Efficacité : La mise à l'échelle séquentielle atteint des performances comparables à l'échantillonnage parallèle avec 2,5× moins de coût de calcul (moins d'images générées).
Gains de performance : À $C=10$ $C = 10$ , la mise à l'échelle séquentielle montre des améliorations significatives par rapport à l'échantillonnage parallèle :
- OneIG-Bench (Génération compositionnelle) : +4,85 %
- CompBench (Édition multi-objets) : +3,89 %
- ImgEdit (Édition multi-tours) : +71,77 %
- MIRA (Raisonnement visuel) : +33,72 %

3. Performance des benchmarks

Comparé au modèle de base Bagel (passage unique) et à Bagel+CoT (raisonnement textuel uniquement), UniT obtient des gains substantiels :

Génération compositionnelle (OneIG-Bench) : Amélioration de l'alignement de +10,34 %.
Édition multi-objets (CompBench) : Amélioration de +5,56 %.
Édition multi-tours (ImgEdit) : Amélioration de +225,19 % des scores de préférence humaine (de $C=1$ à $C=4$ ).
Raisonnement visuel (MIRA) : Amélioration de la précision de +53,33 % (de $C=1$ à $C=10$ ).

4. Études d'ablation

Le retrait de comportements cognitifs spécifiques révèle leurs rôles distincts :

Sans décomposition de sous-objectifs : Chutes significatives dans les tâches de composition (OneIG-Bench : -3,8 %, CompBench : -2,5 %).
Sans mémoire de contenu : Impact dévastateur sur l'édition multi-tours (ImgEdit : chute relative de -42,5 %), tandis que l'impact est minime sur les tâches à un seul tour.
Sans vérification : Plus grand impact sur le raisonnement visuel (MIRA : -1,9 %), soulignant son rôle dans la validation des étapes de raisonnement.

Signification et affirmations

L'article établit la mise à l'échelle multimodale au moment du test comme un paradigme unifié qui bénéficie tant aux tâches de génération qu'à celles de compréhension. Les auteurs affirment :

Paradigme unifié : UniT démontre qu'un seul modèle unifié peut gérer efficacement le raisonnement itératif, la génération et le raffinement, éliminant le besoin de pipelines modulaires qui dispersent les capacités entre des modèles spécialisés.
Capacités émergentes : L'entraînement sur des trajectoires de raisonnement plus courtes permet aux modèles de généraliser à des chaînes d'inférence plus longues et plus complexes, suggérant que les comportements cognitifs comme la vérification et la décomposition sont apprenables et extensibles.
Efficacité : Le raisonnement séquentiel explicite par raffinement itératif est une stratégie plus efficace en termes de calcul pour la TTS que l'échantillonnage parallèle, offrant de meilleures performances par unité de calcul d'inférence.
Fondation pour les futurs modèles : Bien que les résultats actuels soient limités par les capacités du modèle de base (ex. écarts par rapport aux modèles de pointe comme GPT-5), la méthodologie prouve que la TTS est une approche viable et efficace pour faire progresser les systèmes multimodaux unifiés. À mesure que les modèles de base s'amélioreront, le cadre UniT devrait produire des gains supplémentaires.

L'étude conclut que le raffinement itératif via un raisonnement explicite par chaîne de pensée multimodale débloque des améliorations de performance significatives sur des tâches complexes, établissant une nouvelle direction pour l'inférence multimodale scalable.