💻 computer science

DeltaV: Thinking with Visual State Updates in Unified Large Multimodal Models

DeltaV est un modèle multimodal large et unifié qui améliore l'efficacité et la performance du raisonnement en remplaçant la génération d'images complètes par un paradigme de mise à jour visuelle compact guidé par un routeur de similitude temporelle, soutenu par un nouveau jeu de données de raisonnement entrelacé à grande échelle appelé StructCoT.

Auteurs originaux : Pengjie Wang, Linger Deng, Zujia Zhang, Shaojie Zhang, Zhenbo Luo, Pei Fu, Jian Luan, Xiang Bai, Yuliang Liu

Publié 2026-07-10

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pengjie Wang, Linger Deng, Zujia Zhang, Shaojie Zhang, Zhenbo Luo, Pei Fu, Jian Luan, Xiang Bai, Yuliang Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous jouez à une partie complexe de « Simon dit » avec un ami robot, mais qu'au lieu de simplement écouter, vous devez dessiner chaque étape du jeu sur un tableau blanc pour montrer à votre ami ce qui se passe.

L'ancienne méthode : l'artiste trop zélé
Actuellement, la plupart des modèles d'IA avancés qui tentent de résoudre des problèmes avec des images (comme résoudre un labyrinthe ou une énigme mathématique) fonctionnent comme un artiste très méticuleux, mais légèrement inefficace. Disons que le jeu commence par l'image d'une table avec une tasse posée dessus.

Étape 1 : L'IA dessine toute la table avec la tasse.
Étape 2 : La règle du jeu dit : « Déplace la tasse vers la gauche. » L'IA, cependant, efface l'intégralité du tableau blanc et redessine à nouveau toute la table, y compris la tasse, les pieds de la table, l'arrière-plan et les ombres, juste pour montrer que la tasse a bougé d'un pouce.
Étape 3 : « Fais pivoter la tasse. » L'IA efface tout et redessine à nouveau toute la table une fois de plus.

Le texte appelle cela la « génération d'image complète ». Les auteurs soutiennent que c'est un énorme gaspillage d'énergie et d'espace. C'est comme réécrire tout le dictionnaire à chaque fois que vous voulez changer un seul mot dans une phrase. L'IA passe la majeure partie de son temps à redessiner des choses qui n'ont pas changé du tout, ce qui la rend lente et provoque parfois des erreurs de détails (comme changer la couleur de la tasse par accident parce qu'elle a oublié à quoi elle ressemblait auparavant).

La nouvelle méthode : DeltaV, l'artiste des « autocollants »
La méthode introduit un nouveau modèle appelé DeltaV. Au lieu de redessiner toute la scène, DeltaV agit comme un habile artiste d'autocollants.

Étape 1 : Il dessine la table avec la tasse (l'« État de base »).
Étape 2 : Quand la tasse doit bouger, DeltaV ne redessine pas la table. Il dessine simplement un petit « autocollant » montrant la tasse se déplaçant vers la gauche et le colle sur l'ancien emplacement. Il ignore les pieds de la table et l'arrière-plan car ils n'ont pas changé.
Étape 3 : Quand la tasse pivote, il ajoute simplement un petit « autocollant de rotation ».

Cette approche est appelée mises à jour visuelles. Le papier suggère qu'en ne dessinant que les changements (le « Delta »), l'IA économise une quantité massive de travail. Dans leurs tests, cette méthode a réduit le nombre de nouveaux « jetons de dessin » (l'encre numérique utilisée pour créer l'image) de 55,6 % en moyenne, sans pour autant dégrader la qualité des images.

Le bouton « Arrêt » intelligent : le routeur TSIM
Vous pourriez vous demander : « Et si le changement est énorme ? Et si toute la scène explose ? »
DeltaV possède un gestionnaire intelligent intégré appelé le routeur TSIM. Considérez cela comme un superviseur qui regarde à quel point la nouvelle scène est différente de l'ancienne.

Si le changement est infime (comme déplacer une tasse), le superviseur dit : « Utilise juste quelques autocollants. »
Si le changement est massif (comme si toute la pièce changeait), le superviseur dit : « D'accord, utilise plus d'autocollants pour être sûr de bien faire. »

Le papier a mesuré cela en vérifiant la capacité de l'IA à reconstruire l'image. Ils ont constaté que si l'on continuait à ajouter des jetons au-delà d'un certain point, l'image ne s'améliorait pas beaucoup plus. Ainsi, le routeur TSIM arrête d'ajouter des jetons dès que « l'effort supplémentaire » ne porte plus ses fruits. Cela garantit que l'IA ne perd pas de temps sur des étapes simples, mais qu'elle ne fait pas l'économie de l'effort lors de tâches complexes.

Le terrain d'entraînement : StructCoT
Pour apprendre à DeltaV comment faire cela, les chercheurs ne pouvaient pas simplement utiliser de vieux livres de puzzles. Ils ont construit un nouvel ensemble d'entraînement massif appelé StructCoT.

Il contient 1,05 million d'échantillons.
Il couvre 44 types différents de tâches, allant des puzzles logiques et des problèmes mathématiques à la planification robotique et aux questions scientifiques.
Le papier soutient que les ensembles de données précédents étaient trop petits ou trop focalisés sur des choses spécifiques comme les labyrinthes, tandis que StructCoT offre à l'IA une éducation beaucoup plus large sur la façon dont les états visuels évoluent au fil du temps.

Les résultats : Est-ce que ça a marché ?
Le papier rapporte que lorsqu'ils ont testé DeltaV :

Il a résolu des problèmes de raisonnement multimodal 3,3 % mieux que l'ancienne méthode de « tout redessiner ».
Même si DeltaV est un modèle plus petit (2 milliards de paramètres), il a battu des modèles open-source beaucoup plus grands de 8,4 % en moyenne sur ces tâches de raisonnement.
Il a également surpassé un modèle comparable nommé Qwen3-VL-2B de 5,9 % sur des benchmarks externes.

Ce que le papier écarte
Les auteurs sont très clairs sur ce qui ne fonctionne pas. Ils soutiennent explicitement l'idée qu'il n'est pas nécessaire de générer une image complète et haute résolution à chaque étape du raisonnement. Ils suggèrent que tenter de faire cela crée une « redondance de jetons visuels » (gaspillage d'encre numérique) et nuit réellement à la capacité de raisonnement de l'IA car elle est distraite par le redessin de choses qui n'ont aucune importance. Ils notent également que, bien que cette méthode soit excellente pour le raisonnement, elle pourrait ne pas être la meilleure pour les tâches exigeant des détails extrêmement fins (comme repérer un minuscule grain de poussière), où une image complète pourrait encore être nécessaire.

L'essentiel
Le papier suggère que l'avenir du raisonnement de l'IA n'est pas de redessiner le monde entier encore et encore. Il s'agit plutôt de penser en termes de « qu'est-ce qui a changé ? ». En se concentrant uniquement sur les mises à jour, DeltaV devient plus rapide, plus efficace et étonnamment meilleur pour résoudre des puzzles complexes que ses cousins plus lourds qui dessinent des images complètes.

Problématique

Les modèles multimodaux unifiés actuels (ULMM) tentant un raisonnement multimodal entrelacé génèrent généralement des états visuels intermédiaires sous forme d'images complètes. Ce paradigme introduit deux inefficacités critiques :

Redondance des jetons visuels : Les étapes de raisonnement consécutives partagent souvent un contenu visuel substantiel. Générer une image complète à chaque étape revient à modéliser de manière répétée des régions inchangées, ce qui entraîne un surcoût massif de jetons visuels par rapport aux étapes de raisonnement textuelles.
Supervision diluée : En reconstruisant l'état entier à chaque étape, le signal d'apprentissage est dispersé entre le contenu persistant et les changements épars mais critiques qui pilotent le raisonnement. Cela biaise l'optimisation vers la reconstruction de bas niveau plutôt que vers les transitions d'état critiques pour le raisonnement.

Les approches existantes compressent soit l'information visuelle en jetons latents (sacrifiant l'interprétabilité), soit s'appuient sur des pipelines augmentés par des outils (manquant de couplage de bout en bout). Même au sein des modèles unifiés, le coût computationnel de la génération au niveau du pixel domine souvent le raisonnement sémantique, limitant ainsi la scalabilité.

Méthodologie : DeltaV

Les auteurs proposent DeltaV, un cadre ULMM qui reformule le raisonnement entrelacé comme un processus de transitions d'états visuels plutôt que comme des générations d'images complètes indépendantes. Au lieu de prédire $Z_t$ (l'état complet) à l'étape $t$ , DeltaV prédit $\Delta Z_t$ (les mises à jour visuelles) conditionné par les états historiques.

1. Modélisation autoregressive unifiée avec mises à jour visuelles
DeltaV décompose la trajectoire de raisonnement $Y$ en un état visuel initial $Z_0$ et une séquence de jetons de mise à jour visuelle de longueur variable $\Delta Z_t$ :
$Y = \{Z_0, X_1, \Delta Z_1, X_2, \Delta Z_2, \dots\}$
où $X_t$ représente les jetons textuels. Cette formulation déplace la cible d'apprentissage de la reconstruction d'état vers la modélisation de transition, forçant le modèle à se concentrer uniquement sur les preuves visuelles nécessaires pour faire progresser la trajectoire de raisonnement.

2. TSIM-Tok : Tokenisation sensible à la variation
Pour implémenter cela, DeltaV introduit TSIM-Tok, un tokenizer visuel comprenant deux composants clés :

TSIM Router (Routeur de similitude temporelle) : Ce module alloue dynamiquement le budget de jetons pour chaque mise à jour en fonction de l'ampleur du changement visuel. Il calcule un score de Similitude Temporelle (TSIM) en comparant les caractéristiques visuelles actuelles à un historique pondéré des états précédents. Le poids considère la proximité temporelle (les états récents sont plus importants) et la capacité d'information (les états avec plus de jetons fournissent des références plus riches).
- Le routeur utilise une procédure de calibration hors ligne pour mapper les scores TSIM aux budgets de jetons. Il ajuste une courbe reliant le nombre de jetons à la fidélité de reconstruction (SSIM) et sélectionne le budget là où le gain marginal de qualité de reconstruction tombe sous un certain seuil. Cela garantit que les changements complexes reçoivent plus de jetons, tandis que les mises à jour mineures en reçoivent moins.
Module de représentation de mise à jour visuelle : Ce module encode les états visuels en jetons de base ( $Z_0$ ) et en jetons de mise à jour de longueur variable ( $\Delta Z_t$ ) à l'aide de requêtes apprenables. Il conditionne la génération de $\Delta Z_t$ sur $Z_0$ et toutes les mises à jour précédentes ( $\Delta Z_{<t}$ ), assurant la cohérence temporelle sans régénérer le contenu stable.

3. Dataset StructCoT
Reconnaissant que les jeux de données de raisonnement entrelacé existants sont limités en échelle et en diversité de domaine, les auteurs ont construit StructCoT.

Échelle : 1,05 million d'échantillons.
Couverture : 44 domaines de tâches, organisés en sept catégories de raisonnement : Planification stratégique, Planification spatiale/incarnée, Raisonnement logique/abstrait, Raisonnement mathématique/algorithmique, Raisonnement scientifique/domaine, Recherche visuelle, et Restauration d'image/Jigsaw.
Objectif : Fournir une supervision large pour l'apprentissage de motifs de mise à jour visuelle et de structures de raisonnement généralisables.

Principales contributions

Cadre DeltaV : Le premier cadre de raisonnement multimodal unifié qui formule explicitement le raisonnement entrelacé comme une modélisation d'état visuel centrée sur les mises à jour. Il remplace la génération d'images complètes par des mises à jour visuelles compactes et sensibles à la variation.
TSIM Router : Un mécanisme novateur qui aligne l'allocation de jetons avec l'ampleur réelle du changement visuel, réduisant la redondance en arrêtant l'allocation de jetons une fois que les gains de reconstruction marginaux diminuent.
Dataset StructCoT : Un jeu de données à grande échelle et diversifié conçu pour soutenir un raisonnement multimodal centré sur les mises àments et généralisable, étendant considérablement la couverture des benchmarks existants.

Résultats expérimentaux

Les expériences ont été menées sur le dataset Zebra-CoT (pour l'ablation et l'évaluation in-domain) et sur des benchmarks externes (pour la généralisation).

Efficacité : Le paradigme de mise à jour visuelle réduit les nouveaux jetons visuels générés de 55,6 % en moyenne par rapport à la génération d'images complètes, sans compromettre la fidélité de la reconstruction.
Performance de raisonnement :
- DeltaV améliore le raisonnement multimodal de 3,3 % par rapport aux bases de génération d'images complètes.
- Sur les évaluations in-domain (Zebra-CoT et StructCoT), le modèle DeltaV-2B surpasse substantiellement les modèles open-source beaucoup plus grands avec une moyenne de 8,4 %.
- Sur les benchmarks externes de raisonnement et de compréhension multimodale, DeltaV-2B dépasse de 5,9 % le modèle de taille comparable Qwen3-VL-2B.
Études d'ablation :
- Allocation de jetons : Le TSIM Router (basé sur la pente) surpasse l'allocation de budget aléatoire et le seuillage basé sur la valeur, confirmant que l'utilité marginale est un critère supérieur pour le budget.
- Cohérence de la reconstruction : L'analyse qualitative montre que les modèles d'images complètes souffrent de « dérive sémantique » (ex: changements d'identité ou de forme à travers les étapes), tandis que DeltaV maintient des états visuels cohérents en ancrant les mises à jour sur les informations historiques.
- Généralisation : L'entraînement par mise à jour visuelle améliore les performances sur les benchmarks de compréhension générale (ex: MMBench, MathVista) par rapport aux bases textuelles seules, suggérant que le modèle apprend des représentations multimodales transférables.

Signification et affirmations

L'article affirme que le goulot d'étranglement des raisonnements entrelacés actuels n'est pas la génération au niveau du pixel elle-même, mais le paradigme consistant à traiter chaque étape de raisonnement comme une tâche de génération d'image complète. En passant à une perspective de transition d'état visuel, DeltaV atteint :

Une plus grande efficacité : Réduction drastique de la surcharge de jetons en modélisant uniquement les changements.
De meilleurs signaux de raisonnement : Concentration de la supervision sur les changements épars et critiques qui pilotent le raisonnement, plutôt que sur le contenu redondant.
Une meilleure cohérence : Atténuation de l'accumulation d'erreurs et de la dérive sémantique à travers les chaînes de raisonnement multi-étapes.

Les auteurs concluent que DeltaV offre une voie plus efficace et généralisable vers une intelligence multimodale unifiée, suggérant que les futurs systèmes devraient adapter la sélection des représentations intermédiaires (mises à jour compactes vs images complètes vs outils externes) en fonction des exigences de la tâche.

Problématique

Méthodologie : DeltaV

Principales contributions

Résultats expérimentaux

Signification et affirmations

Articles similaires