🤖 machine learning

Scaffolding Minds: Optimizing Latent Visual Target Representations for Multimodal Reasoning

Le document propose « Scaffolding Minds », une méthode qui optimise le raisonnement multimodal en introduisant un encodeur d'échafaudage dédié pour de meilleures représentations de cibles latentes lors de l'ajustement fin supervisé et en apprenant à la fois la moyenne et la variance pour l'échantillonneur d'apprentissage par renforcement afin de permettre une exploration efficace, surpassant ainsi de manière significative les bases de référence existantes à travers diverses tâches de raisonnement visuel.

Auteurs originaux : Haoqiang Kang, Yinpeng Chen, Luyang Liu, Jesper Sparre Andersen, Abhijit Ogale, Baochen Sun, Lichan Hong, Ed H. Chi

Publié 2026-08-21

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haoqiang Kang, Yinpeng Chen, Luyang Liu, Jesper Sparre Andersen, Abhijit Ogale, Baochen Sun, Lichan Hong, Ed H. Chi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'intelligence artificielle lutte depuis longtemps pour voir le monde comme les humains le font. Lorsqu'un ordinateur regarde une image, il peut souvent identifier des objets, mais il échoue fréquemment à comprendre les relations entre eux ou à raisonner à travers un casse-tête visuel complexe. Pendant des années, des chercheurs ont tenté de résoudre ce problème en apprenant aux machines à « penser » à voix haute, les forçant à rédiger une explication étape par étape sous forme de texte avant de donner une réponse. Bien que cela aide, cela force souvent la machine à traduire des informations visuelles riches et détaillées en des mots maladroits, perdant ainsi des nuances importantes en cours de route. Une approche plus récente tente de résoudre ce problème en laissant la machine conserver ses pensées dans un langage interne et caché — un flux continu de données qui n'existe qu'à l'intérieur du cerveau de l'ordinateur. Cette méthode, connue sous le nom de raisonnement latent, permet au modèle de conserver les détails visuels sans avoir à les décrire en phrases. Cependant, même cette technique avancée s'est heurtée à un mur : les pensées internes générées par la machine sont souvent basées sur des outils génériques et préfabriqués qui n'ont pas été conçus pour le problème spécifique en question, et la machine peine à explorer différentes manières de penser pour trouver la meilleure solution.

Une équipe de chercheurs de Google DeepMind et de l'Université de Californie à San Diego a développé un nouveau cadre appelé Scaffolding Minds pour surmonter ces obstacles. Leurs travaux se concentrent sur deux étapes spécifiques où ces systèmes de raisonnement interne échouent généralement. Premièrement, lors de la phase d'apprentissage initiale, la machine est habituellement enseignée pour imiter la sortie d'un encodeur de vision standard et prêt à l'emploi — un outil entraîné sur des millions d'images générales pour reconnaître des chats, des voitures et des paysages. Le problème est que cet outil générique n'est pas optimisé pour la tâche de raisonnement spécifique que la machine tente de résoudre. Il pourrait préserver des détails visuels non pertinents tout en manquant les preuves cruciales nécessaires pour résoudre un puzzle. Deuxièmement, lorsque la machine tente de s'améliorer par essais et erreurs, les méthodes existantes la forcent souvent à s'en tenir rigidement à un seul chemin de pensée ou ne lui permettent que d'ajuster ses réponses écrites, laissant le raisonnement visuel interne inchangé. Cela empêche la machine de découvrir de nouvelles et meilleures façons de résoudre le problème.

Pour corriger cela, les chercheurs ont introduit un système en deux parties qui agit comme un guide construit sur mesure pour les pensées internes de la machine. Dans la première étape, au lieu de s'appuyer sur un outil générique, ils ont entraîné un « encodeur d'échafaudage » (scaffolding encoder) dédié. Considérez cela comme un tuteur spécialisé qui apprend exactement quel type de notes internes est le plus utile pour la tâche spécifique, plutôt que de simplement copier un dictionnaire général. Ce tuteur prend une image d'aide — un support visuel fourni uniquement pendant l'entraînement — et la convertit en un ensemble de jetons (tokens) internes optimisés, parfaitement adaptés au défi de raisonnement. Une fois que la machine a appris à générer ses propres notes optimisées, le tuteur est écarté et la machine est prête à travailler sans aide.

Dans la seconde étape, les chercheurs ont remplacé les règles rigides qui régissent habituellement les pensées internes de la machine par un échantillonneur (sampler) flexible basé sur l'apprentissage. Au lieu de forcer la machine à rester sur une seule piste prédéterminée, cette nouvelle méthode permet à la machine d'échantillonner différentes variations de ses pensées internes pendant l'entraînement. Elle apprend à ajuster la « moyenne » et la « variance » de sa pensée, explorant ainsi un éventail plus large de possibilités pour voir quel chemin interne mène à la bonne réponse. Cette exploration est guidée par des récompenses, encourageant la machine à trouver la trajectoire de raisonnement la plus efficace plutôt que de simplement se contenter de la première qu'elle trouve.

Les résultats de cette approche ont été testés sur une série de tâches de raisonnement visuel exigeantes, notamment un jeu de planification spatiale appelé FrozenLake, où un personnage doit naviguer dans une grille de glace et de trous pour atteindre un objectif. Sur la grille standard de 8x8, la nouvelle méthode a amélioré la précision de la machine de 9,5 % par rapport aux tentatives précédentes les plus performantes. À mesure que les puzzles devenaient plus difficiles, avec des grilles s'étendant à 32x32, l'avantage augmentait considérablement, le nouveau système surpassant les meilleures méthodes antérieures de 19 %. Les chercheurs ont également testé le système sur neuf autres bancs d'essai de raisonnement visuel qui nécessitent une observation et une comparaison fines. Dans tous ces tests, la méthode a systématiquement amélioré les performances, augmentant la précision moyenne de 5,2 %.

L'étude a explicitement écarté l'idée que la génération de nouvelles images pendant le processus de raisonnement soit nécessaire au succès. D'autres méthodes qui tentent de dessiner des images intermédiaires pour aider la machine à réfléchir souffrent souvent de coûts de calcul élevés et de vitesses plus lentes. L'approche Scaffolding Minds a obtenu des résultats supérieurs sans générer aucune image supplémentaire, prouvant que l'optimisation de la représentation visuelle interne et cachée est plus efficace que la création d'étapes intermédiaires visibles. Les chercheurs ont constaté que les deux améliorations — le tuteur personnalisé pour les notes internes et l'exploration flexible de ces notes — fonctionnaient mieux lorsqu'elles étaient utilisées ensemble. Sans le tuteur personnalisé, l'exploration flexible ne pouvait pas atteindre son plein potentiel, et sans l'exploration, le tuteur personnalisé ne pouvait pas affiner son chemin vers la meilleure solution.

Ce travail suggère que la qualité de la cible interne que la machine vise est tout aussi importante que la méthode qu'elle utilise pour y parvenir. En apprenant à la machine à générer ses propres notes internes optimisées et en lui permettant ensuite d'explorer différentes variations de ces notes, les chercheurs ont créé un système capable de raisonner à travers des problèmes visuels complexes avec une précision et une fiabilité accrues. Les conclusions indiquent que les progrès futurs du raisonnement visuel pourraient dépendre moins de la capacité des machines à « voir » davantage ou à « parler » mieux, et davantage de la manière dont elles structurent leurs pensées internes et cachées pour qu'elles soient parfaitement alignées avec la tâche à accomplir.

Résumé Technique : Scaffolding Minds

Énoncé du Problème

Le raisonnement visuel latent est apparu comme une solution convaincante pour le raisonnement multimodal, permettant aux modèles de langage visuels (VLM) de « réfléchir » à la fois en texte et en vision en entrelaçant des jetons latents continus dans la chaîne de raisonnement. Les méthodes actuelles suivent généralement un paradigme d'entraînement en deux étapes : (1) l'Ajustement Supervisé (SFT), où une « image d'aide » est encodée en jetons latents à l'aide d'un encodeur de vision pré-entraîné et gelé pour servir de cible ; et (2) l'Apprentissage par Renforcement (RL), où le modèle est affiné grâce à un retour de récompense.

Les auteurs identifient deux limitations critiques dans ce cadre existant :

Cibles de SFT Sous-optimales : Les cibles latentes lors de l'étape de SFT sont dérivées d'encodeurs de vision généralistes et gelés. Ces encodeurs ne sont pas optimisés pour la tâche de raisonnement spécifique en aval, préservant souvent un contenu perceptuel non pertinent pour la tâche tout en échouant à mettre l'accent sur les preuves intermédiaires nécessaires au raisonnement. Par conséquent, le modèle est supervisé vers une cible pratique mais sous-optimale.
Exploration Limitée du RL : Les méthodes de RL existantes ignorent soit le bloc latent, soit appliquent une régularisation déterministe (par exemple, des contraintes gaussiennes à variance fixe) au résultat latent. Ces approches ne échantillonnent pas d'actions latentes alternatives, empêchant ainsi l'exploration de trajectoires de raisonnement latentes diverses. Ce manque d'exploration conduit à des gains de performance faibles ou instables.

Méthodologie : Scaffolding Minds

Le papier propose Scaffolding Minds, un cadre en deux étapes conçu pour remédier à ces limitations en optimisant à la fois la représentation de la cible latente et le mécanisme d'exploration.

Étape 1 : SFT via l'Encodeur de Scaffolding (Scaffolding Encoder)

Au lieu de s'appuyer sur un encodeur pré-entraîné et gelé, les auteurs introduisent un Encodeur de Scaffolding ( $\psi$ ) apprenable.

Phase de Scaffolding : Un encodeur dédié est entraîné de bout en bout pour mapper l'image d'aide $h$ vers un bloc latent cible $z^*$ . Cet encodeur est optimisé directement via la perte de la tâche en aval (entropie croisée sur les jetons de réponse) pendant que le VLM de base est gelé. Cela garantit que $z^*$ capture exactement les caractों sensibles au raisonnement dont le VLM a besoin.
Phase de Génération : Le VLM de base est ajusté pour générer son propre bloc latent $z$ à partir de l'entrée $x$ seule, supervisé par une perte d'appariement $L_2$ par rapport à la cible gelée $z^*$ . L'image d'aide est abandonnée lors de l'inférence.
Architecture : L'encodeur de scaffolding consiste en une copie entraîenable de l'encodeur de vision du VLM suivie d'un module de pooling par attention croisée (cross-attention pooling).

Étape 2 : RL de Scaffolding (Scaffolding RL)

Pour permettre l'exploration dans l'espace latent, les auteurs remplacent la régularisation déterministe par le Scaffolding RL, qui emploie une politique gaussienne explicite et adaptative à l'entrée sur des actions latentes résiduelles.

Échantillonnage d'Action Résiduelle : Le modèle génère un a priori latent de base $z_\theta$ . Deux têtes MLP légères prédisent une moyenne $\mu(z_\theta)$ et une variance $\sigma^2(z_\theta)$ pour une distribution gaussienne.
Exploration : Pendant le déroulement (rollout), le modèle échantillonne un ajustement résiduel $\Delta z \sim \mathcal{N}(\mu, \sigma^2)$ et l'applique à l'a priori ( $z_\theta + \Delta z$ ). Cette action échantillonnée est évaluée sous les politiques actuelle et ancienne pour calculer un avantage guidé par la récompense.
Stabilité : La tête de moyenne est initialisée à zéro pour centrer la distribution initiale sur l'a priori, tandis que la tête de variance commence par de petites valeurs positives pour assurer une exploration initiale stable.

Contributions Clés

Cibles Latentes Optimisées : Le papier introduit un encodeur de scaffolding qui apprend les cibles latentes de bout en bout à travers la tâche en aval, s'éloignant des caractéristiques figées et sous-optimales des travaux précédents.
Exploration Latente Stochastique : Il propose le Scaffolding RL, qui remplace la régularisation déterministe par une politique gaussienne apprise qui échantillonne des actions latentes résiduelles, permettant l'exploration directe de trajectoires de raisonnement alternatives.
Complémentarité : Les auteurs démontrent que la cible optimisée (Étape 1) et le mécanisme d'exploration (Étape 2) sont complémentaires ; l'encodeur de scaffolding fournit un point de départ de haute précision, tandis que le Scaffolding RL affine cette cible par une exploration guidée par la récompense.

Résultats Expérimentaux

La méthode a été évaluée sur FrozenLake (planification spatiale) et neuf benchmarks de raisonnement centrés sur le visuel.

FrozenLake (Planification Spatiale) :
- Scaffolding Minds a amélioré la base latente la plus forte (VaLR) de +9,5 % en moyenne sur des tailles de grille de 8×8 à 32×32.
- L'écart de performance s'est creusé avec la difficulté de la tâche, atteignant +19 % sur les grilles 32×32 les plus complexes.
- Comparé à la base SFT, la méthode complète a obtenu une amélioration absolue de +23,0 %.
- Les études d'ablation ont confirmé que l'optimisation de la cible (ajustement de l'encodeur de vision) a généré la majorité des gains (+10,0 % par rapport au simple changement d'objectif), et que l'échantillonnage d'ajustements appris en RL était essentiel pour des gains stables (+3,0 % par rapport aux méthodes déterministes).
Benchmarks de Raisonnement Centrés sur le Visuel :
- Sur neuf benchmarks (incluant V★, BLINK, MMVP, CV-Bench, etc.), la méthode a obtenu une augmentation de précision moyenne de +5,2 % par rapport à la base latente la plus forte.
- Les gains ont été plus prononcés sur les tâches nécessitant des distinctions spatiales et visuelles fines (ex: +20,7 % sur MMVP, +17,6 % sur MME-RealWorld-Lite).
- La méthode a surpassé les systèmes de type « think-with-image » qui génèrent des images intermédiaires explicites, obtenant des résultats solides avec des coûts d'inférence proches de ceux du VLM de base.
Efficacité :
- La méthode n'ajoute que 4,6 % de latence d'inférence par rapport au VLM de base, un coût nettement inférieur aux méthodes de génération d'images qui entraînent plus de 100 % de surcharge.

Signification et Revendications

Le papier affirme que Scaffolding Minds démontre que la qualité de la cible latente et l'exploration directe dans l'espace latent sont toutes deux critiques pour un raisonnement visuel latent efficace. En traitant la cible latente comme un composant optimisé du système plutôt que comme une caractéristique fixe, et en permettant l'exploration stochastique des trajectoires latentes, la méthode obtient des gains substantiels par rapport aux bases solides sans le coût de calcul de la génération d'images intermédiaires. Les auteurs positionnent ce travail comme une étape vers un raisonnement multimodal plus efficace et capable, montrant que la génération d'images explicites n'est pas strictement nécessaire si l'espace latent lui-même est correctement optimisé et exploré.

Le papier reconnaît des limites, notant que l'approche dépend toujours de la disponibilité d'images d'aide intermédiaires pendant l'entraînement, et que la proposition automatique de telles images pour de nouveaux domaines reste une question ouverte pour les travaux futurs.