💻 computer science

Self-Consistent Latent Reasoning: Long Latent Sequence Reasoning for Vision-Language Model

L'article présente SCOLAR, un cadre novateur qui surmonte l'« effondrement du gain d'information » limitant les méthodes existantes de raisonnement visuel latent en utilisant un détenseur léger pour générer des tokens visuels indépendants et cohérents, permettant ainsi des chaînes de raisonnement nettement plus longues et atteignant des performances de pointe sur des benchmarks du monde réel.

Auteurs originaux : Chenfeng Wang, Wei He, Xuhan Zhu, Chunpeng Zhou, Qizhen Li, Song Yan, Yufei Zheng, Chengjun Yu, Fan Lu, Wei Zhai, Yang Cao, Pengfei Yu, Zheng-Jun Zha

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chenfeng Wang, Wei He, Xuhan Zhu, Chunpeng Zhou, Qizhen Li, Song Yan, Yufei Zheng, Chengjun Yu, Fan Lu, Wei Zhai, Yang Cao, Pengfei Yu, Zheng-Jun Zha

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle complexe, comme un problème de mathématiques impliquant une forme géométrique. Vous avez une image de la forme et vous devez « réfléchir » à celle-ci pour trouver la réponse.

Dans le monde de l'intelligence artificielle (IA), il existe une idée populaire appelée « Chaîne de Pensée ». C'est comme donner à l'IA un bloc-notes pour écrire ses étapes de réflexion avant de répondre. Pour les IA basées sur le texte, écrire plus d'étapes conduit généralement à de meilleures réponses. C'est comme dire : « Plus je réfléchis, plus je deviens intelligent. »

Les chercheurs ont tenté d'appliquer cette même idée aux Modèles Vision-Langage (des IA qui voient des images). Ils voulaient que l'IA écrive des « pensées latentes » — des notes internes invisibles concernant l'image — avant de répondre. Ils supposaient que si l'IA écrivait une liste plus longue de ces notes invisibles, elle deviendrait plus intelligente pour résoudre des puzzles visuels.

Le Problème Surprenant : L'Effet de la « Chaîne de Chuchotements »
Les chercheurs ont découvert quelque chose d'étrange et de contre-intuitif. Lorsque ces modèles d'IA tentaient d'écrire de longues listes de notes invisibles sur une image, ils devenaient en réalité moins intelligents.

Imaginez un jeu de « Téléphone Arabe » (ou « Chuchotez dans le couloir »).

L'Ancienne Méthode : L'IA écrit la note n°1. Ensuite, elle lit la note n°1 pour écrire la note n°2. Puis elle lit la note n°2 pour écrire la note n°3.
Le Résultat : Au moment où l'IA arrive à la note n°50, les détails originaux de l'image ont été déformés et oubliés. C'est comme si la première personne du jeu de téléphone chuchotait « Le chat est bleu », et qu'à la 50e personne, on disait « Le chat est une myrtille ». L'information s'effondre. Plus la chaîne est longue, plus l'IA oublie ce qu'elle regarde réellement.

L'article appelle cela un « Effondrement du Gain d'Information ». L'IA cesse d'apprendre de nouvelles choses sur l'image et se contente de répéter les mêmes idées confuses et floues encore et encore.

La Solution : SCOLAR (L'Approche « Instantané »)
Les chercheurs, dirigés par Chenfeng Wang et son équipe, ont construit un nouveau système appelé SCOLAR pour résoudre ce problème.

Au lieu que l'IA se chuchote des notes à elle-même dans une longue chaîne, SCOLAR utilise un outil spécial appelé « détransformer ». Imaginez cet outil comme un photographe doté d'un appareil photo ultra-rapide.

L'Ancienne Méthode (Autoregressive) : L'IA regarde l'image, écrit une note, regarde la note, écrit une autre note, regarde cette note... et perd lentement l'image.
La Méthode SCOLAR (Single-Shot) : L'IA regarde l'image et la question. Elle fait une pause. Ensuite, le « détransformer » prend instantanément un ensemble complet de clichés mentaux de haute qualité de l'image, tous d'un coup.

Comment cela fonctionne en termes simples :

Indépendance : Chaque « token de pensée » (note) créé par SCOLAR est ancré directement à l'image originale et nette. Ils ne dépendent pas de la note précédente pour exister. La note n°100 est tout aussi claire et connectée à la photo originale que la note n°1.
Pas de Dégradation : Parce qu'ils sont tous générés en un seul « tir » à partir du contexte complet, l'information ne s'estompe pas. L'IA peut avoir une chaîne de 1 000 notes, et chacune d'elles conserve toujours une partie claire du puzzle visuel.

L'Entraînement : Apprendre à l'IA à « Penser Visuellement »
Pour rendre cela fonctionnel, l'équipe a enseigné à l'IA en trois étapes :

Apprendre à Voir : Ils ont appris au détransformer à retransformer les pensées internes de l'IA en caractéristiques visuelles claires (comme un traducteur apprenant à parler le langage des images).
Apprendre Quand S'Arrêter : Ils ont appris à l'IA à reconnaître quand elle a besoin de prendre ces notes visuelles supplémentaires. Elle apprend à dire : « Je dois regarder ce triangle de plus près », et à déclencher l'outil de cliché.
Renforcement : Ils ont utilisé un système de récompense (comme un score de jeu vidéo) pour encourager l'IA à n'utiliser ces notes visuelles que lorsqu'elles aident réellement à résoudre le problème, et à les ignorer lorsqu'elles ne sont pas nécessaires.

Les Résultats
L'article affirme que SCOLAR est un succès massif :

Évolutivité : Alors que d'autres méthodes échouent après environ 10 notes, SCOLAR peut gérer 30 fois plus (jusqu'à 1 000 notes) et devient en réalité meilleur plus la chaîne est longue.
Performance : Il a surpassé d'autres modèles open-source lors de tests de raisonnement du monde réel (comme la compréhension de diagrammes complexes ou de scènes réelles) avec une marge significative.
Battre les Géants : Sur un test spécifique (V*Bench), SCOLAR (un modèle de 7 milliards de paramètres) a obtenu 83,77 %, battant le célèbre modèle fermé GPT-4o (qui a obtenu 67,50 %).

En Bref
L'article soutient que tenter de faire « réfléchir » l'IA sur des images en passant un témoin le long d'une longue ligne de chuchotements ne fonctionne pas car le message se perd. À la place, SCOLAR donne à l'IA une pile de photos fraîches et de haute qualité de ses propres pensées, toutes d'un coup. Cela permet à l'IA de réfléchir aussi profondément et aussi longtemps qu'elle le souhaite sans jamais perdre de vue l'image originale.

Résumé technique : Raisonnement latent auto-cohérent (SCOLAR)

1. Énoncé du problème

Alors que le passage à l'échelle « compute-for-performance » dans les modèles de langage a démontré que des chaînes de pensée (CoT) plus longues améliorent systématiquement les capacités de raisonnement, l'application de ce principe aux modèles vision-langage (VLM) via un raisonnement visuel latent a produit des résultats contre-intuitifs. Les méthodes existantes qui introduisent des représentations visuelles latentes intermédiaires lors de la génération souffrent d'une dégradation systématique des performances à mesure que la longueur de la séquence latente augmente.

L'article identifie deux causes racines de ce phénomène, qualifiées d'Effondrement du Gain d'Information :

Dépendance autorégressive : Dans le raisonnement latent traditionnel, chaque token est généré à partir du précédent. Cela crée une chaîne de dépendance où l'information visuelle se dégrade inévitablement en se propageant, amenant les tokens subséquents à répéter l'information existante plutôt qu'à introduire un nouveau contenu sémantique.
Cibles de supervision dénuées de sens : De nombreuses méthodes existantes s'appuient sur des embeddings d'images fortement regroupés (par exemple, $\ge 128\times$ ) comme cibles de supervision. Les auteurs démontrent que ces caractéristiques regroupées agissent comme des « espaces réservés dénués de sens », fournissant aucun signal supplémentaire par rapport au bruit et échouant à guider un raisonnement visuel efficace.

Par conséquent, des chaînes latentes plus longues dans les méthodes actuelles deviennent un fardeau plutôt qu'un avantage, limitant l'évolutivité du raisonnement visuel.

2. Méthodologie : SCOLAR

Pour remédier à l'Effondrement du Gain d'Information, les auteurs proposent SCOLAR (Self-COnsistent LAtent Reasoning). L'innovation centrale est un changement de paradigme passant d'une génération latente autorégressive à une approche de génération en un seul coup, auto-cohérente.

Architecture

Construit sur le cadre standard ViT–Projecteur–LLM, SCOLAR introduit une branche légère de type detransformer :

Entrée : Le detransformer prend les états cachés de la séquence complète ( $H$ ) du LLM (incluant le raisonnement textuel et le token déclencheur) comme entrée.
Mécanisme : Au lieu de générer des tokens latents un par un, le detransformer génère une séquence entière de tokens visuels auxiliaires ( $A_0$ ) en une seule passe avant.
Auto-cohérence : Chaque token auxiliaire généré est indépendamment ancré dans l'espace sémantique visuel original (résolution d'entrée). Cela brise la chaîne de dépendance autorégressive, garantissant que chaque token introduit une information visuelle véritable et non redondante.
Fusion : Les tokens auxiliaires sont fusionnés avec les tokens visuels originaux via une addition résiduelle à porte ( $A = V + g(A_0)$ ), où un mécanisme de porte contrôle la force de l'édition.

Pipeline d'entraînement

SCOLAR emploie une stratégie de trois étapes de Fine-Tuning Supervisé (SFT) suivie d'un Apprentissage par Renforcement (RL) pour résoudre les décalages de distribution entre l'entraînement (utilisant des images auxiliaires de vérité terrain) et l'inférence (utilisant des latents auto-générés) :

Étape 1 : Pré-entraînement du detransformer : Le detransformer est entraîné à reconstruire la différence entre l'image d'entrée et une image auxiliaire de vérité terrain ( $\Delta_{aux}$ ) en utilisant une fonction de perte de reconstruction. Le backbone LLM est figé durant cette étape pour éviter un effondrement sémantique.
Étape 2 : Apprentissage du token déclencheur : Le modèle apprend à décider de manière autonome quand activer le raisonnement latent. Cela est réalisé via une Prédiction du Token Suivant (NTP) pondérée, imposant un poids de perte plus élevé sur le token déclencheur <auxiliary> pour s'assurer que le modèle apprend à invoquer le mécanisme lorsque nécessaire.
Étape 3 : Raisonnement conjoint avec recuit par forcing de l'enseignant : Le modèle apprend à raisonner en utilisant ses propres tokens auxiliaires générés. Pour atténuer le décalage de distribution, le processus d'entraînement passe progressivement de l'utilisation de caractéristiques auxiliaires de vérité terrain à celles auto-générées (décroissance linéaire de la probabilité de 1,0 à 0,0).
ALPO (Optimisation de la politique des latents auxiliaires) : Puisque les embeddings auxiliaires sont continus et ne peuvent pas être optimisés directement via des gradients de politique de token discrets standard (comme GRPO), les auteurs proposent ALPO. Cette méthode découple le raisonnement visuel continu de la politique textuelle discrète. Pendant le déploiement, les embeddings auxiliaires sont générés et mis en cache ; lors de la mise à jour de l'acteur, ils sont injectés comme contexte fixe, et le gradient de politique est calculé uniquement sur les tokens textuels discrets. Une composante de récompense spécifique ( $r_{aux}$ ) encourage l'activation correcte du déclencheur <auxiliary>.

3. Contributions clés

Identification de l'Effondrement du Gain d'Information : L'article diagnostique systématiquement la cause racine de la dégradation des performances dans les méthodes existantes de raisonnement visuel latent, l'attribuant à la dégradation autorégressive de l'information et à l'utilisation de cibles de supervision excessivement regroupées.
Cadre SCOLAR : Un nouveau paradigme en un seul coup utilisant un detransformer léger qui génère des tokens visuels auxiliaires indépendamment ancrés dans l'espace visuel original, permettant des longueurs de raisonnement latent véritablement évolutives.
Stratégie d'entraînement : Le développement d'un SFT en trois étapes avec recuit par forcing de l'enseignant et de l'algorithme ALPO novateur pour gérer les défis uniques de l'optimisation d'espaces latents continus au sein d'un cadre de politique de token discret.
Validation empirique : Des expériences extensives démontrant que SCOLAR étend la longueur acceptable de la CoT latente de plus de 30 $\times$ par rapport aux méthodes précédentes tout en améliorant les performances.

4. Résultats expérimentaux

Les auteurs ont évalué SCOLAR (basé sur le backbone Qwen2.5-VL-7B) par rapport aux modèles open-source les plus avancés et aux systèmes propriétaires (GPT-4o, GPT-5.2) sur plusieurs benchmarks :

Raisonnement du monde réel : SCOLAR a atteint des performances de pointe parmi les modèles open-source.
- MME-RealWorld-Lite : +14,12 % d'amélioration par rapport au backbone.
- V*Bench : A atteint 83,77 %, surpassant GPT-4o (67,50 %) de plus de 16 points de pourcentage.
- HRBench4K/8K : Gains significatifs dans les tâches de perception spatiale fine.
Généralisation hors distribution (OOD) : Sur le benchmark VisualPuzzles (entièrement absent des données d'entraînement), SCOLAR a montré une forte généralisation, en particulier dans les tâches de raisonnement spatial et analogique, surpassant les autres modèles open-source.
Passage à l'échelle de la longueur latente :
- Monet et LVR : Les performances se sont dégradées systématiquement à mesure que la longueur latente augmentait de 3 à 1000 tokens.
- SCOLAR : Les performances se sont améliorées continuellement à mesure que la longueur latente augmentait, culminant à la résolution complète (sans regroupement).
Analyse du gain d'information : En utilisant les résidus de projection orthogonale, les auteurs ont montré que SCOLAR maintient un gain d'information élevé (environ 10–30) sur 1000 tokens, alors que le gain de LVR s'effondre à près de zéro après 10 tokens, et que le gain de Monet décroît de manière monotone.
Expériences de remplissage dénué de sens : Le remplacement des tokens latents de SCOLAR par un remplissage dénué de sens a provoqué des chutes de performances catastrophiques qui augmentaient avec la longueur de la séquence, confirmant que le modèle repose sur le contenu sémantique véritable des tokens, et non simplement sur leur présence structurelle.

5. Importance et affirmations

L'article affirme que SCOLAR résout fondamentalement le goulot d'étranglement de l'évolutivité dans le raisonnement visuel latent. En découplant la génération de tokens auxiliaires des dépendances autorégressives, SCOLAR prouve que des « chaînes plus longues » dans le domaine visuel peuvent effectivement produire un « meilleur raisonnement », à condition que les tokens portent une sémantique visuelle véritable et non dégradée.

Les auteurs affirment que SCOLAR comble le fossé entre les petits modèles open-source et les grands systèmes propriétaires, démontrant qu'un modèle de 7B avec une mise à l'échelle latente efficace peut surpasser des modèles closed-source significativement plus grands sur des benchmarks de raisonnement complexe. Ce travail remet en question la dépendance prévalente aux caractéristiques fortement regroupées et à la génération autorégressive dans le raisonnement latent, proposant une nouvelle direction pour un raisonnement multimodal évolutif et auto-cohérent.

Limites reconnues : L'approche actuelle repose sur des données d'entrée-appariées avec des images auxiliaires pour la supervision, et l'optimisation du detransformer durant la phase de RL reste implicite plutôt qu'explicite. Des travaux futurs sont suggérés pour explorer des paramètres non supervisés et des signaux de gradient bout-en-bout explicites pour l'espace visuel continu.