Long Grounded Thoughts: Synthesizing Visual Problems and Reasoning Chains at Scale

Ce papier présente un cadre de synthèse à grande échelle générant plus d'un million de problèmes de raisonnement visuel qui, une fois utilisés pour affiner des modèles comme Qwen2.5-VL-7B, surpassent les références existantes sur des benchmarks visuels tout en démontrant des transferts positifs vers le raisonnement textuel, audio et embarqué.

L'essentiel

Imaginez que vous essayez d'apprendre à un enfant à résoudre des énigmes complexes en lui montrant des photos. Jusqu'à présent, la plupart des méthodes consistaient à lui donner une description textuelle de la photo et à lui demander de deviner la réponse. Le problème ? L'enfant finissait par se lasser, car les questions devenaient toujours les mêmes, et il n'apprenait pas vraiment à penser de manière profonde.

Ce papier, intitulé "Long Grounded Thoughts" (Pensées Ancrées Longues), propose une nouvelle façon de fabriquer des exercices pour les intelligences artificielles (les "cerveaux" numériques) qui regardent des images. Voici l'explication simple, avec quelques analogies pour mieux comprendre :

1. Le Problème : L'usine de questions "sèches"

Auparavant, pour créer des exercices, les chercheurs utilisaient des descriptions d'images (comme une légende de photo). C'était comme si un professeur donnait à l'élève une liste de mots : "Il y a un chien, un ballon et un arbre". L'élève posait des questions basiques : "De quelle couleur est le chien ?".

• Le hic : Dès qu'on a fait 30 000 questions comme ça, l'élève a tout vu. Il ne progresse plus. C'est comme essayer d'apprendre à nager en regardant toujours la même vidéo de piscine.

2. La Solution : Deux étapes pour devenir un "Grand Chevalier"

Les auteurs ont créé une machine à fabriquer des problèmes en deux étapes, comme un entraînement de sport de haut niveau :

• Étape 1 : La chasse aux détails (L'ancrage)
  Au lieu de juste lire une description, le système regarde l'image comme un détective avec une loupe. Il identifie chaque objet précis (le chien, le ballon, l'arbre) et ses coordonnées exactes.

  • Analogie : C'est la différence entre dire "Il y a des fruits" et dire "Regarde cette pomme rouge précise à gauche, et cette banane jaune à droite". Cela permet de créer des millions de questions uniques sans se répéter.

• Étape 2 : L'art du "Mélange" (La complexité)
  Une fois qu'on a plein de petites questions simples, on les mélange pour en créer une seule, très difficile.

  • Analogie : Imaginez que vous avez des puzzles faciles. L'étape 2 consiste à prendre trois puzzles différents, les couper en morceaux, et les mélanger pour créer un nouveau puzzle géant qui demande de faire des liens entre les pièces. L'IA doit maintenant dire : "Si le chien est à gauche du ballon, et que le ballon est sous l'arbre, alors le chien est...". C'est du raisonnement en plusieurs étapes.

3. Le Secret : Apprendre à "Penser à voix haute"

C'est la partie la plus importante. Quand on entraîne une IA, on ne lui donne pas juste la réponse. On lui donne le chemin de pensée (le "raisonnement").

• Avant : L'IA disait : "La réponse est A". (Comme un élève qui devine).
• Maintenant : L'IA dit : "Je vois un chien... Attends, il y a un reflet sur la vitre... Non, ce n'est pas ça. Je reviens en arrière. Ah ! Le chien est caché derrière le panier. Donc la réponse est A."
  • Analogie : C'est comme apprendre à un élève non seulement à résoudre un problème de maths, mais à écrire tout son brouillon, ses erreurs, ses doutes et ses corrections. On lui apprend à se corriger lui-même.

4. Les Résultats Surprenants

Les chercheurs ont entraîné un modèle (Qwen2.5-VL) avec ces 1 million de nouveaux exercices. Les résultats sont impressionnants :

• Il devient un expert des images : Il bat les meilleurs modèles existants sur des tests de vision.
• Il devient plus intelligent partout : Le plus fou, c'est que même si on ne lui a jamais montré de sons ou de texte pur, il est devenu meilleur pour comprendre des sons (musique, parole) et pour résoudre des problèmes de logique pure (comme des questions de culture générale).
  • Pourquoi ? Parce qu'on ne lui a pas appris quoi répondre, mais comment raisonner. C'est comme apprendre à un enfant à faire du vélo : une fois qu'il a compris l'équilibre, il peut aussi faire du skateboard ou du roller, même si on ne lui a jamais appris ces sports spécifiquement.

En résumé

Ce papier dit : "Arrêtons de simplement donner des descriptions d'images. Créons des millions d'énigmes visuelles complexes, et surtout, montrons aux IA comment réfléchir, douter et se corriger comme un humain."

C'est un pas de géant pour rendre les intelligences artificielles moins bêtes (qui donnent juste une réponse) et plus sages (qui comprennent le monde et raisonnent).

Résumé technique

1. Problématique

Malgré les progrès rapides dans le raisonnement multimodal, il existe un manque d'approches systématiques pour synthétiser des jeux de données centrés sur la vision à grande échelle, au-delà des simples mathématiques visuelles. Les efforts actuels en raisonnement multimodal open-source accusent un retard par rapport au domaine textuel. Les principales limitations des approches existantes (comme LongPerceptualThoughts ou LPT) sont :

• Saturation de la synthèse : La dépendance exclusive aux légendes denses (captions) pour générer des questions limite la diversité et l'ancrage (grounding) des problèmes, entraînant une saturation rapide des performances.
• Simplicité cognitive : Les traces de raisonnement synthétisées manquent souvent de structures de haut niveau (vérification, rebroussement, définition de sous-objectifs) nécessaires pour un raisonnement complexe.
• Échelle et Complexité : Il est difficile de générer des millions de problèmes visuels complexes avec des chaînes de pensée (CoT) riches sans recourir à des données propriétaires coûteuses.

2. Méthodologie

Les auteurs proposent un cadre de synthèse en deux étapes pour générer plus d'un million de problèmes visuels de haute qualité, accompagnés de traces de raisonnement complexes.

Étape 1 : Génération de questions à choix multiples (MCQ) à grande échelle

• Ancrage par métadonnées : Au lieu de se fier uniquement aux légendes textuelles, le framework utilise des métadonnées d'objets ancrés (coordonnées de boîtes englobantes et étiquettes d'objets) extraites via Grounded-SAM.
• Diversité : En conditionnant la génération de questions sur des objets spécifiques et leurs coordonnées, le système évite la redondance et la saturation sémantique observée dans les méthodes basées uniquement sur le texte. Cela permet de passer de 30k à plus de 1 million de problèmes uniques.
• Filtrage : Un protocole de filtrage assure la qualité factuelle et la diversité sémantique (réduction de la similarité cosinus moyenne de 0,82 à 0,61 par rapport aux baselines).

Étape 2 : Durcissement par composition (Composition Hardening)

• Complexification : Pour augmenter la difficulté, l'algorithme sélectionne plusieurs questions simples (MCQ) associées à la même image et les fusionne en un seul problème complexe nécessitant un raisonnement multi-sauts (multi-hop).
• Exigence de décomposition : Ces problèmes composés obligent le modèle à décomposer le problème en sous-étapes, augmentant ainsi la complexité cognitive.

Synthèse des traces de raisonnement (CoT)

• Distillation et Expansion : Le framework utilise une stratégie à deux niveaux pour générer des traces de raisonnement riches :
  1. Un VLM (Vision Language Model) génère une "Simple CoT" initiale.
  2. Un LLM de raisonnement puissant (ex: DeepSeek-R1, Qwen-32B) étend cette trace en injectant des comportements cognitifs complexes (vérification, rebroussement, auto-correction).
• Contrôle de la distribution : Une attention particulière est portée pour que les traces restent dans la distribution des sorties VLM tout en étant plus riches, évitant ainsi le transfert négatif. Des mécanismes de décodage guidé (regex) empêchent le LLM de faire référence explicitement à la description textuelle de l'image lors de l'expansion.

Entraînement et RL

• Le dataset inclut des données pour le SFT (Supervised Fine-Tuning), le RL hors ligne (DPO - Direct Preference Optimization) et le RL en ligne (GRPO - Group Relative Policy Optimization).
• Les préférences sont définies sur la base de la justesse et de la compacité des réponses.

3. Contributions Clés

1. Long Grounded Thoughts (LGT) : Un nouveau jeu de données open-source contenant plus de 1 million de problèmes visuels centrés sur le raisonnement, incluant des traces de raisonnement, des données de préférence et des invites d'instruction.
2. Amélioration de l'échelle et de la complexité :
   • Passage de 30k à >1M de problèmes sans saturation des performances.
   • Réduction du taux de questions trivialement solubles de 36,7 % à 3,3 % grâce au durcissement par composition.
   • Augmentation de la richesse des traces de raisonnement de +206 % (moyenne de 1,99 comportements cognitifs par trace contre 0,65 pour les baselines).
3. Analyse à grande échelle du post-entraînement VLM : L'étude fournit des insights critiques sur le pipeline de post-entraînement, démontrant que le SFT sur des données de haute qualité avec des comportements cognitifs est essentiel pour que le RL en ligne soit efficace.

4. Résultats Expérimentaux

Le modèle Qwen2.5-VL-7B finetuné sur les données LGT a été évalué sur plusieurs benchmarks :

• Performance sur les tâches visuelles :
  • Le modèle finetuné surpasse toutes les baselines open-data sur les benchmarks centrés sur la vision (V*Bench, CV-Bench, MMStar-V).
  • Il égale ou dépasse des modèles fermés puissants comme MiMo-VL-7B-RL sur 3 des 5 benchmarks testés.
• Généralisation hors domaine (Cross-modality) :
  • Texte seul : Malgré un entraînement purement visuel, le modèle améliore ses performances sur le raisonnement textuel (MMLU-Pro : +3,7 %).
  • Audio : Sur le modèle Omni-7B, le finetuning visuel améliore le raisonnement audio (MMAU : +1,32 % en moyenne, avec des gains significatifs sur le son et la musique).
  • QA Embodied : Amélioration notable (+8,8 %) sur la tâche ouverte NiEH (Needle in the Embodied Haystack), bien que les données d'entraînement ne contiennent aucune donnée visuelle embarquée.
• Analyse du pipeline RL :
  • Le RL en ligne (GRPO) seul, sans pré-entraînement SFT sur des données de haute qualité, échoue à générer des raisonnements structurés et plafonne rapidement.
  • Une approche hybride SFT → DPO (hors ligne) atteint des performances compétitives avec le RL en ligne tout en découplant les besoins de calcul.

5. Signification et Impact

• Démocratisation du raisonnement visuel : Ce travail fournit l'un des plus grands jeux de données open-source pour le raisonnement multimodal, permettant à la communauté de reproduire et d'améliorer les modèles sans dépendre de données propriétaires.
• Preuve de transférabilité : Il démontre que l'amélioration des capacités de raisonnement fondamental via des données visuelles ancrées se transfère positivement à d'autres modalités (texte, audio) et à des tâches non vues (embodied QA), suggérant que le "moteur" de raisonnement est modality-agnostique une fois correctement entraîné.
• Nouvelles perspectives pour le post-entraînement : L'article établit que le SFT sur des traces de raisonnement complexes est une condition préalable indispensable pour que le RL en ligne fonctionne efficacement à grande échelle, offrant une feuille de route claire pour l'entraînement des futurs VLM.

En résumé, Long Grounded Thoughts résout les goulots d'étranglement de l'échelle et de la complexité dans la synthèse de données visuelles, prouvant que des données synthétiques de haute qualité peuvent rivaliser avec les modèles fermés et améliorer les capacités de raisonnement au-delà du domaine visuel.