Composition-Grounded Data Synthesis for Visual Reasoning

Cet article présente COGS, un cadre de synthèse de données ancré sur la composition qui améliore les capacités de raisonnement des modèles de langage multimodaux préentraînés en décomposant et recomposant systématiquement des questions semences pour générer des données synthétiques, permettant ainsi des gains significatifs sur des tâches de raisonnement visuel complexes comme l'analyse de graphiques et de documents web.

L'essentiel

🎨 Le Problème : L'IA qui a du mal à "lire" entre les lignes

Imaginez que vous avez un élève très brillant, disons un génie des mathématiques, mais qui n'a jamais fréquenté l'école pour apprendre à résoudre des énigmes complexes. Il peut lire un tableau de chiffres ou une page web, mais s'il vous demande : "Si le prix du pain augmente de 10 %, combien d'argent me reste-t-il après avoir acheté trois baguettes et une bouteille de lait ?", il risque de se tromper.

C'est le problème actuel des modèles d'intelligence artificielle (IA) multimodaux. Ils sont excellents pour reconnaître des images, mais ils ont du mal à raisonner sur des documents artificiels comme des graphiques, des tableaux financiers ou des pages web, surtout quand il faut faire plusieurs étapes de calcul ou de logique.

Le hic ? Pour apprendre à un humain à faire ces calculs, il faut des milliers d'exercices corrigés par des professeurs. Or, pour l'IA, créer ces milliers d'exercices sur des graphiques complexes est très long et coûteux.

💡 La Solution : COGS (Le "Lego" de l'IA)

Les chercheurs ont inventé une méthode appelée COGS (Synthèse de données ancrée sur la composition). Voici comment ça marche, avec une analogie simple :

Imaginez que vous voulez apprendre à quelqu'un à construire des châteaux de sable complexes, mais vous n'avez que trois petites photos de châteaux existants pour lui montrer comment faire.

1. La Décomposition (Le Démontage) :
   Au lieu de regarder le château entier, COGS prend les trois photos et les démonte pièce par pièce.

   • "Ah, ici, il y a une tour ronde." (C'est une pièce de perception).
   • "Et ici, il y a un pont qui relie deux tours." (C'est une pièce de raisonnement).
   • "Et là, il faut compter les fenêtres." (C'est une opération mathématique).

   L'IA apprend à identifier ces "briques" de base (les facteurs) : identifier un chiffre, comparer deux valeurs, faire une soustraction, etc.

2. La Recomposition (Le Remontage Créatif) :
   Maintenant, au lieu de se limiter aux trois photos d'origine, COGS prend une nouvelle photo de plage (une nouvelle image de graphique ou de site web) et utilise les "briques" qu'il a découvertes pour construire des milliers de nouveaux châteaux.

   • Il prend la "brique tour" de la photo A et la "brique pont" de la photo B, et les applique à la photo C.
   • Il crée ainsi des questions totalement nouvelles : "Combien de fenêtres a la tour de ce nouveau graphique ?" ou "Si on enlève le pont, quelle est la différence de hauteur ?"

3. L'Entraînement (Le Professeur Intérieur) :
   C'est là que la magie opère. Quand l'IA répond à ces nouvelles questions, elle ne reçoit pas juste un "Bravo" ou "Faux" à la fin.
   Grâce à la méthode COGS, le système sait exactement quelles "briques" ont été utilisées. Il peut dire : "Tu as bien identifié le chiffre (brique 1), mais tu as fait une erreur de calcul (brique 2)."
   Cela permet à l'IA d'apprendre pas à pas, comme un élève qui corrige ses erreurs à chaque étape du raisonnement, et non seulement à la fin.

🚀 Les Résultats : Devenir un Expert

Les chercheurs ont testé cette méthode sur des graphiques (charts) et des pages web.

• Résultat : L'IA entraînée avec COGS est devenue bien meilleure pour résoudre des énigmes complexes, même sur des graphiques qu'elle n'avait jamais vus auparavant.
• Le plus beau : Elle ne fait pas que "mémoriser" les réponses. Elle a appris à penser. Comme un joueur de Lego qui comprend le principe de l'assemblage, elle peut appliquer ses compétences à n'importe quel nouveau graphique ou site web.

🌟 En Résumé

Au lieu d'essayer d'apprendre à l'IA des millions de questions-réponses par cœur (ce qui est lent et coûteux), COGS lui apprend à décomposer les problèmes en petites tâches simples, puis à recomposer ces tâches sur de nouvelles images.

C'est comme donner à l'IA un jeu de Lego et lui apprendre les règles de construction, plutôt que de lui montrer des photos de châteaux finis. Résultat ? Elle peut construire n'importe quel château, même ceux qu'elle n'a jamais vus, en faisant moins d'erreurs et en réfléchissant mieux.

Le but final ? Avoir des assistants IA capables de lire vos factures, analyser vos graphiques boursiers ou naviguer sur des sites web complexes pour vous aider, en comprenant vraiment ce qu'ils voient.

Résumé technique

1. Problématique

Les modèles de langage multimodaux (MLLM) pré-entraînés excellent dans de nombreuses tâches, mais leurs capacités de raisonnement restent limitées dans des domaines spécifiques où la collecte de données annotées par des humains est difficile, coûteuse ou rare.

• Domaines cibles : Images artificielles telles que les graphiques (charts), les documents rendus, les tableaux et les interfaces web (GUI). Bien que ces images soient abondantes sur le web, les ensembles de données contenant des questions de raisonnement complexes y sont rares.
• Défi : Comment doter les MLLM de capacités de raisonnement avancées (multitâches, compositionnelles) en utilisant uniquement un petit ensemble de questions "graines" (seed questions) dans un domaine cible, sans nécessiter de vastes annotations humaines supplémentaires ?

2. Méthodologie : Le Framework COGS

Les auteurs proposent COGS (COmposition-Grounded data Synthesis), un cadre efficace en données qui exploite la compositionnalité des questions pour générer synthétiquement des données d'entraînement. Le processus se déroule en trois étapes principales :

A. Décomposition des données graine (Seed Data Decomposition)

• À partir d'un petit ensemble de questions de raisonnement complexes (graines), le système utilise un MLLM pour décomposer chaque question en facteurs élémentaires.
• Ces facteurs sont de deux types :
  • Facteurs de perception : Identification d'entités, lecture de valeurs, localisation spatiale.
  • Facteurs de raisonnement : Comparaison, calcul arithmétique, vérification de faits, extrapolation.
• Chaque facteur est associé à une sous-question et une réponse intermédiaire. L'objectif est de créer un "pool" de facteurs ($F$) couvrant les structures latentes du raisonnement dans le domaine.

B. Recomposition de questions (Question Generation via Factor Recomposition)

• Le système génère de nouvelles questions en recomposant aléatoirement des sous-ensembles de facteurs issus du pool $F$ avec de nouvelles images non étiquetées (par exemple, de nouveaux graphiques ou captures d'écran web).
• Le MLLM génère non seulement la question finale, mais aussi la chaîne de sous-questions et les réponses intermédiaires correspondantes.
• Cela permet de créer un vaste ensemble de données synthétiques diversifié, ancré sur des images réelles, sans annotation humaine supplémentaire.

C. Affinement par Renforcement (RL Fine-tuning)

• Le modèle est affiné (fine-tuned) sur ces données synthétiques en utilisant l'algorithme GRPO (Group Relative Policy Optimization).
• Récompenses de processus (Process Rewards) : Contrairement aux méthodes traditionnelles qui ne récompensent que la réponse finale, COGS introduit des récompenses basées sur les facteurs.
  • Un modèle de récompense vérifie la justesse de chaque étape intermédiaire (sous-question).
  • Les auteurs proposent trois modèles de récompense, dont ProcessRM-max, qui s'avère théoriquement et empiriquement supérieur car il préserve l'ordre des politiques même lorsque les signaux de récompense intermédiaires sont bruités.

3. Contributions Clés

1. Cadre de synthèse de données efficace : COGS permet de passer d'un petit nombre de questions graine à un corpus massif de données d'entraînement diversifié en exploitant la structure factorisée du raisonnement.
2. Apprentissage par renforcement guidé par les processus : L'intégration de récompenses au niveau des facteurs (sous-questions) permet un apprentissage plus fin et robuste, réduisant l'accumulation d'erreurs dans les chaînes de raisonnement complexes.
3. Généralisation et transférabilité : Le cadre démontre que l'apprentissage sur des facteurs communs permet un transfert positif entre différents ensembles de données (par exemple, entre ChartQAPro et MMC), évitant le surapprentissage (overfitting) spécifique à un jeu de données.
4. Applicabilité multi-domaines : La méthode est validée non seulement sur les graphiques, mais aussi sur la compréhension d'interfaces web (GUI), prouvant sa généralité.

4. Résultats Expérimentaux

Les expériences ont été menées principalement sur le domaine du raisonnement sur les graphiques (ChartQAPro) et étendues aux interfaces web (VisualWebBench).

• Performance sur ChartQAPro :
  • COGS améliore significativement les performances du modèle de base (Qwen2.5-VL-7B), atteignant une précision globale de 52,02 %, surpassant les modèles propriétaires (comme GPT-4o-mini, Claude Haiku 3.5) et les modèles spécialisés existants.
  • Les gains sont les plus importants pour les questions lourdes en raisonnement et les questions compositionnelles (nécessitant plusieurs étapes).
• Transfert entre ensembles de données :
  • L'entraînement mixte au niveau des facteurs (Factor-level mixture) sur plusieurs jeux de données (ChartQAPro + MMC) donne de meilleurs résultats que le mélange au niveau des données, prouvant que le modèle acquiert des capacités de raisonnement transférables plutôt que de mémoriser des distributions spécifiques.
• Domaine Web (VisualWebBench) :
  • COGS atteint 88,04 % de précision, surpassant tous les modèles open-source et les approches de synthèse de données concurrentes, confirmant l'efficacité de la méthode au-delà des graphiques.
• Analyse des facteurs de récompense :
  • L'ablation study montre que ProcessRM-max (récompense basée sur le maximum) est supérieur à la somme des récompenses (ProcessRM-sum) et à la récompense standard, car il évite les problèmes de désordre de politique causés par le bruit dans les récompenses intermédiaires.

5. Signification et Impact

Ce travail apporte une solution élégante au problème de la pénurie de données d'entraînement pour le raisonnement visuel complexe.

• Efficacité des données : Il démontre qu'il n'est pas nécessaire de collecter des millions de paires question-réponse annotées manuellement ; une petite graine bien structurée suffit pour générer un corpus scalable.
• Qualité du raisonnement : En forçant le modèle à valider chaque étape intermédiaire via des récompenses de processus, COGS améliore la fiabilité et la logique des MLLM, les rendant plus aptes à agir comme des agents intelligents capables d'interpréter et de manipuler des documents numériques ou des interfaces web.
• Futur : Cette approche ouvre la voie à l'intégration de la synthèse de données compositionnelles dans les phases de pré-entraînement ou de post-entraînement des modèles multimodaux de fondation, ainsi qu'à leur application dans des tâches d'édition de code ou d'agents web.

En résumé, COGS transforme la limitation des données annotées en une opportunité d'apprentissage structurel, permettant aux modèles de généraliser des compétences de raisonnement complexes à partir de principes fondamentaux décomposés.