🤖 AI

VeriEvol: Scaling Multimodal Mathematical Reasoning via Verifiable Evol-Instruct

VeriEvol est un cadre itératif qui met à l'échelle le raisonnement mathématique multimodal en découplant l'expansion de la difficulté des prompts, via des opérateurs d'évolution sensibles au type, de l'imposition de la fiabilité des réponses par la falsification d'hypothèses multi-sources, générant ainsi des données vérifiées de haute qualité qui augmentent considérablement les performances des modèles sur les benchmarks de mathématiques visuelles.

Auteurs originaux : Haoling Li, Kai Zheng, Jie Wu, Can Xu, Qingfeng Sun, Han Hu, Yujiu Yang

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haoling Li, Kai Zheng, Jie Wu, Can Xu, Qingfeng Sun, Han Hu, Yujiu Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un étudiant très intelligent, mais légèrement naïf, comment résoudre des problèmes mathématiques complexes en utilisant des images (comme des diagrammes, des graphiques et des schémas).

Par le passé, des chercheurs ont tenté de rendre cet étudiant plus intelligent en lui donnant simplement plus de devoirs. Ils généraient des milliers de nouvelles questions. Mais il y avait un piège : ils rendaient souvent les questions simplement plus longues ou légèrement plus difficiles sans réellement vérifier si les réponses étaient correctes. C'était comme si un professeur distribuait un examen dont le corrigé contenait des erreurs. Si l'étudiant étudiait de mauvaises réponses, il deviendrait moins bon, et non meilleur.

VeriEvol est un nouveau système qui change la façon dont nous créons ces devoirs. Au lieu de créer simplement « plus » de questions, il se concentre sur de « meilleures » questions et des réponses « vérifiées ». Les auteurs appellent cela un cadre de « Verifiable Evol-Instruct » (Instruction Évolutive Vérifiable).

Voici comment cela fonctionne, décomposé en étapes simples :

1. La salle de sport de l'« Évolution » (Rendre les questions plus difficiles)

Imaginez un exercice simple : « Regardez cette image de triangle et dites-moi combien il a de côtés. » C'est trop facile pour un étudiant intelligent.

VeriEvol possède un coach spécial (le Module d'Évolution) qui regarde l'image et la question, puis réécrit le devoir pour qu'il soit beaucoup plus difficile, tout en nécessitant l'observation de l'image.

La métaphore : Au lieu de demander simplement « Combien de côtés ? », le coach réécrit la question ainsi : « Si vous coupez ce triangle en deux et que vous le faites pivoter, comment l'aire changerait-elle par rapport à un carré ayant le même périmètre ? »
L'astuce : Le coach est assez intelligent pour savoir quel type d'image il s'agit. S'il s'agit d'un graphique, il crée une question basée sur un graphique. S'il s'agit d'un dessin géométrique, il crée une question de géométrie. Il ne lance pas de mots aléatoires à l'étudiant ; il construit un défi spécifique qui le force à réellement regarder l'image pour résoudre le problème.

2. Le détective « Sceptique » (Vérifier les réponses)

C'est la partie la plus importante. Habituellement, lorsqu'un ordinateur génère une réponse, nous supposons simplement qu'elle est correcte. VeriEvol dit : « Pas question. Essayons d'abord de prouver qu'elle est fausse. »

Ils ont construit un système de détective appelé HTV-Agent.

La métaphore : Imaginez un tribunal. L'ordinateur génère une réponse (l'« Hypothèse »). L'HTV-Agent est une équipe d'avocats sceptiques dont le seul travail est de trouver des preuves que la réponse est fausse.
Leur mode de combat :
- Ils utilisent différents « témoins » (différents solveurs d'IA) pour voir s'ils sont tous d'accord.
- Ils utilisent une « calculatrice » (exécution de code) pour vérifier les mathématiques.
- Ils utilisent des « yeux » (outils visuels) pour vérifier si les chiffres dans la réponse correspondent réellement aux pixels de l'image.
Le verdict : Si les détectives trouvent la moindre preuve que la réponse est fausse, le devoir est jeté à la poubelle. La réponse n'est acceptée que si les détectives ont fait de leur mieux pour la briser et qu'ils ont échoué. Ce n'est qu'alors qu'elle devient une réponse « Vérifiée ».

3. Le résultat : Un manuel scolaire ultra-fiable

Le système prend ces deux étapes et les boucle :

Prendre une question simple.
L'évoluer en un défi difficile basé sur une image.
Générer une réponse.
Envoyer la réponse aux Détectives Sceptiques.
Si les détectives ne peuvent pas la briser, la conserver. Si ils le peuvent, la jeter et réessayer.

Le résultat est une immense bibliothèque de plus de 250 000 problèmes mathématiques où chaque réponse a été testée sous pression et vérifiée.

Qu'est-ce qui s'est passé lorsqu'ils l'ont utilisé ?

Les chercheurs ont testé cela sur un « étudiant » IA (un modèle de 7 milliards de paramètres).

Sans VeriEvol : L'étudiant était correct, mais se laissait souvent confondre par les images ou devinait en se basant sur des motifs textuels.
Avec VeriEvol : L'étudiant est devenu nettement meilleur.
- Lorsqu'ils ont utilisé uniquement les questions « Évoluées » (sans le vérificateur strict), l'étudiant s'est amélioré.
- Lorsqu'ils ont ajouté le « Détective Sceptique » pour garantir que les réponses étaient parfaites, l'étudiant s'est encore plus amélioré.
- L'échelle : Ils ont montré qu'en ajoutant davantage de ces questions vérifiées (de 10 000 à 250 000), l'étudiant devenait de plus en plus intelligent, prouvant que la qualité des données importe plus que la simple quantité.

Pourquoi est-ce important (en termes simples)

La plupart des recherches en IA tentent de rendre l'« enseignant » (l'optimiseur d'IA) plus intelligent. VeriEvol dit : « Réparons d'abord le manuel scolaire ».

En séparant le processus de « rendre les questions plus difficiles » du processus de « vérifier si les réponses sont correctes », ils ont créé un système où les données elles-mêmes sont dignes de confiance. Ils n'ont pas seulement construit un meilleur étudiant ; ils ont construit un meilleur programme scolaire. Ils ont même publié tous leurs « rapports de détective » (les traces de la manière dont ils ont vérifié chaque réponse) afin que d'autres chercheurs puissent auditer leur travail, garantissant ainsi que personne ne triche aux devoirs.

En bref : VeriEvol est un système qui écrit automatiquement des problèmes mathématiques plus difficiles basés sur des images, puis utilise une équipe de détectives numériques pour s'assurer que les réponses sont 100 % correctes avant de laisser une IA apprendre de celles-ci.

Résumé Technique : VeriEvol

Énoncé du Problème

Le passage à l'échelle de l'apprentissage par renforcement (RL) pour le raisonnement mathématique visuel fait face à un goulot d'étranglement critique : à mesure que le volume de données augmente, la fiabilité des étiquettes de récompense se dégrade souvent. Les approches existantes tentent généralement de passer à l'échelle la supervision en faisant confiance à des étiqueteurs automatisés ou en supposant que les réponses sous-jacentes sont correctes, échouant ainsi à traiter l'effet cumulatif du bruit d'étiquetage dans le RL. Dans le raisonnement visuel, où les modèles doivent ancrer des variables dans des diagrammes et exécuter un raisonnement multi-étapes, des étiquettes non vérifiées peuvent systématiquement renforcer des politiques incorrectes. De plus, le simple fait de générer des questions plus difficiles aboutit souvent à des prompts qui sont simplement plus longs ou solubles via des priorités textuelles, manquant d'une véritable difficulté fondée sur l'image. Le défi central est de construire un pipeline de données qui augmente simultanément la difficulté des prompts et garantit la fiabilité des réponses sans coupler ces processus à l'optimiseur de la politique.

Méthodologie : Cadre VeriEvol

VeriEvol est un cadre itératif qui découple la difficulté du prompt et la fiabilité de la réponse avant toute mise à jour de la politique. Il transforme des semences (seeds) de faible difficulté (image-question) en échantillons de haute qualité vérifiés grâce à deux composants extensibles :

1. Évolution de Prompt Sensible au Type (Type-Aware Prompt Evolution)

Au lieu d'appliquer un modèle d'évolution uniforme, VeriEvol dirige les semences vers un tuple de balises structuré $z = (t, y, u, c)$ représentant la famille de problèmes, le type de réponse, les outils recommandés et les croquis d'indices visuels.

Opérateurs Spécifiques aux Routes : Pour chaque route, des opérateurs d'évolution spécifiques réécrivent la question initiale $q$ en un prompt plus difficile et ancré dans l'image $q'$ . Ces opérateurs sont contraints d'amplifier des compétences de raisonnement spécifiques, de maintenir les indices visuels nécessaires et d'éviter la solubilité purement textuelle.
Porte de Niveau Question : Les prompts générés passent par une porte indépendante $\phi_q$ qui vérifie l'ancrage visuel, la cohérence visuelle, l'augmentation non triviale de la difficulté et la déduplication. Cela garantit que l'image reste nécessaire à la solution.

2. HTV-Agent (Hypothèse–Test Verifier)

Ce compos component traite les réponses candidates comme des hypothèses falsifiables plutôt que comme des vérités de terrain. Il emploie une stratégie de « recherche de réfutation » à travers quatre étapes :

Génération d'Hypothèses : Trois branches de résolution indépendantes (avec des températures variables) génèrent des réponses candidates et des traces de raisonnement.
Vérification par Recherche de Réfutation : Les vérificateurs cherchent activement des contre-preuves en utilisant :
- Canaux Programmatiques : Traduction des contraintes en assertions Python exécutées dans un interprète restreint.
- Canaux Visuels : Utilisation de l'OCR, de recadrages locaux et de sondes au niveau du pixel pour vérifier que les quantités et symboles cités sont ancrés dans l'image.
Résolution de Conflits : Un décideur évalue les hypothèses du solveur par rapport aux rapports du vérificateur. Il évalue la solidité logique des objections plutôt que de faire aveuglément confiance au vérificateur. Si un vérificateur réfute un solveur avec suffisamment de preuves, la réponse est révisée ; si les preuves sont incohérentes, l'échantillon est rejeté.
Porte d'Acceptation Déterministe : Une porte finale $g(\hat{a}, m)$ n'accepte une réponse que si elle passe tous les contrôles conjonctifs : conformité du schéma, support visuel, approbation du vérificateur, assertions exécutables et consensus du cluster de solveurs.

3. Matérialisation des Données

VeriEvol-SFT : Stocke la trace de raisonnement complète et les preuves pour le réglage fin supervisé (SFT).
VeriEvol-RL : Stocke le prompt, la réponse vérifiée et les métadonnées de vérification. La trace de raisonnement est supprimée pour forcer la politique à générer sa propre trace lors des déploiements (rollouts). Les métadonnées incluent un vérificateur de récompense déterministe (ex: correspondance exacte, équivalence symbolique) compatible avec les recettes de RL de type GRPO existantes.

Contributions Clés

Cadre d'Évolution Multimodale Scalable (Multimodal Evol-Instruct) : Un pipeline qui transforme des semences de faible difficulté en prompts plus difficiles et ancrés dans l'image. Les expériences montrent que passer l'échelle des données SFT de 10K à 250K échantillons augmente la précision moyenne de +19,31. À l'étape du RL, passer l'échelle des données vérifiées de 10K à 130K ajoute un gain fluide de +4,60, la conception elle-même contribuant à +3,88 par rapport à une ligne de base non évoluée (décomposé en +1,82 pour les prompts évolués et +2,06 pour le vérificateur).
HTV-Agent : Un agent modulaire de type "agent-comme-juge" qui filtre les réponses via des solveurs indépendants, des contre-preuves multi-sources (programmatiques et visuelles) et un décideur. Il permet l'ajout de nouveaux canaux de vérification sans réorganiser l'optimiseur de la politique.
Publication de Traces Ouvertes : Les auteurs publient les prompts, les données, les modèles et la trace complète du vérificateur pour chaque échantillon (incluant les hypothèses des solveurs, les rapports de contre-preuves, les sorties d'outils et les résultats des portes). Cela permet aux travaux en aval d'auditer et de redimensionner les décisions de construction plutôt que de simplement inspecter les sorties finales.

Résultats Expérimentaux

Évalué sur une suite de cinq benchmarks de mathématiques visuelles (MathVista, MathVision, MathVerse-VO, DynaMath, We-Math) utilisant un backbone Qwen2.5-VL-7B :

Performance : VeriEvol atteint une précision moyenne de 59,12, menant trois des cinq benchmarks et la moyenne globale face à de solides baselines externes de 7B. Plus précisément, il mène sur MathVerse-VO (70,46 contre 63,80 pour le suivant) et We-Math-Strict (63,05 contre 53,81).
Comportement de Mise à l'Échelle (Scaling) :
- Mise à l'échelle SFT : La précision moyenne augmente de manière monotone de 35,42 (10K) à 54,73 (250K).
- Mise à l'échelle RL : Les données RL vérifiées passent de manière monotone de 54,52 (10K) à 59,12 (130K), aucun benchmark ne montrant de dégradation de performance à mesure que le volume augmente.
Analyse des Composants :
- Évolution : Les prompts évolués seuls ajoutent +1,82 à la baseline RL. La dynamique d'entraînement montre que les prompts évolués maintiennent une entropie de politique plus élevée et atteignent des récompenses terminales plus hautes, empêchant une convergence précoce vers des modes à faible entropie.
- Vérification : L'HTV-Agent ajoute +2,06. Les études d'ablation montrant le vérificateur comme juge à l'inférence indiquent que l'auto-cohérence multi-solveur bénéficie aux tâches riches en visuels, tandis que l'exécution programmatique bénéficie aux tâches lourdes en calcul, confirmant la complémentarité des canaux de preuve.
Analyse d'Erreur : Un audit pilote sur 60 échantillons indique un changement dans la distribution des erreurs. Les erreurs d'ancrage visuel (VG) et de raccourci textuel (TS) ont considérablement diminué (passant de 57 % à 38 % des erreurs résiduelles), tandis que les erreurs restantes du système se sont déplacées vers les limites de la chaîne de raisonnement et les limitations symboliques/arithmétiques inhérentes à la capacité du backbone 7B.

Signification et Revendications

L'article pose que le passage à l'échelle du raisonnement visuel nécessite de traiter la construction de données comme un problème vérifiable plutôt que comme un problème d'optimisation côté politique. En découplant l'évolution du prompt de la vérification de la réponse, VeriEvol garantit que les signaux de récompense restent fiables à mesure que le volume de données croît.

Orthogonalité : Le cadre est orthogonal aux innovations côté politique (ex: variantes de GRPO, mise en forme de la récompense), permettant aux futurs optimiseurs de s'appuyer directement sur les données VeriEvol-RL.
Composabilité : La nature modulaire du vérificateur permet l'ajout de canaux de réfutation ciblés (ex: nouveaux outils ou types de preuves) pour traiter des modes d'échec spécifiques sans redessiner la boucle d'entraînement.
Transparence : En publiant les traces complètes du vérificateur, les auteurs visent à déplacer l'attention de la recherche en aval de l'inspection des sorties vers l'audit du pipeline de construction lui-même, permettant une vérification et une mise à l'échelle plus robustes des systèmes de raisonnement multimodal.

Les auteurs reconnaissent des limites, notamment la dépendance à la couverture du pool de semences, le potentiel de points aveugles partagés entre les solveurs et les vérificateurs, et le fait que le sous-ensemble prêt pour le RL est plus étroit que le sous-ensemble prêt pour le SFT en raison des exigences de vérification plus strictes. Ils soulignent que les gains observés sont suggestifs de tendances plutôt que des différences statistiquement significatives au niveau d'un seul benchmark pour de faibles marges.