Visual-ERM: Reward Modeling for Visual Equivalence

Ce papier propose Visual-ERM, un modèle de récompense génératif multimodal qui évalue la fidélité visuelle des tâches de conversion image-vers-code dans l'espace rendu, améliorant significativement les performances des modèles par apprentissage par renforcement et surpassant des modèles bien plus grands sur un nouveau benchmark dédié.

L'essentiel

Imaginez que vous demandez à un robot très intelligent de dessiner un tableau ou de recréer un graphique complexe à partir d'une photo. Le robot écrit du code informatique pour générer l'image. Le problème ? Parfois, le robot pense avoir fait un travail parfait, mais en réalité, il y a des erreurs subtiles : une barre de graphique est trop courte, une étiquette est mal placée, ou une couleur est légèrement décalée.

Jusqu'à présent, les systèmes qui corrigent ces robots utilisaient deux méthodes imparfaites :

1. Le comparateur de texte : Il comparait le code écrit par le robot avec le code idéal. C'est comme vérifier si deux recettes de cuisine ont les mêmes ingrédients listés, sans jamais goûter le plat. Si le robot a écrit "sel" au lieu de "sel de mer", le code est différent, mais le goût (l'image) pourrait être bon. Ou pire, le robot peut tricher en écrivant un code qui donne un bon score de comparaison mais qui produit un dessin moche.
2. Le comparateur d'empreinte visuelle grossier : Il regardait l'image finale et disait "ça ressemble à 99%". C'est comme dire qu'une photo de votre chat et une photo de votre chien sont "similaires" parce que ce sont tous deux des animaux à quatre pattes. Ça ne détecte pas que l'oreille du chat est pliée ou que la queue du chien est coupée.

La Solution : Visual-ERM, le "Critique d'Art" Numérique

Les chercheurs de ce papier ont créé Visual-ERM. Pour faire simple, imaginez que vous engagez un expert en data visualisation (un critique d'art spécialisé) pour juger le travail du robot.

Voici comment cela fonctionne, avec une analogie simple :

1. L'Entraînement : Apprendre à voir les détails

Au lieu de juste dire "C'est bien" ou "C'est mal", Visual-ERM est entraîné à agir comme un inspecteur de qualité ultra-scrupuleux.

• On lui montre deux images : l'image originale (la référence parfaite) et l'image générée par le robot.
• Il ne se contente pas de regarder d'un coup d'œil. Il examine chaque pixel, chaque texte, chaque forme.
• Il apprend à repérer des erreurs précises : "La barre bleue est 5% plus courte", "Le titre est écrit 'Ventes' au lieu de 'Chiffre d'affaires'", "La légende est décalée".
• Il attribue une note de gravité à chaque erreur (Mineure, Moyenne, Critique), un peu comme un professeur qui note une copie en soulignant les fautes d'orthographe et les erreurs de logique.

2. L'Apprentissage par Renforcement : Le Robot s'améliore grâce aux critiques

Une fois formé, Visual-ERM devient le professeur du robot.

• Le robot essaie de dessiner le graphique.
• Visual-ERM regarde le résultat et dit : "Tu as bien fait la forme, mais tu as inversé les couleurs et oublié l'axe des Y. Voici exactement où c'est raté."
• Le robot reçoit cette critique détaillée et ajuste son code pour la prochaine fois.
• Résultat : Le robot apprend beaucoup plus vite et plus précisément qu'avec les anciennes méthodes, car il comprend pourquoi son dessin est faux, pas juste qu'il est "différent".

3. La Réflexion : Le Robot se corrige tout seul

Le plus génial, c'est que Visual-ERM permet au robot de se corriger lui-même avant même de montrer le résultat final.

• Imaginez que le robot dessine une ébauche.
• Visual-ERM lui dit : "Attends, ta courbe est à l'envers."
• Le robot réfléchit, efface, et redessine la courbe correctement.
• C'est comme si vous aviez un coach qui vous disait "Redresse ton dos" pendant que vous faites du sport, vous permettant de finir le mouvement parfaitement.

Pourquoi c'est important ?

Ce système fonctionne pour tout type de documents visuels structurés :

• Les graphiques (Charts) : Pour transformer un tableau de données en courbe parfaite.
• Les tableaux (Tables) : Pour transformer une photo d'un tableau Excel en un fichier numérique propre.
• Les dessins vectoriels (SVG) : Pour recréer des logos ou des icônes complexes.

En résumé :
Avant, on demandait aux robots de dessiner en leur donnant des règles de grammaire (code) ou en leur disant "ça ressemble un peu". Avec Visual-ERM, on leur donne un œil d'expert qui voit chaque détail, explique les erreurs avec des mots clairs, et aide le robot à devenir un artiste numérique capable de reproduire des images avec une fidélité parfaite, même sur des tâches très complexes. C'est un saut de géant pour l'automatisation de la création de documents visuels.

Résumé technique

1. Problématique

Le domaine des tâches "Vision-to-Code" (conversion d'entrées visuelles structurées comme des graphiques, des tableaux ou des SVG en code exécutable ou en formats structurés) a connu des progrès significatifs grâce aux modèles de langage vision (LVLM) et au Supervised Fine-Tuning (SFT). Cependant, l'application de l'Apprentissage par Renforcement (RL) pour améliorer ces modèles se heurte à un défi majeur : la conception de signaux de récompense fiables.

Les approches de récompense existantes souffrent de limitations critiques :

• Métriques basées sur le texte (ex: distance d'édition, TEDS) : Elles ignorent les indices visuels cruciaux (alignement, espacement, mise en page) et sont vulnérables au "hacking de récompense" (le modèle optimise le score textuel sans produire un rendu visuellement fidèle).
• Similarité d'encodage visuel (ex: DINO) : Elles sont trop grossières (coarse-grained), biaisées sémantiquement et insensibles aux détails fins nécessaires pour le parsing. Elles peuvent attribuer un score élevé à des sorties contenant des erreurs de structure majeures.

Il manque donc un mécanisme capable d'évaluer la fidélité visuelle de manière fine, interprétable et agnostique à la tâche, en comparant directement l'image générée (rendue à partir du code) avec l'image originale.

2. Méthodologie : Visual-ERM

Les auteurs proposent Visual-ERM (Visual Equivalence Reward Model), un modèle de récompense génératif multimodal conçu pour évaluer la qualité des sorties "Vision-to-Code" directement dans l'espace visuel.

A. Pipeline d'Entraînement et de Données

1. Génération de données de récompense :
   • À partir d'images de référence (Ground Truth) et de leurs représentations textuelles, le système crée des paires d'images (Original vs Générée) en introduisant des erreurs contrôlées (via injection d'erreurs sur le texte de référence ou inférence par des modèles plus faibles).
   • Ces paires sont annotées de manière fine par des modèles propriétaires avancés (distillés depuis GPT-5-mini) pour identifier les écarts visuels.
2. Annotation Fine-Grained :
   • Contrairement aux scores scalaires simples, Visual-ERM apprend à générer des annotations structurées incluant : la catégorie de l'erreur, sa localisation, sa gravité (1 à 3) et une description.
   • Les catégories incluent : erreurs de structure, de données, de texte et de style (pour les graphiques), ou erreurs de mise en page, de texte et de nombres (pour les tableaux).
3. Entraînement :
   • Le modèle est affiné par Supervised Fine-Tuning (SFT) sur un jeu de données massif (plus de 300k instances couvrant les graphiques, tableaux et SVG) pour prédire ces annotations d'erreurs à partir de la paire d'images.

B. Intégration dans le RL et le Test-Time Scaling

• Apprentissage par Renforcement (RL) : Visual-ERM sert de modèle de récompense dans un algorithme GRPO. Le score de récompense est calculé en sommant les sévérités des erreurs détectées, normalisé pour fournir un signal dans [0, 1]. Cela guide le modèle politique vers une fidélité visuelle réelle plutôt que vers des raccourcis textuels.
• Mise à l'échelle au moment du test (Test-Time Scaling) : Grâce à sa capacité à générer des feedbacks explicites et interprétables, Visual-ERM permet au modèle d'effectuer des boucles d'auto-réflexion et de révision. Le modèle génère un code, le rend, Visual-ERM identifie les erreurs, et le modèle corrige le code en conséquence.

3. Contributions Clés

1. Visual-ERM : Un modèle de récompense génératif multimodal qui fournit un feedback fin, interprétable et agnostique à la tâche pour les tâches Vision-to-Code. Il comble le fossé entre l'évaluation textuelle et visuelle.
2. VisualCritic-RewardBench (VC-RewardBench) : Un nouveau benchmark de 1 335 instances hautement annotées pour évaluer la capacité des modèles à détecter des écarts image-à-image fins sur des données structurées (graphiques, tableaux, SVG).
3. Analyse des limites des récompenses existantes : Une démonstration systématique montrant que les métriques textuelles et la similarité d'encodage visuel (DINO) sont insuffisantes et sujettes au reward hacking pour ces tâches spécifiques.
4. Preuve d'efficacité : Démonstration que la supervision visuelle fine est à la fois nécessaire et suffisante pour améliorer le RL dans le domaine du Vision-to-Code.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois tâches principales : Chart-to-Code, Table-to-Markdown et SVG-to-Code.

• Performance RL :
  • Sur la tâche Chart-to-Code (benchmark ChartMimic), l'intégration de Visual-ERM améliore le modèle de base Qwen3-VL-8B-Instruct de +8,4 points en moyenne, surpassant nettement les approches basées sur DINO (+4,9 points).
  • Sur Table-to-Markdown et SVG-to-Code, Visual-ERM apporte des gains constants de +2,7 et +4,1 points respectivement, là où les méthodes basées sur DINO échouent ou dégradent les performances.
• Benchmark VC-RewardBench :
  • Visual-ERM (basé sur un modèle de 8B paramètres) surpasse de manière décisive Qwen3-VL-235B-Instruct (un modèle 235B) et rivalise avec les meilleurs modèles propriétaires fermés. Cela prouve qu'un entraînement spécialisé sur la détection d'erreurs est plus efficace que la simple mise à l'échelle d'un modèle généraliste.
• Test-Time Scaling :
  • L'utilisation de Visual-ERM pour la révision itérative améliore encore les performances, ajoutant jusqu'à +3,1 points supplémentaires sur les modèles déjà entraînés par RL.

5. Signification et Impact

Ce travail marque un tournant dans l'évaluation et l'optimisation des modèles multimodaux pour la génération de code structuré.

• Changement de paradigme : Il déplace l'évaluation de la fidélité du code (syntaxe) vers la fidélité du rendu (visuel), ce qui est l'objectif réel des applications Vision-to-Code.
• Robustesse : En évitant le reward hacking grâce à une évaluation visuelle directe, Visual-ERM permet un apprentissage par renforcement plus stable et efficace.
• Évolutivité : La capacité du modèle à fournir des critiques détaillées ouvre la voie à des systèmes autonomes capables de s'auto-corriger au moment de l'inférence, réduisant la dépendance aux données d'entraînement massives pour chaque nouvelle tâche.

En résumé, Visual-ERM établit que pour les tâches de reconstruction visuelle structurée, la supervision par récompense doit être ancrée dans l'espace visuel et capable de raisonner sur les détails fins, une approche qui s'avère supérieure aux méthodes textuelles ou aux similarités globales.