Factuality Matters: When Image Generation and Editing Meet Structured Visuals

Cet article présente une étude systématique sur la génération et l'édition d'images structurées, incluant la création d'un jeu de données de 1,3 million de paires, le développement d'un modèle unifié VLM-FLUX.1 avec raisonnement, et l'introduction du benchmark StructBench pour évaluer la fidélité factuelle.

L'essentiel

Imaginez que vous demandez à un artiste très talentueux de dessiner une scène de forêt avec des arbres, des rivières et des oiseaux. Il le fait parfaitement : les couleurs sont magnifiques, la lumière est belle, et l'ensemble ressemble à une vraie photo. C'est ce que font les modèles d'IA actuels pour les images "naturelles".

Mais si vous lui demandez ensuite : "Peux-tu transformer ce dessin en un graphique précis montrant les ventes de l'année, avec des barres de couleurs exactes, des chiffres lisibles et un titre bien placé ?" ou encore "Peux-tu modifier ce diagramme pour que la barre rouge passe de 10 à 15, sans changer les autres ?", l'artiste commence à paniquer. Il risque de dessiner des chiffres illisibles, de mélanger les couleurs ou de créer un graphique qui ne correspond pas à la réalité.

C'est exactement le problème que cette nouvelle recherche, présentée à la conférence ICLR 2026, cherche à résoudre. Les auteurs appellent cela "Factuality Matters" (La véracité compte).

Voici une explication simple de leur travail, avec quelques analogies pour mieux comprendre :

1. Le Problème : L'Artiste vs. L'Ingénieur

Les modèles d'IA actuels sont d'excellents artistes, mais de piètres ingénieurs.

• L'artiste (modèle actuel) : Il comprend l'esthétique. Il sait faire un beau ciel bleu.
• L'ingénieur (ce qu'il faut pour les graphiques) : Il doit comprendre la logique, les mathématiques, et surtout, la vérité. Si un graphique dit que le chiffre est 50, il doit être 50. Pas 49, pas 51. Et si vous demandez de changer la couleur d'une barre, il faut que seule cette barre change, pas tout le reste.

Actuellement, même les meilleurs systèmes (comme ceux de Google ou OpenAI) échouent souvent sur ces tâches précises. Ils sont trop "artistes" et pas assez "rigoureux".

2. La Solution : Construire une "École de Dessin Technique"

Pour apprendre à l'IA à devenir un bon ingénieur, les chercheurs ont dû lui donner un manuel d'instructions très spécial.

• Le Grand Livre de Code (Le Dataset) : Au lieu de montrer des millions de photos au hasard, ils ont créé une bibliothèque de 1,3 million de paires d'images et de codes.

  • L'analogie : Imaginez que pour apprendre à un enfant à cuisiner, vous ne lui donnez pas juste des photos de plats. Vous lui donnez la recette exacte (le code) et le plat fini (l'image). Ensuite, vous lui montrez comment changer un ingrédient dans la recette (modifier le code) et comment le plat change visuellement.
  • Ils ont utilisé des programmes informatiques pour générer ces images (graphiques, formules mathématiques, puzzles) afin que chaque pixel soit parfaitement aligné avec une instruction précise.

• Le Tuteur de Réflexion (Chain-of-Thought) : Ils ont aussi ajouté des "notes de réflexion" générées par une IA très intelligente.

  • L'analogie : Avant de dessiner, l'IA apprend à réfléchir comme un humain : "Attends, si je veux changer la barre bleue en rouge, je dois d'abord trouver où elle est, puis vérifier que les autres barres restent intactes, et enfin appliquer la couleur." C'est comme apprendre à un élève à ne pas seulement copier, mais à comprendre la logique derrière le dessin.

3. Le Nouveau Modèle : Le "Super-Ingénieur"

Les chercheurs ont entraîné un nouveau modèle (basé sur une technologie appelée FLUX) en utilisant cette méthode en trois étapes :

1. Apprentissage de base : Apprendre à lire les instructions.
2. Apprentissage technique : Apprendre la logique des graphiques et des chiffres.
3. Entraînement à la réflexion : Apprendre à planifier avant d'agir.

De plus, lors de la création d'une image, ils ajoutent un "cerveau externe" (une autre IA) qui analyse la demande et dit au modèle : "Attention, ne change pas tout le graphique, juste cette petite partie." Cela permet d'éviter les erreurs bêtes.

4. Le Test : Le "Juge de Paix" (StructBench)

Comment savoir si l'IA est devenue bonne ? Les chercheurs ont créé un examen spécial appelé StructBench.

• Au lieu de demander à un humain de dire "c'est joli", ils utilisent une méthode très rigoureuse.
• L'analogie : Imaginez un examen de mathématiques. Au lieu de demander "est-ce que ce graphique est beau ?", on pose des questions précises : "Quelle est la valeur exacte de la barre verte ?", "Combien y a-t-il de catégories ?".
• Ils utilisent une nouvelle note appelée StructScore. Si l'IA se trompe d'un seul chiffre, elle perd des points. C'est beaucoup plus strict que les tests habituels qui se contentent de vérifier si l'image ressemble un peu à la demande.

5. Les Résultats : Un Grand Pas en Avant

Les résultats montrent que :

• Même les géants de la technologie (Google, OpenAI) sont encore loin d'être parfaits sur ces tâches précises. Ils font souvent des erreurs de chiffres ou de logique.
• Le modèle créé par les chercheurs est le meilleur pour modifier des images (comme changer un graphique existant).
• Le secret ? La réflexion. Les modèles qui prennent le temps de "réfléchir" avant de dessiner font beaucoup moins d'erreurs.

En Résumé

Cette recherche dit essentiellement : "Pour créer des images utiles et vraies (comme des graphiques ou des schémas), il ne suffit pas d'être beau, il faut être exact."

Ils ont construit une école spéciale, créé un manuel d'instructions parfait, et entraîné un élève qui sait maintenant non seulement dessiner, mais aussi faire des maths et respecter la vérité. C'est une étape cruciale pour que l'IA puisse nous aider à créer des présentations, des rapports scientifiques ou des plans d'ingénierie fiables, et pas seulement de jolies images de chats.

Résumé technique

1. Problématique

Les modèles de génération visuelle modernes excellent dans la création d'images naturelles esthétiques, mais ils échouent lamentablement à générer ou à éditer des visuels structurés (graphiques, diagrammes, figures mathématiques, tableaux). Contrairement aux images naturelles, ces visuels exigent une fidélité factuelle stricte :

• Une planification précise de la composition.
• Un rendu textuel exact (chiffres, étiquettes).
• Un raisonnement multimodal pour respecter les relations logiques et géométriques.

Il existe un fossé significatif entre la compréhension des images structurées (où les modèles VLM progressent) et leur génération, car les approches actuelles privilégient l'esthétique au détriment de la précision factuelle. De plus, les benchmarks existants sont inadaptés à l'évaluation fine de ces détails.

2. Méthodologie

L'équipe propose une solution complète couvrant la construction de données, l'entraînement du modèle et l'évaluation.

A. Construction de Données (Dataset)

• Approche basée sur le code : Au lieu de collecter des paires image-texte aléatoires, les auteurs collectent environ 2 millions de programmes exécutables (Python, LaTeX) générant des visuels structurés.
• Pipeline d'édition : Pour créer des paires d'édition, ils utilisent GPT-5 pour identifier des caractéristiques saillantes d'une image source, puis génèrent des instructions d'édition parallèles :
  1. Une instruction d'édition visuelle (ex: "Réduire la zone ombrée").
  2. Une instruction d'édition de code correspondante (ex: modifier la condition fill_between).
• Alignement strict : L'image cible est générée en exécutant le code modifié, garantissant un alignement parfait et vérifiable entre l'instruction et le résultat.
• Annotations CoT (Chain-of-Thought) : Chaque échantillon est enrichi avec des annotations de raisonnement générées par GPT-5, décrivant l'analyse de l'image d'entrée, l'interprétation de l'instruction et la prédiction de l'image cible.
• Résultat : Un dataset de 1,3 million de paires image-source/cible avec instructions et raisonnement.

B. Architecture du Modèle

• Base : Le modèle est construit sur FLUX.1 Kontext (un transformateur de diffusion).
• Connecteur Multimodal : Au lieu de projecteurs lourds, ils utilisent un connecteur MLP léger pour aligner les caractéristiques d'un VLM (Qwen-VL) avec le backbone de diffusion. Cela améliore la compréhension sémantique des diagrammes et figures mathématiques.
• Curriculum d'entraînement en 3 étapes :
  1. Alignement Unifié : Alignement des caractéristiques du VLM avec le backbone (sans injection de nouvelles connaissances).
  2. Apprentissage Visuel Hybride : Fine-tuning conjoint sur des données structurées et naturelles, avec une stratégie de masquage pour pondérer les pertes sur les zones modifiées.
  3. Renforcement du Raisonnement : Injection explicite des trajectoires de raisonnement (CoT) pour apprendre au modèle à planifier avant de générer.
• Inférence avec Raisonneur Externe : Lors de l'inférence, un raisonner externe (GPT-5) analyse l'entrée, décompose la tâche et fournit un plan détaillé au générateur, augmentant ainsi la capacité de calcul à l'inférence.

C. Benchmark et Métrique (StructBench & StructScore)

• StructBench : Un benchmark de 1 714 échantillons couvrant 6 domaines (Math, Graphique, Diagramme, Puzzle, Science, Tableau).
• StructScore : Une métrique d'évaluation innovante qui évite les hallucinations des juges VLM naïfs.
  • Protocole Q&A atomique : Le VLM génère des centaines de questions-réponses fines basées sur l'image de référence (Ground Truth).
  • Évaluation : Le modèle génère des réponses pour l'image produite. La précision est calculée en comparant les réponses.
  • Pondération : Pour l'édition, la métrique privilégie le respect de l'instruction (90%) par rapport à la cohérence visuelle (10%) pour éviter que le modèle ne triche en ne modifiant presque rien.

3. Résultats Principaux

• Performance Globale : Sur StructEditBench, le modèle proposé ("Ours") atteint 55,98% de précision globale, surpassant tous les modèles open-source et se positionnant en tête face aux systèmes fermés (comme GPT-Image et Nano Banana).
• Édition vs Génération : L'écart de performance est plus grand pour la génération (T2I) que pour l'édition, car la génération nécessite de synthétiser des attributs de zéro, tandis que l'édition repose sur des opérations transférables.
• Impact du Raisonnement : L'ajout de trajectoires de raisonnement explicites (via le raisonner externe) améliore considérablement les performances de tous les modèles testés, confirmant que le raisonnement est le goulot d'étranglement actuel.
• Alignement Humain : La métrique StructScore présente une corrélation de Pearson de r > 0,9 avec les préférences humaines, surpassant largement les métriques traditionnelles comme le PSNR ou le SSIM qui sont inefficaces pour les visuels structurés.

4. Contributions Clés

1. Première enquête systématique : C'est la première étude complète couvrant la génération et l'édition de visuels structurés, avec un dataset, un modèle et un benchmark unifiés.
2. Dataset à grande échelle : Création d'un corpus de 1,3M de paires alignées par code avec des annotations de raisonnement (CoT), résolvant le problème de manque de données de haute qualité pour ce domaine.
3. Modèle Unifié Performant : Démonstration qu'un modèle basé sur FLUX.1, enrichi par un connecteur VLM léger et un curriculum d'entraînement en 3 étapes, peut surpasser les systèmes fermés sur des tâches factuelles complexes.
4. Métrique Robuste : Introduction de StructScore, une métrique basée sur des Q&A atomiques multi-tours qui élimine les hallucinations et corrèle fortement avec l'évaluation humaine.

5. Signification et Impact

Ce travail démontre que la fidélité factuelle est le prochain grand défi pour les modèles de génération d'images, au-delà de la simple esthétique. En prouvant que le raisonnement explicite (CoT) et l'alignement avec des données structurées (code) sont essentiels, l'article redéfinit la voie vers des modèles fondationnels multimodaux véritablement unifiés. La libération du dataset, du modèle et du benchmark vise à accélérer la recherche dans ce domaine sous-exploité, crucial pour des applications scientifiques, éducatives et analytiques.