Résumé Technique : DataEvolver

Énoncé du Problème

La génération d'images riches en texte demeure un défi majeur pour l'IA multimodale, nécessitant que les modèles produisent simultanément des images visuellement réalistes avec un texte lisible, sémantiquement aligné et cohérent au niveau de la mise en page. Les pipelines de construction de données actuels adhèrent largement à un paradigme statique crawl–filter–freeze (collecte–filtrage–gel). Dans ce flux de travail, les échantillons candidats sont collectés, filtrés une seule fois selon des règles fixes, et les données acceptées sont gelées pour l'entraînement. Crucialement, les échantillons rejetés sont écartés, bien qu'ils contiennent souvent des signaux diagnostiques précieux tels que des erreurs d'OCR, des décalages sémantiques ou des échecs de mise en page récurrents. Par conséquent, les cycles de construction ultérieurs répètent fréquemment les mêmes modes d'échec car le système manque de mécanisme pour apprendre de ces rejets. Le problème central abordé est la manière de transformer ces cas d'échec mis de côté en un feedback exploitable pour améliorer de manière itérative la politique de construction elle-même, plutôt que de les traiter comme des sous-produits inutilisables.

Méthodologie : Le Framework DataEvolver

Les auteurs proposent DataEvolver, un framework multi-agents auto-évolutif qui reformule la construction de données comme un processus d'évolution de politique piloté par le feedback. Au lieu d'un pipeline en une seule étape, DataEvolver opère en boucle fermée impliquant quatre agents coopératifs :

1. Retriever (Récupérateur) : Opère sous un espace de requête conditionné par une politique. Il génère des modèles de requêtes structurés pour des sujets et sous-sujets spécifiques, s'adaptant au fil du temps en fonction du feedback précédent pour assurer la couverture et la diversité. Il collecte des images candidates à partir de sources externes.
2. Verifier (Vérificateur) : Un module de vérification fixe qui évalue le pool de candidats. Il applique des évaluations de qualité multidimensionnelles (qualité d'image perceptuelle, reconnaissance de texte via OCR et cohérence sémantique) pour séparer les échantillons en un ensemble de passage (pass set) et un ensemble de rejet (rejection set). Crucialement, il agrège les causes de rejet (ex: flou, doublons, échec OCR) en un signal de feedback structuré.
3. Critic (Critique) : Cet agent distille le feedback au niveau du cycle et les modèles de rejet en un feedback sémantique en langage naturel. Il analyse les statistiques (taux de réussite, qualité OCR, distributions de rejet) pour identifier les modes d'échec dominants, les sujets sous-couverts et les modèles de requêtes inefficaces. Le Critic met ensuite à jour la politique de construction en générant des instructions pour la diversification des requêtes, l'affinement des prompts et les mises à jour de la mémoire d'expérience.
4. Generator (Générateur) : Pour combler les lacunes de couverture que la simple récupération ne peut remplir (ex: sujets rares ou mises en page complexes), le Générateur effectue une complétion synthétique ciblée. Il identifie les paires sujet-sous-sujet sous-représentées et synthétise de nouveaux échantillons candidats spécifiquement pour ces régions. Ces échantillons synthétiques subissent le même processus de vérification, et leurs échecs sont transmis au Critic pour un affinement ultérieur des prompts.

Le système maintient une Experience Library (bibliothèque d'expérience) qui stocke le feedback sémantique à haute valeur et les modèles de requêtes efficaces, permettant au framework de réutiliser les stratégies réussies tout en évitant une accumulation redondante de mémoire. L'ensemble du processus met à jour la politique de construction (requêtes de récupération, prompts de génération et mémoire d'expérience) dans l'espace du langage naturel sans mettre à jour les paramètres des modèles sous-jacents.

Principales Contributions

L'article expose trois contributions primaires :

• Une vision de la construction de données axée sur l'échec : Les auteurs reformulent la construction de données d'images riches en texte comme un processus itératif d'affinement de politique. Ils postulent que les échantillons rejetés doivent être traités comme des preuves diagnostiques réutilisables pour améliorer le processus de construction, plutôt que comme des sous-produits de filtrage jetés.
• Un framework multi-agent auto-évolutif : L'introduction de DataEvolver, un système en boucle fermée qui convertit les résultats de vérification au niveau du cycle en un feedback sémantique réutilisable. Cela permet à la politique de construction de s'adapter dynamiquement aux modèles d'échec observés.
• Évaluation multi-échelle : Une évaluation complète sous budgets de données équivalents sur TextScenesHQ et LongTextBench. L'étude démontre que les bénéfices du framework ne sont pas liés à un seul générateur en aval, montrant des améliorations constantes à travers différents modèles.

Résultats Expérimentaux

Le framework a été évalué en affinant des générateurs d'images riches en texte en aval (PixArt-α et Show-o2) utilisant des données construites par DataEvolver, en comparaison avec des bases de référence solides (MARIO-10M et AnyWord-3M) sous des budgets de données équivalents.

• Gains de Performance : À l'échelle 0.75M sur PixArt-α, DataEvolver a amélioré le score OCR-F1 de 85,3 % sur TextScenesHQ (passant de 4,56 à 8,45) et de 35,3 % sur LongTextBench (passant de 6,71 à 9,08) par rapport à la base de référence la plus forte. Des tendances similaires ont été observées sur Show-o2.
• Spécificité des Métriques : Les améliorations ont été les plus prononcées dans les métriques orientées OCR (précision, rappel et F1), indiquant un meilleur rendu de texte et une meilleure lisibilité. Bien que les scores CLIP (alignement sémantique) aient varié, DataEvolver a systématiquement atteint la couverture de texte et la reconnaissabilité les plus élevées.
• Études d'Ablation : Le retrait du Critic a provoqué la chute de performance la plus significative, confirmant que la conversion des causes de rejet en feedback de niveau politique est essentielle. Le retrait du Generator a également dégradé les performances, soulignant la nécessité d'une complétion synthétique ciblée pour la couverture de la longue traîne.
• Tendances de Mise à l'Échelle (Scaling) : À mesure que les budgets de données augmentaient de 0,1M à 0,75M, DataEvolver surpassait systématiquement les bases de référence fixes, suggérant que le framework passe à l'échelle efficacement avec le volume de données.
• Analyse du Processus : Les statistiques lors de la construction ont montré que DataEvolver produisait des échantillons avec une confiance OCR plus élevée et une meilleure couverture de sujets, avant même l'entraînement en aval. La distribution des causes de rejet a évolué au fil du temps, les échecs faciles (comme les doublons) étant réduits, laissant les problèmes résiduels plus difficiles à traiter lors des cycles ultérieurs.

Signification et Revendications

L'article affirme que DataEvolver démontre que les échantillons rejetés contiennent un feedback exploitable pour améliorer la construction de données d'images riches en texte. En traitant la construction de jeux de données comme un processus adaptatif plutôt que comme une étape de prétraitement fixe, le framework transforme avec succès les échecs lors de la construction en mises à jour sémantiques de la politique.

Les auteurs soulignent que les bénéfices sont généralisables à différents générateurs en aval (PixArt-α et Show-o2) et ne sont pas de simples artefacts d'une architecture de modèle spécifique. Le travail suggère que le paradigme "crawl–filter–freeze" est sous-optimal pour des tâches complexes comme la génération d'images riches en texte, et qu'une évolution de politique pilotée par le feedback peut produire des données d'entraînement de bien meilleure qualité sous des contraintes de ressources identiques.

L'article note modestement des limites, reconnaissant que les tendances d'échelle observées doivent être interprétées comme des tendances plutôt que comme des lois d'échelle strictes en raison du nombre limité de points de données. Il note également la dépendance du framework vis-à-vis de la fiabilité du Vérificateur (OCR et scoring sémantique) et se concentre principalement sur la génération d'images riches en texte, laissant les applications multimodales plus larges comme une direction pour les travaux futurs.