OCRGenBench: A Comprehensive Benchmark for Evaluating OCR Generative Capabilities

Ce papier présente OCRGenBench, un benchmark complet et unifié évaluant les capacités de synthèse visuelle de texte des modèles génératifs à travers 33 tâches variées et une métrique intégrée, révélant ainsi les limitations actuelles des modèles de pointe.

L'essentiel

Imaginez que vous demandez à un artiste très doué de dessiner une scène de rue, un document ancien ou une affiche publicitaire. Jusqu'à récemment, cet artiste était excellent pour dessiner des arbres, des chats ou des voitures, mais dès qu'il fallait écrire un mot, il se transformait en un enfant de 5 ans qui barbouille du papier : les lettres étaient illisibles, mal formées ou totalement inventées.

C'est le problème que les auteurs de cet article, OCRGenBench, ont voulu résoudre. Voici une explication simple de leur travail, avec quelques analogies pour mieux comprendre.

1. Le Problème : L'Artiste qui ne sait pas écrire

Les modèles d'intelligence artificielle (IA) actuels sont comme des chefs cuisiniers de génie qui savent préparer des plats complexes, mais qui échouent lamentablement à écrire le nom du plat sur l'assiette.

• Le constat : Les benchmarks (tests) existants étaient trop faciles ou trop limités. Ils demandaient à l'IA de dessiner un seul mot sur un poster, ce qui est facile. Mais dans la vraie vie, nous avons besoin de l'IA pour gérer des documents entiers, de l'écriture manuscrite, des textes déformés par la perspective, ou pour modifier un texte dans une image sans abîmer le reste.
• La métaphore : C'est comme si on testait un pilote de Formule 1 uniquement sur un circuit de karting plat. On ne sait pas s'il sait vraiment conduire s'il n'a jamais affronté la pluie, la boue ou des virages serrés.

2. La Solution : Le "Grand Examen" (OCRGenBench)

Les chercheurs ont créé OCRGenBench, un nouveau test ultra-complet. Imaginez-le comme un examen de maturité pour les IA, avec 33 épreuves différentes au lieu d'une seule.

Ce test couvre cinq grands domaines, comme cinq matières scolaires :

1. Les Documents : Comme des contrats ou des livres anciens (parfois très denses en texte).
2. L'Écriture Manuscrite : Comme des lettres personnelles ou des devoirs d'écoliers (très variables et difficiles à lire).
3. Le Texte dans la Rue : Comme les panneaux de signalisation ou les numéros de plaque d'immatriculation (souvent tordus ou flous).
4. Le Texte Artistique : Des logos ou des titres stylisés avec des polices de caractères folles.
5. Les Mise en Page Riches : Des affiches ou des diapositives où le texte doit s'intégrer parfaitement aux images et aux graphiques.

Ce qui rend ce test spécial :

• La difficulté : Il ne demande pas juste "écris 'Chat'". Il demande "écris 500 mots dans une écriture manuscrite chinoise sur un papier froissé, puis efface le mot 'chat' sans toucher au reste".
• La diversité : Il y a des images en anglais et en chinois, avec des formats bizarres (très longs, très carrés, etc.).
• L'objectif : Vérifier si l'IA comprend vraiment ce qu'on lui demande, si elle écrit juste, et si elle ne détruit pas l'image autour du texte.

3. Le Juge : La Note Unique (OCRGenScore)

Pour noter ces performances, les chercheurs ont inventé une nouvelle note magique appelée OCRGenScore.

• Imaginez un jury qui note sur trois critères :
  1. La justesse du texte : Est-ce que les mots sont bien écrits ? (Pas de fautes).
  2. La beauté de l'image : Est-ce que l'image est jolie et réaliste ?
  3. Le respect des consignes : Est-ce que l'IA a fait exactement ce qu'on lui a demandé ?
• Cette note combine tout cela en un seul chiffre sur 100, pour comparer facilement les différents modèles.

4. Les Résultats : Qui a réussi l'examen ?

Les chercheurs ont testé 19 des meilleures IA du monde (certaines gratuites, d'autres payantes). Le verdict est sans appel :

• La plupart échouent : La majorité des modèles obtiennent moins de 60/100. C'est comme un élève qui a besoin de rattrapage.
• Les leaders : Seuls deux modèles (Nano Banana Pro et Flux.2-dev) dépassent la barre des 70, mais même eux ne sont pas parfaits.
• Les faiblesses révélées :
  • L'aveugle : Les IA ont du mal à trouver où placer le texte dans une image remplie de mots. Elles écrivent souvent au mauvais endroit.
  • Le destructeur : Quand on demande de changer un mot, elles effacent souvent le texte voisin ou déforment l'image.
  • Le halluciné : Parfois, au lieu d'écrire le mot demandé, elles inventent des mots bizarres ou dessinent des objets qui n'ont rien à voir (comme un humain dans un document).
  • Le petit texte : Elles sont excellentes pour écrire en gros, mais dès qu'il faut écrire de tout petits caractères (comme dans un document juridique), elles deviennent illisibles.
  • Le biais linguistique : Elles parlent très bien anglais, mais beaucoup moins bien chinois. C'est comme si l'IA avait étudié uniquement dans une école anglophone.

5. Pourquoi c'est important ?

Aujourd'hui, nous voulons utiliser l'IA pour numériser des vieux documents, créer des publicités, ou aider les gens à écrire. Si l'IA ne maîtrise pas l'écriture, elle est inutile pour ces tâches.

OCRGenBench est comme un guide de construction pour les ingénieurs. Il leur montre exactement où sont les trous dans leur voiture (les IA) pour qu'ils puissent les réparer. L'objectif final est de créer des IA qui ne sont pas seulement de "jolis dessinateurs", mais de véritables maîtres de la communication visuelle, capables de lire, écrire et modifier n'importe quel texte dans n'importe quelle situation, aussi complexe soit-elle.

En résumé : L'IA a appris à dessiner, mais elle doit encore apprendre à écrire correctement avant de pouvoir nous aider dans le monde réel. Ce papier est la première carte détaillée pour l'aider à y parvenir.

Résumé technique

1. Problématique

L'amélioration de la synthèse de texte visuel (génération et édition d'images contenant du texte) représente une frontière majeure pour les modèles de génération d'images. Bien que les modèles de l'état de l'art (SOTA) aient fait des progrès remarquables, leur évaluation réelle reste entravée par les limites des benchmarks existants :

• Portée étroite : La plupart se concentrent uniquement sur le texte de scène (scene text) et les affiches, négligeant des catégories cruciales comme les documents, l'écriture manuscrite et les textes artistiques.
• Évaluation isolée : Ils traitent souvent la génération (Text-to-Image) et l'édition séparément, sans évaluer la capacité holistique d'un modèle à gérer l'ensemble des tâches OCR (Optical Character Recognition) génératives.
• Manque de difficulté : Les scénarios actuels manquent de complexité (densité de texte élevée, petits caractères, ratios d'aspect extrêmes, contenu bilingue), ne testant pas les limites réelles des modèles dans des conditions du monde réel.

Il existe donc un vide critique pour un benchmark unifié capable d'évaluer de manière standardisée les capacités génératives OCR (OCR generative capabilities) des modèles modernes.

2. Méthodologie

Les auteurs proposent OCRGenBench, un benchmark complet unifiant trois types de tâches : la génération Text-to-Image (T2I), l'édition de texte et la traduction image-à-image (I2I) liée à l'OCR.

A. Construction du Benchmark (OCRGenBench)

• Couverture des tâches : Le benchmark regroupe 33 tâches OCR génératives réparties en 5 catégories de texte :
  1. Documents (modernes et historiques).
  2. Écriture manuscrite.
  3. Texte de scène (panneaux, plaques d'immatriculation).
  4. Texte artistique (typographie stylisée).
  5. Texte à mise en page riche (diapositives, affiches).
• Données : Le jeu de données contient 1 060 échantillons annotés manuellement, formant des triplets (Instruction, Image d'entrée, Image de vérité terrain - GT).
  • Les données incluent des scénarios difficiles : génération de pages entières, édition de documents denses, ratios d'aspect extrêmes (jusqu'à 16:1 pour l'écriture manuscrite) et contenu bilingue (Chinois et Anglais).
• Processus : Une construction rigoureuse "human-in-the-loop" a été utilisée pour les tâches d'édition, impliquant des éditeurs professionnels et des vérifications itératives pour garantir l'originalité et éviter la contamination des données d'entraînement.

B. Métrique d'Évaluation (OCRGenScore)

Pour pallier l'absence de métrique unifiée, les auteurs proposent OCRGenScore, une métrique composite normalisée sur une échelle de 0 à 100. Elle agrège plusieurs indicateurs selon la nature de la tâche :

• Génération T2I : Utilisation de VIEScore (basé sur un LLM comme juge pour la cohérence sémantique et la qualité esthétique) et du Taux de Précision (AR) pour l'exactitude du texte (via PPOCRv5).
• Édition et I2I : Utilisation de métriques standard comme LPIPS (qualité perceptuelle), MS-SSIM (similarité structurelle), Document-Distortion (DD) pour le redressement, et AR pour la précision du texte édité.
• Calcul : Toutes les métriques sont normalisées dans l'intervalle [0, 1] et moyennées pour obtenir le score final.

3. Contributions Clés

1. OCRGenBench : Le premier benchmark unifié et le plus complet à ce jour pour évaluer les capacités génératives OCR, couvrant 5 catégories de texte et 33 tâches variées.
2. OCRGenScore : Une métrique unifiée permettant une comparaison automatique et directe des modèles sur l'ensemble du spectre des tâches OCR génératives.
3. Analyse Systématique : L'évaluation de 19 modèles SOTA (modèles unifiés et spécialisés, sources ouvertes et fermées), révélant des limites critiques non détectées par les benchmarks précédents.

4. Résultats Expérimentaux

Les expériences ont été menées sur 19 modèles, dont des modèles unifiés (ex: Nano Banana Pro, BAGEL) et des modèles de génération spécialisée (ex: Flux.2-dev, Qwen-Image).

• Performance Globale Faible : La majorité des modèles obtiennent un score OCRGenScore inférieur à 60/100. Seuls deux modèles dépassent 70 :
  • Nano Banana Pro (Source fermée, modèle unifié) : 77,19.
  • Flux.2-dev (Source ouverte, spécialisé) : 70,19.
• Comparaison Architecturale :
  • Les modèles unifiés (Closed-Source) montrent un potentiel élevé mais des écarts importants avec les solutions open-source.
  • Les modèles spécialisés (Open-Source) surpassent souvent les modèles unifiés open-source, suggérant que l'architecture spécialisée est actuellement plus efficace pour les tâches OCR précises.
• Difficultés Spécifiques :
  • Les tâches de restauration (dédoublage, défloutage, restauration de documents historiques) sont beaucoup plus difficiles que la génération créative (T2I).
  • Les modèles échouent souvent sur les textes denses et les petits caractères.
  • Biais Linguistique : Les modèles performent nettement mieux sur l'anglais que sur le chinois. Plusieurs modèles open-source échouent complètement à générer du texte chinois correct.

5. Signification et Découvertes Majeures

L'analyse approfondie menée par les auteurs met en lumière huit limitations critiques des modèles actuels :

1. Localisation du texte : Les modèles manquent de précision pour localiser les zones de texte spécifiques dans des documents denses, entraînant des éditions incorrectes.
2. Incohérence des éléments non ciblés : Lors de l'édition, les modèles modifient souvent le texte environnant ou les objets visuels non ciblés.
3. Hallucinations et suivi d'instructions : Les modèles génèrent parfois du contenu non demandé ou ne respectent pas les contraintes (ex: majuscules/minuscules), surtout dans les tâches complexes.
4. Synthèse de texte dense et long : La génération de longs paragraphes ou de textes historiques complexes reste un défi majeur, produisant souvent du texte illisible.
5. Compréhension insuffisante : Les modèles manquent de connaissances du monde réel et de logique commune (ex: comprendre l'ordre des auteurs, les règles de mise en page).
6. Faiblesse dans les domaines verticaux : Les tâches spécialisées (restauration de documents, super-résolution de texte de scène) sont mal traitées par les modèles généralistes.
7. Biais Anglophone : Une performance nettement supérieure en anglais par rapport au chinois, soulignant un manque de diversité linguistique dans les données d'entraînement.
8. Encodage/Décodage grossier : L'incapacité à générer des caractères de petite taille est due à des mécanismes de représentation visuelle trop grossiers (limitations des VAE).

Conclusion

OCRGenBench établit une nouvelle norme pour l'évaluation des modèles génératifs dans le domaine du texte visuel. Il démontre que, malgré les avancées récentes, les modèles actuels sont loin d'être prêts pour des applications OCR génératives robustes et fiables dans des scénarios réels complexes. Ce benchmark guide la recherche future vers l'amélioration de la fidélité pixel, de la compréhension sémantique et de la diversité linguistique des modèles de génération.

Le benchmark et le code d'évaluation sont disponibles publiquement sur GitHub.