METATR: A Multilingual, Evolving Benchmark for Automatic Text Recognition

Imaginez que vous embauchiez une équipe de traducteurs pour lire une immense bibliothèque poussiéreuse remplie de livres venant de tous les coins du monde. Certains livres sont des journaux modernes nets, imprimés en anglais parfait. D'autres sont des manuscrits médiévaux en ruine, écrits à l'encre fanée, avec une écriture étrange, des mises en page bizarres et des langues que plus personne ne parle.

Pendant longtemps, le « test » pour ces traducteurs (que le papier appelle Reconnaissance Automatique de Texte ou RAT) était comme un examen de conduite sur une autoroute vide et ensoleillée. Les voitures (les modèles d'IA) pouvaient rouler à 99 % parfaitement parce que la route était facile. Les gens ont commencé à dire : « La conduite est résolue ! Nous n'avons plus besoin de tester. »

Mais dans le monde réel, les routes sont pleines de nids-de-poule, de brouillard et de détours confus. Les auteurs de ce papier, METATR, ont réalisé que les anciens tests nous mentaient. Ils ont construit une nouvelle piste d'essai beaucoup plus difficile pour voir quels modèles d'IA peuvent réellement gérer la bibliothèque désordonnée du monde réel.

Voici ce qu'ils ont découvert, expliqué simplement :

1. La nouvelle piste d'essai (METATR)

Au lieu de simplement tester sur du texte anglais moderne et propre, les auteurs ont créé un « test de stress » appelé METATR.

• La variété : Ils ont rassemblé 453 pages de documents provenant de 17 sources différentes. C'est comme un album des « plus grands succès » de documents difficiles.
• Le mélange : Il inclut 29 langues différentes (de l'arabe au vietnamien), différents systèmes d'écriture (comme le grec ancien ou le japonais) et différentes conditions (lettres manuscrites, vieux journaux, mises en page multi-colonnes).
• L'objectif : Ils ne voulaient pas seulement voir qui était le plus rapide ; ils voulaient voir qui pouvait lire une page manuscrite et désordonnée dans une langue sur laquelle il n'avait pas été spécifiquement entraîné, sans inventer de mots (hallucinations) ni lire le texte dans le mauvais ordre.

2. Les coureurs (Les modèles)

Ils ont mis trois types de « pilotes » sur cette piste :

• Les mécaniciens spécialisés (OCR traditionnel) : Ce sont des outils anciens conçus spécifiquement pour lire du texte. Ils sont comme un chariot élévateur spécialisé : excellents pour déplacer des boîtes (texte imprimé propre) mais terribles pour naviguer dans un salon encombré et désordonné (manuscrits, mises en page complexes).
• Les bricoleurs open-source : Ce sont des modèles construits par la communauté. Certains sont petits et rapides, d'autres sont grands et puissants. Ils sont comme une équipe de mécaniciens de garage. Certains sont étonnamment bons, mais ils ont tendance à être inconstants : parfois ils conduisent comme des champions, d'autres fois ils percutent un mur.
• Les géants de la technologie (Modèles propriétaires) : Ce sont les modèles massifs et coûteux de sociétés comme Google (Gemini), Anthropic (Claude) et OpenAI. Ils sont comme des voitures de Formule 1 avec les plus gros moteurs et le meilleur carburant.

3. Les résultats de la course

Lorsqu'ils ont couru sur cette piste difficile, les résultats étaient clairs :

• Les géants de la technologie ont gagné (pour la plupart) : Les « voitures de Formule 1 » (spécifiquement Gemini 3 Pro et Claude Opus 4.5) ont été les plus constantes. Ils ont mieux géré l'écriture manuscrite désordonnée, les mises en page étranges et les langues rares que quiconque. Ils ont fait le moins d'erreurs.
• Les mécaniciens spécialisés ont lutté : Les outils anciens étaient excellents pour lire des journaux modernes et propres, mais se sont désintégrés face à l'écriture manuscrite historique ou aux mises en page complexes. Ils ne pouvaient pas s'adapter.
• Les bricoleurs open-source étaient mitigés : Les plus grands modèles open-source (comme Qwen ou olmOCR) pouvaient rivaliser avec les géants sur certaines pistes, mais ils étaient beaucoup plus imprévisibles. Parfois, ils faisaient de bons résultats ; d'autres fois, ils commettaient des erreurs énormes, en particulier avec des écritures difficiles comme le khmer ou le japonais.
• L'obstacle de l'« écriture manuscrite » : Lire du texte imprimé était facile pour tout le monde. Mais lire du texte manuscrit était le véritable tueur. Même les meilleurs modèles ont lutté ici, bien que les géants de la technologie aient été encore les moins susceptibles d'échouer.

4. Le coût de la vitesse

Le papier a également examiné la « facture de carburant » (coût de calcul et vitesse).

• Les géants sont lents et chers : Les modèles les plus performants (Gemini, Claude) prennent beaucoup de temps pour lire une page et coûtent de l'argent à utiliser. Ils sont comme un taxi de luxe : un excellent service, mais vous payez pour cela.
• Les mécaniciens sont rapides et bon marché : Les outils spécialisés (comme PeroOCR) sont incroyablement rapides et fonctionnent sur de petits ordinateurs. Ils sont comme un vélo : bon marché et rapide, mais ils ne peuvent pas gravir les collines raides (documents complexes).
• Le juste milieu : Les modèles open-source se situent au milieu. Ils ont besoin d'ordinateurs puissants (cartes graphiques coûteuses) pour fonctionner, et ils sont plus lents que les mécaniciens mais plus rapides que les géants.

La conclusion

Le papier conclut que l'idée selon laquelle « la reconnaissance de texte est résolue » est fausse.

Si vous ne testez que sur un anglais moderne et propre, vous obtenez un faux sentiment de sécurité. Mais si vous lancez un document historique, multilingue et désordonné sur ces systèmes, les performances chutent considérablement.

La leçon pour toute personne essayant d'utiliser ces outils :
Il n'y a pas de « meilleur » modèle unique pour tout.

• Si vous avez besoin de la plus grande précision sur des documents historiques et désordonnés et que cela ne vous dérange pas de payer ou d'attendre, les modèles des géants de la technologie sont actuellement le meilleur choix.
• Si vous lisez des milliers de pages modernes et propres et que vous avez besoin de vitesse et de faible coût, les outils spécialisés restent la voie à suivre.
• Les modèles open-source sont un compromis prometteur, mais vous devez faire attention car ils peuvent être imprévisibles.

Les auteurs ont créé cette référence afin que, à l'avenir, nous puissions suivre les progrès non seulement sur « peut-il lire l'anglais ? » mais aussi sur « peut-il lire n'importe quoi, n'importe où, sans rien inventer ? »