FireRed-OCR Technical Report

Ce rapport présente FireRed-OCR, un cadre innovant transformant les modèles VLM généraux en experts de l'OCR structurel grâce à une usine de données géo-sémantique et une stratégie d'entraînement progressive, permettant d'atteindre des performances de pointe sur OmniDocBench v1.5.

L'essentiel

🌟 FireRed-OCR : L'Artisan qui transforme le Chaos en Ordre

Imaginez que vous avez un génie très intelligent (un modèle d'IA généraliste) capable de décrire n'importe quelle image avec des mots. Il peut dire : "C'est un document avec du texte et un tableau". Mais si vous lui demandez de recopier ce document mot pour mot, en respectant exactement la mise en page, les formules mathématiques et les lignes du tableau, il commence à halluciner.

Il invente des lignes de tableau qui n'existent pas, mélange les paragraphes, ou écrit des formules mathématiques illisibles. C'est ce que les auteurs appellent l'"Hallucination Structurelle". Le génie comprend le sens, mais il est mauvais dans les règles du jeu (la structure).

FireRed-OCR est la solution pour transformer ce génie un peu distrait en un expert de précision capable de numériser n'importe quel document (factures, thèses, journaux) sans faire d'erreur.

Voici comment ils ont fait, en trois étapes simples :

1. La "Fabrique à Données" : Un Tri Sélectif Intelligent 🏭

Pour apprendre à l'IA, il faut lui montrer des exemples. Mais la plupart des exemples trouvés sur internet sont désordonnés ou trop simples (comme des livres de contes).

• Le problème : Si vous donnez à un élève uniquement des exercices de niveau primaire, il ne saura pas résoudre des problèmes de niveau universitaire.
• La solution de FireRed : Ils ont créé une "Usine à Données". Au lieu de prendre des documents au hasard, ils utilisent un système de tri double :
  • La Géométrie : Ils regardent la forme du document (est-ce un tableau ? est-ce une colonne ?).
  • La Sémantique : Ils regardent le contenu (est-ce une facture ? un contrat ?).
  • L'Analogie : Imaginez un chef cuisinier qui ne veut pas juste des légumes, mais des légumes très spécifiques (des carottes fines, des poivrons rouges). Il trie ses ingrédients pour s'assurer d'avoir exactement ce qu'il faut pour chaque recette, même les plus rares.

2. L'Entraînement en Trois Actes (Le Parcours du Combattant) 🎓

Au lieu de lancer l'IA directement dans le grand bain, ils l'ont formée progressivement, comme un athlète qui prépare ses Jeux Olympiques.

• Étape 1 : L'Apprentissage des Sens (Pré-alignement)
  • Avant d'écrire, l'IA doit apprendre à voir. On lui apprend à pointer du doigt exactement où se trouve un mot sur la page (les coordonnées) et à lire ce mot. C'est comme apprendre à un enfant à tenir un crayon avant de lui demander d'écrire un roman.
• Étape 2 : La Réécriture (SFT - Affinement Supervisé)
  • Maintenant qu'elle voit bien, on lui apprend à écrire proprement. On lui montre des milliers de documents convertis parfaitement en format "Markdown" (un langage simple pour structurer du texte). Elle apprend à respecter les règles : "Si c'est un titre, mets un #", "Si c'est une liste, mets un tiret".
• Étape 3 : Le Coach de Discipline (GRPO)
  • C'est la partie la plus géniale. Même avec de l'entraînement, l'IA peut encore faire des erreurs de logique (oublier de fermer une parenthèse, casser un tableau).
  • Ils utilisent une technique appelée GRPO (Optimisation de Politique Relative de Groupe).
  • L'Analogie : Imaginez un professeur qui demande à 10 élèves de faire le même exercice. Il compare leurs réponses. Si un élève oublie de fermer une table, il reçoit un "mauvais point". S'il respecte la structure, il reçoit un "bon point". L'IA apprend alors par elle-même à éviter les erreurs qui lui valent des points négatifs. Elle devient son propre coach de discipline.

3. Les Résultats : Un Petit Géant 🏆

Le résultat est surprenant. Le modèle FireRed-OCR est "petit" (il n'a que 2 milliards de paramètres, ce qui est minuscule pour une IA moderne), mais il bat des géants qui ont des centaines de milliards de paramètres.

• Sur le banc d'essai (OmniDocBench) : Il a obtenu un score de 92,94 %, ce qui est le meilleur score mondial actuel.
• Ce qu'il sait faire :
  • Il peut lire des formules mathématiques complexes et les écrire correctement en code LaTeX (comme un mathématicien).
  • Il peut reconstruire des tableaux financiers avec des cellules fusionnées, sans mélanger les lignes.
  • Il comprend l'ordre de lecture dans des journaux avec des colonnes verticales et horizontales (comme dans les journaux chinois ou les magazines).
  • Il lit même l'écriture manuscrite sale sur des feuilles quadrillées.

En Résumé 🎯

FireRed-OCR ne cherche pas à inventer un nouveau cerveau. Il prend un cerveau généraliste existant et lui apprend, grâce à des données triées au laser et un entraînement discipliné, à devenir un expert de la structure.

C'est comme prendre un grand écrivain qui a tendance à faire des fautes de frappe et à oublier la ponctuation, et en faire un secrétaire de bureau parfait qui respecte scrupuleusement la mise en page, les tableaux et les règles de grammaire, le tout en étant plus rapide et moins cher que les géants actuels.

Le message clé : Pour l'avenir de l'IA dans le monde réel (banques, hôpitaux, administrations), ce n'est pas la taille du modèle qui compte le plus, mais la qualité de son entraînement et sa capacité à respecter les règles strictes des documents.

Résumé technique

Titre : FireRed-OCR : Un cadre systématique pour transformer les VLMs généraux en experts de l'OCR structurel

1. Problématique : L'illusion structurelle dans les VLMs

Bien que les grands modèles vision-langage (VLM) comme GPT-4V ou Qwen-VL excellent dans la compréhension générale d'images, ils échouent souvent dans les tâches d'intelligence documentaire complexes (rapports financiers, articles académiques, formulaires).

• Le problème central : L'"illusion structurelle" (Structural Hallucination). Les modèles génèrent du texte sémantiquement correct mais structurellement erroné (ex: lignes de tableaux désordonnées, syntaxe LaTeX invalide, omission de la logique hiérarchique).
• Conséquence : Ces erreurs rendent les sorties inutilisables pour les applications industrielles qui nécessitent une précision pixel et une intégrité syntaxique stricte.
• Limites des approches existantes :
  • Les systèmes OCR traditionnels (pipeline) sont précis au niveau des pixels mais manquent de compréhension sémantique pour reconstruire l'ordre de lecture ou les structures complexes.
  • Les modèles End-to-End (E2E) récents capturent mieux la sémantique mais peinent avec l'ancrage spatial fin et la conformité syntaxique stricte.

2. Méthodologie : FireRed-OCR

FireRed-OCR est un cadre conçu pour spécialiser un VLM général (basé sur Qwen3-VL) en un expert de l'analyse structurelle de documents. L'approche repose sur deux piliers : une usine de données de haute précision et une stratégie d'entraînement progressive en trois étapes.

A. Usine de Données "Géométrie + Sémantique"
Pour pallier le manque de données structurées de haute qualité, les auteurs ont créé un pipeline automatisé :

• Extraction de caractéristiques géométriques et indexation double : Utilisation de clustering non supervisé sur les caractéristiques visuelles (topologie de mise en page) pour identifier et équilibrer les mises en page rares (longue traîne) par rapport aux textes simples.
• Étiquetage multidimensionnel : Classification par langue, type de mise en page, source et genre.
• Ré-annotation unifiée : Standardisation de toutes les données (y compris les données synthétiques générées via des templates HTML/CSS) en un format Markdown cohérent pour éviter les conflits de syntaxe.
• Contrôle qualité et raffinement : Un système à deux niveaux ("The Sieve" et "The Judge") filtre les données brutes. Les cas difficiles ("Hard Negatives") sont corrigés par des modèles experts (distillation) pour fournir une supervision de niveau expert.

B. Stratégie d'Entraînement Progressive (3 Étapes)

1. Pré-alignement Multi-tâches : Le modèle apprend d'abord la perception visuelle de base (détection de boîtes englobantes, OCR de régions) avant de tenter la génération de page entière. Cela ancre la compréhension visuelle du modèle.
2. Affinement Supervisé Spécialisé (SFT) : Entraînement sur des données Markdown de haute qualité pour standardiser la syntaxe, assurer la cohérence structurelle et la stabilité hiérarchique (en-têtes, listes imbriquées).
3. Optimisation de la Politique Relative par Groupe Contrainte par le Format (GRPO) :
   • Utilisation du Reinforcement Learning (RL) avec GRPO (plus efficace en mémoire que PPO).
   • Fonction de récompense composite : Pénalise les erreurs de syntaxe (formules LaTeX non compilables), les balises non fermées, l'intégrité des tableaux (colonnes incohérentes) et récompense l'exactitude textuelle.
   • Boucle itérative : Une alternance entre SFT et GRPO permet de raffiner la rigueur structurelle sans perdre la fidélité sémantique.

3. Contributions Clés

• Identification du goulot d'étranglement : Mise en évidence de l'illusion structurelle comme obstacle principal et proposition d'un changement de paradigme de la "génération de texte" vers l'"ingénierie structurelle".
• Usine de données innovante : Création d'un pipeline "Géométrie + Sémantique" garantissant un équilibre entre diversité des mises en page et qualité des annotations.
• Stratégie d'entraînement hybride : Introduction d'une approche en trois étapes intégrant le GRPO contraint par le format, améliorant considérablement la robustesse sur les mises en page complexes.
• Efficacité des paramètres : Démonstration qu'un modèle compact (2B paramètres) peut surpasser des géants (397B+ paramètres) grâce à un entraînement spécialisé.

4. Résultats Expérimentaux

Le modèle a été évalué sur plusieurs benchmarks, notamment OmniDocBench v1.5 et le nouveau FireRedBench.

• Performance Globale (OmniDocBench v1.5) : FireRed-OCR-2B obtient un score global de 92,94 %, établissant un nouvel état de l'art (SOTA).
  • Il surpasse DeepSeek-OCR 2 (91,09 %) et OCRVerse (88,56 %).
  • Il dépasse des modèles VLM massifs comme Qwen3.5-397B (90,80 %) et Gemini-3.0 Pro (90,33 %).
• Précision Structurelle :
  • Tableaux : Score TEDS de 90,31 %, surpassant largement Qwen3-VL-235B (86,21 %) et GPT-4o (67,07 %).
  • Ordre de lecture : Meilleure performance avec un score d'édition de 0,041.
  • Reconnaissance de texte : Distance d'édition la plus faible (0,032) parmi tous les modèles évalués.
• Robustesse (FireRedBench) : Sur ce benchmark testant des mises en page complexes et distordues, FireRed-OCR-2B (74,62 %) surpasse les systèmes pipeline complexes comme GLM-OCR (74,33 %) et reste compétitif face à PaddleOCR-VL-1.5.
• Efficacité : Le modèle 2B paramètres surpasse des modèles de plusieurs centaines de milliards de paramètres, prouvant que l'optimisation spécifique au domaine est plus efficace que le simple "scaling" des paramètres.

5. Signification et Impact

Ce travail démontre qu'il est possible de transformer un VLM généraliste en un expert de l'OCR industriel de haute précision sans nécessiter des architectures massives ou des pipelines complexes multi-étapes.

• Paradigme Reproductible : FireRed-OCR offre un modèle reproductible ("General VLM → Spécialized Structural Expert") pour la communauté.
• Open Source : Le code, les poids du modèle et une démo sont disponibles publiquement, facilitant l'adoption dans l'industrie.
• Avenir de l'OCR : Le rapport suggère que la combinaison de données de haute qualité, d'une ancre géométrique forte et de contraintes de format via le RL est la clé pour résoudre les problèmes d'illusions structurelles dans l'IA multimodale.

En résumé, FireRed-OCR résout le problème de la "structure hallucinée" en imposant une discipline syntaxique rigoureuse via un entraînement progressif, permettant à un modèle léger de surpasser les géants de l'IA sur des tâches documentaires complexes.