An Effective Data Augmentation Method by Asking Questions about Scene Text Images

Cette proposition de cadre d'augmentation de données inspiré du VQA améliore la reconnaissance de texte dans les images en générant des questions structurées sur les attributs des caractères pour renforcer le raisonnement fin des modèles OCR, ce qui se traduit par une réduction significative des taux d'erreur sur les jeux de données WordArt et Esposalles.

L'essentiel

Imaginez que vous essayez d'apprendre à un enfant à lire des panneaux de rue ou des lettres manuscrites. La méthode traditionnelle, c'est comme lui montrer une image et lui dire : « Dis-moi ce que ça dit ». L'enfant regarde, devine le mot entier et répond. C'est bien, mais parfois, il se trompe parce qu'il n'a pas vraiment compris comment le mot est construit.

Les auteurs de cet article, Xu Yao et Lei Kang, ont eu une idée brillante : au lieu de juste demander « Qu'est-ce que c'est ? », posons plein de petites questions précises sur le mot.

Voici une explication simple de leur méthode, avec quelques images pour mieux comprendre :

1. Le Problème : Le "Bâton de Sourde"

Les ordinateurs actuels qui lisent des textes (l'OCR) sont souvent comme des gens qui lisent très vite sans vraiment réfléchir. Ils voient une forme globale et devinent le mot. Si le texte est écrit de travers, avec une écriture bizarre ou sur un fond coloré (comme dans une affiche de pub), ils se trompent. Ils manquent de détails.

2. La Solution : Le Jeu des Détectives (VQA)

Les chercheurs proposent de transformer l'apprentissage du robot en un jeu de questions-réponses, un peu comme un jeu de "Qui est-ce ?" ou un quiz.

Au lieu de juste donner l'image et attendre le mot, le système pose des questions spécifiques sur chaque lettre du mot, basées sur la réponse correcte (que l'ordinateur connaît déjà pendant l'entraînement).

Imaginez que le mot est "HELLO" :

• Question classique : « Qu'est-ce que c'est ? » -> Réponse : « HELLO ».
• Nouvelle méthode (leurs questions) :
  • « Est-ce qu'il y a un 'L' dans ce mot ? » (Réponse : Oui)
  • « Combien de fois le 'L' apparaît-il ? » (Réponse : 2 fois)
  • « Quelle est la 3ème lettre ? » (Réponse : 'L')
  • « Le mot commence-t-il par 'H' ? » (Réponse : Oui)

3. Comment ça marche ? (L'Analogie du Chef et du Sous-chef)

Leur système est comme un Chef cuisinier (l'image) et un Sous-chef qui pose des questions (le texte).

• L'Image (Le Chef) : Il regarde l'ingrédient (le mot sur l'image).
• La Question (Le Sous-chef) : Il demande : « Est-ce qu'il y a du sel ? » ou « Combien de carottes ? ».
• L'Apprentissage : Le robot doit apprendre à regarder l'image en même temps qu'il écoute la question. Il ne se contente plus de mémoriser la forme globale du mot. Il doit comprendre la structure : « Ah, si on me demande la 3ème lettre, je dois me concentrer sur la lettre du milieu, pas juste sur le mot entier. »

C'est comme si on apprenait à un élève non seulement à réciter une poésie, mais aussi à expliquer pourquoi telle virgule est là, ou combien de fois tel mot revient. Cela force le cerveau (ou le robot) à être beaucoup plus attentif aux détails.

4. Le Résultat : Plus de Précision

Ils ont testé cette méthode sur deux types de textes difficiles :

1. Des affiches artistiques (WordArt) : Où les polices sont bizarres et colorées.
2. Des vieux documents manuscrits (Esposalles) : Où l'écriture est illisible, effacée ou très personnelle.

Le verdict ?
Le robot qui a appris avec ce "jeu de questions" a beaucoup mieux réussi que les robots classiques. Il fait beaucoup moins de fautes d'orthographe (CER) et de mots mal lus (WER).

En résumé

Au lieu de faire apprendre aux ordinateurs à lire par cœur en leur montrant des images, les chercheurs leur ont appris à raisonner en leur posant des questions sur chaque lettre. C'est comme passer d'un élève qui apprend par cœur à un élève qui comprend vraiment la grammaire et la structure des mots.

C'est une méthode intelligente qui n'a pas besoin de créer de nouvelles images (ce qui est long et coûteux), mais qui utilise simplement les images existantes pour poser plus de questions, rendant l'apprentissage beaucoup plus riche et efficace.

Résumé technique

1. Problématique

La reconnaissance de texte dans les scènes naturelles (STR) et la reconnaissance de texte manuscrit (HTR) rencontrent des difficultés majeures pour transcrire avec précision le contenu textuel des images. Les modèles OCR conventionnels tendent à prédire directement des transcriptions complètes (mots ou phrases), ce qui limite la capacité du modèle à raisonner finement sur la structure du texte au niveau des caractères. De plus, ces modèles souffrent souvent d'un écart de domaine entre les données d'entraînement synthétiques et les données réelles, ou d'un manque de données variées pour le texte manuscrit, entraînant un surapprentissage (overfitting).

2. Méthodologie

Les auteurs proposent un cadre d'augmentation de données inspiré du Visual Question Answering (VQA). Au lieu de modifier les images (comme le font les augmentations traditionnelles), cette approche enrichit le signal de supervision en générant des questions en langage naturel basées sur les transcriptions de vérité terrain (ground-truth).

A. Formulation du problème

Le cadre étend la tâche OCR standard (mapping Image $\to$ Texte) en introduisant trois espaces interconnectés :

1. Espace d'images ($X$) : Les images de texte.
2. Espace de questions ($Q$) : Des questions sur le contenu textuel.
3. Espace de réponses ($A$) : Les réponses dérivées de la vérité terrain.

Le modèle apprend une fonction $h(q, I) = a$ qui mappe une paire (question, image) vers une réponse. La tâche OCR standard est vue comme un cas particulier où la question est « Quel est ce mot ? ».

B. Architecture du modèle

L'architecture s'appuie sur le modèle TrOCR (basé sur BEiT pour l'encodeur visuel et RoBERTa pour le décodeur) avec une innovation clé :

• Mécanisme d'attention croisée (Cross-modal Attention) : Inséré après le 9ème bloc du transformateur visuel.
• Fonctionnement : Les caractéristiques visuelles (requêtes) sont combinées avec les caractéristiques textuelles de la question (clés et valeurs) via un mécanisme d'attention multi-têtes. Cela permet au modèle d'aligner les features visuelles avec les requêtes textuelles pour un raisonnement conjoint.
• Le modèle génère ensuite la séquence de caractères de manière auto-régressive.

C. Taxonomie des questions et stratégie de génération

Pour chaque paire image-texte, le système génère des questions structurées selon une taxonomie de 5 catégories, chacune contenant deux sous-catégories :

1. Reconnaissance : « Quel est ce mot ? » (Tâche de base).
2. Présence de caractères : Existence (« Le 'L' est-il présent ? ») et Fréquence (« Combien de fois 'L' apparaît-il ? »).
3. Analyse positionnelle : Position (« Quel est le caractère à la position 2 ? ») et Relation (« Le 'E' vient-il avant le 'H' ? »).
4. Analyse structurelle : Longueur et Répétition.
5. Analyse des limites : Début et Fin du mot.

Une stratégie d'échantillonnage probabiliste est utilisée pendant l'entraînement. Chaque échantillon contient toujours la question de reconnaissance de base, plus deux questions issues d'une seule catégorie d'attributs sélectionnée aléatoirement selon des probabilités optimisées (ex: 30% pour les catégories les plus efficaces, 15% pour la moins efficace).

3. Contributions Clés

1. Paradigme d'augmentation VQA : Introduction d'une nouvelle méthode transformant les échantillons d'entraînement en multiples tâches de questions-réponses pour améliorer l'apprentissage de l'OCR sans données visuelles supplémentaires.
2. Taxonomie structurée : Définition d'un système de questions systématique couvrant les attributs au niveau des caractères (présence, position, fréquence, structure) pour fournir une supervision fine.
3. Validation empirique : Démonstration de gains constants sur des jeux de données variés (texte artistique et manuscrit historique) sans nécessiter de nouvelles données d'annotation.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux jeux de données :

• WordArt : Texte artistique (posters, affiches).
• Esposalles : Documents manuscrits historiques (registres de mariage).

Les performances sont mesurées par le taux d'erreur de caractères (CER) et le taux d'erreur de mots (WER).

Comparaison avec les baselines :

• Sur WordArt : La méthode proposée (VQA-augmented) atteint un WER de 27,26 % et un CER de 11,38 %, surpassant le TrOCR de base (30,64 % / 12,76 %) et TrOCR avec augmentation STRaug (29,84 % / 12,32 %).
• Sur Esposalles : Les résultats sont encore plus marqués, avec un WER de 3,80 % et un CER de 1,10 %, contre 11,95 % / 5,65 % pour la base et 10,91 % / 4,95 % pour STRaug.

L'étude d'ablation a permis de déterminer les probabilités d'échantillonnage optimales pour chaque jeu de données, montrant que les catégories « Présence » et « Position » sont particulièrement efficaces pour le texte artistique, tandis que la « Structure » est cruciale pour le manuscrit historique.

5. Signification et Conclusion

Cet article démontre que l'enrichissement de la supervision par des questions de raisonnement au niveau des caractères est une alternative efficace aux techniques d'augmentation visuelle traditionnelles. En forçant le modèle à comprendre la sémantique et la structure du texte à travers des questions, la méthode améliore la robustesse et la précision de l'OCR.

Cette approche ouvre une nouvelle voie pour les systèmes de reconnaissance de texte, suggérant que l'intégration de tâches de raisonnement (VQA) dans le pipeline d'entraînement peut résoudre des problèmes de généralisation et de surapprentissage, en particulier dans des contextes complexes comme le texte manuscrit historique ou le texte artistique. Le code est disponible publiquement pour favoriser la reproductibilité.