N-gram Injection into Transformers for Dynamic Language Model Adaptation in Handwritten Text Recognition

Cet article propose une méthode d'injection de n-grammes (NGI) dans les décodeurs de Transformers pour adapter dynamiquement les modèles de reconnaissance de texte manuscrit à des distributions linguistiques cibles lors de l'inférence, réduisant ainsi significativement l'écart de performance sans nécessiter de réentraînement sur des paires image-texte.

L'essentiel

Le Problème : Le "Biais de Langue" du Robot

Imaginez que vous avez un robot très intelligent, un détective de l'écriture manuscrite. Ce robot a été formé pendant des années en lisant des milliers de lettres d'amour et de poèmes en français (c'est son "source"). Il est devenu un expert pour deviner les mots suivants dans une phrase, car il a appris la grammaire et le style français par cœur.

Mais un jour, on lui donne une mission différente : lire des formulaires administratifs remplis de noms de famille et de prénoms.

Le problème ? Le robot panique. Pourquoi ?
Parce qu'il est trop habitué aux phrases complètes. Quand il voit un mot qui commence par "D", il s'attend à ce que ce soit "Dîner" ou "Dimanche". Mais sur le formulaire, c'est "Dupont" ou "Dubois". Comme le robot est trop "bâti" sur ses anciennes habitudes, il fait des erreurs bêtes. C'est ce que les chercheurs appellent un changement de distribution linguistique : le robot a appris une langue, mais on lui demande de parler une autre.

La Solution : Le "Guide de Poche" (NGI)

Les auteurs de l'article, Florent Meyer et son équipe, ont eu une idée brillante. Au lieu de réapprendre tout le cerveau du robot (ce qui prendrait des mois et des données qu'on n'a pas), ils lui donnent un guide de poche qu'il peut changer à la volée.

Ce guide, c'est un modèle de N-grammes (une liste de probabilités basée sur les mots fréquents).

• Avant : Le robot devinait seul, en se fiant uniquement à sa mémoire d'entraînement (les lettres d'amour).
• Maintenant : À chaque fois qu'il lit une lettre, il consulte son guide de poche. Si le guide dit "Ah, ici, on parle de prénoms, 'D' est souvent suivi de 'u' ou 'a'", le robot ajuste sa réponse instantanément.

C'est comme si vous aviez un traducteur qui, au lieu de traduire mot à mot, consulte un dictionnaire spécialisé sur le sujet avant de vous répondre.

Comment ça marche ? (L'Analogie du Chef Cuisinier)

Imaginez le robot comme un chef cuisinier dans un restaurant.

1. Le Chef (le Transformer) : Il est très talentueux et connaît parfaitement la cuisine française. Il sait que si vous commandez un "Bœuf", il y a 90% de chances que ce soit "Bœuf Bourguignon".
2. Le Client (l'image manuscrite) : Il arrive et commande un plat inconnu, disons un plat typique d'une région lointaine où l'on mange beaucoup de "Bœuf à la mode".
3. Le Problème : Le chef, par habitude, va servir du Bourguignon. Le client est déçu.
4. L'Innovation (NGI) : Au lieu de renvoyer le chef à l'école pour qu'il réapprenne la cuisine régionale, on lui accroche une note magnétique sur son tablier.
   • Cette note contient les règles de la cuisine régionale.
   • Le chef apprend à regarder cette note pendant qu'il cuisine, pas après.
   • Si le client change de région (nouveau formulaire), on change simplement la note magnétique. Le chef s'adapte instantanément sans avoir besoin de réapprendre à cuisiner.

Pourquoi c'est génial ?

1. Pas de réapprentissage : On n'a pas besoin de montrer des milliers d'exemples de nouveaux documents au robot. On lui donne juste le nouveau "guide" (le N-gramme).
2. C'est rapide et léger : Le guide est petit et facile à consulter. Le robot ne ralentit pas.
3. C'est flexible : Si demain on veut lire des factures, on change le guide. Si on veut lire des poèmes, on remet l'ancien. Le robot reste le même, seul son "contexte" change.

Les Résultats

Les chercheurs ont testé cette méthode sur plusieurs jeux de données (des lettres, des formulaires administratifs).

• Sans le guide, le robot faisait beaucoup d'erreurs quand le langage changeait (comme passer du français littéraire au langage administratif).
• Avec le guide (NGI), le nombre d'erreurs a chuté drastiquement. Le robot est redevenu précis, même sur des documents qu'il n'avait jamais vus, simplement parce qu'il avait le bon "guide de poche" pour l'occasion.

En résumé

Cette recherche montre qu'on n'a pas besoin de "rééduquer" un robot pour chaque nouveau type de document. Il suffit de lui donner un contexte linguistique dynamique (un N-gramme) qu'il peut utiliser en temps réel pour ajuster ses prédictions. C'est une méthode intelligente, économique et très efficace pour rendre la reconnaissance d'écriture manuscrite plus robuste dans le monde réel.

Résumé technique

1. Problématique

L'article aborde le problème de la dégradation des performances des modèles de reconnaissance de texte manuscrit (HTR) basés sur des architectures Transformer (encodeur-décodeur) lorsqu'ils sont évalués sur des données dont la distribution linguistique diffère de celle des données d'entraînement (décalage de domaine ou language shift).

• Contexte : Les réseaux de neurones modernes apprennent implicitement un modèle de langage (LM) via leur décodeur auto-régressif. Cependant, ce modèle est biaisé vers la langue source (données d'entraînement).
• Conséquence : Lorsque le modèle est appliqué à un corpus cible avec une distribution de mots ou de caractères différente (ex: changement de vocabulaire, de syntaxe ou de domaine), le taux d'erreur de caractères (CER) augmente considérablement, rendant le système inutilisable.
• Limitation des approches actuelles : Le ré-entraînement sur les données cibles est souvent impossible (manque de paires image-texte annotées). Les méthodes de post-traitement (re-scoring) sont coûteuses en temps de calcul et n'apprennent pas au réseau à intégrer dynamiquement les informations linguistiques.

2. Méthodologie : Injection de N-grammes (NGI)

Les auteurs proposent une méthode légère appelée N-gram Injection (NGI) pour adapter dynamiquement le modèle de langage au moment de l'inférence, sans ré-entraînement du réseau.

A. Principe de l'injection

Au lieu de dépendre uniquement de la modélisation linguistique implicite du décodeur Transformer, le système injecte explicitement les probabilités d'un modèle de langage externe (n-grammes) directement dans l'entrée du décodeur.

• Mécanisme : À chaque étape de décodage $t$, une distribution de probabilité issue d'un n-gramme (basée sur le contexte des $n-1$ caractères précédents) est calculée.
• Traitement : Ce vecteur de distribution est bruité (pour éviter le surapprentissage et améliorer la généralisation), projeté via une couche feed-forward, puis additionné aux embeddings des caractères précédents et aux encodages de position.
• Avantage : Cela permet au réseau d'apprendre à pondérer dynamiquement entre les indices visuels (encodeur) et les indices linguistiques externes (n-grammes).

B. Adaptation Dynamique

La force majeure de NGI réside dans sa capacité à changer de modèle de langage à l'inférence.

• Si le modèle est entraîné sur une distribution source, on peut injecter un n-gramme estimé sur une distribution cible (proche du domaine d'application réel) lors du test.
• Cela permet de corriger le biais linguistique sans aucune paire image-texte cible pour l'entraînement.

C. Architecture : Word Attention Network (WAN)

Pour valider la méthode, les auteurs introduisent le WAN, un réseau encodeur-décodeur léger :

• Encodeur : Un réseau entièrement convolutif (FCN) à 10 couches pour l'extraction de caractéristiques visuelles.
• Décodeur : Un petit Transformer à 2 couches (2,1 millions de paramètres, 10x plus petit que les modèles de référence comme DAN).
• Entraînement : Utilisation de la technique Teacher Forcing Error (TFE) pour simuler des erreurs de prédiction et renforcer la robustesse du réseau face aux injections de n-grammes.

3. Contributions Clés

1. Méthode NGI : Première stratégie d'adaptation linguistique pour la HTR basée sur l'injection explicite de n-grammes dans le décodeur d'un Transformer, permettant une adaptation dynamique sans ré-entraînement.
2. Réduction du biais : Démonstration que l'injection précoce (au niveau de l'entrée du décodeur) permet au réseau d'apprendre à utiliser les données textuelles non appariées pour corriger les erreurs visuelles.
3. Nouvelles partitions de données : Création de splits personnalisés sur les jeux de données IAM (anglais) et RIMES (français) ainsi qu'un jeu de données industriel privé (N2S), spécifiquement conçus pour exacerber le décalage linguistique (via des stratégies de lexique et de k-means).
4. Efficacité computationnelle : La méthode ajoute un coût d'inférence négligeable par rapport aux méthodes de post-traitement (re-scoring) qui nécessitent l'exploration de grands graphes de recherche.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois jeux de données (IAM, RIMES, N2S) avec des splits source/cible présentant des écarts de perplexité (PPL) importants.

• Performance sans NGI : Les modèles de l'état de l'art (TrOCR, DAN, SaLT) et le WAN de base subissent une chute drastique des performances sur les cibles (le CER double souvent, passant par exemple de ~7% à ~23% sur IAM).
• Performance avec NGI :
  • L'ajout de NGI réduit significativement l'écart de performance entre source et cible.
  • Sur le split k-means d'IAM, le CER cible passe de 23,4 % (sans NGI) à 10,1 % (avec NGI).
  • Sur RIMES (split k-means), le CER cible passe de 29,9 % à 19,2 %.
  • Sur le jeu de données industriel N2S, le CER cible passe de 6,3 % à 4,5 %.
• Combinaison avec Post-traitement : La combinaison de l'injection NGI et d'un re-scoring par n-gramme (WAN+NGI+LM) offre les meilleurs résultats, surpassant les approches classiques.
• Étude Ablative :
  • L'ajout de bruit aux vecteurs n-grammes est crucial pour éviter le surapprentissage.
  • L'utilisation de n-grammes d'ordre supérieur (n=5) est nettement supérieure aux ordres inférieurs (n=2 ou 3).
  • La stratégie TFE est essentielle pour la généralisation.

5. Signification et Conclusion

Cet article démontre que les modèles Transformer pour la HTR, bien que performants, sont vulnérables aux changements de distribution linguistique. La méthode NGI propose une solution élégante et efficace pour :

• Débloquer l'utilisation de données textuelles non appariées pour l'adaptation de domaine.
• Éviter le ré-entraînement coûteux sur des données cibles annotées.
• Remplacer ou compléter les méthodes de post-traitement lourdes par une intégration native du modèle de langage.

Les auteurs concluent que cette approche ouvre la voie à des systèmes de reconnaissance robustes dans des scénarios industriels réels où les distributions de données changent fréquemment, et suggèrent que le cadre pourrait être étendu à des modèles de langage neuronaux externes dans le futur.