Towards Universal Khmer Text Recognition

Cet article propose un cadre universel de reconnaissance de texte khmer (UKTR) doté d'une technique de sélection de caractéristiques adaptative sensible au mode (MAFS) pour surmonter la pénurie de données et les défis liés à la complexité du script, établissant ainsi des performances de pointe et libérant le premier benchmark complet pour cette tâche.

L'essentiel

🇰🇭 Le Défi : Reconnaître le Khmer, un Langage Complexe

Imaginez que le texte khmer (la langue du Cambodge) est comme un puzzle géant et très complexe. Contrairement à l'alphabet latin où les lettres sont souvent simples et séparées, les lettres khmères s'empilent, s'accrochent les unes aux autres et forment des grappes. C'est un peu comme si chaque mot était une petite tour de Lego qu'il faut savoir déconstruire pour la lire.

Le problème, c'est que pour entraîner un ordinateur à lire ce puzzle, il faut beaucoup d'exemples. Or, pour le Cambodge, il y a un déséquilibre majeur :

• On a beaucoup d'exemples de textes imprimés (comme dans les livres ou les documents officiels). C'est facile à fabriquer par ordinateur.
• Mais on a très peu d'exemples de textes écrits à la main (comme sur un cahier d'écolier) ou de textes dans la rue (sur des enseignes, des panneaux). C'est difficile à obtenir.

🤖 Le Problème des Anciennes Solutions

Jusqu'à présent, les chercheurs faisaient comme s'ils avaient trois bibliothécaires différents :

1. Un pour les documents imprimés.
2. Un pour les textes de la rue.
3. Un pour l'écriture manuscrite.

C'est inefficace ! Pourquoi ?

• C'est lourd : Il faut installer trois logiciels différents sur l'ordinateur, ce qui prend beaucoup de place (mémoire).
• C'est risqué : Il faut deviner à l'avance quel type de texte on a pour choisir le bon bibliothécaire. Si on se trompe, le texte n'est pas lu.
• C'est isolé : Le bibliothécaire des documents imprimés n'apprend rien de celui des textes de la rue. Pourtant, ils pourraient s'entraider !

🚀 La Solution : Le "Super-Bibliothécaire" Universel (UKTR)

Les auteurs de cet article ont créé un nouveau système appelé UKTR (Universal Khmer Text Recognition). Imaginez-le comme un chef cuisinier universel ou un caméléon intelligent.

Au lieu d'avoir trois spécialistes séparés, ils ont créé un seul modèle capable de tout lire, peu importe la source.

Comment fait-il ? La Magie du "Sélecteur de Caractéristiques" (MAFS)

C'est ici que la vraie innovation intervient. Le modèle possède un petit cerveau appelé MAFS (Modality-Aware Adaptive Feature Selection).

• L'analogie du Caméléon : Imaginez que ce modèle change de lunettes en fonction de ce qu'il regarde.
  • S'il voit un document propre, il enfile des lunettes qui accentuent les lignes nettes et les polices standard.
  • S'il voit une image de rue floue, il enfile des lunettes qui aident à voir à travers le bruit et les ombres.
  • S'il voit une écriture manuscrite, il enfile des lunettes qui comprennent les traits irréguliers et les ratures.

Ce "Sélecteur" analyse l'image en une fraction de seconde et décide automatiquement quelles parties de l'image sont importantes pour la lire correctement, sans que l'utilisateur ait besoin de dire "Ceci est un texte manuscrit".

Les Deux Manières de Lire (Vitesse vs Précision)

Le modèle est aussi très flexible, comme une voiture avec deux modes de conduite :

1. Mode Vitesse (CTC) : Il lit tout le mot d'un coup, très vite, comme si on lisait un titre de journal en passant. C'est rapide, mais parfois il peut faire une petite erreur de détail.
2. Mode Précision (Transformers) : Il lit lettre par lettre, très soigneusement, en réfléchissant au contexte. C'est plus lent, mais beaucoup plus précis, comme un professeur qui corrige un devoir.

L'utilisateur peut choisir le mode selon ses besoins (vitesse pour une application mobile, précision pour un archivage).

📚 La Contribution : De Nouveaux Livres pour l'École

Pour entraîner ce "Super-Bibliothécaire", les chercheurs ont réalisé qu'ils manquaient de manuels scolaires. Ils ont donc créé les premiers grands ensembles de données (des milliers d'images) de textes khmers dans la rue et écrits à la main.

C'est comme s'ils avaient ouvert une nouvelle bibliothèque publique gratuite pour que tout le monde puisse venir apprendre à lire le Cambodge, quel que soit le type de texte.

🏆 Le Résultat

Grâce à cette approche :

• Le modèle est plus performant que tous les précédents, même sur les textes difficiles (rue, écriture manuscrite).
• Il ne perd pas sa capacité à lire les documents imprimés (il ne "oublie" pas ce qu'il savait déjà).
• Il est plus léger et plus simple à utiliser (un seul modèle pour tout).

En résumé : Cette recherche a transformé la lecture automatique du Cambodge en passant d'une équipe de trois spécialistes isolés à un expert unique et adaptable, capable de s'ajuster instantanément à n'importe quelle situation, tout en apprenant de nouvelles compétences grâce à de nouvelles données qu'ils ont eux-mêmes collectées.

Résumé technique

1. Problématique

La reconnaissance optique de caractères (OCR) pour la langue khmère se heurte à des défis majeurs dus à la nature de l'alphabet (un système abugida complexe avec des ligatures, des sous-indices et des voyelles dépendantes) et au manque de données.

• Ressources limitées et déséquilibre : La majorité des travaux antérieurs se concentrent sur le texte imprimé (documents), car il est facile de générer des données synthétiques de haute qualité. En revanche, les données pour le texte manuscrit et le texte dans des scènes réelles (street text) sont rares et de qualité variable.
• Limites des approches actuelles :
  • Les modèles spécifiques à une modalité (un modèle pour l'imprimé, un autre pour le manuscrit, etc.) empêchent l'apprentissage par transfert entre modalités.
  • Déployer plusieurs modèles augmente la surcharge mémoire et nécessite un routage erroné des images vers le bon modèle.
  • L'entraînement d'un modèle unique sur un mélange de données non uniforme dégrade souvent les performances sur les modalités sous-représentées (manuscrit et scène).

L'objectif est donc de créer un cadre de reconnaissance universel capable de gérer simultanément le texte imprimé, manuscrit et de scène, tout en maintenant une haute précision.

2. Méthodologie : Le cadre UKTR

Les auteurs proposent un cadre de reconnaissance universelle du texte khmer (UKTR - Universal Khmer Text Recognition) reposant sur une architecture neuronale hybride et une technique d'adaptation innovante.

A. Architecture Globale

Le modèle UKTR (illustré dans la Figure 3 de l'article) comprend :

1. Encodeur Visuel : Une combinaison d'un réseau de convolution (ResNet) pour extraire les caractéristiques visuelles 2D, suivi d'un encodeur basé sur les Transformers pour capturer les dépendances séquentielles.
2. Sélecteur de Caractéristiques Adaptatif Conscient de la Modalité (MAFS) : C'est le cœur de l'innovation.
   • Il se compose d'un routeur (Router) qui estime la probabilité d'appartenance de l'image à différentes modalités (document, scène, manuscrit, ou des combinaisons).
   • Il utilise des adaptateurs (Adapters) qui projettent les caractéristiques visuelles en fonction de la modalité estimée.
   • Il fusionne ces caractéristiques adaptées pour les décoders, permettant au modèle de s'ajuster dynamiquement sans connaître la modalité d'entrée à l'avance.
3. Décoders Doubles : Le modèle intègre deux types de décoders pour offrir un compromis entre latence et précision :
   • Un décodeur CTC (Connectionist Temporal Classification) : Non-autorégressif (génération parallèle), rapide mais moins précis.
   • Un décodeur Transformer : Autorégressif (génération séquentielle), plus lent mais plus précis grâce à la modélisation du langage.
   • La perte totale est la somme des pertes des deux décoders ($l_{Total} = l_{CTC} + l_{TR}$).

B. Stratégie d'Entraînement

L'entraînement se fait en deux phases :

1. Phase Générale : Entraînement sur de vastes ensembles de données synthétiques de documents imprimés pour apprendre les représentations visuelles de base du khmer et du latin.
2. Phase d'Adaptation de Modalité : Affinage sur des données réelles (scène et manuscrit) tout en échantillonnant des données imprimées pour éviter l'oubli catastrophique (catastrophic forgetting). Le module MAFS permet au modèle de maintenir sa robustesse sur tous les types de texte.

3. Contributions Clés

1. Cadre UKTR : Un modèle unique capable de reconnaître le texte khmer sur trois modalités (document, scène, manuscrit) avec une robustesse supérieure, grâce à la technique MAFS.
2. Flexibilité d'Inférence : Support simultané de la génération de texte autorégressive et non-autorégressive, permettant aux utilisateurs de choisir entre rapidité (CTC) et précision (Transformer).
3. Nouveaux Jeux de Données : Création des premiers ensembles de données et benchmarks complets pour le texte khmer en scène et manuscrit :
   • GKST (General Khmer Scene Text) : 4 221 images de texte dans des scènes générales.
   • KHT (General Khmer Handwritten Text) : 14 168 images de textes manuscrits (certificats, examens, notes).
4. Performance SoTA : Atteinte des performances de l'état de l'art sur les benchmarks existants et nouveaux.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs jeux de données de référence (KHOB, KhmerST, WildKhmerST, etc.) et les nouveaux jeux de données.

• Performance Globale : Le modèle UKTR (entraîné sur Document + Scène & Manuscrit) dépasse significativement les méthodes précédentes sur presque tous les ensembles de données, sauf sur KHOB où il est légèrement inférieur à un modèle spécialisé uniquement pour l'imprimé (ce qui est attendu car UKTR est un modèle universel).
• Comparaison des Décoders : Le décodeur Transformer surpasse systématiquement le décodeur CTC en termes de taux d'erreur de caractères (CER), avec des améliorations allant de 0,83 % à 3,42 % selon le jeu de données.
• Impact du MAFS : L'ablation study (suppression du module MAFS) montre une dégradation sévère des performances (augmentation du CER), prouvant que l'adaptation des caractéristiques visuelles est cruciale pour gérer la diversité des modalités.
• Qualité : Les évaluations qualitatives montrent que le décodeur Transformer réussit à extraire le texte correct même dans des conditions difficiles (flou, arrière-plans complexes), là où le CTC échoue souvent.

5. Signification et Impact

Cet article marque une avancée significative pour le traitement du langage naturel et l'OCR dans les langues à ressources limitées, en particulier pour le khmer.

• Unification : Il démontre qu'il est possible de créer un modèle unique et efficace pour des modalités hétérogènes, éliminant la nécessité de multiples modèles spécialisés et le routage complexe.
• Ressources Communautaires : La publication des nouveaux jeux de données (GKST et KHT) et du code comble un vide critique dans la recherche sur le khmer, facilitant les travaux futurs.
• Déploiement Pratique : La capacité à basculer entre rapidité et précision selon les besoins de l'application (temps réel vs haute précision) rend ce système très adapté au déploiement dans des environnements réels (applications mobiles, systèmes de numérisation).

En conclusion, les auteurs ont réussi à surmonter les obstacles liés à la complexité scripturale du khmer et au manque de données via une architecture adaptative intelligente et la création de nouvelles ressources de données, établissant une nouvelle référence pour la reconnaissance universelle de texte khmer.