Résumé technique : Prédiction masquée de l'échelle suivante pour la reconnaissance de texte dans les scènes en apprentissage auto-supervisé

1. Énoncé du problème

La reconnaissance de texte dans les scènes (STR) est une tâche fondamentale vision-langage qui nécessite de modéliser des structures visuelles évoluant des mises en page grossières aux traits de caractères fins. Bien que les méthodes d'apprentissage profond aient considérablement progressé, elles restent fortement dépendantes de données annotées à grande échelle. L'apprentissage auto-supervisé (SSL), en particulier la modélisation d'images masquées (MIM), a émergé comme une solution pour réduire cette dépendance en exploitant des données non étiquetées.

Cependant, les méthodes STR existantes basées sur la MIM partagent une limitation critique : elles opèrent à une échelle spatiale unique. Cela échoue à capturer la nature intrinsèquement hiérarchique du texte dans les scènes, où la perception nécessite d'intégrer simultanément la mise en page globale, les structures au niveau des mots et les traits de caractères fins. De plus, les auteurs identifient un mode de défaillance spécifique dans la prédiction de l'échelle suivante (NSP) — un mécanisme conçu pour prédire des caractéristiques à plus haute résolution à partir de contextes à plus basse résolution. Lorsqu'elle est appliquée naïvement à la STR, la NSP provoque une diffusion de l'attention, où l'attention du modèle s'étend à des régions d'arrière-plan non pertinentes plutôt que de se concentrer sur les structures textuelles, car tous les tokens restent globalement visibles pendant la prédiction.

2. Méthodologie : Prédiction masquée de l'échelle suivante (MNSP)

Les auteurs proposent la prédiction masquée de l'échelle suivante (MNSP), un cadre unifié d'apprentissage auto-supervisé qui modélise explicitement l'évolution structurelle inter-échelle en couplant synergiquement la NSP avec la MIM. L'architecture se compose de trois composants étroitement couplés partageant un seul encodeur en ligne :

A. Branche de prédiction de l'échelle suivante (NSP)

• Mécanisme : La branche NSP reformule l'apprentissage multi-échelle comme un problème de prédiction directe d'échelle à échelle. Étant donné une paire d'échelles adjacentes $(s_k, s_{k+1})$, la sortie de l'encodeur à l'échelle plus petite est suréchantillonnée et alimente un décodeur NSP.
• Objectif : Le décodeur prédit la carte de caractéristiques à plus haute résolution sous la supervision d'un encodeur enseignant figé.
• Rôle : Cette branche apprend des représentations hiérarchiques en prédisant des détails fins à partir de contextes grossiers, modélisant efficacement l'évolution « du grossier au fin » des structures visuelles. Elle opère entièrement dans l'espace latent sans codes discrets de dictionnaire.

B. Modélisation d'images masquées (MIM) avec guidage NSP

• Mécanisme : La branche MIM reconstruit les régions masquées à partir d'une vue zoomée de l'entrée. Crucialement, elle ne repose pas uniquement sur le contexte intra-image.
• Guidage NSP : Le décodeur MIM utilise des couches d'attention croisée (CA) pour injecter des indices de la branche NSP :
  1. Indices de mise en page : Les tokens encodés de l'échelle plus petite ($s_k$) fournissent la mise en page globale et les espacements inter-caractères.
  2. Indices de traits : La prédiction NSP ($D_{nsp}(F)$) fournit des a priori au niveau des traits sur la façon dont les caractéristiques évoluent de $s_k$ à $s_{k+1}$.
• Rôle : Tandis que la NSP fournit des a priori structurels globaux, la MIM impose de fortes contraintes locales. La branche MIM force le modèle à se concentrer sur les régions textuelles informatives, neutralisant ainsi la diffusion de l'attention inhérente à la NSP autonome.

C. Module d'alignement linguistique multi-échelle (MLA)

• Problème : L'apprentissage à travers plusieurs résolutions peut entraîner des incohérences sémantiques, où les caractéristiques à différentes échelles encodent des significations textuelles non correspondantes.
• Solution : Le module MLA aligne les tokens [CLS] provenant de trois vues distinctes : l'augmentation à petite échelle, l'augmentation à grande échelle et la vue zoomée masquée.
• Objectif : Une perte MSE impose que la représentation sémantique reste invariante à travers les échelles et les motifs de masquage, assurant une cohérence linguistique pendant l'apprentissage des représentations.

Objectif global

La perte d'entraînement finale est la somme des trois composants :
$$\mathcal{L} = \mathcal{L}_{\text{nsp}} + \mathcal{L}_{\text{mim}} + \mathcal{L}_{\text{mla}}$$
Cette optimisation conjointe garantit que l'encodeur apprend une représentation consciente de l'échelle et sémantiquement cohérente, qui équilibre le raisonnement structurel global avec la précision locale fine.

3. Contributions clés

1. Modélisation explicite multi-échelle : L'article introduit la prédiction de l'échelle suivante (NSP) dans la STR auto-supervisée pour capturer explicitement l'évolution hiérarchique des mises en page grossières aux traits fins, comblant ainsi une lacune des méthodes SSL à échelle unique existantes.
2. Couplage dual-paradigme : Les auteurs identifient le défaut de « diffusion de l'attention » de la NSP et le résolvent en la couplant avec la MIM. Cette dualité de mécanismes permet à la NSP de fournir des a priori globaux tandis que la MIM impose une précision locale, résultant en une attention cohérente sur l'ensemble de la région textuelle.
3. Cohérence sémantique : La conception du module d'alignement linguistique multi-échelle (MLA) garantit que l'apprentissage structurel inter-échelle et la reconstruction masquée maintiennent une stricte cohérence sémantique au sein d'un seul passage avant.
4. Performances de l'état de l'art : Des expériences extensives valident l'efficacité et la robustesse du cadre.

4. Résultats expérimentaux

Les auteurs ont évalué la MNSP sur le benchmark Union14M et six jeux de données STR standards (IIIT5K, IC13, SVT, IC15, SVTP, CUTE80).

• Benchmark Union14M : La MNSP a atteint une précision moyenne de 86,2 % (avec 20 époques de pré-entraînement), surpassant les méthodes précédentes de l'état de l'art. Elle a montré des gains particulièrement forts dans les catégories sensibles à l'échelle comme « Courbe » et « Multi-orienté ».
• Benchmarks standards : La méthode a atteint une précision moyenne de 96,7 % sur les six jeux de données standards, surpassant les bases de référence supervisées et auto-supervisées existantes.
• Robustesse à l'échelle : Les études d'ablation et les expériences contrôlées ont démontré que la MNSP est significativement plus robuste aux variations extrêmes d'échelle (par exemple, le sous-échantillonnage sévère) comparée aux méthodes MIM à échelle unique. La chute de précision pour la MNSP dans des conditions de petite échelle était nettement plus faible (-12,8 %) comparée à la MIM (-16,5 %).
• Constats d'ablation :
  • La combinaison de la NSP et de la MIM a produit de meilleurs résultats que chacune seule, confirmant leur nature complémentaire.
  • Les modules de guidage NSP et MLA ont tous deux contribué positivement aux performances.
  • La prédiction de cibles de caractéristiques fixes à partir d'un enseignant figé s'est révélée supérieure à la reconstruction brute de pixels, car elle évite le surapprentissage aux textures de bas niveau.

5. Signification et revendications

L'article revendique que la MNSP établit un paradigme auto-supervisé supérieur pour la reconnaissance de texte dans les scènes en intégrant des a priori explicites multi-échelles avec une perception locale fine.

• Adresser le défi central : L'ouvrage soutient que les représentations STR efficaces doivent encoder explicitement les dépendances inter-échelles, une propriété souvent négligée dans les approches SSL actuelles opérant à des échelles fixes.
• Dualité des mécanismes : La signification réside dans la découverte que la NSP et la MIM, bien que individuellement défectueuses (attention diffuse vs focus local myope), peuvent être « neutralisées » lorsqu'elles sont couplées. Ce couplage permet au modèle de raisonner globalement sur la mise en page tout en percevant avec précision les traits locaux.
• Robustesse : La méthode démontre une robustesse exceptionnelle face aux variations sévères d'échelle et de mise en page, suggérant que le pré-entraînement explicite multi-échelle est essentiel pour gérer la complexité intrinsèque du texte dans les scènes.

Les auteurs concluent que cette approche ouvre une nouvelle voie pour l'analyse robuste du texte visuel en dépassant la reconstruction à échelle unique pour aboutir à un cadre d'apprentissage unifié, hiérarchique et sémantiquement aligné.