🤖 AI

Logographic Character Visual Pretraining via Semantic-based Contrastive Learning

Cet article propose une nouvelle stratégie de pré-entraînement par apprentissage contrastif basé sur la sémantique qui exploite les sémantiques visuelles et contextuelles multimodales pour améliorer les représentations visuelles profondes pour la reconnaissance de caractères logographiques, traitant efficacement les limitations de performance causées par des ensembles de données de caractères déséquilibrés et rares.

Auteurs originaux : Daqian Shi, Wei Cao, Xiaoyu Zheng, Lida Shi, Xiaolei Diao, Cedric M John

Publié 2026-08-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daqian Shi, Wei Cao, Xiaoyu Zheng, Lida Shi, Xiaolei Diao, Cedric M John

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à reconnaître chaque caractère du monde, des lettres de votre nom aux symboles anciens gravés sur des tablettes de pierre. C'est le monde de la vision par ordinateur, une branche de l'intelligence artificielle où les machines apprennent à « voir » et à comprendre les images. Pendant longtemps, ces robots ont été excellents pour repérer des choses simples comme des chats ou des voitures, mais ils ont du mal avec les caractères logographiques — des systèmes d'écriture où un seul symbole représente un mot ou une idée entière, comme le Hanzi chinois ou le Kanji japonais. Le problème n'est pas seulement qu'il existe des milliers de ces caractères ; c'est que certains sont utilisés quotidiennement (comme « le » ou « eau »), tandis que d'autres sont si rares qu'ils pourraient n'apparaître qu'une fois tous les mille ans. C'est comme essayer d'apprendre une langue où vous avez un million d'exemplaires du mot « pomme » mais un seul exemplaire du mot « zèbre ». Le robot s'embrouille, se focalisant trop sur les mots communs et oubliant les plus rares. Pour corriger cela, les scientifiques utilisent une technique appelée apprentissage contrastif, qui est comme un jeu de « trouvez la différence ». On montre au robot deux images et on lui demande : « Sont-elles identiques ? ». Si elles le sont, il les rapproche dans son cerveau ; si elles ne le sont pas, il les repousse. Mais il y a un piège : le robot traite généralement chaque paire « différente » comme étant également différente, ce qui ne fonctionne pas bien lorsque certaines différences sont subtiles et d'autres évidentes.

Cet article présente une nouvelle façon ingénieuse d'enseigner à ces robots comment mieux comprendre les caractères rares et communs en leur donnant une référence : le contexte. Les auteurs, une équipe de chercheurs issus d'universités du Royaume-Uni et de Chine, ont réalisé que le simple fait de regarder la forme d'un caractère ne suffit pas. Dans le langage humain, nous comprenons les mots non seulement par leur apparence, mais aussi par la compagnie qu'ils tiennent. Par exemple, le mot « verger » vous fait penser à des arbres et des fruits, tandis que le mot « jardin » vous fait penser à des fleurs et des sentiers. Bien qu'ils soient différents, ils sont sémantiquement proches. Les chercheurs ont remarqué que les caractères logographiques fonctionnent de la même manière : un caractère qui ressemble à un poisson signifie souvent « poisson », et les caractères ayant des significations similaires partagent souvent des parties visuelles. Ils ont proposé une méthode appelée Apprentissage Contrastif basé sur la Sémantique (Semantic-based Contrastive Learning). Au lieu de simplement dire au robot : « Ces deux-là sont différents, repousse-les », ils utilisent un modèle de langage (un prédicteur de texte super intelligent) pour dire au robot à quel point ils sont différents. Si deux caractères sont sémantiquement proches (comme « verger » et « jardin »), on dit au robot de les garder relativement proches, même s'ils se ressemblent peu visuellement. S'ils sont totalement sans rapport, il les repousse loin. Cela crée une carte des relations « douce » plutôt qu'une liste rigide et binaire.

L'équipe a testé cette idée sur plusieurs ensembles de données, incluant des caractères chinois manuscrits, des textes historiques japonais et des panneaux de signalisation du monde réel. Ils ont constaté que leur nouvelle méthode surpassait de manière significative les techniques de pointe existantes, surtout lorsque les données étaient déséquilibrées et confuses. Par exemple, sur un ensemble de données appelé HWDB1.1 présentant un déséquilibre sévère (où la classe la plus commune possédait 100 fois plus d'échantillons que la plus rare), leur méthode a atteint une précision de 83,46 % en utilisant une architecture ResNet18 standard, battant la meilleure méthode d'apprentissage contrastif précédente (SimCLR) qui n'avait atteint que 56,68 %. Même sur le jeu de données plus équilibré K-Kanji, leur approche a atteint 95,30 %, dépassant largement la méthode suivante. Les chercheurs ont également mené des « études d'ablation » (des expériences où ils désactivent certaines parties de leur système) pour prouver que l'apprentissage visuel et la référence contextuelle étaient tous deux nécessaires ; l'utilisation de l'un ou l'autre seul entraînait des scores plus bas. Ils ont aussi découvert que le simple fait de tenter de correspondre à la distance exacte entre les mots (une méthode appelée MSE) fonctionnait moins bien que de correspondre au schéma des relations (alignement au niveau de la distribution). En traitant la relation entre les caractères comme un spectre flexible et gradué plutôt que comme une règle fixe, le robot apprend à reconnaître même les caractères les plus rares et les plus obscurs avec beaucoup plus de confiance. Cela suggère qu'en empruntant la façon dont les humains comprennent le contexte, nous pouvons construire une IA plus intelligente et plus équilibrée pour lire les systèmes d'écriture les plus complexes du monde.

Résumé technique : Pré-entraînement visuel de caractères logographiques via l'apprentissage contrastif basé sur la sémantique

Énoncé du problème

Les tâches de vision de caractères basées sur l'apprentissage profond, telles que la reconnaissance de texte et le débruitage d'images, atteignent généralement des performances optimales uniquement lorsqu'elles sont entraînées sur de grands ensembles de données équilibrés. Cependant, les ensembles de données du monde réel pour les langues logographiques (par exemple, le Hanzi chinois, le Kanji japonais, les hiéroglyphes égyptiens anciens) souffrent d'un déséquilibre de données sévère. Ce déséquilibre provient des différences significatives de fréquence d'utilisation des caractères et de l'émergence continue de nouveaux caractères ou de caractères rares grâce aux découvertes archéologiques.

Les méthodes de reconnaissance existantes, souvent ancrées dans la classification d'images, peinent face à ces distributions à longue traîne. Bien que l'apprentissage contrastif (par exemple, SimCLR) ait été appliqué pour atténuer le déséquilibre des catégories, les approches actuelles reposent sur des formulations de paires positives/négatives binaires. Ces méthodes traitent tous les échantillons négatifs comme étant également dissemblables (distance fixe), ne parvenant pas à distinguer les négatifs « difficiles » (caractères visuellement ou sémantiquement similaires mais distincts) des négatifs « triviaux ». Par conséquent, l'efficacité de l'apprentissage est réduite et les représentations des caractères à faible fréquence restent sous-optimisées. De plus, les méthodes existantes se concentrent principalement sur les caractéristiques au niveau des pixels, négligeant la richesse sémantique contextuelle inhérente aux systèmes logographiques.

Méthodologie

Les auteurs proposent une nouvelle stratégie de pré-entraînement qui intègre la sémantique visuelle et la sémantique contextuelle pour améliorer les représentations visuelles profondes, spécifiquement pour les ensembles de données de caractères logographiques déséquilibrés. L'innovation centrale est un cadre d'apprentissage contrastif basé sur la sémantique qui remplace les étiquettes binaires par une supervision sémantique douce dérivée de modèles de langue.

1. Représentation sémantique duale

Le cadre modélise deux espaces sémantiques distincts :

Sémantique Visuelle ( $V_s$ ) : Extraite des images de caractères à l'aide d'un encodeur de vision (par exemple, ResNet). L'encodeur traite des images de caractères augmentées pour produire des vecteurs de plongement représentant les caractéristiques visuelles.
Sémantique Contextuelle ( $C_s$ ) : Extraite des étiquettes de caractères à l'aide d'un modèle de langue pré-entraîné (par exemple, BERT). Au lieu de traiter les plongements textuels comme des cibles absolues, le modèle exploite la capacité du modèle de langue à capturer les relations sémantiques relatives entre les caractères.

2. Objectif de contraste au niveau de la distribution

Plutôt que de régresser directement les scores de similitude par paire (ce qui peut être sensible à l'échelle et aux distributions non isométriques), la méthode aligne les distributions de voisinage sémantique des deux modalités.

Génération d'étiquettes douces (Soft Labels) : Pour chaque caractère ancre, les similitudes sémantiques contextuelles avec d'autres caractères dans un mini-lot sont converties en une distribution de probabilité conditionnelle ( $P_C$ ) à l'aide d'une softmax pondérée par la température. Cette distribution représente la pertinence sémantique relative des voisins.
Alignement de la distribution visuelle : De même, une distribution sémantique visuelle ( $P_V$ ) est calculée à partir des plongements visuels.
Fonction de perte : L'objectif principal est de minimiser l'entropie croisée (équivalente à la divergence de Kullback–Leibler) entre la distribution contextuelle ( $P_C$ ) et la distribution visuelle ( $P_V$ ). Cela force l'espace de plongement visuel à préserver l'ordre sémantique relatif défini par le modèle de langue, utilisant ainsi la sémantique contextuelle comme étiquettes douces.

3. Repondération focale sensible à la difficulté

Pour traiter le problème où les paires faciles et triviales dominent la perte dans les ensembles de données à longue traîne, les auteurs introduisent une stratégie de repondération focale inspirée de la perte focale (focal loss).

La perte est repondérée en fonction de la confiance de prédiction actuelle du modèle visuel.
Les paires déjà bien alignées (faciles) sont dépondérées, tandis que les paires informatives et mal alignées (« difficiles ») sont accentuées.
Ce mécanisme adaptatif garantit que le modèle concentre sa capacité d'apprentissage sur les relations sémantiques difficiles, qui sont cruciales pour distinguer les caractères rares ou de apparence similaire.

4. Optimisation conjointe

La phase de pré-entraînement optimise conjointement la perte sémantique contextuelle (alignement de distribution) et une perte de classification standard (entropie croisée) afin d'ancrer les représentations apprises à la tâche de reconnaissance spécifique.

Contributions clés

Nouvelle stratégie de pré-entraînement : L'article introduit une méthode pour améliorer les représentations profondes des catégories de caractères déséquilibrées en intégrant l'apprentissage contrastif basé sur la sémantique. Il dépasse l'apprentissage contrastif binaire pour utiliser la pertinence sémantique continue.
Cadre d'alignement au niveau de la distribution : Un cadre est proposé pour aligner les sémantiques visuelles et contextuelles au niveau de la distribution. En modélisant les relations sémantiques relatives plutôt que les distances absolues, il permet un apprentissage de représentation plus efficace pour les caractères logographiques.
Validation empirique : Des expériences approfondies sur quatre ensembles de données diversifiés (HWDB1.1, ICDAR2013, CTW et K-Kanji) présentant divers degrés de déséquilibre démontrent la supériorité de la méthode sur les techniques de pré-entraînement et de classification à longue traîne de pointe.

Résultats expérimentaux

La méthode proposée a été évaluée sur quatre ensembles de données couvrant l'écriture manuscrite chinoise, le texte en scène et le Kanji japonais historique, sous divers facteurs de déséquilibre (IF = 10, 50, 100).

Comparaison avec les méthodes de pré-entraînement : La méthode proposée (Ours $_{FR}$ ) a systématiquement surpassé les bases de comparaison de l'apprentissage contrastif établies (SimCLR, MoCo, BYOL, SwAV, SimSiam) et les modèles multimodaux (VL-BERT, CLIP). Par exemple, sur l'ensemble de données hautement déséquilibré HWDB-LT100 avec un backbone ResNet18, la méthode proposée a atteint une précision de 83,46 %, dépassant largement SimCLR (56,68 %) et MoCo (58,96 %).
Comparaison avec les méthodes de longue traîne : L'approche a également surpassé les méthodes spécialisées de classification d'images à longue traîne (CMO, OTmix, NCL++, ProCo), indiquant que l'intégration de la sémantique contextuelle offre une robustesse supérieure par rapport aux méthodes reposant uniquement sur les distributions d'échantillons visuels.
Amélioration des tâches en aval : Appliquée comme étape de pré-entraînement pour divers modèles OCR de pointe (incluant des CNN comme VGG16 et des Transformers comme ViT), la méthode a produit des améliorations de précision constantes sur toutes les architectures testées. Par exemple, l'application du pré-entraînement à DenseNet sur le jeu de données CTW a entraîné un gain de précision de 2,07 %.
Études d'ablation :
- Composantes de la perte : L'utilisation de la seule perte contextuelle a nettement mieux performé que l'utilisation de la seule perte de classification, et la combinaison des deux a donné les meilleurs résultats.
- Stratégie d'alignement : L'alignement proposé au niveau de la distribution (divergence KL) a nettement surpassé une approche de régression MSE point par point, confirmant que l'apprentissage des structures relationnelles est plus efficace que la régression de valeurs de similitude absolues dans des espaces non isométriques et à longue traîne.

Signification

L'article affirme que sa principale importance réside dans la résolution du goulot d'étranglement critique du déséquilibre des données dans la reconnaissance de caractères logographiques. En tirant parti de la cohérence entre les structures visuelles et les significations contextuelles, la méthode proposée fournit un mécanisme pour apprendre des représentations robustes, même lorsque les échantillons d'entraînement pour des caractères spécifiques sont rares. Les auteurs affirment que cette approche offre une solution plus évolutive et robuste pour les applications réelles impliquant des textes historiques, des caractères en scène et des langues à faibles ressources, où l'entraînement équilibré traditionnel est irréalisable. Le travail démontre que l'incorporation de connaissances sémantiques externes (via des modèles de langue) comme supervision douce peut guider efficacement l'apprentissage de la représentation visuelle, réduisant la dépendance vis-à-vis des grands ensembles de données visuelles équilibrés.