💬 NLP

Enabling Stroke-Level Structural Analysis of Hieroglyphic Scripts without Language-Specific Priors

Ce papier présente HieroSA, un cadre généralisable permettant aux modèles de langage multimodaux d'extraire automatiquement des structures au niveau des traits à partir d'images de caractères hiéroglyphiques sans recourir à des priors linguistiques spécifiques.

Auteurs originaux : Fuwen Luo, Zihao Wan, Ziyue Wang, Yaluo Liu, Pau Tong Lin Xu, Xuanjia Qiao, Xiaolong Wang, Peng Li, Yang Liu

Publié 2026-04-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fuwen Luo, Zihao Wan, Ziyue Wang, Yaluo Liu, Pau Tong Lin Xu, Xuanjia Qiao, Xiaolong Wang, Peng Li, Yang Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌟 Le Problème : Les IA sont "aveugles" aux détails des dessins

Imaginez que vous regardez un dessin complexe, comme un hiéroglyphe égyptien ou un caractère chinois ancien. Pour un humain, ce n'est pas juste une tache noire sur du blanc. C'est une histoire faite de traits : un trait vertical ici, un trait courbe là, des lignes qui se croisent.

Les intelligences artificielles actuelles (les grands modèles comme GPT-5 ou Claude) ont deux façons de voir ces dessins, et aucune n'est parfaite :

La vue "Texte" : Elles voient le caractère comme un mot magique (un "token"). C'est comme si elles lisaient le titre d'un livre sans jamais ouvrir les pages. Elles ne voient pas la structure interne.
La vue "Photo" : Elles voient le caractère comme une photo de pixels. C'est comme regarder un tableau impressionniste de loin : on voit les couleurs et les formes globales, mais on ne comprend pas comment le peintre a posé chaque coup de pinceau.

Résultat ? L'IA ne comprend pas la logique de construction du caractère. Elle ne sait pas qu'un trait est une "branche" et l'autre une "racine". De plus, les méthodes existantes pour analyser ces structures demandent des années de travail manuel par des experts linguistes, ce qui est impossible pour des milliers de langues anciennes oubliées.

🛠️ La Solution : HieroSA, le "Détective de Traits"

Les chercheurs de Tsinghua ont créé HieroSA (Hieroglyphic Stroke Analyzer). C'est un outil qui apprend à l'IA à devenir un architecte ou un détective de traits, sans avoir besoin d'un manuel d'instructions.

Voici comment ça marche, avec une analogie simple :

1. L'Apprentissage par Essais et Erreurs (Le jeu du "Chaud/Froid")

Imaginez que vous donnez à un enfant un dessin au feutre noir sur du papier blanc. Vous lui dites : "Dessine des lignes rouges par-dessus pour recouvrir tout le noir, mais ne dépasse pas du dessin !".

Si l'enfant dessine une ligne qui dépasse, vous dites "Non".
S'il laisse un trou noir, vous dites "Presque".
S'il couvre parfaitement le noir avec le minimum de lignes, vous dites "Bravo !".

HieroSA fait exactement cela, mais avec une IA. Il ne connaît pas les règles de la calligraphie chinoise ou égyptienne. Il essaie simplement de recouvrir les pixels noirs du dessin avec des lignes géométriques (des segments). Grâce à un système de récompenses (comme un jeu vidéo), l'IA apprend toute seule à décomposer le caractère en traits logiques, même si personne ne lui a jamais dit ce qu'est un "trait" dans cette langue.

2. La Carte Géométrique

Au lieu de garder l'image floue, HieroSA transforme le dessin en une carte de lignes précises.

Avant : Une image de pixels (une photo).
Après HieroSA : Une liste de coordonnées géométriques (comme un plan d'architecte).
C'est comme passer d'une photo de la Tour Eiffel à un plan de construction en acier. On voit exactement comment les pièces s'assemblent.

🌍 Pourquoi c'est révolutionnaire ?

La "Super-Puissance" de la Généralisation

Habituellement, pour analyser les hiéroglyphes égyptiens, il faut un expert en égyptologie. Pour les caractères chinois, un expert en sinologie.
HieroSA, lui, est polyglotte et autodidacte.

Il apprend sur des caractères chinois modernes.
Il se lance ensuite sur des hiéroglyphes égyptiens ou des écritures anciennes chinoises (comme les os oraculaires) sans aucune aide humaine.
C'est comme si vous appreniez à conduire une voiture, et que le lendemain, vous pouviez piloter un avion ou un bateau sans jamais avoir touché à ces machines, simplement parce que vous avez compris la logique fondamentale du mouvement.

Les Résultats Concrets

L'article montre que HieroSA est bien meilleur que les IA les plus puissantes du moment (GPT-5, Claude) pour :

Décomposer les caractères en traits logiques (avec beaucoup moins d'erreurs).
Reconnaître des caractères (OCR) : En comprenant la structure, l'IA lit mieux les vieux manuscrits.
Explorer des liens cachés : C'est la partie la plus fascinante.

🔍 L'Analogie Finale : Le Détective de Familles Cachées

Imaginez que vous cherchez des cousins éloignés dans une grande famille.

La méthode classique (recherche d'image) : Vous comparez deux photos de visages. Si les gens se ressemblent un peu, vous dites "C'est peut-être la même famille".
La méthode HieroSA : Vous comparez l'ADN de leur structure.

Grâce à HieroSA, les chercheurs ont pu montrer que deux hiéroglyphes égyptiens très différents en apparence (l'un signifie "nuit", l'autre "ville") partagent en réalité la même "brique de construction" (un trait de pied). Cela permet de découvrir des liens sémantiques (de sens) entre des mots qui semblaient n'avoir rien en commun.

C'est comme si l'IA pouvait dire : "Regarde, ces deux mots anciens semblent différents, mais ils sont construits avec le même bloc de base, donc ils parlent probablement de la même action (comme marcher ou se tenir debout)."

En Résumé

HieroSA, c'est un outil qui donne aux ordinateurs les yeux d'un architecte pour lire les écritures anciennes.

Sans manuel : Il apprend tout seul.
Sans frontières : Il fonctionne sur n'importe quelle écriture (chinoise, égyptienne, naxi, etc.).
Sans fatigue : Il ne se lasse pas de dessiner des lignes pour comprendre le monde.

C'est une clé qui ouvre les portes de l'histoire humaine, permettant de décrypter des langues oubliées et de comprendre comment nos ancêtres pensaient, simplement en regardant comment ils traçaient leurs lignes.

1. Problématique

Les hiéroglyphes et les systèmes d'écriture logographiques (comme le chinois, le japonais Kanji ou les écritures anciennes comme les os oraculaires) encodent une richesse sémantique et culturelle dans leur composition structurelle interne. Cependant, les modèles actuels présentent des limites majeures pour analyser ces structures :

Aveugle structurel des LLM/MLLM : Les Grands Modèles de Langage (LLM) traitent les caractères comme des tokens textuels abstraits, ignorant leur géométrie. Les Modèles de Langage Multimodaux (MLLM) les traitent comme des grilles de pixels bruts, ce qui permet de reconnaître l'apparence visuelle mais échoue à modéliser les relations logiques entre les traits (strokes) ou les principes de formation des caractères.
Dépendance aux priors linguistiques : Les méthodes existantes d'analyse structurelle sont souvent spécifiques à un script (ex: uniquement le chinois moderne) et dépendent de connaissances linguistiques externes, d'inventaires de traits prédéfinis ou d'annotations manuelles laborieuses. Cela limite leur évolutivité et leur applicabilité à des scripts anciens ou moins étudiés (comme les hiéroglyphes égyptiens ou les pictogrammes Dongba).

Objectif : Développer un cadre général capable de déduire automatiquement la structure au niveau des traits à partir d'images bitmap de caractères, sans aucune annotation manuelle ni connaissance préalable spécifique à la langue.

2. Méthodologie : HieroSA

Les auteurs proposent HieroSA (Hieroglyphic Stroke Analyzer), un cadre novateur basé sur l'apprentissage par renforcement (RL) qui permet aux MLLM de transformer des images de caractères en représentations explicites de segments de lignes.

A. Représentation des Traits

Espace de coordonnées normalisé : L'image binaire du caractère (traits noirs sur fond blanc) est mappée dans un espace de coordonnées normalisé.
Décomposition géométrique : Un caractère est modélisé comme un ensemble de segments de lignes $S = \{(p_s^k, p_e^k)\}$ , où chaque trait est défini par les coordonnées de ses deux extrémités.
Flexibilité : Les formes courbes ou complexes ne sont pas paramétrées explicitement mais sont approximées par une décomposition flexible en plusieurs segments de lignes. Cela évite la nécessité de définir des règles de traits spécifiques à chaque script.

B. Conception de la Récompense (Reward Design)

L'entraînement ne repose que sur l'image bitmap (pas d'étiquettes de traits). L'objectif est d'optimiser le recouvrement entre les traits générés et les pixels noirs de l'image via une fonction de récompense composée de trois étapes :

Identification des traits valides : Vérification que les points échantillonnés le long du segment de ligne se trouvent à l'intérieur de la région de pixels noirs. Les traits sortant de la zone noire sont marqués comme invalides.
Estimation de la couverture (Coverage) : Pour chaque trait valide, une région polygonale est estimée en étendant le segment dans les directions normales et tangentielles jusqu'aux limites des pixels noirs. Cela permet de quantifier la surface couverte par le trait.
Agrégation de la récompense :
- La récompense globale maximise la couverture des pixels noirs ( $|C_{final} \cap \Omega_B| / |\Omega_B|$ ).
- Une pénalité est appliquée pour les traits invalides et les traits redondants (qui ne couvrent pas de nouvelles zones).
- La formule finale intègre un coefficient de pénalité $\alpha$ pour décourager la génération de traits superflus.

C. Paradigme d'Entraînement

Algorithme : Utilisation de l'optimisation de politique relative par groupe (GRPO), une méthode d'apprentissage par renforcement efficace pour les LLM.
Récompenses combinées : La récompense structurelle ( $r_s$ ) est combinée à une récompense de format ( $r_f$ ) pour garantir que la sortie du modèle respecte une structure JSON lisible (liste de coordonnées).
Données : Entraînement sur des images générées à partir de polices SVG et de datasets publics, sans annotations de traits.

3. Contributions Clés

Cadre d'entraînement novel : Introduction d'un framework permettant aux MLLM de capturer et modéliser la structure des traits directement à partir d'images, fournissant un accès explicite à l'information structurelle interne.
Généralisation sans priors : Preuve expérimentale que HieroSA généralise efficacement sur plusieurs systèmes d'écriture pictographiques (Chinois, Japonais, Os Oraculaires) sans expertise linguistique externe ni annotations.
Utilité pour les tâches en aval : Démonstration que les représentations de traits générées améliorent les performances des tâches de reconnaissance de caractères (OCR) et permettent une exploration sémantique et structurelle des hiéroglyphes.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois scripts : Chinois moderne (ZH), Japonais (JA) et Os Oraculaires (OBS).

Comparaison avec les SOTA : HieroSA surpasse significativement les modèles MLLM puissants (GPT-5, Claude Sonnet 4) et les méthodes de segmentation de lignes classiques (ELSED, DeepLSD).
- Métriques : HieroSA obtient des scores de récompense (RE) beaucoup plus élevés (ex: 0.837 vs 0.137 pour GPT-5 sur le chinois), une couverture (CO) bien supérieure (78.5% vs 11.9%) et un taux de traits invalides (IS) drastiquement réduit (6.1% vs 86.9%).
Évaluation Géométrique : Sur le dataset Make Me A Hanzi, HieroSA démontre une meilleure fidélité géométrique (différence de nombre de traits, distance moyenne, différence de longueur) par rapport aux autres méthodes.
Tâches en aval :
- OCR : L'intégration des représentations de traits améliore la précision de l'OCR (passant de 64.8% en zero-shot à 83.5% avec les traits pour le chinois/japonais).
- Exploration Structurelle : En utilisant un masquage basé sur les traits, le modèle réussit à trouver des caractères sémantiquement liés mais visuellement différents dans des scripts anciens (OBS, Dongba, Égyptien), révélant des composantes structurelles partagées (ex: le composant "pied" dans les os oraculaires).

5. Signification et Impact

Analyse Graphématique Computable : HieroSA offre un outil évolutif pour l'analyse computationnelle des scripts hiéroglyphiques, permettant de dépasser la simple reconnaissance visuelle pour comprendre la logique de construction des caractères.
Indépendance Linguistique : La capacité à fonctionner sans annotations manuelles ouvre la voie à l'étude de scripts anciens, disparus ou peu documentés où les règles de traits ne sont pas standardisées.
Compréhension des MLLM : Ce travail montre que les MLLM peuvent être guidés pour apprendre des représentations géométriques structurées et interprétables, comblant le fossé entre la perception visuelle brute et la logique linguistique structurelle.

Limites mentionnées : La qualité dépend de la complexité structurelle et du bruit géométrique des données d'entraînement. L'utilisation de modèles plus grands et de stratégies d'ensemble pourrait améliorer la robustesse. De plus, l'interprétation finale des résultats d'exploration nécessite encore une inspection humaine.