Beyond Subtokens: A Rich Character Embedding for Low-resource and Morphologically Complex Languages

1. Problématique

Les modèles d'état de l'actuel en traitement du langage naturel (NLP), tels que Word2Vec, BERT et les GPT, reposent principalement sur la tokenisation (mot complet) ou la sous-tokenisation (ex: WordPiece, BPE). Cette approche présente plusieurs limites critiques, particulièrement pour les langues à ressources limitées et les langues morphologiquement complexes (fortement flexionnelles ou agglutinantes) :

• Perte de similarité orthographique : Les modèles basés sur des dictionnaires traitent des mots orthographiquement similaires (ex: quality et qualification) comme des entités distinctes si leurs sous-jets ne se chevauchent pas parfaitement. Ils ne capturent pas la similarité de l'orthographe elle-même.
• Vulnérabilité aux variations d'orthographe : Les fautes de frappe ou les variations dialectales nécessitent que le corpus d'entraînement contienne explicitement chaque variante pour apprendre une représentation vectorielle, ce qui est impossible pour les langues peu dotées en données.
• Inefficacité pour les langues flexionnelles : Dans des langues comme le latin, l'islandais ou le féroïen, un même lemme peut avoir de nombreuses formes flexionnelles. Les approches traditionnelles nécessitent une entrée distincte pour chaque forme, ce qui dilue les données d'entraînement.
• Coût computationnel des approches purement basées sur les caractères : Les modèles existants traitant chaque caractère individuellement (byte-level) augmentent drastiquement la longueur des séquences d'entrée, rendant l'entraînement coûteux en mémoire (complexité quadratique des Transformers) et limitant la fenêtre contextuelle.

2. Méthodologie : Rich Character Embeddings (RCE)

Les auteurs proposent une nouvelle approche nommée Rich Character Embeddings (RCE). Au lieu d'utiliser un dictionnaire de tokens ou de sous-jets, RCE calcule directement une représentation vectorielle pour un mot à partir de sa chaîne de caractères brute.

Architecture et Représentation d'Entrée

• Encodage des caractères : Chaque mot est décomposé en une séquence de caractères. Chaque caractère est représenté par un vecteur one-hot.
• Gestion des spécificités :
  • Les majuscules et les diacritiques (ex: accents, trémas) ne sont pas traités comme des caractères uniques, mais via des modificateurs (ex: un modificateur UP pour la majuscule, un modificateur ´ pour l'accent aigu) appliqués à la base du caractère.
  • Des tokens spéciaux [BEG] (début), [END] (fin), [UNK] (inconnu) et [PAD] (remplissage) sont ajoutés.
• Modèle : L'architecture utilise un encodeur Transformer.
  • La séquence de caractères (transformée en vecteurs) est passée à travers des couches d'attention.
  • Contrairement aux modèles de classification de phrases qui utilisent le token [CLS], RCE utilise la sortie correspondant au token [BEG] comme représentation vectorielle finale du mot.
• Hybridation : Les auteurs proposent également un modèle hybride combinant les mécanismes de Transformer et de convolution (noté c2v dans les résultats) pour capturer à la fois les dépendances à long terme et les structures locales.

Stratégies d'Entraînement

Le modèle est entraîné avec trois objectifs combinés pour enrichir la représentation :

1. Prédiction du contexte (Context Prediction) : Prédire les chaînes de caractères des mots environnants (similaire à Word2Vec mais au niveau des caractères). Cela capture l'information sémantique.
2. Prédiction d'identité (Identity Prediction) : Prédire la chaîne de caractères du mot d'entrée lui-même (fonctionnement type auto-encodeur). Cela préserve l'information syntaxique et orthographique.
3. Prédiction de dictionnaire (Context Dictionary Prediction) : Prédire les entrées de dictionnaire des mots environnants (si disponibles) pour faciliter l'apprentissage initial.

3. Contributions Clés

• Remplacement "Plug-and-Play" : RCE peut remplacer directement les couches d'embedding traditionnelles (dictionnaire ou sous-jets) dans des architectures existantes (de Word2Vec à BERT) sans modifier le reste du modèle.
• Généralisation aux mots rares : Grâce à la compréhension des structures de caractères, le modèle peut encoder des mots jamais vus lors de l'entraînement (hors vocabulaire) en s'appuyant sur la similarité orthographique avec des mots connus.
• Capture de la morphologie : La méthode préserve naturellement les informations sur les suffixes, préfixes et flexions, permettant une meilleure inférence pour les langues à forte flexion.
• Efficacité pour les langues à faibles ressources : La méthode ne nécessite pas de corpus massifs pour apprendre des représentations cohérentes, car elle apprend la structure des mots plutôt que de simplement mémoriser des occurrences.

4. Résultats Expérimentaux

Les auteurs ont évalué RCE sur plusieurs tâches et langues (Féroïen, Islandais, Norvégien, Latin, Ouzbek, Allemand, Anglais).

• Métriques de similarité (TopK et Odd-One-Out) :
  • Sur des tâches de regroupement sémantique (TopK) et de détection d'intrus (Odd-One-Out), RCE et le modèle hybride (RCE+c2v) surpassent systématiquement FastText et les approches basées sur WordPiece, en particulier sur les langues à faibles ressources.
  • Le modèle hybride obtient les meilleurs résultats, suggérant que l'approche Transformer et l'approche convolutive capturent des informations complémentaires.
• Prédiction de déclinaison (Latin) :
  • Pour prédire le cas et le nombre de noms latins à partir de leurs formes, RCE et c2v surpassent FastText.
  • RCE montre une meilleure capacité à transférer l'apprentissage d'une langue source (ex: Italien) vers une langue cible (ex: Latin) que FastText, qui chute drastiquement hors de sa langue d'entraînement.
• Détection de figures de style (Chiasmes et Métaphores) :
  • Sur des tâches de classification de chiasmes et de métaphores en allemand, les modèles basés sur les caractères (RCE) surpassent les modèles basés sur les sous-jets.
  • L'approche hybride (RCE+c2v) obtient les scores les plus élevés, confirmant la complémentarité des architectures.
• Modèles de type BERT (Tâche SWAG) :
  • En intégrant RCE comme couche d'entrée dans un modèle de type BERT, les performances sur la tâche de prédiction de la phrase suivante (SWAG) sont supérieures à celles d'un BERT standard avec tokenisation WordPiece, tant pour les langues riches (Anglais, Allemand) que pour les langues pauvres (Féroïen).
  • L'approche RCE permet un meilleur transfert de connaissances entre langues proches (ex: pré-entraînement sur l'Islandais pour le Féroïen).

5. Signification et Limites

Signification :
Ce travail démontre que le passage d'une représentation basée sur des tokens statiques à une représentation dynamique basée sur les caractères (via Transformer) permet de surmonter les limites des modèles actuels pour les langues morphologiquement complexes et à faibles ressources. Cela ouvre la voie à des modèles plus robustes aux variations orthographiques et capables de généraliser à partir de corpus réduits.

Limites :

• Systèmes d'écriture : L'approche actuelle est conçue pour des systèmes d'écriture linéaires et unidimensionnels (alphabet latin). Elle ne gère pas nativement les systèmes bidimensionnels complexes (comme le chinois ou le japonais) ou d'autres alphabets (cyrillique, devanagari) sans redéfinition du mapping des tokens.
• Échelle des évaluations : Les expériences sont limitées par la disponibilité des données et des ressources de calcul, nécessitant des validations futures sur un éventail plus large de langues et de corpus.

En conclusion, Rich Character Embeddings représente une avancée significative pour rendre le NLP plus accessible et performant pour les langues du monde qui ne sont pas dominées par l'anglais ou les grands corpus de données.