Résumé Technique : NE-BERT

Problématique

Les systèmes modernes de traitement du langage naturel (NLP) présentent une disparité de performance significative entre les langues à hautes ressources et les langues à faibles ressources, renforçant ainsi les inégalités numériques. Bien que les modèles multilingues généraux comme mBERT et les modèles régionaux comme IndicBERT-V2 offrent une couverture étendue, ils ne parviennent pas à servir de manière adéquate les langues autochtones du Nord-Est de l'Inde. Cette région, qui abrite plus de 200 langues distinctes, fait face à des défis uniques, notamment une extrême rareté des ressources (certaines langues comptent moins de 1 000 phrases numérisées), des structures morphologiques agglutinantes et une diversité de scripts (latin et bengali-assamais). Les modèles existants souffrent souvent de « fragmentation du vocabulaire » dans ces contextes, où les mots rares sont décomposés en unités de sous-mots sous-optimales, dégradant gravement l'efficacité de l'inférence et la cohérence sémantique.

Méthodologie

L'auteur présente NE-BERT, un modèle d'encodage multilingue spécifique au domaine basé sur l'architecture ModernBERT, spécifiquement conçu pour neuf langues du Nord-Est de l'Inde et deux langues ancres (hindi et anglais).

1. Construction du jeu de données

Le corpus d'entraînement comprend environ 8,3 millions de phrases couvrant :

• 9 langues du Nord-Est de l'Inde : assamais, garo, khasi, meitei, mizo, naga, nyishi, pnar et kokborok.
• 2 langues ancres : hindi et anglais.
• Sources : Les données ont été extraites de documents gouvernementaux, d'archives de presse, de matériels éducatifs et de textes culturels. Des corpus parallèles spécifiques pour le nyishi et le kokborok ont été tirés de la tâche partagée WMT 2025.

2. Stratégie d'échantillonnage pondéré

Pour remédier au déséquilibre extrême des données (allant de 1 002 phrases pour le pnar à 3,4 millions pour l'hindi), l'auteur a employé un échantillonnage pondéré agressif lors de l'entraînement du tokenizer :

• Les langues à ultra-faibles ressources (ex. : pnar, kokborok) ont reçu un poids de suréchantillonnage de 100× afin d'assurer une représentation adéquate du vocabulaire et de prévenir la fragmentation au niveau des caractères.
• Les langues ancres ont été dépondérées (hindi 0,05×, anglais 0,2×) pour donner la priorité au vocabulaire des langues du Nord-Est tout en maintenant les capacités de transfert translingue.
• Note : Ces comptes virtuels ne s'appliquaient qu'à l'entraînement du tokenizer ; l'entraînement réel par modélisation de langage masqué (MLM) utilisait les comptes de phrases bruts pour éviter le surapprentissage.

3. Tokenisation

Le document utilise un tokenizer Unigram SentencePiece personnalisé (50 368 tokens) plutôt que le plus courant Byte-Pair Encoding (BPE).

• Raison : L'approche probabiliste de Unigram préserve mieux les structures linguistiques des langues agglutinantes par rapport à la stratégie de fusion gourmande de BPE.
• Configuration : Le tokenizer a été entraîné sur les comptes virtaux pondérés pour garantir que les mots courants dans les langues à faibles ressources forment des tokens uniques, réduisant ainsi la longueur des séquences et améliorant la cohérence sémantique.

4. Architecture du modèle et entraînement

• Base : ModernBERT-base (Warner et al., 2025) avec 149 millions de paramètres (22 couches, dimension cachée de 768, 12 têtes d'attention).
• Caractéristiques : Embeddings de position rotatifs (RoPE), Flash Attention 2 et unpadding pour l'amélioration du débit.
• Entraînement : Entraîné via MLM avec une probabilité de masquage de 15 % et un masquage dynamique sur 10 époques.
• Efficacité : Le modèle a été entraîné sur un seul GPU NVIDIA A40 (48 Go de VRAM) pendant environ 17 heures pour un coût de 7,31 $.

Résultats Clés

Performance de la perplexité

NE-BERT a été évalué sur des ensembles de test non inclus dans l'entraînement (500 phrases par langue) contre IndicBERT-V2, MuRIL et mBERT.

• Performance globale : NE-BERT a atteint une perplexité moyenne de 2,21 sur les 9 langues du Nord-Est, surpassant de manière significative IndicBERT-V2 (35,29) et MuRIL (16,88), et dépassant mBERT (2,76).
• Amélioration moyenne : NE-BERT a obtenu une perplexité moyenne respectivement 15,97× et 7,64× plus faible que IndicBERT-V2 et MuRIL sur les 9 langues du Nord-Est de l'Inde.
• Gains pour les ultra-faibles ressources : Les améliorations les plus spectaculaires ont été observées dans les langues ayant un minimum de données. Pour le pnar (1 002 phrases) et le nyishi (55 870 phrases), NE-BERT a réduit la perplexité à 2,92 et 4,33 respectivement, alors qu'IndicBERT-V2 présentait un échec catastrophique avec des scores de perplexité de 66,92 et 187,20.
• Performance pour les hautes ressources : Sur les langues disposant d'une large couverture Wikipedia (assamais, meitei), mBERT reste compétitif, mais NE-BERT obtient des résultats supérieurs ou comparables.

Efficacité de la tokenisation

• Fertilité : NE-BERT a atteint une fertilité de tokenisation moyenne de 1,68 token/mot pour les langues du Nord-Est, contre 2,08 pour IndicBERT-V2, 2,14 pour MuRIL et 2,51 pour mBERT. Cela représente une amélioration de 1,50× par rapport à mBERT.
• Bits par caractère (BPC) : NE-BERT a atteint un BPC moyen de 0,347, démontrant une efficacité de compression supérieure à celle d'IndicBERT-V2 (1,497) et de MuRIL (1,271).

Évaluation en aval

Dans les tâches d'étiquetage morphosyntaxique (POS tagging) pour le khasi, le mizo et le nagamese :

• NE-BERT a atteint une précision moyenne de 82,4 %, surpassant mBERT (73,3 %) de 9,1 points de pourcentage et IndicBERT-V2 (59,2 %) de 23,2 points de pourcentage.

Signification et Revendications

Le document pose que NE-BERT démontre que les modèles spécifiques à un domaine avec une tokenisation appropriée peuvent efficacement servir les langues à ultra-faibles ressources avec seulement 1 000 phrases d'entraînement.

• Optimisation du vocabulaire plutôt que de l'échelle : Les résultats remettent en question l'idée que le passage à l'échelle de la taille du modèle est suffisant pour la performance en contexte de faibles ressources. L'auteur soutient que l'optimisation minutieuse du vocabulaire (via la tokenisation Unigram pondérée) et des données d'entraînement ciblées sont plus critiques que le nombre brut de paramètres pour ces contextes linguistiques spécifiques.
• Rentabilité : Le succès de l'entraînement d'un modèle compétitif sur un seul GPU pour moins de 10 $ offre un schéma pratique pour le développement de modèles de langage pour les langues sous-représentées à travers le monde.
• Inclusion numérique : En s'attaquant à la « malédiction de la multilingualité » et à la fragmentation du vocabulaire, NE-BERT vise à soutenir la recherche en NLP et l'inclusion numérique pour les communautés du Nord-Est de l'Inde, qui ont été largement absentes de la recherche dominante en NLP.

L'auteur publie explicitement le modèle, le tokenizer, le corpus d'entraînement et les jeux de tests sous une licence CC-BY-4.0 pour faciliter la reproductibilité et les applications communautaires. Il reconnaît les limites, notamment l'architecture de type encodeur uniquement (inadaptée aux tâches de génération) et la nécessité d'évaluations supplémentaires en aval pour diverses tâches et pour l'ensemble des neuf langues.