💬 NLP

Corpora deduplication or duplication in Natural Language Processing of few resourced languages ? A case of study: The Mexico's Nahuatl

Cette étude démontre que l'expansion contrôlée par duplication incrémentale d'un corpus limité de nahuatl, une langue à ressources rares, permet d'améliorer modérément la performance des plongements lexicaux statiques pour des tâches de similarité sémantique.

Auteurs originaux : Juan-José Guzman-Landa, Juan-Manuel Torres-Moreno, Graham Ranger, Miguel Figueroa-Saavedra, Martha-Lorena Avendaño-Garrido, Elvys Linhares-Pontes, Luis-Gil Moreno-Jiménez

Publié 2026-04-09

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Juan-José Guzman-Landa, Juan-Manuel Torres-Moreno, Graham Ranger, Miguel Figueroa-Saavedra, Martha-Lorena Avendaño-Garrido, Elvys Linhares-Pontes, Luis-Gil Moreno-Jiménez

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌍 Le Problème : La "Faim" des Intellectuels Numériques

Imaginez que vous voulez enseigner à un enfant à parler une langue. Pour qu'il devienne un expert, vous devez lui lire des milliers de livres, des millions d'histoires. C'est ce que font les Intelligences Artificielles (IA) modernes, comme les grands modèles de langage (LLM). Elles ont besoin de montagnes de texte pour apprendre.

Mais il y a un gros problème : certaines langues, comme le Nawatl (parlé au Mexique par plus de 2 millions de personnes), sont comme des enfants qui n'ont qu'un seul petit carnet de contes à leur disposition. En informatique, on appelle ces langues des langues "π" (pi) : elles ont très peu de ressources numériques.

Les chercheurs se sont posé une question audacieuse : "Et si on prenait ce petit carnet de contes, et qu'on le photocopiait 30 fois ? Est-ce que l'IA apprendrait mieux avec 30 fois plus de texte, même si c'est exactement le même texte ?"

🔍 L'Expérience : La Photocopie Magique

Habituellement, quand on crée des IA pour les langues riches (comme l'anglais ou le français), on fait l'inverse : on essaie de supprimer les doublons. Pourquoi ? Parce que si un texte apparaît 10 000 fois, l'IA s'ennuie et devient "bête" (elle fait des erreurs). C'est comme si un professeur répétait la même phrase 10 000 fois : l'élève ne retient rien de nouveau.

Mais pour le Nawatl, la situation est différente. Il n'y a pas assez de texte. Les chercheurs ont donc décidé de tester une stratégie inverse : la duplication contrôlée.

Ils ont pris le corpus (la collection de textes) existant du Nawatl, appelé π-YALLI, et l'ont dupliqué progressivement :

1 fois (l'original)
2 fois
4 fois
... jusqu'à 30 fois la taille originale.

C'est comme si vous aviez un seul gâteau, et que vous le découpiez en 30 parts identiques pour nourrir 30 élèves au lieu d'un seul. L'idée est de voir si, en répétant le même gâteau, l'estomac de l'IA (son cerveau) grandit mieux.

🧠 Le Résultat : Ça marche, mais avec des nuances !

Les chercheurs ont testé cette méthode en demandant à l'IA de comprendre le sens des phrases (par exemple : "Est-ce que 'Je mange une pomme' est proche de 'Je dévore un fruit' ?").

Voici ce qu'ils ont découvert, avec des analogies :

Le "FastText" (Le Camionneur Rapide) :
Imaginez un camionneur qui transporte des mots. Avec la duplication, ce camionneur est devenu plus efficace. Quand on a dupliqué le texte environ 10 fois, il a compris le Nawatl beaucoup mieux. Son score de compréhension a augmenté de près de 8 %. C'est comme si, en répétant le même trajet, il connaissait chaque virage par cœur et roulait plus vite.
Le "Word2Vec" (Le Sculpteur Patient) :
Lui, c'est un artiste qui sculpte le sens des mots. Il a besoin de beaucoup plus de répétitions pour bien travailler. Il a fallu dupliquer le texte 22 fois pour qu'il atteigne son meilleur niveau. Là, l'amélioration a été énorme (plus de 35 %). C'est comme si l'artiste avait besoin de voir le même modèle 22 fois avant de réussir sa sculpture parfaite.
Le "GloVe" (Le Vieil Horloger) :
Lui, ça n'a pas marché. Plus on dupliquait le texte, moins il comprenait bien. C'est comme un horloger qui, s'il répète la même tâche trop de fois, finit par se tromper de vis.

💡 Pourquoi est-ce important ?

Ce papier prouve une chose fascinante : pour les langues rares, la répétition n'est pas une erreur, c'est une solution.

Dans le monde des langues riches, on dit "moins de doublons, c'est mieux". Mais pour le Nawatl (et d'autres langues similaires), dire "plus de doublons, c'est mieux" permet de donner un coup de pouce vital à l'IA. Cela permet de créer des outils de traduction ou de compréhension qui fonctionnent enfin pour ces communautés, sans avoir besoin d'attendre des millions de nouveaux livres qui n'existent pas encore.

🚀 Et après ?

Les chercheurs sont optimistes. Ils pensent que cette technique de "photocopie intelligente" pourrait aider à créer des résumés automatiques de textes ou à identifier des noms de lieux en Nawatl. C'est une petite victoire pour la diversité linguistique : grâce à un peu de mathématiques et de répétition, on donne une voix numérique à des langues qui risquaient de rester muettes dans le monde numérique.

En résumé : Parfois, pour apprendre une langue rare, il ne faut pas chercher de nouveaux livres, mais lire les mêmes livres encore et encore, jusqu'à ce que l'IA les ait parfaitement intégrés.

1. Problématique et Contexte

L'article aborde le défi majeur posé par le développement de modèles de langage (LLM) pour les langues à faibles ressources (ou langues $\pi$ ), par opposition aux langues riches en ressources (langues $\tau$ ).

Le problème : Les LLM modernes nécessitent des corpus massifs (des centaines de millions à des milliards de mots) pour capturer la structure profonde d'une langue. Les langues $\pi$ , comme le Nawatl (ou Nahuatl) au Mexique, souffrent d'un manque critique de données textuelles représentatives et à grande échelle, ce qui empêche l'entraînement efficace de modèles contextuels (type BERT) et limite leur présence dans le traitement automatique du langage (TAL).
Spécificités du Nawatl : C'est une langue agglutinante et polysynthétique avec une grande diversité dialectale (29 variétés reconnues). Sa structure morphologique complexe (mots-phrase) et l'absence de ressources lexicales standardisées (dictionnaires, étiqueteurs de parties du discours) rendent les techniques d'augmentation de données classiques (comme EDA) difficiles à appliquer.
Hypothèse de travail : Alors que la recherche actuelle sur les langues $\tau$ se concentre sur la déduplication des corpus pour éviter le surapprentissage, les auteurs proposent l'inverse pour les langues $\pi$ : une duplication contrôlée et incrémentale du corpus existant pour compenser le manque de données et faciliter l'apprentissage d'embeddings statiques.

2. Méthodologie

Les auteurs ont conçu une expérience visant à évaluer l'impact de l'expansion du corpus $\pi$ -YALLI (un corpus hétérogène de Nawatl contenant environ 6,6 millions de mots) sur la qualité des embeddings statiques.

Stratégie de Duplication :
- Le corpus original a été dupliqué de manière identique (copie exacte) un nombre de fois $\rho$ variable.
- Le facteur de duplication $\rho$ a varié de 1 (original) à 30, créant des corpus allant de 6,6 millions à environ 198 millions de mots.
- Cette approche est dite « incrémentale » et ne nécessite aucune ressource linguistique externe (pas de dictionnaires, pas de POS taggers), ce qui est crucial pour le Nawatl.
Tâche d'Évaluation :
- Similarité Sémantique au niveau de la phrase : L'objectif est de classer 5 phrases candidates par rapport à une phrase de référence selon leur proximité sémantique.
- Comparaison : Les résultats du modèle sont comparés à un classement établi par des locuteurs natifs du Nawatl.
- Métrique : La corrélation entre les rankings est mesurée via le coefficient $\tau$ de Kendall.
Modèles Entraînés :
- Trois algorithmes d'embeddings statiques ont été testés sur les corpus dupliqués : Word2Vec, FastText et GloVe.
- Différentes architectures ont été comparées : Skip-gram (prédire le contexte à partir du mot) et CBOW (prédire le mot à partir du contexte).
- Pour la comparaison, des embeddings pré-entraînés sur d'autres corpus (Wikipedia Nawatl, Common Crawl) ont également été évalués.

3. Contributions Clés

Inversion du paradigme de la duplication : L'article propose une contribution théorique et pratique en suggérant que, contrairement aux langues riches où la duplication est nuisible, la duplication contrôlée peut être bénéfique pour les langues à faibles ressources afin de stabiliser l'apprentissage des embeddings.
Évaluation sur le Nawatl : C'est l'une des premières études appliquant des techniques d'expansion de corpus sur le Nawatl, une langue agglutinante complexe, sans recourir à des ressources lexicales inexistantes.
Analyse comparative des algorithmes : L'étude met en évidence les différences de comportement entre les architectures (FastText vs Word2Vec vs GloVe) face à l'augmentation de la taille du corpus par duplication.

4. Résultats

Les résultats expérimentaux, présentés via le coefficient $\tau$ de Kendall, montrent une amélioration modérée mais significative de la performance pour certains modèles :

FastText (Skip-gram) :
- Obtient les meilleurs résultats globaux.
- Le score $\tau$ passe de 0,459 (corpus original) à 0,495 (duplication 10x).
- Amélioration d'environ 7,8 %.
- Le modèle atteint son optimum avec un facteur de duplication $\rho$ relativement faible (autour de 8 à 10).
Word2Vec (Skip-gram) :
- Montre la plus forte amélioration relative.
- Le score $\tau$ passe de 0,357 à 0,483 (duplication 22x).
- Amélioration de plus de 35 %.
- La performance continue d'augmenter jusqu'à un facteur de duplication plus élevé ( $\rho \approx 20-22$ ) avant de stagner.
GloVe :
- Les résultats sont décevants et stagnants, voire en légère baisse, avec une amélioration marginale de seulement 3,4 %. Cela suggère que cette architecture est moins adaptée à la duplication exacte dans ce contexte.
Comparaison avec d'autres corpus :
- Les modèles entraînés sur le corpus dupliqué $\pi$ -YALLI surpassent nettement les embeddings pré-entraînés disponibles sur le Web (Wikipedia Nawatl ou Common Crawl), dont les scores $\tau$ tournent autour de 0,240.
Efficacité : L'entraînement reste rapide (quelques dizaines de minutes par exécution), rendant cette stratégie très viable pour des ressources de calcul limitées.

5. Signification et Conclusion

Cette étude démontre que la duplication contrôlée de corpus est une stratégie viable et efficace pour améliorer la qualité des embeddings statiques dans les langues à faibles ressources comme le Nawatl.

Impact : Elle permet de pallier le manque de données textuelles sans avoir besoin de collecter de nouvelles données (souvent impossible) ou de créer des ressources lexicales complexes.
Limites et Perspectives : Bien que les résultats ne soient pas « spectaculaires » (l'amélioration reste modérée), ils sont significatifs pour un domaine où les données sont quasi inexistantes. Les auteurs notent que la duplication exacte ne suffit pas à entraîner des modèles contextuels (type Transformers) qui nécessitent des ordres de grandeur supérieurs de tokens.
Travaux futurs : Les auteurs prévoient d'explorer la normalisation des données textuelles, l'expansion ciblée sur des dialectes spécifiques, et l'application de cette technique à d'autres tâches TAL comme la résumé automatique et la reconnaissance d'entités nommées (REN) en Nawatl.

En résumé, l'article valide l'hypothèse que pour les langues $\pi$ , plus de données (même redondantes) sont préférables à moins de données, à condition d'utiliser les bons algorithmes (comme FastText Skip-gram) et des stratégies de duplication adaptées.