💬 NLP

Paramanu: Compact and Competitive Monolingual Language Models for Low-Resource Morphologically Rich Indian Languages

Le document présente Paramanu, une famille de modèles de langage monolingues compacts et rentables, entraînés à partir de zéro sur des données open-source pour cinq langues majeures de l'Inde, qui utilisent des tokeniseurs spécialisés et des techniques d'entraînement pour surpasser des modèles multilingues plus grands malgré leur petite taille et un budget d'entraînement sur un seul GPU.

Auteurs originaux : Mitodru Niyogi, Eric Gaussier, Arnab Bhattacharya

Publié 2026-01-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mitodru Niyogi, Eric Gaussier, Arnab Bhattacharya

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez le monde de l'Intelligence Artificielle comme une immense bibliothèque animée. Pendant longtemps, cette bibliothèque a été presque entièrement remplie de livres écrits en anglais. Bien qu'il existe quelques livres dans d'autres langues, ils sont souvent de simples traductions des livres anglais, ou ils sont écrits d'une manière qui suppose que le lecteur pense en anglais. Si vous essayez de lire un livre sur les langues indiennes dans cette bibliothèque, vous pourriez trouver les pages déchirées, les mots brisés en fragments minuscules et confus, ou simplement que l'histoire n'a pas de sens.

Le document que vous demandez présente une nouvelle collection spécialisée de livres appelée PARAMANU. Voici l'histoire de la façon dont ils l'ont construite et pourquoi elle est importante, expliquée simplement.

Le Problème : Le costume "taille unique" qui ne va pas

Les modèles d'IA actuels sont comme de grands costumes lourds fabriqués pour les anglophones. Lorsque les chercheurs essaient de forcer ces costumes sur les locuteurs de langues indiennes (comme le hindi, le tamoul ou le bengali), le costume ne va pas bien.

Le problème du "mot brisé" : Les langues indiennes sont "morphologiquement riches", ce qui signifie que les mots changent de forme pour ajouter du sens (comme ajouter un "s" pour le pluriel ou "ed" pour le passé, mais de manière beaucoup plus complexe). Les grands modèles découpent souvent ces mots en morceaux minuscules et inutiles, comme si l'on essayait de manger une pomme entière en ne mordant que la peau. Cela rend l'IA lente et inefficace.
Le problème du "cerveau anglais" : Même lorsqu'ils parlent des langues indiennes, ces modèles "pensent" souvent en anglais en sous-main, ce qui conduit à des formulations maladroites ou à des biais.
Le problème du "trop coûteux" : Construire un nouvel IA à partir de zéro coûte généralement des millions de dollars et nécessite des supercalculateurs. Cela laisse les chercheurs en Inde ou avec des budgets plus modestes incapables de construire leurs propres outils.

La Solution : Les costumes "sur mesure" de PARAMANU

Les auteurs ont créé PARAMANU, une famille de cinq petits modèles d'IA sur mesure. Chacun est conçu spécifiquement pour une seule langue majeure indienne : le bengali, le hindi, le marathi, le tamoul et le télougou.

Voyez-les non pas comme de grands costumes lourds, mais comme des uniformes légers et ajustés sur mesure, fabriqués spéciquement pour les personnes qui les portent.

1. Construit à partir de zéro, pas de simples patchs

Au lieu de prendre un modèle anglais et d'essayer de lui "enseigner" les langues indiennes (ce qui revient à essayer d'apprendre à un francophone à parler hindi en utilisant uniquement des mots français), ils ont construit ces modèles de fond en comble en utilisant uniquement des données indiennes. C'est comme construire une maison en utilisant uniquement des briques et du bois locaux, plutôt que d'importer des matériaux qui ne correspondent pas au climat.

2. Le "Déchiqueteur Intelligent" (Tokenisation)

L'une des plus grandes innovations est une nouvelle façon de décomposer les mots, appelée tokenizer.

L'ancienne méthode : Imaginez un déchiqueteur qui coupe un mot comme "incroyable" en "in", "croy", "able". Il manque le sens racine.
La méthode PARAMANU : Ils ont créé un "déchiquiteur intelligent" qui comprend la grammaire des langues indiennes. Il garde la racine du mot intacte (comme "incroy") et ne sépare que les terminaisons. Cela permet à l'IA de comprendre le mot plus rapidement et avec moins de "morceaux" à traiter. C'est ce qu'on appelle une faible fertilité, ce qui signifie qu'elle ne crée pas de fragments inutiles.

3. Une construction "adaptée au budget"

La partie la plus surprenante est le coût. Habituellement, entraîner une IA est comme lancer une fusée ; cela nécessite un budget massif.

L'astuce de PARAMANU : Ils ont réussi à entraîner ces modèles sur une seule carte graphique (un composant informatique standard) avec un budget de moins de 1 000 $.
L'analogie : C'est comme construire une voiture de course haute performance dans un garage en utilisant une clé à molette ordinaire et quelques centaines de dollars, au lieu d'avoir besoin d'une usine et d'un budget d'un million de dollars. Cela permet aux chercheurs ayant des ressources limitées de construire des outils compétitifs.

4. Étendre la mémoire (Mise à l'échelle du contexte)

Les modèles d'IA ont une "limite de mémoire" (fenêtre de contexte) sur la quantité de texte qu'ils peuvent lire à la fois. Habituellement, si vous voulez lire un livre plus long, vous avez besoin d'un ordinateur plus gros.

L'innovation : Les auteurs ont développé une astuce mathématique (utilisant ce qu'on appelle l'interpolation RoPE) qui permet au modèle d' "étirer" sa mémoire.
L'analogie : Imaginez que vous avez une règle courte. Au lieu d'acheter une règle plus longue, ils ont inventé une façon de marquer la règle afin que chaque pouce sur la règle courte représente un mile sur une carte. Cela permet au modèle de lire des séquences de texte plus longues sans avoir besoin de matériel plus coûteux.

Les Résultats : Petits mais puissants

Lorsqu'ils ont testé ces petits modèles (qui vont de 108 millions à 367 millions de "paramètres" — voyez cela comme les cellules cérébrales du modèle) contre des modèles beaucoup plus grands (certains possédant des milliards de cellules cérébrales) :

Les outsiders ont gagné : Les petits modèles PARAMANU ont souvent été meilleurs que les modèles multilingues massifs et coûteux dans leurs langues respectives.
Efficacité : Ils ont atteint un meilleur équilibre entre performance et coût. Ils sont comme une voiture compacte et économe en carburant qui obtient une meilleure autonomie qu'une limousine gourmande en essence.

La bibliothèque d'"Instruction"

Pour rendre ces modèles utiles pour des tâches réelles (comme répondre à des questions ou suivre des commandes), l'équipe a créé un ensemble d'exemples d'"instruction" en bengali. Ils ont ensuite soigneusement traduit ces exemples dans les quatre autres langues. C'est comme donner à l'IA un livre de recettes dans sa langue maternelle, lui apprenant exactement comment cuisiner les plats qu'elle est censée servir.

Résumé

Le document soutient que pour les langues riches en grammaire et disposant de moins de ressources numériques, la meilleure stratégie n'est pas de construire un modèle plus grand et plus coûteux. Au contraire, la meilleure stratégie est de construire des modèles plus petits et spécialisés qui sont :

Natifs : Entraînés uniquement sur cette langue spécifique.
Intelligents : Utilisant un tokenizer qui comprend la structure de la langue.
Accessibles : Entraînables par n'importe qui avec un budget modeste.

Ils ont prouvé qu'il n'est pas nécessaire d'avoir un budget d'un milliard de dollars pour construire une excellente IA pour les langues indiennes ; il faut simplement les bons outils et une attention particulière aux besoins spécifiques de la langue.

Résumé Technique : PARAMANU

Énoncé du Problème

Les modèles de langage de grande taille (LLM) actuels sont principalement entraînés sur l'anglais et les langues européennes à hautes ressources, ce qui entraîne des disparités de performance significatives pour les langues à faibles ressources et à morphologie riche, comme celles parlées en Inde. Les modèles multilingues souffrent souvent d'un « biais centré sur l'anglais », où ils « pensent en anglais », ce qui entraîne une dégradation des performances sur les écritures non latines. De plus, ces modèles utilisent fréquemment un tokenizer de type « taille unique pour toutes les langues » qui provoque une sur-segmentation dans les langues à morphologie riche, entraînant une fertilité de jetons élevée, des coûts d'inférence accrus et une fluidité réduite. L'adaptation des modèles existants centrés sur l'anglais aux langues indiennes via un pré-entraînement continu ou un réglage fin (fine-tuning) présente des défis tels que l'inefficacité de l'extension du vocabulaire, le désalignement des plongements (embeddings) et l'oubli catastrophique, nécessitant souvent des ressources de calcul hors de portée des chercheurs disposant de peu de moyens.

Méthodologie

Les auteurs introduisent PARAMANU, une famille de modèles de langage auto-régressifs de type décodeur uniquement, monolingues, entraînés de zéro spécifiquement pour cinq langues majeures indiennes : le bengali, l'hindi, le marathi, le tamoul et le télougou. Les modèles varient en taille de 108M à 367M de paramètres et sont conçus pour être entraînés sur un seul GPU avec un budget inférieur à 1 000 $.

Composants Techniques Clés :

Curation et Nettoyage des Données :
- Le corpus de pré-entraînement consiste en environ 54,6 Go de texte UTF-8 (25 à 66 milliards de jetons) provenant du web (actualités, blogs et Wikipédia - IndianCorp v2, Vacaspati).
- Un nettoyage rigoureux inclut le filtrage par expressions régulières (regex) des balises HTML/XML, la suppression des caractères non littéraux, l'identification de la langue (via cld3 et IndianLID-FTN), le filtrage de la toxicité et la déduplication via MurmurHash5.
- La segmentation de phrases utilise la ponctuation spécifique à la langue (par exemple, le « danda » | pour les écritures bengalie et devanagari).
Tokenisation Alignée sur la Morphologie :
- Pour remédier à la sur-segmentation, les auteurs ont développé un tokenizer hybride combinant le codage par paires de字节 (BPE) avec des jetons du modèle Unigram.
- Les jetons Unigram, qui capturent les structures morphologiques globales grâce à l'élagage probabiliste, sont fusionnés dans le vocabulaire BPE.
- Cette approche préserve les radicaux et les suffixes fréquents en tant que sous-mots atomiques, réduisant considérablement la fertilité des jetons (le nombre de jetons par mot) par rapport au BPE standard ou aux modèles multilingues comme Sarvam 2B et Llama-3.
Mise à l'Échelle du Contexte via l'Interpolation Positionnelle :
- Pour s'entraîner sur des séquences plus longues (jusqu'à 4096 jetons) sur du matériel avec des fenêtres de contexte limitées (par exemple, 256 jetons sur un seul GPU A100), les auteurs emploient un facteur de réduction pour les plongements positionnels rotatifs (RoPE).
- Les indices de position des jetons $p$ sont mis à l'échelle selon $p' = p \cdot (L/y)$ , où $L$ est la longueur de contexte permise par le matériel et $y$ est la longueur cible. Cela permet au modèle d'apprendre les dépendances à longue portée en projetant les positions absolues dans une plage plus étroite supportée par le matériel tout en préservant les distances relatives.
Réglage d'Instructions (Instruction Tuning) :
- Un ensemble de données de 23 000 instructions a été créé pour le bengali, comprenant des échantillons rédigés par des humains, des instructions Dolly traduites et des échantillons d'auto-instruction (self-instruct).
- Ceux-ci ont été traduits par machine (avec post-édition manuelle) en hindi, marathi, tamoul et télougou pour aligner les modèles avec les instructions humaines.
Architecture du Modèle :
- Basé sur l'architecture Transformer décodeur, utilisant RMSNorm, l'activation SwiGLU et le partage de poids (weight tying).
- Les configurations suivent les lois d'échelle de Chinchilla, avec des modèles allant de 108M à 367M de paramètres.

Contributions Clés

Famille PARAMANU : Les premiers modèles de langage décodeurs de moins de 400M de paramètres, exclusivement indiens, entraînés de zéro sur des données transparentes et spécifiques à la langue pour le bengali, l'hindi, le marathi, le tamoul et le télougou.
Tokenizers à Faible Fertilité : Nouveaux ownurs alignés sur la morphologie qui combinent les méthodes BPE et Unigram pour réduire le nombre de jetons et améliorer la cohérence morphologique pour les écritures indiennes.
Techniques d'Entraînement Efficaces : Une méthode d'interpolation pour les indices de position RoPE permettant l'entraînement sur de longs contextes sur des configurations à GPU unique, ainsi que l'utilisation de $\mu$ P pour l'optimisation des hyperparamètres.
Jeux de Données d'Instructions : Nouveaux jeux de données d'ajustement d'instructions en bengali, traduits vers d'autres langues cibles, facilitant l'alignement avec les instructions humaines.

Résultats

Les modèles PARAMANU ont été évalués face à 21 LLM multilingues et adaptés aux langues indiennes (allant de 200M à 8B de paramètres) en utilisant des benchmarks tels que MMLU, ARC, Belebele, XNLI et des jeux de données spécifiques aux langues (HellaSwag, XCOPA, XStoryCloze).

Performance vs Taille : Malgré leur petite taille (<400M de paramètres) et leurs données d'entraînement limitées (<70 milliards de jetons), les modèles PARAMANU surpassent la plupart des modèles multilingues plus larges (jusqu'à 3B de paramètres) sur les cinq langues.
Comparaison avec des Modèles Plus Grands : Les modèles surpassent 6 des 10 modèles plus grands (>3B de paramètres), y compris ceux entraînés avec des données à faible ressource suréchantillonnées (ex: xGLM). Bien que des modèles comme LLaMA-3-8B et Bloomz-7B mènent globalement grâce à un immense réglage d'instructions, PARAMANU reste compétitif.
Études d'Ablation :
- Le tokenizer hybride a amélioré les performances sur les tâches en aval de 0,56 % à 2,02 % par rapport au BPE standard.
- Le nettoyage des données a davantage boosté les scores de 1 % à 3,5 %.
- L'interpolation de position a permis un entraînement efficace sur des séquences plus longues, la performance augmentant généralement avec la taille du contexte.
Transfert Cross-Lingual : Les modèles ont démontré de fortes capacités de transfert zero-shot au sein de la famille d'écriture Devanagari (par exemple, un modèle marathi performant sur les benchmarks hindi), suggérant une utilité pour les tâches translingues.

Signification et Revendications

L'article soutient que pour les langues à morphologie riche et à faibles ressources, la stratégie optimale n'est pas nécessairement de maximiser l'échelle du modèle ou de compter sur de massifs corpus multilingues. Au contraire, construire des modèles spécifiques à la langue avec des tokenizers à faible fertilité et alignés sur la morphologie, entraînés sur des données nettoyées et spécifiques, offre un meilleur compromis performance-efficacité.

PARAMANU démontre que de petits modèles monolingues peuvent être compétitifs avec des alternatives multilingues beaucoup plus grandes lorsqu'ils sont entraînés sous des contraintes de calcul et de budget serrées. Cette approche rend la modélisation du langage avancée accessible aux chercheurs et aux communautés disposant de peu de ressources, fournissant une base pratique pour la recherche en NLP et les applications en aval pour les langues indiennes. Les auteurs soulignent que la publication en open-source de leurs modèles, tokenizers et jeux de données vise à combler le fossé pour les langues historiquement sous-représentées dans la recherche en IA, favorisant la transparence et l'avancement communautaire.