💬 NLP

Konkani LLM: Multi-Script Instruction Tuning and Evaluation for a Low-Resource Indian Language

Ce papier présente Konkani-Instruct-100k, un jeu de données d'instruction synthétique généré par Gemini 3, et la série de modèles Konkani LLM qui, grâce à un affinage multi-écriture, surpassent les modèles propriétaires dans des tâches de traduction et d'évaluation pour la langue à ressources limitées Konkani.

Auteurs originaux : Reuben Chagas Fernandes, Gaurang S. Patkar

Publié 2026-03-26

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Reuben Chagas Fernandes, Gaurang S. Patkar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌍 L'Histoire du Konkani : Sauver une langue aux trois visages

Imaginez que la langue Konkani (parlée dans la région de Goa, en Inde) est comme un artiste de rue très talentueux, mais qui a un problème : il porte trois costumes différents selon l'endroit où il se trouve.

Parfois, il parle en Devanagari (l'alphabet indien classique).
Parfois, il porte un costume occidental et parle en Romi (l'alphabet latin, comme en français).
Et parfois, il s'habille en Kannada (un autre alphabet indien du sud).

Le problème ? Les grands intelligences artificielles (les "LLMs" comme ceux de Google ou OpenAI) sont comme des chefs cuisiniers mondiaux. Ils savent cuisiner des plats géants pour des langues populaires comme l'hindi ou l'anglais, mais ils ont oublié d'apprendre la recette du Konkani. Et pire encore, quand ils essaient de cuisiner ce plat, ils mélangent les costumes : ils écrivent en Devanagari avec des mots Romi, ou inversement. C'est le chaos !

C'est là que deux chercheurs, Reuben et Gaurang, décident de prendre les choses en main. Voici comment ils ont fait, étape par étape.

1. Le problème : Le "Grand Vide" de données

Pour apprendre à une IA à parler, il faut lui donner des milliers de livres et de conversations. Pour le Konkani, c'est comme chercher une aiguille dans une botte de foin : il y a très peu de données, et elles sont éparpillées entre les trois costumes (scripts). Les IA actuelles sont donc maladroites, comme un enfant qui essaie de parler une langue qu'il a entendue une seule fois à la télé.

2. La solution : Créer un "Cours de Cuisine" artificiel

Puisqu'ils ne trouvaient pas assez de livres existants, les chercheurs ont eu une idée brillante : ils ont créé leur propre manuel scolaire.

Ils ont utilisé une IA très puissante (Gemini) pour générer 100 000 leçons (c'est le "Konkani-Instruct-100k").

L'analogie : Imaginez un professeur très rigoureux qui ne se contente pas de donner la réponse. Il oblige l'élève à écrire un tableau de grammaire avant de parler.
La méthode : Au lieu de juste dire "Traduis cette phrase", ils ont demandé à l'IA de décomposer chaque mot : "Est-ce que ce mot est masculin ? Est-ce que le destinataire est un ami ou un chef ?". Cela force l'IA à comprendre la logique de la langue, pas juste à mémoriser des phrases.

3. L'entraînement : Le "Sérum de Concentration"

Ensuite, ils ont pris des modèles d'IA existants (comme Llama ou Gemma) qui sont déjà intelligents, mais qui ne connaissent pas bien le Konkani.
Ils les ont "finement ajustés" (fine-tuning) avec leur nouveau manuel de 100 000 leçons.

L'analogie : C'est comme prendre un étudiant brillant en mathématiques et lui donner un stage intensif de 2 semaines avec un professeur de Konkani. Il ne redevient pas un expert en 2 secondes, mais il apprend les règles spécifiques pour ne plus faire de fautes d'orthographe ou de grammaire.

4. Le résultat : Des champions locaux

Après l'entraînement, ils ont organisé un examen (le "Konkani-Bench") pour voir qui était le meilleur.

Le verdict : Les modèles "spécialisés Konkani" ont battu les géants internationaux (comme GPT-5 ou Claude) sur des tâches précises comme la traduction et la conversion d'un costume à l'autre (par exemple, passer du Romi au Devanagari sans erreur).
La surprise : Même un petit modèle (Qwen 14B) entraîné sur ces données a mieux réussi que des modèles géants non entraînés. C'est la preuve que la qualité de la leçon compte plus que la taille de l'élève.

5. Pourquoi c'est important ?

Ce papier nous apprend une leçon précieuse pour le futur de l'IA :
Pour les langues rares ou complexes comme le Konkani, on n'a pas besoin d'attendre que les géants de la technologie s'y intéressent. Avec un peu de créativité, des données synthétiques bien construites et des modèles ouverts, on peut créer des outils qui respectent la richesse et la diversité d'une langue.

En résumé :
Les chercheurs ont pris une langue qui souffrait d'un manque de ressources et d'une confusion d'identités (les trois scripts), ils ont construit un manuel scolaire ultra-détaillé, et ils ont entraîné des IA pour qu'elles deviennent les meilleurs ambassadeurs du Konkani, capables de porter n'importe quel costume sans se tromper. C'est une victoire pour la diversité linguistique ! 🎉🇮🇳

Résumé Technique : Konkani LLM

1. Problématique et Contexte

Le Konkani, une langue indo-aryenne parlée principalement dans les régions de Goa et du Konkan en Inde, fait face à des défis majeurs en traitement du langage naturel (NLP) en raison de son statut de langue à ressources limitées et de sa diversité scripturale.

Multiscrituralité : Le Konkani est officiellement écrit dans trois scripts distincts : Devanagari (standard), Romi (latin, utilisé par les catholiques goans) et Kannada (utilisé par les catholiques de Mangalore).
Manque de données : Il existe une pénurie critique de corpus parallèles de haute qualité et de données d'instruction (instruction-tuning) pour ces scripts. Les modèles de langage actuels (LLM) souffrent d'une "contamination linguistique" (mélange avec le marathi ou l'hindi) et d'une faible fidélité scripturale lorsqu'ils sont appliqués au Konkani.
Échec des modèles existants : Les modèles généralistes (comme Llama, Gemma, Qwen) et même certains modèles propriétaires performants sur d'autres langues indiennes (comme le Tamil ou l'Hindi) échouent à gérer la complexité morphologique et les nuances dialectales du Konkani, en particulier dans un contexte multi-script.

2. Méthodologie

Pour combler ce fossé, les auteurs ont proposé une pipeline complète centrée sur la génération de données synthétiques et le fine-tuning paramétrique efficace.

A. Création du Dataset : Konkani-Instruct-100k

Génération Synthétique : En l'absence de données d'instruction natives, les auteurs ont utilisé des modèles enseignants puissants (notamment Gemini 3 et Gemini 2.5 Pro) pour générer un dataset de 105 982 échantillons.
Approche Pédagogique ("Tutor-Style") : Au lieu de simples paires Question-Réponse, le dataset utilise un cadre pédagogique structuré autour de 18 thèmes fondamentaux (nourriture, famille, temps, grammaire, etc.).
Structure Morphologique : Une caractéristique clé est l'inclusion systématique d'une analyse morphologique pour chaque réponse. Le modèle doit décomposer la phrase (genre, nombre, cas oblique, racine du mot) avant de générer la traduction, réduisant ainsi les hallucinations grammaticales.
Équilibre Scriptural : Le dataset est équilibré entre les trois scripts (Devanagari, Romi, Kannada) pour éviter les biais orthographiques, avec une petite portion de données en anglais pour préserver le raisonnement général.

B. Entraînement des Modèles

Architectures Ciblées : Fine-tuning de plusieurs modèles open-weights de différentes tailles : Llama 3.1 (8B), Gemma 3 (4B, 12B, 27B) et Qwen2.5 (1.5B, 14B).
Technique : Utilisation de l'adaptation à faible rang (LoRA) pour un fine-tuning efficace en paramètres.
- Configuration : Rang $r=64$ , $\alpha=128$ , appliqué aux projections d'attention et MLP.
- Entraînement sur 2 époques avec une longueur de séquence de 4096 tokens.
Objectif : Démontrer que des modèles compacts, entraînés sur des données linguistiquement contrôlées, surpassent les modèles généraux en précision grammaticale et fidélité scripturale.

C. Évaluation : Konkani-Bench

Développement d'un benchmark humain annoté de 200 paires couvrant :
- Traduction : Konkani vers Anglais.
- Translittération : Transfert bidirectionnel entre Devanagari, Romi et Kannada.
Métriques : Utilisation de métriques automatiques (BLEU, chrF++, COMET) et d'une évaluation par un LLM-juge (Gemini 3 Flash) pour mesurer l'utilité, la fidélité scripturale et l'absence de contamination (marathi/hindi).

3. Contributions Clés

Konkani-Instruct-100k : Le premier dataset d'instruction à grande échelle, multi-script et généré par distillation, incluant une analyse morphologique détaillée.
Konkani LLM : Une suite de modèles finement ajustés (basés sur Qwen, Gemma, Llama) optimisés spécifiquement pour les nuances régionales et scripturales du Konkani.
Konkani-Bench : Un benchmark rigoureux pour l'évaluation croisée des scripts, comblant le manque d'outils d'évaluation standardisés pour cette langue.

4. Résultats

Les résultats expérimentaux montrent des améliorations significatives par rapport aux modèles de base et aux concurrents propriétaires :

Traduction (Konkani -> Anglais) :
- Le modèle konkani-Qwen2.5-14B-Instruct obtient le score COMET le plus élevé (83,58) parmi les modèles finetunés, surpassant les modèles open-weights de base et se montrant compétitif face à des modèles propriétaires comme GPT-5 ou Claude Sonnet dans certains scénarios.
- Les modèles finetunés améliorent considérablement les scores BLEU et chrF++ par rapport à leurs versions de base (ex: +44 points de BLEU pour Qwen 14B).
Translittération :
- Les modèles finetunés démontrent une robustesse exceptionnelle dans le transfert entre scripts (ex: Romi vers Devanagari), surpassant largement les modèles généraux qui peinent souvent à maintenir la cohérence phonétique et orthographique.
Évaluation par LLM-Juge :
- Llama 8B et Qwen 14B se distinguent comme les meilleurs modèles globaux pour les scripts Romi et Devanagari.
- Les modèles finetunés réduisent drastiquement les erreurs de contamination (mélange avec le Marathi) et améliorent la pertinence culturelle.

5. Limites

Biais du modèle enseignant : Le dataset étant synthétique, il peut hériter des biais stylistiques ou factuels des modèles générateurs (Gemini).
Diversité dialectale : Bien que le dataset soit équilibré en scripts, il ne capture pas entièrement la diversité dialectale complexe au sein des communautés Konkani.
Contraintes d'entraînement : L'absence de pré-entraînement continu ou de fine-tuning complet (full fine-tuning) en raison de contraintes budgétaires pourrait limiter les performances maximales.

6. Signification et Impact

Ce travail constitue une avancée majeure pour le NLP des langues indiennes à ressources limitées. Il démontre que :

La génération de données synthétiques de haute qualité, enrichie d'analyses linguistiques explicites, est une stratégie viable pour les langues sans corpus d'instruction.
L'approche multi-script est essentielle pour les langues comme le Konkani, où l'écriture varie selon la communauté religieuse et géographique.
Des modèles compacts (8B-14B) peuvent rivaliser avec des modèles propriétaires massifs lorsqu'ils sont correctement adaptés à des données linguistiquement contrôlées.

Les modèles et le dataset sont publiés sur Hugging Face (huggingface.co/konkani) et un démonstrateur public est disponible sur konkani.app, facilitant l'accès à la communauté et aux chercheurs.