💬 NLP

Konkani LLM: Multi-Script Instruction Tuning and Evaluation for a Low-Resource Indian Language

Dit paper introduceert het synthetische instructiedataset Konkani-Instruct-100k en een reeks fine-tuned modellen om de prestaties van Large Language Models in het laag-resourcetaalgebied van Konkani, met name vanwege de scriptdiversiteit, aanzienlijk te verbeteren en te evalueren.

Oorspronkelijke auteurs: Reuben Chagas Fernandes, Gaurang S. Patkar

Gepubliceerd 2026-03-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Reuben Chagas Fernandes, Gaurang S. Patkar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🌍 De Taal van de Kleine Broer: Hoe we Konkani een AI-hoofdkussen geven

Stel je voor dat Konkani een kleine, lieve broer is in de grote familie van Indiase talen. Hij woont in de prachtige kuststreken van Goa, maar hij heeft een groot probleem: hij spreekt drie verschillende "dialecten" tegelijk, afhankelijk van wie er naar hem luistert.

Devanagari: De officiële, formele schrijfwijze (zoals in de krant).
Romi: De schrijfwijze in het Latijnse alfabet (vaak gebruikt door katholieken).
Kannada: Een schrijfwijze die lijkt op die van de buren in het zuiden.

Het probleem? De grote "Super-Hersens" van de wereld (de Large Language Models of LLM's, zoals de AI's van Google of OpenAI) zijn als enorme bibliotheken. Ze hebben boeken in duizenden talen, maar voor Konkani hebben ze slechts een paar krantenknipsels. En die krantenknipsels zijn verspreid over drie verschillende kasten. Als je de AI vraagt om Konkani te spreken, stottert hij omdat hij de puzzelstukjes niet bij elkaar kan vinden.

De auteurs van dit paper, Reuben en Gaurang, zeiden: "Nee, dit mag niet zo blijven. We gaan deze taal redden."

Hier is hoe ze dat deden, stap voor stap:

1. Het Bouwen van een Nieuwe Bibliotheek (Konkani-Instruct-100k)

Omdat er geen bestaande boeken waren om de AI te leren, moesten ze er zelf nieuwe schrijven. Maar ze hadden geen tijd om 100.000 zinnen met de hand te typen.

De Analogie: Stel je voor dat je een chef-kok wilt trainen, maar er is geen receptenboek. In plaats van zelf te koken, huur je een beroemde, slimme kok in (in dit geval een andere AI genaamd Gemini 3).
De Oplossing: Ze gaven deze slimme kok een opdracht: "Maak 100.000 recepten (zinnen) in Konkani, maar zorg dat je ze in alle drie de schrijfwijzen schrijft."
De Twist: Ze lieten de AI niet zomaar praten. Ze gaven hem een lesboekje met 18 basislessen (over eten, familie, tijd, kleuren, etc.). Ze eisten zelfs dat de AI uitlegde waarom hij een woord zo schreef (bijvoorbeeld: "Ik gebruik dit lidwoord omdat het woord vrouwelijk is"). Dit zorgde voor een zeer leerzaam, gestructureerd dataset genaamd Konkani-Instruct-100k.

2. De AI Opleiden (Fine-Tuning)

Nu hadden ze een perfecte lesmethode, maar de studenten (de AI-modellen) moesten nog leren. Ze namen bestaande, slimme modellen (zoals Llama, Gemma en Qwen) en gaven hen deze nieuwe lesmethode.

De Analogie: Het is alsof je een universiteitsstudent (de AI) neemt die al veel weet over de wereld, en hem een speciale, intensieve cursus Konkani geeft. Je laat hem niet alles opnieuw leren (dat zou te duur en te traag zijn), maar je past alleen een paar specifieke hersenverbindingen aan. Dit noemen ze LoRA (Low-Rank Adaptation).
Het Resultaat: Je krijgt nu een "Konkani-Specialist" die niet alleen woorden kent, maar ook begrijpt hoe je een zin in Devanagari, Romi én Kannada correct moet bouwen.

3. De Proef (De Benchmark)

Hoe weten ze of het werkt? Ze maakten een examen, genaamd Konkani-Bench.

Ze schreven 200 zinnen in het Engels.
Vervolgens vroegen ze de AI om deze te vertalen naar Konkani in alle drie de schrijfwijzen.
Ze keken niet alleen of de woorden klopten, maar ook of de AI niet per ongeluk Hindi of Marathi (buurtalen) begon te spreken.

4. De Uitslag: De Kleine Broer Wint!

De resultaten waren verrassend goed.

De grote, dure AI's (zoals GPT-4 of Gemini Pro) deden het soms goed, maar vaak maakten ze fouten in de specifieke schrijfwijzen van Konkani.
De Konkani-specialisten (de modellen die de auteurs hebben getraind) deden het vaak beter dan de dure modellen, vooral als het ging om het correct gebruiken van de verschillende schrijfwijzen.
Zelfs een klein model (14 miljard parameters) kon na deze training beter Konkani spreken dan een enorm model dat nooit specifiek voor deze taal was getraind.

Waarom is dit belangrijk?

Dit paper toont aan dat je niet per se een supercomputer nodig hebt om een taal te redden. Als je slimme, gestructureerde lessen maakt (synthetische data) en die gebruikt om bestaande AI's een beetje bij te sturen, kun je zelfs voor talen die bijna vergeten zijn, een sterke AI bouwen.

Samengevat in één zin:
De auteurs bouwden een digitale "taalschool" voor de vergeten taal Konkani, trainden er slimme studenten op, en bewezen dat deze studenten nu beter kunnen praten dan de dure, algemene experts.

Ze hebben hun modellen en data zelfs gratis beschikbaar gesteld, zodat iedereen (van taalstudenten tot app-ontwikkelaars) deze nieuwe "Konkani-bril" op kan zetten.

Titel: Konkani LLM: Multi-Script Instruction Tuning en Evaluatie voor een Low-Resource Indiase Taal

Auteurs: Reuben Chagas Fernandes en Gaurang S. Patkar (Don Bosco College Of Engineering, Fatorda)

1. Het Probleem: Taalverontreiniging en Script-diversiteit

Konkani is een Indo-Arische taal die voornamelijk in de regio's Goa en Konkan in India wordt gesproken. Ondanks de officiële erkenning als een "scheduled language" in India, staat Konkani bekend als een low-resource taal voor Natural Language Processing (NLP). De belangrijkste uitdagingen zijn:

Multiscript-natuur: Konkani wordt officieel geschreven in drie verschillende scripts: Devanagari (standaard), Romi (Latijns/Romeins, gebruikt door katholieke gemeenschappen) en Kannada (voornamelijk in Mangalore).
Data-schaarste: Er is een acuut gebrek aan hoogwaardige, parallelle corpora en instructie-tuning datasets die deze scripts verenigen. Bestaande datasets zijn vaak gefragmenteerd per script, wat de training van geünificeerde modellen belemmert.
Prestatiekloof: Grote Taalmodellen (LLMs) zoals GPT-4 of Llama 3 presteren slecht in Konkani. Hoewel ze de taal tijdens pre-training hebben kunnen tegenkomen, ontbreekt het hen aan specifieke instructie-tuning data om de taal als een distinct doel te behandelen. Dit leidt tot "taalverontreiniging" (vaak verward met Marathi of Hindi) en gebrekkige script-trouw.

2. Methodologie

De auteurs hanteren een pipeline die zich richt op synthetische data-generatie en parameter-efficiënte fine-tuning om de data-schaarste te overwinnen.

A. Dataset Creatie: Konkani-Instruct-100k

Omdat er geen bestaande instructie-datasets waren, hebben de auteurs een synthetische dataset van 105.982 samples gegenereerd.

Teacher Model: Ze gebruikten Gemini 3 (en eerder Gemini 2.5 Pro) als "teacher model" om instructies en antwoorden te genereren. Andere modellen zoals Grok 4.1 werden getest maar afgekeurd vanwege ongeschikte woordkeuze of NSFW-inhoud.
Pedagogische Benadering: In plaats van simpele Q&A-paren, gebruikten ze een "Tutor-Style" framework. Het model moest eerst een Grammatica Decompositie Tabel genereren (met onderdelen zoals geslacht, beleefdheidsvorm, naamvallen) voordat het de definitieve vertaling gaf. Dit verhoogde de grammaticale nauwkeurigheid.
Script Balans: De dataset is zorgvuldig gebalanceerd over de drie scripts:
- Devanagari: ~26.000 samples
- Romi (Latijns): ~38.000 samples
- Kannada: ~26.000 samples
- Engels (als regularizer): ~1.000 samples
Morfologische Analyse: Elke sample bevat een structurele breakdown met POS-tags (woordsoorten) en basis-modifier morfologie, wat uniek is voor dit type dataset.

B. Model Training

Basis Modellen: Ze fine-tunen diverse open-weight modellen, waaronder Llama 3.1 (8B), Gemma 3 (4B, 12B, 27B) en Qwen2.5 (1.5B, 14B).
Techniek: Ze gebruiken LoRA (Low-Rank Adaptation) voor parameter-efficiënte fine-tuning.
- Configuratie: Rank $r=64$ , $\alpha=128$ , toegepast op attention- en MLP-projecties.
- Training: 2 epochs, batch size 32 (via gradient accumulation), bfloat16 precisie, en een learning rate van $2 \times 10^{-4}$ .
Doel: Bewijzen dat compacte modellen, getraind op linguistisch gecontroleerde data, beter presteren dan grotere, algemene modellen in termen van script-trouw en grammatica.

C. Evaluatie: Konkani-Bench

De auteurs ontwikkelen een nieuwe benchmark bestaande uit 200 menselijk geannoteerde items om de modellen te testen op:

Vertaling: Konkani naar Engels.
Transliteratie: Tussen de drie scripts (bijv. Devanagari $\leftrightarrow$ Romi, Romi $\leftrightarrow$ Kannada).

Metrics: BLEU, chrF++, COMET (voor vertaling) en menselijke evaluatie via "LLM-as-a-judge" (Gemini 3 Flash) om bruikbaarheid, script-trouw en afwezigheid van verontreiniging te scoren.

3. Belangrijkste Resultaten

De experimenten tonen aan dat de fine-tuned modellen aanzienlijke verbeteringen boeken ten opzichte van hun basisversies en concurreren met gesloten, proprietaire modellen.

Vertaling (Konkani $\to$ Engels):
- De beste fine-tuned model, konkani-Qwen2.5-14B-Instruct, behaalde een COMET-score van 83.58.
- Dit presteert beter dan veel grote open-source modellen (zoals Llama-3.3-70B met 69.97) en is concurrerend met gesloten API-modellen zoals gemini-3-pro-preview (88.56) en gpt-5.2 (85.93).
- Kleine modellen (zoals 1.5B) presteerden slecht zonder fine-tuning, maar verbeterden aanzienlijk na training.
Transliteratie:
- De fine-tuned modellen tonen sterke cross-script robustheid. Bijvoorbeeld, konkani-Qwen2.5-14B behaalde hoge chrF++ scores (rond 72-80) in verschillende script-richtingen, terwijl de basismodellen vaak faalden (scores rond 20-40).
Menselijke Evaluatie (LLM-as-a-judge):
- Llama 8B presteerde het beste voor Romi en Devanagari scripts in chat en creatief schrijven.
- Qwen2.5 14B presteerde het beste voor het Kannada script.
- De fine-tuned modellen vertoonden minder "verontreiniging" (minder Marathi/Hindi invloeden) dan de basismodellen.

4. Bijdragen

Het paper levert drie fundamentele bijdragen aan de gemeenschap:

Konkani-Instruct-100k: De eerste grote, multiscript instructie-tuning dataset voor Konkani, gegenereerd via distillatie en pedagogisch ontworpen.
Konkani LLM Suite: Een reeks fine-tuned modellen die specifiek zijn geoptimaliseerd voor de regionale nuances en script-varianten van Konkani.
Konkani-Bench: Een nieuwe benchmark voor menselijke en automatische evaluatie van vertaling en transliteratie over de drie scripts heen.

5. Significatie en Toekomstperspectief

Dit werk is een belangrijke stap in de democratizatie van AI voor low-resource talen in India. Het demonstreert dat:

Synthetische data, mits zorgvuldig gegenereerd met pedagogische regels, effectief kan zijn om data-schaarste op te lossen.
Specifieke fine-tuning op kleine tot middelgrote modellen (8B-14B parameters) superieur kan zijn aan het gebruik van enorme, algemene modellen voor specifieke taaltaken.
De aanpak van "multiscript" training essentieel is voor talen zoals Konkani, waar de schrijfwijze sterk afhankelijk is van de culturele en religieuze achtergrond van de spreker.

De modellen en datasets zijn openbaar beschikbaar gesteld via Hugging Face (huggingface.co/konkani) en er is een publieke demo beschikbaar op konkani.app.

Beperkingen:
De dataset is grotendeels synthetisch en kan biases van het teacher-model bevatten. Ook werd er geen gebruik gemaakt van volledige fine-tuning of continued pre-training vanwege budget- en tijdslimieten, wat potentieel verdere verbeteringen mogelijk maakt.