💬 NLP

Konkani LLM: Multi-Script Instruction Tuning and Evaluation for a Low-Resource Indian Language

Diese Arbeit stellt Konkani-Instruct-100k, einen synthetischen Instruktionsdatensatz, und die darauf basierenden feinabgestimmten Konkani-LLMs vor, um die Leistungslücke bei dieser sprachlich unterversorgten, mehrschriftigen indischen Sprache zu schließen und dabei in Übersetzungsaufgaben proprietäre Modelle zu übertreffen.

Ursprüngliche Autoren: Reuben Chagas Fernandes, Gaurang S. Patkar

Veröffentlicht 2026-03-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Reuben Chagas Fernandes, Gaurang S. Patkar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der vergessene Sprach-Bruder

Stellen Sie sich vor, die Welt der künstlichen Intelligenz (KI) ist eine riesige Bibliothek. In dieser Bibliothek gibt es riesige, prall gefüllte Regale für Sprachen wie Englisch, Hindi oder Tamil. Aber für Konkani – eine wunderschöne Sprache, die in Goa und der Konkan-Region Indien gesprochen wird – gibt es nur ein winziges, staubiges Schränkchen im Keller.

Das Problem ist noch schlimmer: Konkani wird nicht nur in einer Schriftart geschrieben, sondern in drei verschiedenen:

Devanagari (wie Hindi),
Romi (lateinische Buchstaben, wie wir sie kennen),
Kannada (eine eigene Schrift aus dem Süden).

Die aktuellen KI-Modelle (die "großen Denker") sind wie Schüler, die nur in den großen Regalen gelernt haben. Wenn man sie auf Konkani prüft, stolpern sie über die verschiedenen Schriften und verstehen die Nuancen nicht. Sie sind verwirrt, weil ihnen die richtigen Bücher fehlen.

Die Lösung: Ein künstlicher "Super-Lehrer"

Da es keine genug echten Bücher (Daten) für Konkani gab, haben die Forscher (Reuben und Gaurang) einen genialen Trick angewendet. Sie haben einen künstlichen Lehrmeister (eine andere, sehr starke KI namens Gemini) beauftragt, ein ganz neues Schulbuch zu schreiben.

Sie nannten dieses neue Buch "Konkani-Instruct-100k".

Stellen Sie sich vor, dieser Lehrmeister sitzt an einem Tisch und schreibt 100.000 kleine Geschichten und Übungen. Aber er macht es nicht einfach so:

Er schreibt jede Übung in allen drei Schriften gleichzeitig, damit die KI lernt, dass "Haus" in Devanagari, Romi und Kannada dasselbe bedeutet.
Er erklärt nicht nur was gesagt wird, sondern wie es grammatikalisch funktioniert (wie ein Lehrer, der an der Tafel die Satzstruktur zerlegt).
Er deckt alles ab: von Familienangehörigen über Zahlen bis hin zu politischen Themen.

Der Bau der KI-Schüler

Anschließend haben die Forscher verschiedene KI-Modelle (wie Llama, Gemma und Qwen) wie Schüler in eine Klasse geschickt, die nur mit diesem neuen, perfekten Schulbuch lernen durften.

Der Unterricht: Die Schüler durften nicht das ganze Buch auswendig lernen (das wäre zu teuer und langsam), sondern sie haben sich spezielle "Notizkarten" (LoRA-Adapter) gemacht. Diese Karten enthalten nur die wichtigsten Regeln für Konkani.
Das Ergebnis: Diese "Konkani-KI-Schüler" haben sich danach so verhalten, als wären sie in Goa geboren worden. Sie können Texte in allen drei Schriften lesen, schreiben und übersetzen, ohne die Buchstaben zu verwechseln.

Der Prüfstein: Der "Konkani-Bench"

Um zu testen, ob die Schüler wirklich gelernt haben, haben die Forscher eine Prüfung namens "Konkani-Bench" erfunden.
Stellen Sie sich vor, man gibt den KIs einen Satz auf Romi und fragt: "Übersetze das ins Englische" oder "Schreib das in Kannada um".

Die alten KIs (die ohne das neue Buch lernten) haben oft Unsinn geschrieben oder die Schrift gemischt.
Die neuen "Konkani-KIs" haben die Prüfung mit Bravour bestanden. In manchen Fällen waren sie sogar besser als die teuersten, geschlossenen KI-Systeme von großen Tech-Firmen.

Warum ist das wichtig?

Bisher wurden Sprachen wie Konkani oft als "zu klein" abgetan. Diese Forschung zeigt, dass man auch für kleine Sprachen starke KIs bauen kann, wenn man kreativ ist.

Die Metapher: Es ist, als würde man einem kleinen Dorf, das bisher nur ein altes, kaputtes Radio hatte, plötzlich ein modernes, digitales Radio mit allen Sendern schenken.
Das Ziel: Die Forscher wollen, dass die KI die Sprache so natürlich versteht, wie ein Einheimischer. Sie haben die Modelle sogar kostenlos online gestellt, damit jeder sie ausprobieren kann.

Zusammengefasst: Die Forscher haben eine KI, die Konkani nicht gut konnte, durch ein selbstgeschriebenes, perfektes Schulbuch in allen drei Schriftarten zu einem Experten gemacht. Sie haben bewiesen, dass man auch für "kleine" Sprachen große Intelligenz schaffen kann, wenn man die richtigen Werkzeuge nutzt.

1. Problemstellung

Die Sprache Konkani (eine indoarische Sprache, die hauptsächlich in Goa und der Konkan-Region Indiens gesprochen wird) steht vor erheblichen Herausforderungen im Bereich des Natural Language Processing (NLP). Trotz ihres Status als offizielle Sprache Indiens gilt sie als „Low-Resource"-Sprache. Die Hauptprobleme sind:

Mangel an Trainingsdaten: Es gibt einen akuten Mangel an hochwertigen, parallelen Korpora und instruktionsbasierten Datensätzen.
Schriftvielfalt (Multi-Script): Konkani wird offiziell in drei verschiedenen Schriftsystemen geschrieben: Devanagari (Standard), Romi (Lateinisch, oft von Katholiken verwendet) und Kannada (hauptsächlich in Mangaluru).
Fragmentierung: Bestehende Datensätze sind oft auf eine einzige Schrift beschränkt oder durch Transkriptionsfehler (z. B. durch automatische Transliteration) von phonologischen Fehlern und Dialektunterschieden geprägt.
Leistungslücke: Große Sprachmodelle (LLMs) wie GPT-5 oder Claude performen zwar multilingual gut, scheitern jedoch oft an der spezifischen Grammatik, den Dialekten und der Schrifttreue bei Konkani, da ihnen instruktionsbasierte Feinabstimmungsdaten fehlen.

2. Methodik

Die Autoren verfolgen einen Ansatz, der auf synthetischer Datengenerierung und parameter-effizientem Fine-Tuning basiert, um die Datenknappheit zu überwinden.

A. Datensatz-Erstellung: Konkani-Instruct-100k

Da keine ausreichenden menschlich annotierten Daten existierten, wurde ein synthetischer Datensatz mit ca. 106.000 Beispielen generiert.

Lehrer-Modell: Es wurden fortschrittliche Modelle (insbesondere Gemini 3 und Gemini 2.5 Pro) als „Lehrer" eingesetzt, um Instruktions-Antwort-Paare zu generieren. Grok 4.1 wurde getestet, aber aufgrund von NSFW-Inhalten und lexikalischen Fehlern verworfen.
Pädagogischer Ansatz: Statt einfacher Q&A-Paare wurde ein „Tutor-Style"-Framework gewählt. Die Daten basieren auf 18 grundlegenden linguistischen Themen (z. B. Familie, Zeit, Grammatikregeln).
Strukturelle Tiefe: Ein einzigartiges Merkmal des Datensatzes ist die Einbeziehung von morphologischen Analyse-Tabellen. Jedes Beispiel enthält nicht nur die Antwort, sondern auch eine Zerlegung in Wortarten, Stammformen und Morphologie-Logik (z. B. Geschlecht, Kasus, Höflichkeitsformen).
Schriftbalance: Der Datensatz ist ausgewogen zwischen Devanagari, Romi und Kannada verteilt, um orthografische Verzerrungen zu minimieren.

B. Modell-Training

Basis-Modelle: Verschiedene Open-Weight-Architekturen wurden verwendet, darunter Llama 3.1 (8B), Gemma 3 (4B, 12B, 27B) und Qwen2.5 (1.5B, 14B).
Fine-Tuning: Es wurde LoRA (Low-Rank Adaptation) eingesetzt, um die Modelle parameter-effizient anzupassen.
- Konfiguration: Rang $r=64$ , Skalierung $\alpha=128$ .
- Target-Module: Attention-Projektionen ( $q, k, v, o$ ) und MLP-Projektionen ($gate, up, down$).
- Hyperparameter: 2 Epochen, Batch-Größe 32 (akkumuliert), Lernrate $2 \times 10^{-4}$ , bfloat16 Präzision.
Ziel: Die Entwicklung einer Serie von spezialisierten „Konkani LLMs", die regionalen Nuancen und Schrifttreue priorisieren.

C. Evaluierungs-Benchmark: Konkani-Bench

Die Autoren entwickelten einen neuen Benchmark mit 200 menschlich annotierten Paaren, um die Leistung in zwei Hauptaufgaben zu testen:

Übersetzung: Konkani (alle drei Schriften) $\to$ Englisch.
Transliteration: Paarweise Konvertierung zwischen Romi, Devanagari und Kannada (in beide Richtungen).
Die Bewertung erfolgt durch automatische Metriken (BLEU, chrF++, COMET) und ein „LLM-as-a-Judge"-System (Gemini 3 Flash), das Hilfsbereitschaft, Schrifttreue und das Fehlen von Kontamination durch Hindi/Marathi bewertet.

3. Wichtige Beiträge

Konkani-Instruct-100k: Der erste groß angelegte, multiskriptige Instruktions-Datensatz für Konkani, der durch Distillation generiert wurde und morphologische Details enthält.
Konkani LLM Suite: Eine Reihe von feinabgestimmten Modellen, die für Konkani optimiert sind und in verschiedenen Größen (von 1.5B bis 27B Parametern) verfügbar sind.
Konkani-Bench: Ein neuer Benchmark zur Bewertung von Schrifttreue und Robustheit über verschiedene Schriftsysteme hinweg.
Open Source: Alle Modelle und Datensätze wurden auf Hugging Face veröffentlicht (huggingface.co/konkani), und eine Demo ist unter konkani.app verfügbar.

4. Ergebnisse

Die Evaluierung zeigt deutliche Verbesserungen gegenüber den Basismodellen und ist in vielen Szenarien mit proprietären Modellen konkurrenzfähig.

Übersetzungsleistung (Table 4):
- Das feinabgestimmte konkani-Qwen2.5-14B-Instruct erreichte mit einem COMET-Score von 83,58 das beste Ergebnis unter den Open-Weight-Modellen.
- Dies übertrifft deutlich die unfeinabgestimmten Basismodelle (z. B. Llama-3.1-8B: 57,10 COMET) und liegt in der Nähe proprietärer Modelle wie gpt-5-mini (75,53) oder kimi-k2 (80,41).
- Die feinabgestimmten Modelle zeigen konsistente Gewinne in BLEU und chrF++.
Transliteration (Table 5):
- Die feinabgestimmten Modelle zeigen massive Verbesserungen bei der Kreuz-Schrift-Transliteration. Beispielsweise erreichte konkani-Qwen2.5-14B in der Richtung Devanagari $\to$ Romi einen BLEU-Score von 56,03, verglichen mit nur 10,26 beim unfeinabgestimmten Qwen2.5-14B.
- Dies beweist die Fähigkeit der Modelle, die phonetischen und orthografischen Nuancen der drei Schriften zu lernen.
LLM-as-a-Judge (Tables 6–8):
- Bei der Bewertung durch ein Urteil-LLM (Gemini 3 Flash) schnitt Llama 8B am besten bei Romi und Devanagari ab, während Qwen2.5 14B bei Kannada am stärksten war.
- Die Modelle zeigen eine hohe Fähigkeit, die spezifische Grammatik (z. B. Geschlechtsübereinstimmung, oblique Fälle) korrekt anzuwenden, was bei den Basismodellen oft zu Fehlern führte.

5. Bedeutung und Fazit

Dieses Paper stellt einen Meilenstein für die Verarbeitung indischer Low-Resource-Sprachen dar, insbesondere für solche mit hoher Schriftvielfalt wie Konkani.

Validierung synthetischer Daten: Es demonstriert, dass hochwertige synthetische Daten, die durch starke Lehrer-Modelle generiert und durch morphologische Strukturierung angereichert werden, effektiv den Mangel an menschlichen Daten kompensieren können.
Multi-Script-Robustheit: Die Arbeit zeigt, dass es möglich ist, ein einziges Modell zu trainieren, das nahtlos zwischen Devanagari, Romi und Kannada wechseln kann, ohne die linguistische Integrität zu verlieren.
Praktische Anwendbarkeit: Die Bereitstellung von Open-Weight-Modellen und einem öffentlichen Demo-Tool macht fortschrittliche NLP-Technologien für die Konkani-Community zugänglich, was zuvor nur proprietären APIs vorbehalten war.
Limitationen: Die Autoren geben zu, dass der Datensatz synthetisch ist und potenzielle Bias des Lehrers enthalten könnte. Zudem wurde kein Full-Fine-Tuning oder Continued Pre-Training durchgeführt, was aufgrund von Rechenressourcen-Limitationen notwendig war, aber zukünftige Verbesserungen verspricht.

Zusammenfassend beweist die Studie, dass durch gezielte Datengenerierung und effizientes Fine-Tuning auch für stark fragmentierte, mehrschriftige Sprachen leistungsfähige und robuste LLMs entwickelt werden können.