Konkani LLM: Multi-Script Instruction Tuning and Evaluation for a Low-Resource Indian Language

1. Il Problema: Scarsità di Risorse e Diversità di Scrittura

Il Konkani è una lingua indo-ariana parlata principalmente nelle regioni di Goa e Konkan in India. Nonostante sia una lingua ufficiale programmata in India, rimane una lingua a risorse limitate (low-resource) nel contesto dell'elaborazione del linguaggio naturale (NLP).
Le sfide principali identificate sono:

• Scarsità di dati: Mancanza di corpora paralleli di alta qualità e dati di addestramento specifici per l'istruzione (instruction-tuning).
• Diversità di script (Multi-script): Il Konkani è scritto ufficialmente in tre script diversi: Devanagari (standard), Romi (alfabeto latino, usato dalla comunità cattolica) e Kannada (usato dalla comunità di Mangalore).
• Contaminazione linguistica: I modelli LLM esistenti, pur essendo multilingue, spesso falliscono nel trattare il Konkani come una lingua distinta, producendo output contaminati da Marathi o Hindi, o mostrando scarsa fedeltà agli script specifici.
• Frammentazione: I dati esistenti sono spesso frammentati tra i diversi script, impedendo l'addestramento di modelli unificati ed efficaci.

2. Metodologia

Gli autori hanno adottato un approccio basato sulla generazione di dati sintetici e sul fine-tuning efficiente dei parametri per colmare il divario di risorse.

A. Creazione del Dataset: Konkani-Instruct-100k

Poiché mancavano dati di istruzione nativi, il team ha generato un dataset sintetico di 100.000 campioni (in realtà 105.982 nel dataset finale) utilizzando modelli teacher avanzati (principalmente Gemini 3 e Gemini 2.5 Pro).

• Strategia "Tutor-Style": Invece di semplici coppie domanda-risposta, il dataset utilizza un framework pedagogico che insegna la meccanica linguistica di base attraverso 18 argomenti fondamentali (es. famiglia, numeri, grammatica, casi obliqui).
• Analisi Morfologica: Ogni campione include una tabella di decomposizione grammaticale che mostra il ruolo, la radice, i tag (genere, numero, cortesia) e la logica morfologica, riducendo le allucinazioni.
• Bilanciamento degli Script: Il dataset è bilanciato tra Devanagari, Romi e Kannada per evitare bias ortografici. Include anche esempi in inglese come regolarizzatore.
• Filtraggio: Sono stati applicati filtri automatici per rimuovere campioni malformati o ripetitivi.

B. Addestramento del Modello

• Architetture: Sono stati utilizzati modelli open-weight di diverse dimensioni, tra cui Llama 3.1 (8B), Gemma 3 (4B, 12B, 27B) e Qwen2.5 (1.5B, 14B).
• Tecnica di Adattamento: È stato utilizzato LoRA (Low-Rank Adaptation) per un fine-tuning efficiente dei parametri.
  • Configurazione: Rank $r=64$, $\alpha=128$, applicato ai layer di attenzione e MLP.
  • Configurazione di training: 2 epoche, lunghezza sequenza 4096, batch size effettivo 32, precisione bfloat16.
• Obiettivo: Dimostrare che modelli compatti addestrati su dati linguisticamente controllati possono superare i modelli generici nella fedeltà allo script e nella precisione grammaticale.

C. Valutazione: Konkani-Bench

È stato sviluppato un benchmark umano di 200 campioni per valutare:

1. Traduzione: Da Konkani a Inglese.
2. Trascrizione (Transliteration): Conversione bidirezionale tra i tre script (Romi $\leftrightarrow$ Devanagari $\leftrightarrow$ Kannada).

• Metriche: BLEU, chrF++, COMET per la traduzione; BLEU e chrF++ per la trascrizione.
• LLM-as-a-Judge: Utilizzo di Gemini 3 Flash per valutare l'utilità, la fedeltà allo script e l'assenza di contaminazione (Marathi/Hindi).

3. Contributi Chiave

1. Konkani-Instruct-100k: Il primo dataset su larga scala per l'istruzione multiscrittura del Konkani, generato tramite distillazione, che include analisi morfologiche dettagliate.
2. Konkani LLM: Una serie di modelli fine-tuned ottimizzati per le sfumature regionali e i tre script ufficiali.
3. Konkani-Bench: Un benchmark umano annotato specifico per testare la robustezza cross-script e la fedeltà linguistica.
4. Risorsa Open Source: Rilascio dei modelli su Hugging Face (huggingface.co/konkani) e di una demo pubblica (konkani.app).

4. Risultati

I risultati sperimentali mostrano miglioramenti significativi rispetto ai modelli base e competitività con modelli proprietari:

• Traduzione (Konkani $\to$ Inglese):

  • Il modello fine-tuned konkani-Qwen2.5-14B-Instruct ha ottenuto il punteggio COMET più alto (83.58) tra i modelli open-weight, superando modelli base come Llama 3.1 8B (57.10) e avvicinandosi a modelli proprietari come Gemini Flash (91.14) e GPT-5.2 (85.93).
  • I modelli fine-tuned hanno mostrato guadagni costanti rispetto alle loro controparti base.

• Translitterazione (Cross-Script):

  • I modelli fine-tuned hanno dimostrato una robustezza cross-script superiore. Ad esempio, nella traduzione da Devanagari a Romi, konkani-Qwen2.5-14B ha ottenuto un BLEU di 50.52, contro i 13.35 di GPT-5.2 e i 12.24 di DeepSeek-V3.2.
  • Questo dimostra che l'addestramento su dati bilanciati permette al modello di gestire la conversione tra script in modo molto più efficace rispetto ai modelli generici.

• Valutazione Umana (LLM-as-a-Judge):

  • Llama 8B ha ottenuto i punteggi migliori per gli script Romi e Devanagari in compiti di chat e scrittura creativa.
  • Qwen2.5 14B ha eccelso nello script Kannada.
  • I modelli fine-tuned hanno ridotto drasticamente la contaminazione con Marathi e Hindi rispetto ai modelli base.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo fondamentale per l'inclusione digitale delle lingue indiane a risorse limitate.

• Validazione della Sintesi: Dimostra che la generazione di dati sintetici di alta qualità, guidata da modelli teacher e strutturata con regole grammaticali esplicite, è una strategia efficace per colmare il divario di dati nelle lingue low-resource.
• Gestione Multi-Script: Fornisce un modello per affrontare lingue che esistono in più sistemi di scrittura, un problema comune in India ma spesso ignorato dai modelli LLM globali.
• Accessibilità: Rendendo disponibili modelli leggeri (adattatori LoRA) e un benchmark pubblico, il progetto facilita lo sviluppo di applicazioni NLP per la comunità Konkani, supportando la preservazione linguistica e l'innovazione tecnologica regionale.

In sintesi, il paper stabilisce un nuovo stato dell'arte per il Konkani, dimostrando che con dati strutturati e tecniche di adattamento efficiente, è possibile creare modelli linguistici competitivi anche per lingue con risorse digitali estremamente scarse.