💬 NLP

Konkani LLM: Multi-Script Instruction Tuning and Evaluation for a Low-Resource Indian Language

Este trabajo presenta Konkani-Instruct-100k, un conjunto de datos sintético de 100.000 instrucciones generado con Gemini 3, y un modelo LLM afinado que mejora significativamente el rendimiento en la lengua baja en recursos Konkani a través de sus múltiples escritorios, superando en varios escenarios a las bases de referencia propietarias.

Autores originales: Reuben Chagas Fernandes, Gaurang S. Patkar

Publicado 2026-03-26

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Reuben Chagas Fernandes, Gaurang S. Patkar

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que el idioma Konkani es como un árbol antiguo y hermoso que crece en la costa de la India, pero tiene un problema: sus ramas (los dialectos y escrituras) están tan separadas que nadie puede ver todo el árbol de una sola vez.

Este documento es el plan de un grupo de ingenieros para construir un "puente digital" que una todas esas ramas. Aquí te explico cómo lo hicieron, usando analogías sencillas:

1. El Problema: El "Hueso" de la Hambre de Datos

Imagina que quieres enseñar a un robot a hablar Konkani. El problema es que, aunque el idioma es oficial, en internet hay muy pocos libros, conversaciones o noticias escritas en él. Es como intentar enseñar a un chef a cocinar un plato tradicional sin tener ningún libro de recetas; solo tienes migajas de información.

Además, el Konkani tiene un "triple personalidad": se escribe de tres formas diferentes (como si el mismo libro tuviera tres portadas distintas: una en letras devanagari, otra en letras romanas como el inglés, y otra en letras kannada). Los robots actuales (los Modelos de Lenguaje o LLMs) se confunden porque no saben si esas tres escrituras son el mismo idioma o tres idiomas distintos.

2. La Solución: El "Chef Maestro" y la Cocina Sintética

Como no tenían suficientes recetas reales, los autores decidieron crearlas ellos mismos.

La Cocina Sintética (Konkani-Instruct-100k): Usaron un "Chef Maestro" muy inteligente (una IA llamada Gemini 3) para inventar 100,000 recetas nuevas. No solo escribieron preguntas y respuestas, sino que crearon lecciones completas.
El Método del Tutor: En lugar de solo pedir "traduce esto", le dijeron al Chef Maestro: "Explícame por qué se escribe así, desglosa la gramática, enseña las reglas de género y tiempo". Es como tener un profesor particular que no solo te da la respuesta, sino que te explica la lección de gramática paso a paso.
El Resultado: Crearon un "libro de texto" gigante y equilibrado que incluye las tres escrituras del idioma, asegurándose de que el robot aprenda a leer y escribir en las tres formas sin confundirse.

3. El Entrenamiento: El Gimnasio para Robots

Una vez tuvieron el libro de texto, tomaron varios robots base (como Llama, Gemma y Qwen) y los enviaron a un "gimnasio" intensivo.

Entrenamiento Eficiente: En lugar de reconstruir todo el robot (lo cual sería muy costoso y lento), usaron una técnica llamada LoRA. Imagina que en lugar de cambiar todo el cuerpo del atleta, le pones unas "botas de velocidad" especiales. Estas botas (adaptores) son ligeras, baratas de producir y le permiten al robot correr mucho más rápido en la pista del Konkani sin perder su capacidad para hablar otros idiomas.
El Objetivo: Querían ver si un robot pequeño, pero bien entrenado con datos de alta calidad, podía superar a los gigantes que no han visto Konkani en años.

4. La Prueba de Fuego: El Examen Final

Para ver si funcionó, crearon un examen llamado Konkani-Bench.

El Desafío: Le dieron al robot 200 frases y le pidieron que las tradujera al inglés y que las cambiara de una escritura a otra (por ejemplo, de letras romanas a letras devanagari).
El Jurado: No solo usaron calculadoras automáticas, sino que usaron otra IA muy estricta como juez humano para evaluar: "¿Suena natural?", "¿Respetó la escritura correcta?", "¿No se mezcló con Hindi o Marathi?".

5. Los Resultados: El Pequeño que Ganó

Los resultados fueron sorprendentes:

Los Gigantes Fallaron: Los modelos más grandes y caros (como GPT-5 o Claude) se trabaron. A veces escribían mal las letras o mezclaban idiomas, como un turista que intenta hablar la lengua local pero se le escapan palabras de su propio país.
Los Entrenados Triunfaron: Los robots que recibieron el entrenamiento especial (especialmente el modelo konkani-Qwen2.5-14B) superaron a los gigantes. Eran más precisos, respetaban las tres escrituras y entendían los matices culturales.
La Analogía Final: Imagina que los modelos grandes son como turistas con un diccionario básico; intentan adivinar. Los modelos entrenados por los autores son como un nativo que ha estudiado la gramática a fondo; saben exactamente cómo conjugar un verbo o cambiar una letra según la región.

En Resumen

Este paper demuestra que no necesitas ser un gigante para hablar bien un idioma pequeño. Si tienes un "libro de texto" bien hecho (datos sintéticos de alta calidad) y un buen entrenador (ajuste fino eficiente), puedes crear un asistente de IA que hable Konkani con la fluidez y el respeto que merecen sus tres escrituras, incluso superando a las empresas tecnológicas más grandes.

Es una victoria para la diversidad lingüística: demuestra que con ingenio y datos controlados, podemos salvar idiomas que estaban a punto de quedar atrás en la era digital.

1. El Problema: Escasez de Recursos y Diversidad de Scripts

El idioma Konkani, hablado principalmente en las regiones de Goa y Konkan (India), presenta desafíos significativos para el Procesamiento del Lenguaje Natural (PLN) debido a su estatus de lenguaje de bajos recursos y su naturaleza multiescripto.

Diversidad de Escrituras: El Konkani se escribe oficialmente en tres scripts distintos: Devanagari, Romi (latino, usado por la comunidad católica) y Kannada (usado en Mangalore).
Falta de Datos: A pesar de ser un idioma programado en la Constitución de la India, carece de corpus paralelos de alta calidad y datos de instrucción.
Contaminación Lingüística: Los modelos de lenguaje grandes (LLMs) existentes, aunque multilingües, a menudo fallan en el Konkani porque los datos de entrenamiento existentes están fragmentados entre los scripts o contaminados con otros idiomas como el Marathi o el Hindi, lo que impide un tratamiento preciso del Konkani como una lengua objetivo distinta.

2. Metodología

Los autores proponen un pipeline centrado en la generación de datos sintéticos y el ajuste fino eficiente de parámetros para superar la falta de datos nativos.

A. Creación del Dataset: Konkani-Instruct-100k

Generación Sintética: Dado el vacío de datos, utilizaron modelos maestros (Gemini 2.5 Pro y Gemini 3 Flash) para generar un dataset sintético masivo llamado Konkani-Instruct-100k (aprox. 106k muestras).
Enfoque Pedagógico: En lugar de pares de preguntas y respuestas simples, adoptaron un marco de "Estilo Tutor". El modelo generador debe descomponer la gramática (género, número, casos oblicuos) antes de generar la respuesta, asegurando precisión morfológica.
Estructura de Datos:
- Cubre los tres scripts: Devanagari, Romi y Kannada, más una pequeña porción en inglés para regularización.
- Incluye análisis morfológico detallado (etiquetas de POS, base + modificadores) en el 100% de las muestras.
- Se basa en 18 temas fundamentales (familia, comida, tiempos verbales, etc.) para garantizar competencia lingüística básica.

B. Entrenamiento y Ajuste Fino

Modelos Base: Se ajustaron finamente arquitecturas de código abierto de diferentes tamaños, incluyendo Llama 3.1 (8B), Gemma 3 (4B, 12B, 27B) y Qwen2.5 (1.5B, 14B).
Técnica: Se utilizó LoRA (Low-Rank Adaptación) para un ajuste eficiente de parámetros, permitiendo el despliegue ligero.
- Configuración: Rank $r=64$ , $\alpha=128$ , aplicado a proyecciones de atención y MLP.
- Hiperparámetros: 2 épocas, longitud de secuencia 4096, optimizador AdamW 8-bit, precisión bfloat16.

C. Evaluación: Konkani-Bench

Se desarrolló un nuevo benchmark humano de 200 pares para evaluar:

Traducción: Konkani a Inglés.
Transliteración: Entre los tres scripts (Romi $\leftrightarrow$ Devanagari $\leftrightarrow$ Kannada).

Métricas: Se utilizaron métricas automáticas (BLEU, chrF++, COMET) y una evaluación "LLM-as-a-judge" (usando Gemini 3 Flash) para medir fidelidad del script, ayuda y ausencia de contaminación con otros idiomas.

3. Contribuciones Clave

Konkani-Instruct-100k: El primer dataset de instrucción a gran escala y multiescripto para el Konkani, generado mediante destilación.
Konkani LLM: Una suite de modelos ajustados finamente optimizados para las matices regionales y la fidelidad de los scripts.
Konkani-Bench: Un benchmark estandarizado de 200 ítems para evaluar la robustez cruzada entre scripts y la calidad de traducción.

4. Resultados

Los modelos ajustados finamente mostraron mejoras sustanciales sobre sus contrapartes base y compiten favorablemente con modelos propietarios:

Traducción (Konkani $\to$ Inglés):
- El modelo konkani-Qwen2.5-14B-Instruct alcanzó el puntaje COMET más alto (83.58) entre los modelos ajustados, superando a modelos base grandes como Llama-3.3-70B (69.97) y acercándose a modelos propietarios como gemini-flash-latest (91.14).
- Los modelos ajustados superaron consistentemente a los modelos base no ajustados en todos los scripts.
Transliteración:
- Los modelos ajustados mejoraron drásticamente en la fidelidad del script. Por ejemplo, en la dirección Devanagari $\to$ Romi, konkani-Qwen2.5-14B logró un BLEU de 50.52 frente a 12.24 del modelo base DeepSeek-V3.2.
Evaluación Humana (LLM-as-a-Judge):
- Llama 8B y Qwen2.5 14B mostraron el mejor rendimiento general en tareas de chat y razonamiento lógico.
- Se observó que los modelos ajustados redujeron significativamente la contaminación con Marathi/Hindi, manteniendo la pureza del vocabulario católico/goano.

5. Significado e Impacto

Este trabajo es un hito para la tecnología del lenguaje en India, específicamente para los idiomas de bajos recursos:

Validación de Datos Sintéticos: Demuestra que los datos sintéticos generados por IA, cuando se estructuran pedagógicamente (con descomposición gramatical), pueden superar la falta de datos humanos anotados para idiomas complejos y multiescripto.
Enfoque Multiescripto: Aborda la realidad sociolingüística del Konkani, donde la coexistencia de Devanagari, Romi y Kannada es la norma, no la excepción. Los modelos logran navegar entre estos scripts sin perder coherencia.
Accesibilidad: Los modelos y el dataset se han liberado públicamente en Hugging Face, y se proporciona una demostración en konkani.app, democratizando el acceso a herramientas de IA de alta calidad para la comunidad Konkani.
Limitaciones: Los autores reconocen que los datos son sintéticos (riesgo de sesgos del modelo maestro) y que el uso de LoRA (rank 64) podría limitar el rendimiento máximo comparado con un ajuste fino completo, aunque es suficiente para despliegues eficientes.

En resumen, el artículo establece un nuevo estándar para el desarrollo de LLMs en lenguas indias de bajos recursos, demostrando que con una ingeniería de datos cuidadosa y un enfoque en la estructura gramatical, es posible construir modelos robustos y culturalmente precisos.