💬 NLP

Konkani LLM: Multi-Script Instruction Tuning and Evaluation for a Low-Resource Indian Language

Este artigo apresenta o "Konkani-Instruct-100k", um conjunto de dados sintético gerado pelo Gemini 3 para instrução de modelos de linguagem, e introduz uma série de modelos "Konkani LLM" afinados que superam ou competem com bases proprietárias no processamento da língua baixa em recursos Konkani, abordando seus desafios de escassez de dados e diversidade de escritas.

Autores originais: Reuben Chagas Fernandes, Gaurang S. Patkar

Publicado 2026-03-26

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Reuben Chagas Fernandes, Gaurang S. Patkar

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que a língua Konkani é como uma antiga e bela casa de família que vive em três endereços diferentes ao mesmo tempo. Dependendo de onde você está ou de quem você é, essa casa é escrita de três jeitos: com letras do Devanagari (como em Hindi), com letras do Kannada (como em Karnataka) ou com letras Romi (o alfabeto latino, como usamos em português).

O problema é que, no mundo da Inteligência Artificial (IA), essa casa estava quase vazia. Os "robôs" gigantes (chamados Grandes Modelos de Linguagem, ou LLMs) que conversam com o mundo sabiam falar inglês, hindi e tamil, mas quando tentavam falar Konkani, eles tropeçavam, confundiam as letras e faziam muitas gramáticas erradas. Era como tentar ensinar alguém a cozinhar um prato complexo usando apenas um livro de receitas rasgado e escrito em três línguas diferentes misturadas.

Aqui está o que os autores deste estudo fizeram para consertar isso, explicado de forma simples:

1. O Problema: A "Fome" de Dados

Para ensinar um robô a falar uma língua, você precisa de milhões de exemplos (livros, conversas, notícias). Para línguas ricas, isso é fácil. Para o Konkani, os dados eram escassos e fragmentados. Era como tentar montar um quebra-cabeça de 10.000 peças, mas você só tinha 50 peças, e elas vinham de caixas diferentes.

Além disso, o Konkani tem um desafio único: a diversidade de scripts. Um robô treinado apenas com letras romanas (Romi) não sabia ler as letras do Kannada, e vice-versa.

2. A Solução: Criando uma "Escola Sintética"

Como não havia livros suficientes, os pesquisadores decidiram criar os livros deles mesmos. Eles usaram uma IA superinteligente (o Gemini) para atuar como uma "professora mestra".

O Método: Eles pediram para essa IA criar 100.000 lições de conversação (o Konkani-Instruct-100k).
A Abordagem: Em vez de apenas dar respostas, a IA foi instruída a agir como um tutor. Ela não apenas traduzia, mas explicava a "anatomia" da frase: "Esta palavra é masculina, então o adjetivo muda", "Esta preposição exige que o verbo mude".
O Resultado: Eles criaram uma biblioteca digital perfeita, equilibrada entre os três alfabetos, onde a IA aprendeu as regras da casa Konkani antes de tentar falar.

3. O Treinamento: Ajuste Fino (Fine-Tuning)

Com essa nova biblioteca de 100.000 lições, eles pegaram modelos de IA existentes (como o Llama e o Qwen) e os "treinaram" especificamente para o Konkani.

Pense nisso como pegar um estudante universitário brilhante (que já sabe falar inglês e matemática) e dar a ele um curso intensivo de 2 semanas apenas sobre a cultura e a gramática de Goa. O estudante não precisa aprender tudo do zero; ele apenas refina seu conhecimento para se tornar um especialista local.

Eles usaram uma técnica chamada LoRA, que é como colocar "óculos de grau" leves no modelo. Em vez de reescrever todo o cérebro do robô (o que custaria milhões), eles apenas ajustaram pequenas lentes para que ele visse o Konkani com clareza.

4. O Teste: A Prova de Fogo

Para ver se funcionou, eles criaram um "exame" chamado Konkani-Bench.

Eles pegaram frases simples (como "Você já almoçou?") e as escreveram nos três alfabetos.
Eles pediram para a IA traduzir e transliterar (mudar de um alfabeto para o outro).
O Resultado: Os modelos treinados (os "Konkani LLMs") foram muito melhores do que os modelos originais. Em alguns casos, eles superaram até os robôs gigantes e caros de empresas como a Google e a OpenAI quando o assunto era especificamente a fidelidade ao alfabeto e a gramática correta do Konkani.

5. Por que isso importa?

Imagine que o Konkani é uma ponte entre três mundos. Antes, essa ponte estava quebrada. Agora, com esses novos modelos:

Preservação: A língua é salva da extinção digital.
Acesso: Pessoas que só leem em Romi podem acessar informações escritas em Kannada, e vice-versa.
Justiça: Mostra que línguas "pobres" em dados não precisam ser ignoradas; com criatividade (dados sintéticos), podemos dar a elas a mesma voz que as línguas ricas têm.

Em resumo: Os autores não esperaram que os dados mágicos aparecessem. Eles construíram uma fábrica de lições, treinaram robôs inteligentes para serem tutores de Konkani e provaram que, mesmo com recursos limitados, é possível ensinar uma IA a falar uma língua complexa e multiescrita com perfeição. É como ensinar um estrangeiro a falar português não apenas decorando frases, mas entendendo a música e a lógica por trás de cada palavra.

Resumo Técnico: Konkani LLM

1. O Problema

O artigo aborda a subotimização dos Grandes Modelos de Linguagem (LLMs) no contexto de línguas de baixo recurso, especificamente o Konkani. O Konkani, falado principalmente em Goa e na região de Konkan na Índia, apresenta desafios únicos para o Processamento de Linguagem Natural (PLN) devido à sua natureza multiescrita. Oficialmente, a língua utiliza três escritas distintas:

Devanagari (padrão oficial).
Romi (latina, usada pela comunidade católica goana).
Kannada (usada pela comunidade de Mangalore).

Apesar de ser uma língua agendada na Índia, o Konkani sofre de escassez crítica de dados de treinamento de alta qualidade. Os conjuntos de dados existentes são fragmentados entre as diferentes escritas, impedindo o treinamento de modelos unificados. Além disso, os modelos LLMs atuais, mesmo os proprietários de ponta (como GPT-5 ou Claude), frequentemente falham em tratar o Konkani como uma língua distinta, sofrendo de "contaminação linguística" (misturando com Marathi ou Hindi) e falta de fidelidade gramatical e de escrita.

2. Metodologia

Para superar a falta de dados supervisionados, os autores adotaram uma abordagem baseada em Geração de Dados Sintéticos e Ajuste Fino Eficiente de Parâmetros (PEFT).

Geração de Dados (Konkani-Instruct-100k):
- Devido à ausência de dados nativos de instrução, utilizaram o modelo Gemini 3 (especificamente versões Pro e Flash) como modelo "professor" para sintetizar um conjunto de dados massivo.
- Criaram o Konkani-Instruct-100k, contendo aproximadamente 106.000 amostras.
- Estratégia Pedagógica: Em vez de pares simples de Pergunta-Resposta, utilizaram um framework de "Estilo Tutor" baseado em 18 tópicos fundamentais (ex: família, tempo, casos oblíquos, gênero).
- Estrutura dos Dados: Cada amostra inclui não apenas a resposta, mas uma tabela de decomposição morfológica detalhada (raiz da palavra, tags de gênero, lógica de modificação, etc.), garantindo que o modelo aprenda as regras gramaticais subjacentes.
- Balanceamento: O dataset foi equilibrado entre as três escritas (Devanagari, Romi e Kannada) para evitar viés ortográfico, além de incluir uma pequena porção de dados em inglês para preservar o raciocínio geral.
Ajuste Fino (Fine-Tuning):
- Foram ajustados vários modelos de código aberto (Open-Weights), incluindo arquiteturas da família Llama 3.1, Gemma 3 (4B, 12B, 27B) e Qwen2.5 (1.5B, 14B).
- Utilizou-se LoRA (Low-Rank Adaptation) para um ajuste eficiente, configurado com rank $r=64$ e $\alpha=128$ .
- O treinamento foi realizado com batch size efetivo de 32, por 2 épocas, utilizando precisão bfloat16 e checkpointing baseado na perda de validação.
Avaliação (Konkani-Bench):
- Desenvolveram um novo benchmark humano anotado com 200 pares, cobrindo tradução (Konkani $\to$ Inglês) e transliteração entre todos os pares de escritas (ex: Romi $\to$ Devanagari, Kannada $\to$ Romi).
- Métricas automáticas: BLEU, chrF++ e COMET.
- Métricas de Julgamento: Uso de um LLM como juiz (Gemini 3 Flash) para avaliar fidelidade de escrita, ausência de contaminação (Marathi/Hindi) e utilidade.

3. Principais Contribuições

Konkani-Instruct-100k: O primeiro conjunto de dados de instrução em grande escala e multiescrita para o Konkani, gerado via destilação de conhecimento.
Konkani LLM: Uma série de modelos ajustados e otimizados para as nuances regionais e multiescritas do Konkani.
Konkani-Bench: Um benchmark rigoroso de 200 itens projetado para testar especificamente a fidelidade de escrita e a robustez cruzada entre as três escritas oficiais.
Análise de Contaminação: Demonstração de como o ajuste fino em dados sintéticos controlados pode mitigar a mistura indesejada com línguas vizinhas (Marathi/Hindi).

4. Resultados

Os resultados demonstram melhorias significativas em relação aos modelos base e competitividade com modelos proprietários:

Tradução (Konkani $\to$ Inglês):
- O modelo konkani-Qwen2.5-14B-Instruct alcançou o melhor desempenho entre os modelos ajustados, obtendo uma pontuação COMET de 83.58.
- Este modelo superou vários modelos base grandes (como Llama-3.3-70B e Gemma-3-27B) e foi competitivo com modelos proprietários de ponta, superando o GPT-5-mini e o Grok-4 em métricas de qualidade semântica.
Transliteração:
- Os modelos ajustados mostraram ganhos substanciais na transliteração entre escritas (ex: Devanagari $\to$ Kannada), superando drasticamente seus modelos base correspondentes.
- O modelo ajustado konkani-Qwen2.5-14B obteve pontuações BLEU superiores a 50 em várias direções, enquanto os modelos base muitas vezes falhavam (pontuações próximas de 0 ou 1).
Avaliação Humana (LLM-as-a-Judge):
- Os modelos ajustados demonstraram maior fidelidade de escrita e menor contaminação linguística.
- O Llama-3.1-8B ajustado performou melhor em tarefas de raciocínio lógico e chat nas escritas Romi e Devanagari, enquanto o Qwen2.5-14B ajustado foi superior na escrita Kannada.

5. Significância e Conclusão

Este trabalho é um marco para o PLN em línguas indianas de baixo recurso e multiescritas. Ele valida a hipótese de que modelos compactos, quando treinados em dados sintéticos de alta qualidade e linguisticamente controlados (com foco em morfologia e gramática), podem superar modelos massivos genéricos em tarefas específicas de língua.

A abordagem proposta oferece um roteiro viável para outras línguas indígenas que sofrem com a fragmentação de dados e a falta de recursos digitais. Ao liberar os modelos e o dataset no Hugging Face e fornecer uma demonstração pública, os autores democratizam o acesso a ferramentas de IA de alta qualidade para a comunidade falante de Konkani, promovendo a preservação e o desenvolvimento tecnológico da língua em suas três formas escritas oficiais.