TharuChat: Bootstrapping Large Language Models for a Low-Resource Language via Synthetic Data and Human Validation

Resumo Técnico: TharuChat e Tharu-LLaMA

1. O Problema: A Exclusão Digital e a Escassez de Dados

O artigo aborda o "abismo digital" que exclui línguas indígenas do Sul Global da revolução da Inteligência Artificial. O foco específico é a língua Tharu, uma língua indo-ariana falada por aproximadamente 1,7 milhão de pessoas no cinturão Terai do Nepal e da Índia.

• Desafios Principais:
  • Escassez de Dados: Não existem grandes corpora digitais para treinamento supervisionado.
  • Fragmentação Linguística: O Tharu possui um continuum de dialetos (Rana, Dangaura, Kochila) com morfologia verbal distinta e sistemas de honoríficos que diferem do Hindi e do Nepali.
  • Falha dos Modelos Atuais: Modelos multilíngues de ponta (como LLaMA ou GPT) tendem a "alucinar" ou realizar uma troca de código catastrófica (catastrophic code-switching), revertendo para o Hindi ou Nepali devido à contaminação dos dados de pré-treinamento, apagando a identidade linguística do usuário.

2. Metodologia: O Pipeline de Bootstrapping "LLM para Humano"

Para superar o problema de "início frio" (sem dados para treinar e sem modelo para gerar dados), os autores desenvolveram o TharuChat, um pipeline de geração sintética validada por humanos.

• Geração Sintética (Fase 1 e 2):
  • Utilização do modelo Gemini 2.5 Pro como "modelo professor".
  • Injeção de Contexto: O modelo foi condicionado com regras gramaticais explícitas do Tharu Rana, contos folclóricos digitados e marcadores dialetais.
  • Domínios Específicos: Geração de pares de instrução-resposta focados em vida rural, agricultura, civismo e cultura local.
• Validação Humana (Fase 3):
  • Filtros rigorosos realizados por falantes nativos para corrigir "hindi-ficação" (gramática Hindi com vocabulário Tharu) e confusão dialetal.
  • Abordagem "Prata" (Silver Standard): Em vez de buscar um dialeto puro, o dataset aceita uma mistura controlada de dialetos (aprox. 70% Rana, 20% Dangaura, 10% Kochila) para maximizar a cobertura linguística.
• Arquitetura do Modelo (Tharu-LLaMA):
  • Base: Meta LLaMA-3.2-3B-Instruct.
  • Técnica: Low-Rank Adaptation (LoRA) para ajuste fino eficiente em parâmetros.
  • Configuração: Aplicação de LoRA em todas as camadas lineares (q, k, v, o, gate, up, down) com rank $r=16$ e alfa $\alpha=32$ para forçar a adaptação profunda à sintaxe Tharu, superando os priores do Hindi.
  • Hardware: Treinamento realizado inteiramente em uma única GPU NVIDIA T4 (16GB VRAM), tornando o processo acessível para pesquisadores do Sul Global.

3. Principais Contribuições

1. Dataset TharuChat: Um corpus público de 3.955 pares instrução-resposta (com ~3.100 usados nos experimentos), representando a realidade linguística heterogênea da região Terai.
2. Tharu-LLaMA (3B): Um modelo de linguagem instrucional ajustado, otimizado para rodar em hardware de consumo, servindo como prova de conceito para preservação de línguas himalaias.
3. Validação Empírica de Escala de Dados: Demonstração de que pequenos volumes de dados sintéticos de alta qualidade são suficientes para superar a barreira de dados em línguas de baixos recursos.

4. Resultados Experimentais

Os autores realizaram um estudo de ablação para analisar a relação entre o volume de dados e a fluência do modelo (medida por Perplexidade - PPL).

• Linha de Base (Zero-shot): O modelo base LLaMA-3.2 apresentou uma PPL > 88,0, indicando comportamento aleatório ou reversion total para o Hindi.
• Lei de Escala Linear:
  • 25% dos dados (779 amostras): PPL caiu para 6.42.
  • 50% dos dados: PPL caiu para 4.33.
  • 100% dos dados (3.116 amostras): PPL atingiu 2.88.
• Análise: A redução da perplexidade de >88 para 2.88 (comparável a modelos base em línguas de alto recurso) demonstra que o modelo aprendeu efetivamente a sintaxe e a morfologia Tharu. Não houve overfitting, pois a perda de validação diminuiu consistentemente junto com a perda de treinamento.

5. Análise Qualitativa e Limitações

• Desempenho: O modelo demonstrou capacidade de lidar com conceitos abstratos (ex: "O que é Machine Learning?"), processos cívicos e empréstimos linguísticos (code-mixing) de forma coerente.
• Limitações:
  • Ruído Dialetal: A mistura de dialetos pode resultar em respostas com morfologia de um dialeto para perguntas em outro.
  • Influência Residual: Ainda existe alguma influência da ordem das palavras do Hindi/Awadi devido à origem sintética dos dados.
  • Especificidade de Domínio: O modelo é forte em temas locais (agricultura, cultura), mas pode alucinar em tópicos globais ou científicos avançados fora da distribuição de treinamento.

6. Significado e Impacto

O trabalho desafia a narrativa de que a IA de ponta requer milhões de dólares em computação e bilhões de tokens.

• Democratização da IA: Demonstra que modelos funcionais para línguas indígenas podem ser criados com hardware de consumo (GPUs T4) e poucos milhares de exemplos validados.
• Estratégia "Pan-Tharu": Sugere que, para línguas de baixos recursos, a agregação de dialetos em um único modelo ("Koine") é uma estratégia viável e necessária para garantir acessibilidade, em vez de buscar a perfeição dialetal que exigiria dados inexistentes.
• Sustentabilidade: Alinha-se com o movimento "Green AI", provando que a densidade e a qualidade dos dados são mais críticas do que o volume bruto para o ajuste fino de dialetos específicos.

Em suma, o artigo oferece um roteiro reprodutível para ativistas linguísticos e pesquisadores digitalizarem a tapeçaria linguística do Himalaia, priorizando a funcionalidade e a inclusão sobre a pureza linguística idealizada.