LLM Probe: Evaluating LLMs for Low-Resource Languages

1. O Problema

Apesar dos avanços rápidos nos Grandes Modelos de Linguagem (LLMs), suas capacidades em línguas de baixo recurso e ricas em morfologia permanecem mal compreendidas. Existem duas barreiras principais:

• Falta de recursos anotados: A escassez de dados de treinamento e conjuntos de dados de avaliação padronizados para essas línguas.
• Viés de avaliação: As métricas tradicionais muitas vezes dependem de dados que já podem estar presentes nos conjuntos de pré-treinamento dos modelos, levando a métricas infladas que não refletem a verdadeira compreensão linguística.
• Caso de Estudo: O artigo foca no Tigrínia, uma língua semítica falada na Eritreia e na Etiópia. O Tigrínia apresenta complexidades morfológicas significativas (sistema de raízes triconsonantais, flexão verbal extensa, distinções de gênero e número, ordem SOV), tornando-o um desafio crítico para a avaliação de LLMs.

2. Metodologia: O Framework "LLM Probe"

Os autores propõem o LLM Probe, um framework de avaliação baseado em léxico projetado para sondar sistematicamente as habilidades linguísticas dos modelos. A abordagem não depende de grandes corpora, mas sim de um conjunto de dados bilíngue curado manualmente (Inglês-Tigrínia e vice-versa) enriquecido com anotações linguísticas profundas.

O framework avalia os modelos em quatro dimensões distintas:

1. Alinhamento Léxico: Avalia a capacidade do modelo de produzir correspondências palavra-a-palavra precisas entre frases em inglês e tigrínia.
2. Rotulagem de Partes do Discurso (POS): Testa a sensibilidade gramatical ao exigir que o modelo atribua categorias sintáticas corretas (substantivo, verbo, adjetivo, etc.) aos tokens tigrínios.
3. Sondagem Morfossintática: Testa a compreensão de características gramaticais como gênero, número, concordância e classe de substantivos.
4. Fidelidade de Tradução: Avalia a precisão semântica das traduções geradas pelo modelo comparando-as com referências curadas manualmente.

Construção do Dataset:

• Fonte: Derivado de dicionários públicos (Universidade de Swansea) e contribuições de falantes nativos.
• Processamento: Incluiu OCR, correção manual, normalização ortográfica e expansão para cobrir expressões de múltiplas palavras.
• Estatísticas: O dataset final contém 7.234 pares de frases anotados, com alta concordância entre anotadores (Coeficiente Kappa de Cohen variando de 0,84 a 0,91).
• Anotações: Cada entrada inclui tags POS, gênero, número, e mapeamentos de alinhamento lexical.

Configuração Experimental:

• Foram testados diversos modelos de código aberto, divididos em duas arquiteturas principais:
  • Modelos Causais (Decoder-only): Falcon-10B, Gemma-2B/7B, Mistral-7B, Qwen-7B.
  • Modelos Sequence-to-Sequence (Encoder-Decoder): mT5-base, mT5-large, ByT5.
• A avaliação foi realizada em modo de inferência com amostragem greedy (temperatura 0.0) para garantir outputs determinísticos.

3. Resultados Principais

Os resultados revelaram diferenças notáveis de desempenho dependendo da arquitetura do modelo e da tarefa:

• Desempenho Geral: Modelos baseados em Sequence-to-Sequence (especificamente ByT5 e mT5) demonstraram desempenho superior nas tarefas de análise morfossintática e qualidade de tradução.
  • ByT5 obteve 100% de precisão no alinhamento léxico e pontuações BLEU mais altas (24.5).
  • mT5-large obteve a melhor pontuação BLEU geral (26.5) e alta precisão em POS (80.0%).
• Modelos Causais: Modelos como Falcon, Mistral e Gemma mostraram forte desempenho em alinhamento léxico (muitos atingiram 100% de precisão), mas tiveram desempenho inferior em tradução e análise morfológica estrutural.
• Análise de Erros: As matrizes de confusão indicaram que os modelos frequentemente confundem categorias linguísticas relacionadas (ex: substantivos com verbos), sugerindo dificuldades em distinguir nuances morfológicas em línguas de baixo recurso.
• Observação Crítica: Mesmo quando a precisão do formato de saída era baixa, a precisão semântica (significado das palavras mapeadas) tendia a ser alta, indicando que os modelos capturam o significado, mas falham na estruturação rigorosa exigida pela tarefa.

4. Contribuições Chave

1. Framework LLM Probe: Uma metodologia modular e reprodutível para avaliar LLMs em línguas de baixo recurso sem depender de grandes corpora pré-existentes.
2. Dataset de Benchmark Tigrínia-Inglês: A criação e liberação de um conjunto de dados de 7.234 pares de frases com anotações linguísticas ricas (POS, morfologia, alinhamento), servindo como um padrão-ouro para pesquisa futura.
3. Insights Arquiteturais: Evidência empírica de que arquiteturas sequence-to-sequence (como ByT5 e mT5) são mais adequadas para tarefas de análise morfológica e tradução em línguas ricas em morfologia do que modelos causais padrão.
4. Validação de Qualidade: Demonstração de que a avaliação baseada em léxico com anotação humana rigorosa evita vazamento de dados (data leakage) e fornece uma visão mais precisa da compreensão linguística real.

5. Significado e Impacto

O trabalho destaca a necessidade urgente de avaliações linguisticamente fundamentadas para evitar a ilusão de competência em modelos de IA para línguas sub-representadas.

• Equidade Digital: Ao fornecer ferramentas e dados para o Tigrínia, o projeto contribui para reduzir a disparidade linguística na tecnologia, promovendo NLP mais inclusivo.
• Reprodutibilidade: A liberação do código e do dataset como recursos de código aberto permite que a comunidade científica realize benchmarks consistentes e desenvolva modelos mais robustos.
• Direção Futura: O estudo aponta que o progresso em línguas de baixo recurso exige não apenas inovação algorítmica, mas também investimento contínuo na documentação linguística e na colaboração com falantes nativos.

Em resumo, o LLM Probe estabelece um novo padrão para avaliar como os LLMs realmente "entendem" línguas complexas e de baixo recurso, revelando que, embora os modelos sejam úteis, eles ainda carecem de uma compreensão profunda da morfologia e sintaxe específicas dessas línguas sem adaptações e ferramentas especializadas.