Targeted Syntactic Evaluation of Language Models on Georgian Case Alignment

1. Problema e Contexto

O artigo aborda a lacuna na avaliação de modelos de linguagem (LMs) baseados em transformadores para línguas de recursos limitados (LRLs), especificamente o georgiano. Enquanto existem benchmarks robustos para línguas como inglês, o georgiano apresenta desafios sintáticos únicos devido ao seu sistema de alinhamento de caso split-ergativo (ergativo dividido).

Neste sistema, a marcação dos papéis argumentais (sujeito e objeto) não é fixa, mas depende do tempo, aspecto e modo verbal (chamados de screeves em georgiano). Existem três alinhamentos principais:

1. Acusativo (Nominativo-Dativo): Sujeito em Nominativo, Objeto em Dativo (presente/futuro).
2. Ergativo (Ergativo-Nominativo): Sujeito em Ergativo, Objeto em Nominativo (passado).
3. Invertido (Dativo-Nominativo): Sujeito em Dativo, Objeto em Nominativo (perfectivo).

O problema central é que os modelos atuais têm dificuldade em generalizar essas regras sintáticas complexas, especialmente devido à escassez de dados de treinamento para o caso ergativo, que é estatisticamente raro em comparação com o nominativo e o dativo.

2. Metodologia

Os autores desenvolveram uma abordagem baseada em consultas para gerar pares mínimos sintáticos a partir de um treebank (banco de dados linguístico) anotado.

• Fonte de Dados: Utilizaram o Georgian Language Corpus Universal Dependencies (GLC UD), contendo 3.013 sentenças anotadas.
• Geração de Testes: Empregaram a linguagem de consulta Grew (baseada em grafos) para identificar padrões sintáticos específicos no treebank. O objetivo foi criar "pares mínimos" (ou conjuntos mínimos) onde apenas uma característica morfológica (o caso do substantivo) muda, alterando a gramaticalidade da sentença.
• Conjunto de Dados Criado:
  • Um total de 370 testes sintáticos divididos em 7 tarefas.
  • Cada teste apresenta uma sentença com um substantivo alvo em três formas: Nominativo, Ergativo e Dativo.
  • O modelo deve escolher a forma correta baseada no contexto (alinhamento sujeito-objeto).
  • As tarefas cobrem construções intransitivas e transitivas com diferentes alinhamentos de caso.
• Modelos Avaliados: Foram testados 7 modelos de linguagem:
  • 5 modelos encoder-only (ex: XLM-RoBERTa, mBERT, HPLT-BERT-ka).
  • 2 modelos decoder-only (ex: GPT2-geo, mGPT-ka).
  • Os modelos variam em tamanho (110M a 1.3B parâmetros) e número de línguas de treinamento.
• Métricas:
  • Precisão a nível de palavra (Word-Level - WL): Compara a probabilidade do token gramatical versus os não gramaticais no momento exato da escolha.
  • Precisão a nível de sentença (Sentence-Level - SL): Calcula a probabilidade conjunta de toda a sequência.

3. Contribuições Principais

1. Primeiro Dataset de Avaliação Sintática para Georiano: A criação de um conjunto de dados público e padronizado focado especificamente no alinhamento de casos split-ergativos, preenchendo uma lacuna crítica para LRLs.
2. Metodologia Baseada em Consulta (Grew): Demonstração de como usar linguagens de consulta em treebanks para gerar automaticamente testes sintáticos rigorosos, uma abordagem que pode ser generalizada para outras línguas com treebanks disponíveis.
3. Análise de Viés e Desempenho: Uma avaliação detalhada de como a frequência dos dados de treinamento influencia a capacidade dos modelos de aprenderem fenômenos sintáticos raros e complexos.

4. Resultados

Os resultados revelaram padrões claros de desempenho e falhas nos modelos:

• Desempenho Geral: A precisão dos modelos correlacionou-se diretamente com a frequência dos casos nos dados de treinamento: Nominativo > Dativo > Ergativo.
  • Nominativo: Alta precisão (média de ~88% em nível de palavra).
  • Dativo: Desempenho moderado/baixo (~48%).
  • Ergativo: Desempenho muito pobre (~24%).
• Dificuldade com o Ergativo: Os modelos falharam consistentemente em atribuir corretamente o caso ergativo. Isso é atribuído à sua raridade extrema nos dados de treinamento (o caso ergativo ocorre mais de 24 vezes menos que o nominativo no treebank) e à sua natureza altamente específica (dependente de screeves perfeitos).
• Viés Nominativo: Houve um viés forte onde os modelos tendiam a escolher o caso nominativo como "padrão" (default), mesmo quando a sintaxe exigia o dativo ou o ergativo. Em testes onde o dativo era a resposta correta, os modelos escolheram o nominativo incorretamente em 83,2% das vezes.
• Impacto da Tokenização: A análise de correlação mostrou que o comprimento dos tokens ou das sentenças não foi um fator determinante para o baixo desempenho, reforçando que a causa raiz é a escassez de dados e a complexidade do fenômeno, e não limitações técnicas de tokenização.
• Modelos Decoder vs. Encoder: O modelo decoder-only maior (mGPT-ka) obteve os melhores resultados gerais, sugerindo que modelos maiores e com mais parâmetros conseguem capturar melhor essas nuances, embora ainda lutem com o caso ergativo.

5. Significado e Conclusão

O estudo conclui que, embora os modelos de linguagem modernos tenham adquirido uma compreensão sintática geral, eles ainda sofrem significativamente com fenômenos de baixa frequência e alta complexidade morfológica em línguas de recursos limitados.

• Implicação Teórica: A dificuldade em aprender o caso ergativo não é apenas uma falha de memorização, mas indica uma incapacidade de generalizar regras sintáticas quando os dados de suporte são insuficientes. O modelo tende a "super-generalizar" o caso mais frequente (nominativo).
• Relevância para NLP: O trabalho destaca a necessidade de ir além de benchmarks de línguas majoritárias. A metodologia proposta oferece um caminho viável para avaliar e melhorar modelos em línguas como o georgiano, onde benchmarks sintáticos tradicionais são inexistentes.
• Futuro: Os autores sugerem a expansão do dataset para incluir mais screeves e construções intransitivas, além da aplicação desta metodologia de consulta em outras línguas com treebanks UD disponíveis.

Em suma, o artigo demonstra que a escassez de dados, combinada com a especificidade do caso ergativo, cria uma barreira significativa para o aprendizado sintático em LMs, resultando em um viés sistemático em direção às formas mais comuns da língua.