Resumo Técnico: DaLA – Avaliação de Aceitabilidade Linguística Dinamarquesa Guiada por Erros do Mundo Real

Declaração do Problema

A avaliação da aceitabilidade linguística, a tarefa de determinar a correção ou naturalidade de uma frase, é crítica para avaliar as capacidades linguísticas de Grandes Modelos de Linguagem (LLMs). Embora existam recursos significativos para línguas amplamente faladas, línguas de baixos recursos como o dinamarquês sofrem com a escassez de conjuntos de dados de alta qualidade. Os recursos dinamarqueses existentes, como o ScaLA (Nielsen, 2023), dependem de estratégias de corrupção limitadas (ex: remoção e troca de palavras) que não são representativas dos erros do mundo real cometidos por falantes nativos. Além disso, esses métodos anteriores frequentemente dependem de formatos de anotação específicos (ex: tags POS de Dependências Universais) e carecem de validação rigorosa para garantir que as frases corrompidas sejam genuinamente agramaticais. Esta lacuna dificulta o treinamento e a avaliação de modelos multilingues, particularmente dada a sutileza dos erros que surgem quando os modelos processam línguas próximas (ex: dinamarquês e norueguês).

Metodologia

Os autores introduzem o DaLA (Avaliação de Aceitabilidade Linguística Dinamarquesa), um conjunto de dados e um framework de avaliação projetado para refletir erros linguísticos do mundo real através de um processo de corrupção sistemático e automatizado.

1. Análise de Erros e Funções de Corrupção

O núcleo do DaLA é um conjunto de 14 novas funções de corrupção derivadas de uma análise de erros comuns cometidos por falantes nativos de dinamarquês. O processo de seleção utilizou a lista "Typiske Problemer" do Conselho da Língua Dinamarquesa e da Sociedade de Literatura Dinamarquesa. Os erros foram pontuados com base na complexidade de implementação, tipo de erro (gramatical, semântico, mecânico) e na probabilidade de produzir uma frase genuinamente incorreta.

• Tipos de Erro: Os 14 novos tipos incluem confusões entre pronomes específicos (nogle vs. nogen, som vs. der), pares de verbos (ligge vs. lægge, -ende vs. -ene), o "problema do R" (confusão de sufixo), corrupção de genitivo e erros de determinante.
• Implementação: Cada tipo de erro é implementado como uma função dedicada usando a biblioteca SpaCy. Os autores adotaram uma abordagem conservadora, filtrando frases de entrada para minimizar casos onde uma corrupção poderia acidentalmente resultar em uma frase gramaticalmente correta.

2. Algoritmo de Corrupção Iterativo

Para garantir uma distribuição equilibrada de tipos de erro, apesar da frequência variável dos fenômenos linguísticos nos dados de origem, os autores empregam um algoritmo iterativo (Algoritmo 1).

• Processo: As funções de corrupção são ordenadas pela sua frequência de aplicabilidade no conjunto de dados inicial. O algoritmo aplica primeiro a corrupção menos frequente, marcando as frases como "corrompidas" uma vez que um erro é injetado. Corrupções subsequentes, mais frequentes, são aplicadas apenas a frases que permanecem não corrompidas.
• Dados de Origem: As frases base são extraídas do corpus de Dependências Universais Dinamarquesas (UDD), assumido como linguisticamente aceitável.

3. Framework de Validação

Para garantir a qualidade do conjunto de dados gerado, um processo de validação híbrido foi implementado:

• Validação Automática: A ferramenta writeassistant, um sistema líder de correção de erros gramaticais em dinamarquês, foi utilizada para classificar as frases corrompidas. O sistema alcançou uma precisão média de 99,7% na identificação de frases verdadeiramente corrompidas.
• Validação Manual: Um linguista especialista revisou manualmente as frases que o sistema automático falhou em sinalizar ou classificou incorretamente. Para tipos de erro de alto volume (corrupção de pronome e determinante de sufixo), um subconjunto de 304 exemplos foi anotado para ajustar estatisticamente as pontuações de precisão.
• Resultado: A precisão média final das funções de corrupção é de aproximadamente 0,957, confirmando que a vasta maioria das frases geradas é, de fato, agramatical.

4. Construção do Conjunto de Dados

O conjunto de dados final do DaLA consiste em pares de frases (uma correta, uma corrompida).

• Divisão Padrão: 1.664 pares (512 treino, 1.024 validação, 128 teste) para manter a comparabilidade com o ScaLA.
• Versões Estendidas: "DaLA Medium" (4.592 amostras de treino) e "DaLA Large" (6.124 amostras de treino) também são fornecidos, totalizando até 7.656 frases.
• Rótulos: Cada par inclui um rótulo de aceitabilidade binário e uma classificação do tipo de erro específico.

Principais Contribuições

1. Derivação de Erros do Mundo Real: A derivação de 14 novas funções de corrupção baseadas em erros comuns de falantes nativos, indo além do escopo limitado de benchmarks dinamarqueses anteriores.
2. Criação de Dataset Robusto: A criação do DaLA, um conjunto de dados de 3.328 frases (com versões estendidas disponíveis) que não depende de julgamentos de aceitabilidade pré-existentes ou formatos de anotação específicos, tornando-o aplicável a fontes arbitrárias de frases em dinamarquês.
3. Validação Rigorosa: A implementação de um processo de validação de fase dupla (automática e manual) para garantir alta precisão na injeção de erros, abordando uma lacuna em datasets anteriores onde a precisão da corrupção não era verificada.
4. Benchmarking: O fornecimento de resultados de base para LLMs de última geração, de código aberto e de pesos abertos, neste novo benchmark.

Resultados

Os autores avaliaram vários LLMs de alto desempenho (incluindo modelos encoder-only, instrução-ajustados, generativos base e modelos de raciocínio) no DaLA e compararam seu desempenho contra o benchmark ScaLA usando o Coeficiente de Correlação de Matthews (MCC).

• Aumento de Dificuldade: Nove em dez modelos mostraram uma diminuição de desempenho no DaLA em comparação ao ScaLA. A queda média de desempenho foi de 6,04%, com alguns modelos experimentando um declínio de até 14,55%.
• Poder Discriminatório: O conjunto de dados demonstrou maior poder discriminatório. Notavelmente, modelos de raciocínio (ex: Qwen3) sofreram o declínio mais acentuado (média de 14,32%), sugerindo que o DaLA captura melhor as nuances na aceitabilidade linguística que os benchmarks anteriores perderam.
• Especificidade do Modelo: O DFM Sentence Encoder Large foi o único modelo que mostrou melhoria de desempenho, provavelmente devido ao seu treinamento especializado apenas em dinamarquês, sugerindo que o DaLA favorece modelos com conhecimento linguístico profundo e específico da língua.

Significância e Alegações

O artigo alega que o DaLA representa um avanço significativo na avaliação da aceitabilidade linguística dinamarquesa ao mudar de erros sintéticos baseados em regras para erros do mundo real, baseados em dados.

• Rigor: Ao incorporar uma variedade maior de tipos de corrupção e validá-los rigorosamente, o DaLA fornece um teste mais abrangente e difícil para os LLMs.
• Representatividade: O benchmark é argumentado como sendo mais representativo de cenários de uso reais e erros comuns, oferecendo uma avaliação mais autêntica das capacidades linguísticas de um modelo.
• Diferenciação: Os resultados sugerem que o DaLA é melhor em distinguir entre modelos de alto desempenho e baixo desempenho, particularmente na identificação de modelos que dependem de padrões superficiais versus aqueles com compreensão gramatical genuína.

Os autores concluem que, embora o método esteja atualmente enraizado em regras linguísticas dinamarquesas, o framework é extensível para outras línguas e tipos de erro (semânticos, pragmáticos), oferecendo um caminho para uma avaliação linguística mais realista em línguas de baixos recursos.