Community size rather than grammatical complexity better predicts Large Language Model accuracy in a novel Wug Test

1. Problema e Contexto

O desempenho linguístico dos Grandes Modelos de Linguagem (LLMs) é objeto de debate contínuo. Embora esses modelos demonstrem alta competência funcional, questiona-se se eles possuem uma compreensão genuína das regras linguísticas ou se apenas replicam padrões estatísticos baseados nos dados de treinamento.
A literatura anterior focou predominantemente na sintaxe e semântica, com menos atenção à morfologia (a formação de palavras). Estudos prévios (como Dang et al., 2024a; Weissweiler et al., 2023) apresentaram resultados contraditórios: alguns sugerem que a complexidade morfológica da língua é o fator determinante, enquanto outros apontam que a quantidade de dados de treinamento (tamanho da comunidade falante) é mais relevante.
O objetivo deste estudo é resolver essa ambiguidade investigando se a precisão dos LLMs em tarefas de generalização morfológica é impulsionada principalmente pela complexidade estrutural da língua ou pelo tamanho da comunidade linguística (e, consequentemente, pela disponibilidade de dados de treinamento).

2. Metodologia

O estudo utilizou uma adaptação multilingue do Teste Wug, uma tarefa clássica que avalia a capacidade de aplicar regras gramaticais a palavras inexistentes (nonce words).

• Participantes e Agentes:
  • Humanos: 160 falantes nativos adultos (40 por língua), recrutados via Prolific.
  • Modelos: Seis LLMs diferentes foram testados: ChatGPT-3.5, ChatGPT-4, Grok 3, BERT, DeepSeek e Mistral.
• Línguas Testadas: Quatro línguas com diferentes níveis de complexidade e tamanho de comunidade:
  1. Inglês: Baixa complexidade, comunidade muito grande (~1,5 bilhão).
  2. Espanhol: Complexidade média, comunidade grande (~488 milhões).
  3. Grego: Alta complexidade, comunidade pequena (~12 milhões).
  4. Catalão: Alta complexidade, comunidade pequena (~8 milhões).
• Estímulos: 30 palavras inventadas (nonce words) por língua, respeitando as restrições morfofonológicas locais (alteração de consoantes iniciais, balanceamento de sílabas e gênero). A tarefa consistia em gerar o plural correto de uma palavra nova (ex: "Yesterday a glorp appeared... Now there are two glorps").
• Medidas de Complexidade: A complexidade morfológica foi calculada usando o banco de dados Grambank v1.0, focando em duas dimensões: Fusão (uso de marcadores fonologicamente ligados) e Informatividade (número de distinções gramaticais obrigatórias).
• Análise Estatística: Foram utilizados modelos de regressão logística de efeitos mistos (glmer) no R para comparar a precisão entre agentes (humano vs. LLM), línguas e os efeitos preditivos da complexidade versus o tamanho da comunidade.

3. Principais Contribuições

• Comparação Abrangente: É um dos primeiros estudos a testar sistematicamente seis modelos de LLMs (incluindo versões mais recentes como Grok 3 e DeepSeek) contra falantes humanos em quatro línguas distintas.
• Separação de Variáveis: O estudo desenha um experimento para dissociar o efeito da complexidade estrutural do efeito da disponibilidade de dados, testando explicitamente a hipótese de que o tamanho da comunidade é um preditor superior.
• Análise de Interação: Vai além de correlações simples, investigando a interação entre complexidade e tamanho da comunidade para prever o desempenho do modelo.

4. Resultados Chave

• Desempenho Geral: Os LLMs (excluindo o BERT, que teve desempenho no "chão") alcançaram precisão comparável à dos humanos, generalizando regras morfológicas para palavras não vistas com sucesso.
• Padrão de Precisão por Língua:
  • Humanos: Tiveram melhor desempenho em Grego e Espanhol, e pior no Inglês (devido a irregularidades nos estímulos e generalizações excessivas).
  • LLMs: O desempenho seguiu a ordem: Espanhol > Inglês > Grego > Catalão.
• Complexidade vs. Tamanho da Comunidade:
  • A análise estatística mostrou que, embora a complexidade tenha um efeito significativo, o tamanho da comunidade (e disponibilidade de dados) é o preditor mais forte de precisão.
  • O modelo com "Tamanho da Comunidade" como efeito principal teve um AIC (Critério de Informação de Akaike) menor (melhor ajuste) do que o modelo baseado apenas na complexidade.
  • Fator Surpresa: O Espanhol teve desempenho superior ao Inglês, apesar de o Inglês ter uma comunidade maior e ser menos complexo. Os autores atribuem isso à alta regularidade dos paradigmas do Espanhol em comparação com as irregularidades do Inglês, sugerindo que a consistência interna da língua modera o desempenho, mas o recurso de dados continua sendo o fator dominante.
  • Catalão vs. Grego: O Catalão (menos complexo que o Grego) teve desempenho pior que o Grego nos LLMs. Isso contradiz a hipótese de que "línguas mais complexas são piores para LLMs" e reforça que a falta de dados digitais (Catalão é menos representado online que o Grego) é o fator limitante.
• Interação: Existe uma interação significativa: em comunidades de tamanho similar, a maior complexidade pode estar associada a uma maior precisão (devido à regularidade dos padrões), mas o volume de dados é o fator primordial.

5. Significado e Conclusão

O estudo conclui que o comportamento dos LLMs é principalmente impulsionado pela riqueza dos recursos linguísticos (tamanho da comunidade/dados) e não por uma sensibilidade intrínseca à complexidade gramatical.

• Implicação Teórica: Os LLMs demonstram uma "competência" que se assemelha à humana apenas superficialmente (na saída), mas que é mecanisticamente diferente. Eles são aprendizes de padrões distribucionais altamente sensíveis à frequência e à presença digital, e não detentores de uma compreensão estrutural profunda das regras linguísticas.
• Viés de Recursos: Línguas com grandes comunidades falantes e forte representação digital (como Inglês e Espanhol) beneficiam-se desproporcionalmente, enquanto línguas com comunidades menores ou menor infraestrutura digital (como Catalão) sofrem em desempenho, independentemente da sua complexidade estrutural.
• Recomendações Futuras: Os autores sugerem que futuras pesquisas devem criar métricas específicas de complexidade morfológica (em vez de usar medidas gerais de complexidade linguística) e expandir o teste para línguas com perfis tipológicos radicalmente diferentes (aglutinantes, polissintéticas) para validar a generalidade desses achados.

Em suma, a precisão dos LLMs em tarefas morfológicas reflete a disponibilidade de dados muito mais do que a inteligência gramatical do modelo.