Multilingual Large Language Models do not comprehend all natural languages to equal degrees

1. Problema e Motivação

O estudo aborda a lacuna crítica no conhecimento sobre como os Modelos de Linguagem Grandes (LLMs) multilingues processam e compreendem diferentes línguas. Embora os LLMs sejam frequentemente avaliados em benchmarks de alto desempenho, a maioria dessas avaliações foca em línguas de alto recurso (principalmente o inglês) e em comunidades "WEIRD" (Ocidentais, Educadas, Industrializadas, Ricas e Democráticas).

A premissa comum na literatura é que o inglês é a língua de melhor desempenho para os LLMs, funcionando como a "língua padrão" ou dominante, enquanto línguas de baixo recurso ou não-ocidentais produziriam resultados menos confiáveis. O artigo questiona se essa suposição de domínio inglês é verdadeira e investiga se os modelos possuem uma compreensão linguística real e uniforme ou se apenas replicam padrões estatísticos desiguais. O objetivo é determinar se a variação no desempenho é explicada por fatores como tamanho da comunidade linguística, tipo de sistema de escrita e distância linguística do inglês.

2. Metodologia

Os autores conduziram um experimento controlado comparando a compreensão linguística de humanos e de três LLMs de ponta: GPT-4o, Grok-3 e DeepSeek-V3.

• Tarefa de Avaliação: Adaptaram um benchmark de compreensão de linguagem (baseado em Dentella et al., 2024) que consiste em cenários curtos seguidos por perguntas de "Sim/Não". O foco é a compreensão semântica e lógica, evitando ambiguidades de resolução de pronomes.
• Línguas Testadas: O benchmark foi adaptado para 12 línguas representando famílias linguísticas diversas (Indo-europeia, Afro-asiática, Turca, Sino-tibetana e Japonica): Árabe, Catalão, Chinês, Holandês, Inglês, Alemão, Grego, Italiano, Japonês, Russo, Espanhol e Turco.
• Participantes:
  • Humanos: 480 falantes nativos (40 por língua) recrutados via Prolific.
  • LLMs: Cada modelo foi executado 40 vezes independentemente para cada item (criando "pseudo-participantes"), totalizando o mesmo número de pontos de dados que os humanos.
• Métricas Principais:
  1. Precisão (Accuracy): A frequência com que o modelo ou humano forneceu a resposta correta.
  2. Estabilidade (Stability): A consistência das respostas quando o mesmo prompt é repetido três vezes (medida de confiabilidade).
• Análise Estatística: Utilizaram Modelos Lineares Mistos Generalizados (GLMM) para analisar a precisão e a estabilidade, incluindo interações entre agente (humano vs. modelo) e língua. Também modelaram a precisão em função de variáveis preditoras: tamanho da língua, sistema de escrita (Latino vs. Não-Latino) e distância linguística (léxica e gramatical) do Inglês e do Espanhol.

3. Principais Resultados

A. Precisão vs. Linha de Base Humana

• Desempenho Humano Superior: De modo geral, os humanos superaram significativamente todos os modelos em todas as línguas.
• Exceções: Houve apenas dois casos onde os modelos alcançaram precisão comparável à humana: GPT-4o em Espanhol e DeepSeek-V3 em Italiano.
• Falha Generalizada: Mesmo em línguas de alto recurso, os modelos falharam em atingir o nível de compreensão humana, sugerindo limitações estruturais na representação linguística dos LLMs.

B. A Ilusão do Domínio do Inglês

• O Inglês não é o Melhor: Contrariando a hipótese de que o inglês é a língua de melhor desempenho, ele não foi o topo para nenhum dos três modelos.
• Desempenho das Línguas Românicas: O Espanhol e o Italiano consistentemente apresentaram os melhores resultados (ou próximos do teto) em todos os modelos.
  • No GPT-4o, o inglês ficou em 6º lugar (atrás de Espanhol, Catalão, Italiano e Chinês).
  • No DeepSeek-V3, o inglês ficou em 8º lugar (atrás de Italiano, Espanhol, Russo e Turco).
  • No Grok-3, o inglês ficou entre os 5 melhores, mas ainda empatado ou atrás do Espanhol e Italiano.
• Línguas de Baixo Desempenho: Grego e Japonês consistentemente tiveram as menores taxas de precisão em todos os modelos.

C. Fatores Explicativos (Análise de Regressão)

• Distância do Espanhol: A proximidade com o Espanhol foi um preditor forte e positivo para a precisão em todos os modelos. Quanto mais próxima a língua do espanhol, melhor o desempenho.
• Distância do Inglês: A proximidade com o inglês teve um efeito fraco ou até negativo na precisão, refutando a ideia de que o inglês é o "núcleo" representacional dominante que facilita o desempenho em outras línguas.
• Sistema de Escrita e Tamanho: O efeito do tamanho da comunidade linguística (recursos) interagiu com o sistema de escrita. Para scripts não-baseados em latim (ex: Chinês, Japonês, Árabe, Grego), o aumento no tamanho dos dados de treinamento teve um impacto muito maior na precisão do que para scripts latinos. Isso sugere que línguas com scripts não-latinos exigem volumes de dados desproporcionalmente maiores para atingir níveis de desempenho comparáveis.

D. Estabilidade

• Inversão de Tendência: Diferente da precisão, a estabilidade (consistência) dos modelos foi frequentemente superior à dos humanos.
• Grok-3 e DeepSeek-V3: Estes modelos foram mais estáveis que os humanos em 9 e 7 línguas, respectivamente.
• GPT-4o: Foi consistentemente menos estável que os humanos.
• Isso indica que, embora os modelos possam não entender perfeitamente o significado (precisão), eles são altamente consistentes em seus padrões de erro ou acerto sob condições de temperatura padrão.

4. Contribuições Chave

1. Desmistificação do "Inglês como Padrão": O estudo fornece evidências empíricas robustas de que o inglês não é necessariamente a língua de melhor desempenho em LLMs modernos, desafiando a teoria de que os modelos operam com o inglês como língua base de representação interna.
2. O "Quebra-Cabeça Românico": Identifica uma anomalia onde línguas românicas (Espanhol, Italiano) superam línguas germânicas (Inglês, Alemão), sugerindo que a eficiência da tokenização ou a qualidade dos dados de treinamento para essas línguas específicas pode ser superior.
3. Viés de Script: Demonstra que o tipo de sistema de escrita (Latino vs. Não-Latino) é um fator crítico que modera a relação entre o tamanho dos dados e o desempenho, criando uma barreira adicional para línguas de comunidades não-ocidentais.
4. Dissociação entre Precisão e Estabilidade: Mostra que a consistência de saída (estabilidade) não garante compreensão semântica (precisão), e que os modelos podem ser "confiavelmente errados" ou consistentes em tarefas que humanos resolvem com variabilidade cognitiva natural.

5. Significado e Implicações

• Risco de Desinformação: A descoberta de que línguas de alto recurso e comunidades WEIRD (como falantes de inglês e alemão) não garantem precisão máxima implica que o risco de má interpretação e desinformação é alto mesmo para os usuários mais privilegiados de IA.
• Equidade no Acesso: As limitações severas em línguas com scripts não-latinos e comunidades menores (ex: Grego, Japonês, Árabe) indicam uma desigualdade estrutural no acesso a ferramentas de IA confiáveis.
• Limitações Cognitivas: O fato de os modelos falharem em tarefas básicas de compreensão em línguas de alto recurso sugere que as limitações dos LLMs não são apenas uma questão de "quantidade de dados", mas de arquitetura e processos de aprendizado que não replicam a cognição humana de forma robusta.
• Direções Futuras: O estudo sugere que futuras avaliações de LLMs devem abandonar a suposição de superioridade do inglês e adotar métricas que considerem a tokenização, a distância linguística real e a diversidade de sistemas de escrita para obter uma visão justa das capacidades multilingues.

Em suma, o artigo conclui que os LLMs atuais não compreendem todas as línguas de forma igual, e que a hierarquia de desempenho é complexa, sendo impulsionada por fatores como a proximidade com o espanhol e a eficiência da tokenização, e não simplesmente pelo status de "língua dominante" do inglês.