Biasless Language Models Learn Unnaturally: How LLMs Fail to Distinguish the Possible from the Impossible

1. O Problema e o Contexto

O artigo investiga uma questão central na interseção entre linguística e inteligência artificial: os Grandes Modelos de Linguagem (LLMs) são sensíveis à distinção entre linguagens "humanamente possíveis" e "impossíveis"?

• Hipótese Gerativa: Na linguística, a Hipótese Gerativa sugere que a tipologia linguística humana é moldada por vieses de aprendizado inatos e biológicos. Isso significa que existem restrições universais que definem o que constitui uma linguagem possível para humanos, enquanto outras combinações (linguagens "impossíveis") são biologicamente inacessíveis.
• O Debate Recente: Trabalhos anteriores (como Kallini et al., 2024) argumentaram que LLMs, especificamente o GPT-2, demonstram sensibilidade a essa distinção. Eles mostraram que o modelo aprende linguagens naturais mais facilmente do que versões perturbadas (impossíveis) das mesmas, sugerindo que os LLMs poderiam replicar os vieses humanos sem necessidade de uma "gramática inata" biológica.
• A Questão: Se os LLMs (que são supostamente livres de vieses linguísticos inatos) conseguem distinguir o possível do impossível apenas através da estatística de dados, isso enfraqueceria a necessidade de postular vieses cognitivos humanos fortes. O objetivo deste artigo é testar a robustez dessa conclusão.

2. Metodologia

Os autores expandiram significativamente a metodologia de Kallini et al. (2024) para testar a generalização dos resultados.

• Modelo: Utilizaram o GPT-2 (configuração padrão: 12 camadas, 12 cabeças de atenção, embeddings de 768 dimensões), treinado do zero para garantir comparação direta com trabalhos anteriores.
• Corpus e Idiomas:
  • Expandiram de apenas inglês para 9 idiomas: Inglês, Dinamarquês, Finlandês, Francês, Alemão, Grego, Hebraico, Italiano e Russo.
  • Criaram conjuntos de dados uniformes (90M tokens) a partir de dumps do Wikipedia, utilizando um tokenizador de espaço em branco uniforme (vocabulário de 50.257) para todas as línguas, eliminando viéses de tokenização.
• Perturbações "Impossíveis": Aplicaram funções de perturbação que violam princípios linguísticos universais (como estrutura hierárquica e ordem de palavras) para criar variantes "impossíveis" de cada idioma. As perturbações incluíram:
  • SHUFFLE: Embaralhamento global e local de tokens.
  • REVERSE: Inversão parcial e total da ordem das palavras.
  • SWITCH: Troca de tokens específicos.
  • HOP: Inserção de marcadores especiais após verbos, exigindo generalização linear.
• Métricas de Avaliação:
  1. Perspectiva Intralinguística: Comparação das curvas de aprendizado (perplexidade) entre um idioma natural e sua variante perturbada específica.
  2. Perspectiva Interlinguística: Análise da variância entre os conjuntos de idiomas naturais versus o conjunto de todas as variantes perturbadas. Mediram a Perplexidade Mínima e a Área Sob a Curva (AUC) para verificar se há uma separação clara entre os dois grupos.

3. Contribuições Principais

• Expansão de Escala: Testaram a sensibilidade à impossibilidade em uma gama muito mais ampla de idiomas e tipos de perturbação do que estudos anteriores.
• Controle Rigoroso: Implementaram um pipeline de dados unificado (tokenizador e tamanho de vocabulário constantes) para garantir que as diferenças na perplexidade fossem devidas apenas às propriedades linguísticas e não a artefatos de processamento.
• Refutação Empírica: Forneceram evidências contrárias à conclusão de que LLMs possuem uma sensibilidade inata à distinção entre linguagens possíveis e impossíveis.

4. Resultados Chave

Os resultados contradisseram as descobertas anteriores de Kallini et al. (2024):

• Falha na Perspectiva Intralinguística:
  • Em 80% dos casos (43 de 54 testes), as curvas de aprendizado do GPT-2 para idiomas naturais e suas versões impossíveis foram quase idênticas.
  • Em muitos casos (ex: perturbações REVERSE full e SWITCH), o modelo aprendeu a variante impossível mais facilmente do que a variante natural (curva de perplexidade mais baixa para o impossível).
  • Um teste binomial mostrou que a direção dos resultados não foi estatisticamente significativa em relação ao acaso ($p = 0,892$).
• Falha na Perspectiva Interlinguística:
  • Não houve separação clara entre o conjunto de idiomas naturais e o conjunto de idiomas perturbados.
  • A variância dentro de um mesmo idioma (entre suas diferentes perturbações) foi menor do que a variância entre idiomas diferentes. Isso significa que o GPT-2 agrupou um idioma natural com suas versões impossíveis, em vez de agrupar todos os idiomas naturais separadamente dos impossíveis.
  • Exemplo: O Russo e suas variantes impossíveis foram agrupados juntos, diferenciando-se do Inglês e suas variantes, mas não formando um bloco distinto de "possíveis" contra "impossíveis".

5. Significado e Conclusão

O estudo conclui que o GPT-2 não demonstra sensibilidade sistemática à distinção entre linguagens possíveis e impossíveis.

• Implicação para a Hipótese Gerativa: Os resultados sugerem que os LLMs não compartilham os vieses de aprendizado inatos que moldam a tipologia linguística humana. A incapacidade do modelo de distinguir o possível do impossível, mesmo com dados massivos, reforça a ideia de que a distinção é biologicamente embutida nos humanos e não uma propriedade emergente simples de modelos estatísticos.
• Crítica à Metodologia de "Facilidade de Aprendizado": O artigo argumenta que usar curvas de perplexidade como proxy para vieses cognitivos humanos é falho neste contexto. Se os LLMs aprendem linguagens "impossíveis" tão facilmente quanto as naturais, essa métrica não consegue capturar as restrições que definem a linguagem humana.
• Limitações: Os autores reconhecem que o estudo se limitou ao GPT-2 e a um conjunto específico de perturbações. No entanto, a falha em generalizar para múltiplos idiomas e perturbações sugere que a conclusão é robusta para a arquitetura Transformer padrão.

Em suma, o artigo desafia a visão de que LLMs podem substituir a necessidade de postular vieses inatos na cognição linguística humana, mostrando que, ao contrário dos humanos, esses modelos não conseguem distinguir o que é linguisticamente possível do que é impossível apenas através da exposição a dados.