Large Language Models as Proxies for Theories of Human Linguistic Cognition

Resumo Técnico: Grandes Modelos de Linguagem como Proxies para Teorias da Cognição Linguística Humana

Definição do Problema
O artigo aborda o papel dos Grandes Modelos de Linguagem (LLMs) no estudo da Cognição Linguística Humana (HLC). Ele critica a "Teoria do LLM" (ex: Piantadosi 2023), que postula que os atuais LLMs são, eles próprios, as melhores teorias da HLC, argumentando que essa visão falha ao não considerar distinções fundamentais na cognição humana, tais como competência vs. desempenho, gramaticalidade vs. verossimilhança, e saltos indutivos específicos em relação à estrutura hierárquica.

Em vez disso, o artigo investiga a "Visão do Proxy". Esta hipótese sugere que, embora os atuais LLMs não sejam boas teorias da HLC em si, eles podem servir como proxies para uma terceira teoria, ainda não revelada ($H_3$). $H_3$ é concebida como uma teoria que é relativamente neutra do ponto de vista linguístico (carecendo dos fortes vieses inatos da linguística gerativa, $H_1$), mas capaz de explicar a aquisição linguística humana e padrões tipológicos. O problema central é que $H_3$ está atualmente não especificada, tornando difícil sua avaliação empírica. Os autores questionam se os atuais LLMs podem funcionar como ferramentas metodológicas para testar se um $H_3$ linguisticamente neutro poderia adquirir com sucesso o conhecimento linguístico a partir de corpora realistas ou explicar assimetrias tipológicas translinguísticas.

Metodologia
Os autores avaliam a Visão do Proxy através de dois frameworks experimentais primários, utilizando um conjunto de oito LLMs que variam de modelos pequenos treinados em fala dirigida à criança (CHILDES, BabyLM) a modelos massivos treinados em bilhões de tokens (BERT, GPT-2, LLaMA-3.2).

1. Alinhamento com o Estímulo (Aquisição de Saltos Indutivos):

   • Tarefa: Os autores testam se os LLMs conseguem adquirir generalizações linguísticas específicas que são argumentadas como difíceis de serem derivadas por aprendizes linguisticamente neutros a partir do "pobreza do estímulo" (APS).
   • Fenômenos: Três fenômenos sintáticos específicos foram testados:
     • Movimento Across-the-Board (ATB).
     • Gaps Parasíticos (PG).
     • Efeitos That-trace (TTE).
   • Métrica: Usando uma metodologia de "par mínimo", os modelos foram apresentados com pares de sentenças gramaticais e agramaticais. O sucesso foi definido de forma leniente: o modelo atribui uma probabilidade maior à continuação gramatical do que à agramatical em uma região crítica de tokens.
   • Lógica: Se os LLMs (como proxies para $H_3$) falham em preferir a opção gramatical mesmo após o treinamento em corpora de desenvolvimento realista ou massivos, isso sugere que um $H_3$ linguisticamente neutro também falharia em adquirir esses padrões, fortalecendo o argumento da APS para vieses inatos ($H_1$).

2. Evidência Translinguística (Assimetrias Tipológicas):

   • Tarefa: Os autores examinam se os LLMs aprendem línguas "atestadas" mais facilmente do que línguas "não atestadas" (perturbadas). Se um $H_3$ linguisticamente neutro pode explicar por que certos tipos de línguas são não atestados, deve ser mais difícil para o proxy LLM aprender as variantes não atestadas.
   • Configuração: Baseando-se em Kallini et al. (2024), os autores treinaram um Transformer em corpora de inglês, italiano, russo e hebraico, bem como em versões perturbadas desses corpora.
   • Perturbações:
     • Reverso parcial: Reverter segmentos de sentenças a partir de um índice aleatório.
     • Reverso total: Reverter sentenças inteiras.
     • Troca de índices: Trocar tokens em índices específicos (0 e 2).
     • Salto de token (Token-hop): Inserir marcadores a distâncias lineares fixas de verbos (exigindo contagem linear).
   • Métrica: Perplexidade de validação durante o treinamento. Uma perplexidade menor indica facilidade de aprendizado.

Principais Resultados

• Aquisição de Generalizações Sintáticas:

  • Os LLMs geralmente falharam em mostrar uma preferência por sentenças gramaticais sobre agramaticais nos pares mínimos para ATB, PG e TTE.
  • Com exceção do massivo modelo LLaMA (treinado em dados equivalentes a centenas de milhares de anos de exposição humana), todos os modelos preferiram predominantemente as opções agramaticais.
  • Essa falha sugere que, se os LLMs são proxies para $H_3$, então $H_3$ provavelmente falharia em adquirir essas dependências hierárquicas complexas a partir de um input realista, falhando em refutar os argumentos da APS para vieses linguísticos inatos.

• Assimetrias Tipológicas:

  • Os resultados não apoiaram consistentemente a ideia de que línguas atestadas são mais fáceis de aprender do que perturbações não atestadas.
  • Embora as perturbações de reverso parcial tenham sido mais difíceis de aprender do que as bases, outros resultados foram contraditórios.
  • Para reverso total, troca de índices e salto de token, os modelos frequentemente acharam as versões não atestadas (perturbadas) mais fáceis de aprender do que as bases atestadas, ou não encontraram diferença significativa.
  • Especificamente, a perturbação de "salto de token" (que viola generalizações hierárquicas em favor da contagem linear) foi às vezes aprendida mais facilmente do que a base atestada.

Principais Contribuições

• Clarificação Metodológica: O artigo articula a "Visão do Proxy" como uma posição distinta da "Teoria do LLM", esclarecendo que os LLMs poderiam teoricamente servir como ferramentas para avaliar teorias neutras sem serem essas teorias em si.
• Avaliação Empírica: Fornece um teste empírico preliminar da Visão do Proxy, indo além da especulação teórica para experimentos concretos sobre aquisição e tipologia.
• Evidência Negativa: O estudo demonstra que, sob as condições atuais e com os modelos atuais, os LLMs não fornecem evidências de que um $H_3$ linguisticamente neutro possa explicar fenômenos linguísticos chave ou padrões tipológicos.

Significância e Alegações
O artigo conclui que, no presente, os atuais LLMs não sustentam a Visão do Proxy. A incapacidade dos modelos de aproximar saltos indutivos semelhantes aos humanos (mesmo com dados massivos) e seu aprendizado inconsistente de padrões tipológicos sugerem que eles são proxies pobres para uma teoria bem-sucedida de uma $H_3$ linguisticamente neutra.

Os autores enfatizam que a Visão do Proxy permanece "muito vaga" para ser diretamente útil na ciência empírica porque a teoria alvo ($H_3$) não é explicitamente definida. O artigo serve como um "apelo" para que os proponentes da Visão do Proxy forneçam detalhes explícitos da teoria alvo e demonstrem como o desempenho do LLM apoia especificamente essa teoria sobre as alternativas gerativas. Os autores mantêm uma postura modesta, observando que seus resultados negativos são específicos aos modelos e fenômenos testados, e que trabalhos futuros com modelos diferentes ou teorias mais explícitas poderiam produzir conclusões diferentes. No entanto, com base na evidência atual, os LLMs não sugerem a necessidade de mudar a teoria linguística existente.