Manipulating language models' training data to study syntactic constraint learning: the case of English passivization

Este estudo demonstra que modelos de linguagem neural aprendem as restrições de passivação no inglês a partir de evidências presentes nos dados de treinamento, sendo que tanto a frequência de uso (entrenchment) quanto a semântica (afetação) contribuem de forma independente para essas restrições, validando a manipulação de dados de treinamento como método eficaz para investigar a aquisição da linguagem.

O essencial

Imagine que a linguagem é como um grande jogo de LEGO. Existem regras gerais para montar as peças: geralmente, você pode pegar uma ação (como "empurrar") e inverter a ordem para dizer quem sofreu a ação ("foi empurrado"). Isso funciona para a maioria das peças.

Mas, assim como em qualquer jogo, existem exceções. Algumas peças simplesmente não se encaixam de cabeça para baixo. Por exemplo, você pode dizer "A reunião durou uma hora", mas não pode dizer "Uma hora foi durada pela reunião". Isso soa estranho e errado para qualquer falante nativo de inglês.

A grande pergunta que os autores deste estudo queriam responder é: Como uma criança (ou um computador) aprende essas exceções? Ninguém vai até a criança e diz: "Ei, o verbo 'durar' não pode ser usado dessa forma". A criança nunca ouviu a frase errada, então como ela sabe que ela é proibida?

Para descobrir isso, os pesquisadores usaram Inteligência Artificial (modelos de linguagem) como se fossem "bebês digitais" para testar duas teorias principais:

1. A Teoria do "Hábito" (Entrenchment)

Imagine que você vai a uma festa e vê alguém dançando um estilo de música específico o tempo todo, mas nunca vê essa pessoa fazendo um movimento diferente. Com o tempo, você começa a achar que aquela pessoa não sabe fazer o outro movimento, mesmo que ela nunca tenha dito isso.

• A teoria: Se um verbo aparece muito no modo ativo ("O tempo durou") e quase nunca no passivo ("Foi durado pelo tempo"), o cérebro (ou o computador) aprende que o passivo é proibido para aquele verbo apenas pela falta de exemplos. É uma questão de estatística e frequência.

2. A Teoria do "Impacto" (Affectedness)

Agora, imagine que você está jogando uma bola. Se você joga a bola e ela bate na parede e muda de lugar, a parede foi "afetada". Mas se você diz "O tempo durou uma hora", o tempo não foi "batido" ou "mudado" pela reunião. Ele apenas existiu.

• A teoria: O passivo só funciona se a coisa que recebe a ação (o sujeito da frase passiva) sofrer uma mudança real. Se o verbo não descreve uma ação que "afeta" o objeto, ele não pode ser usado no passivo.

---

O Experimento: "Moldando a Dieta" da IA

Os pesquisadores não podidos fazer um experimento com crianças reais (seria antiético e impossível controlar o que uma criança ouve por anos). Então, eles criaram modelos de linguagem (como versões menores do ChatGPT) e fizeram algo genial: eles alteraram a "dieta" de dados desses modelos.

Pense nisso como se você estivesse treinando um cachorro, mas em vez de dar petiscos, você controla exatamente quais frases ele lê.

• Experimento 1 (O Teste de Realidade): Eles primeiro verificaram se a IA aprendia as regras como os humanos. Resultado: Sim! A IA julgou as frases estranhas quase da mesma forma que as pessoas, mostrando que ela aprendeu as exceções apenas lendo textos comuns.

• Experimento 2 (A Dieta do Hábito): Eles pegaram um verbo que poderia ser usado no passivo (como "empurrar") e removeram quase todas as vezes que ele aparecia no passivo nos textos de treino.

  • Resultado: A IA começou a achar que esse verbo não podia ser usado no passivo. Isso prova que a frequência (o hábito) importa muito.

• Experimento 3 (A Dieta do Significado): Eles pegaram um verbo estranho e o colocaram em frases onde o objeto sofria uma mudança forte (alta "afetação") versus frases onde não sofria nada.

  • Resultado: A IA aprendeu que verbos usados em contextos de "impacto" eram mais fáceis de usar no passivo. O significado também importa.

• Experimento 4 (O Verbo Novo): Eles inventaram um verbo que nunca existiu e o ensinaram à IA apenas no modo ativo, mas em contextos diferentes.

  • Resultado: Quanto mais vezes a IA via o verbo no ativo (sem ver no passivo), mais ela achava que ele não podia ser usado no passivo. E, curiosamente, se o contexto fosse de "impacto", ela era um pouco mais tolerante, mas a quantidade de vezes que ela via o verbo era o fator mais forte.

A Conclusão: É uma Mistura de Ambos!

O estudo descobriu que não é apenas uma coisa ou outra. É como cozinhar um bolo: você precisa de farinha (frequência/hábito) e ovos (significado/impacto).

1. Frequência é o chef: Se você nunca vê uma frase, você acha que ela é proibida.
2. Significado é o tempero: Se a frase faz sentido lógico (o objeto foi afetado), você é mais propenso a aceitá-la.

Mas, e o mais importante: os dois funcionam juntos, mas de forma independente. Um não depende do outro para funcionar.

Por que isso é legal?

Este estudo é como um laboratório de "ciência ficção" para a linguagem. Ele mostra que podemos usar computadores para testar como aprendemos, algo que seria impossível de fazer com humanos reais de forma tão controlada.

A lição final é que nosso cérebro (e nossas IAs) são mestres em pegar pistas indiretas. Nós não precisamos de um professor dizendo "não faça isso"; basta que a gente nunca veja alguém fazendo, ou que a ação não faça sentido lógico, e nós aprendemos a regra por conta própria. A linguagem é aprendida através de um equilíbrio sutil entre o que ouvimos muito e o que faz sentido.

Resumo técnico

Resumo Técnico: Aprendizado de Restrições Sintáticas em Modelos de Linguagem

1. O Problema e a Motivação

As regras gramaticais nas línguas naturais frequentemente apresentam exceções sistemáticas. Um caso clássico é a passivação em inglês: embora a maioria dos verbos transitivos possa ser passivizada (ex: "O livro foi lido"), existem verbos que não aceitam essa construção (ex: "*Uma hora foi durada pela reunião").
O desafio central da aprendizagem (conhecido como o "Paradoxo de Baker") é: como os aprendizes inferem essas exceções sem receber evidência negativa direta (ou seja, sem que alguém lhes diga explicitamente que uma frase é gramaticalmente incorreta)? Eles devem deduzir essas restrições a partir de evidências indiretas presentes no input linguístico.

Duas hipóteses principais competem para explicar como essas exceções são aprendidas:

1. Hipótese do Enraizamento (Entrenchment): Os aprendizes inferem que um verbo não pode ser passivizado porque o observam frequentemente na voz ativa, mas nunca (ou raramente) na voz passiva. A assimetria de frequência (Active-to-Passive ratio) seria o sinal de exclusão.
2. Hipótese da Afetividade (Affectedness): A passivizabilidade depende da semântica do verbo. Verbos que denotam ações onde o tema sofre uma mudança de estado, localização ou existência (alta afetividade) são passivizáveis. Verbos que não implicam tal mudança (baixa afetividade) não são.

O problema é que, em dados linguísticos naturais, frequência e semântica estão altamente correlacionadas, tornando difícil isolar causalmente qual fator guia a aprendizagem.

2. Metodologia

Os autores utilizaram Modelos de Linguagem Neural (LMs) como teorias computacionais da aquisição de linguagem. A abordagem inovadora deste estudo foi a manipulação controlada dos dados de treinamento para criar cenários contrafactuais, algo impossível em estudos com humanos.

• Arquitetura: Modelos baseados em Transformer (GPT-2 pequeno, 117M parâmetros).
• Corpus de Treinamento: 100 milhões de palavras (uma estimativa do input linguístico que uma criança recebe até a adolescência), muito menor que os corpora padrão usados para treinar LLMs modernos, para simular a eficiência de dados humana.
• Avaliação: Uso de avaliação sintática direcionada para derivar julgamentos de aceitabilidade (calculando a "queda passiva" ou passive drop: a diferença de probabilidade entre a frase ativa e a passiva).

Os Experimentos:

• Experimento 1 (Validação):

  • Coletou julgamentos de aceitabilidade de falantes nativos de inglês para 140 pares de frases (ativas/passivas) com 28 verbos (18 verbos "críticos" não passivizáveis e 10 de controle).
  • Comparou os julgamentos humanos com os do modelo treinado.
  • Objetivo: Verificar se o modelo, com input limitado, consegue replicar o padrão gradiente de julgamentos humanos.

• Experimento 2A (Teste do Enraizamento):

  • Intervenção: Modificou o corpus removendo passivas de verbos altamente passivizáveis (ex: drop) até que sua razão Ativo/Passivo (A/P) fosse igual à de verbos não passivizáveis (ex: last).
  • Objetivo: Testar se alterar a frequência relativa força o modelo a tratar um verbo passivizável como não passivizável.

• Experimento 2B (Teste da Afetividade):

  • Intervenção: Substituiu verbos não passivizáveis (ex: last) em frases ativas por verbos passivizáveis (ex: drop), inserindo o verbo "mutante" em contextos semânticos de alta afetividade (agentes que afetam pacientes).
  • Objetivo: Testar se mudar o contexto semântico (argumentos) altera a passivizabilidade do verbo, independentemente da frequência.

• Experimento 3 (Interação e Verbos Novos):

  • Intervenção: Introduziu um verbo novo (inexistente no corpus original) que aparecia apenas na voz ativa.
  • Variáveis: Manipulou independentemente a frequência de ocorrência do verbo novo e o contexto semântico (alta vs. baixa afetividade).
  • Objetivo: Isolar completamente os efeitos de frequência e semântica e testar se há interação entre eles.

3. Resultados Principais

1. Correlação Humano-Máquina (Exp 1):

   • Os modelos de linguagem neural mostraram uma correlação muito alta ($r = 0.91$) com os julgamentos humanos sobre a passivizabilidade dos verbos.
   • Modelos baseados apenas em frequência de trigramas (n-gramas) tiveram desempenho moderado ($r = 0.68$), indicando que os Transformers capturam informações além da frequência superficial de sequências curtas.

2. Evidência do Enraizamento (Exp 2A e 3):

   • Aumentar a razão Ativo/Passivo de um verbo (tornando-o mais raro na passiva) causou um aumento significativo na "queda passiva" (o modelo julgou-o menos aceitável na passiva).
   • No Experimento 3, quanto mais vezes o verbo novo aparecia na ativa (e nunca na passiva), mais "não passivizável" ele se tornava.

3. Evidência da Afetividade (Exp 2B e 3):

   • Alterar o contexto semântico para incluir argumentos de alta afetividade reduziu a "queda passiva" (tornou o verbo mais passivizável).
   • Verbos treinados em contextos de alta afetividade foram julgados como mais passivizáveis do que aqueles em contextos de baixa afetividade.

4. Interação (Exp 3):

   • Fatores Independentes: Tanto a frequência (enraizamento) quanto a semântica (afetividade) contribuíram de forma independente para a passivizabilidade.
   • Sem Interação Significativa: Não foi encontrada evidência de que um fator modere o outro (ou seja, o efeito da frequência não dependia do contexto semântico, e vice-versa).
   • Limitação Explicativa: Nem a frequência nem a semântica, isoladamente ou combinadas, explicaram totalmente a magnitude da diferença entre verbos passivizáveis e não passivizáveis observada nos humanos, sugerindo a existência de outras fontes de evidência no input.

4. Contribuições Chave

• Método de Intervenção em Dados: Demonstra a utilidade de manipular corpora de treinamento de modelos de linguagem para testar hipóteses causais sobre a aprendizagem linguística, superando a limitação de estudos observacionais com humanos.
• Validação de Modelos como Teorias Cognitivas: Mostra que modelos baseados em Transformer, treinados com quantidades de dados comparáveis às humanas, conseguem aprender exceções gramaticais complexas e gradativas, alinhando-se bem com julgamentos humanos.
• Desmistificação de Fatores de Aprendizagem: Prova causalmente que tanto a estatística de co-ocorrência (frequência) quanto a semântica distribucional (afetividade) são suficientes para induzir restrições sintáticas em aprendizes artificiais, sem necessidade de regras inatas explícitas.
• Gradiente vs. Binário: Refuta a visão de que a passivizabilidade é binária, mostrando que é um fenômeno gradiente influenciado por múltiplos fatores.

5. Significado e Implicações

• Para a Linguística Cognitiva: O estudo oferece um "prova de existência" de que um aprendiz baseado em estatísticas de co-ocorrência pode adquirir exceções gramaticais complexas apenas através do input, sem necessidade de inatismo forte.
• Para a IA e NLP: Destaca que modelos de linguagem modernos não apenas memorizam dados, mas inferem restrições sintáticas e semânticas a partir de padrões estatísticos sutis no corpus.
• Limitações e Futuro: Os autores reconhecem que os modelos podem não replicar exatamente os mecanismos humanos (ex: falta de experiência sensorial-motora para o conceito de "afetividade"). Além disso, a metodologia de filtragem de corpus pode introduzir ruídos. O estudo sugere que outras fontes de evidência (como a existência de construções alternativas) podem ser necessárias para explicar totalmente o comportamento humano.

Em suma, o artigo estabelece uma ponte metodológica robusta entre a linguística teórica e a ciência de dados, utilizando a manipulação controlada de dados de treinamento para desvendar os mecanismos subjacentes à aquisição de restrições sintáticas.