Filling in the Mechanisms: How do LMs Learn Filler-Gap Dependencies under Developmental Constraints?

Resumo Técnico: Mecanismos de Aprendizado de Dependências Filler-Gap em Modelos de Linguagem sob Restrições Desenvolvimentais

1. O Problema e o Contexto

O artigo investiga uma questão central na aquisição da linguagem: como os aprendizes generalizam sobre um número infinito de enunciados com base em dados de entrada finitos.

• O Debate: Enquanto modelos cognitivos humanos frequentemente utilizam regras abstratas e específicas da linguagem para resolver esse problema, os Modelos de Linguagem (LMs) modernos são aprendizes "domínio-gerais" com viés fraco.
• O Caso de Teste: A dependência filler-gap (ex: em "O que o aluno fez _?", "O que" é o filler e o espaço vazio é o gap). Essa estrutura ocorre em diferentes construções sintáticas (ex: perguntas wh e topicalização) que variam drasticamente em frequência de entrada.
• A Lacuna: Estudos anteriores (ex: Boguraev et al., 2025) sugeriram que LMs grandes aprendem uma representação compartilhada para essas dependências. No entanto, esses modelos foram treinados em corpora web em escala massiva, não refletindo a quantidade ou qualidade de dados disponíveis para crianças humanas.
• Objetivo: Determinar se LMs treinados com quantidades de dados desenvolvimentalmente plausíveis (simulando a entrada de uma criança até os 12 anos, via desafio BabyLM) conseguem aprender mecanismos causais compartilhados para dependências filler-gap, e se esses mecanismos emergem no mesmo tempo de desenvolvimento que em humanos.

2. Metodologia

Os autores utilizaram intervenções causais para mapear representações internas do modelo, em vez de apenas analisar probabilidades de superfície.

• Modelo e Dados:
  • Utilizaram o modelo BabyLM-100M (arquitetura GPT-2-small) treinado no corpus Strict-100M (~100 milhões de tokens), que imita a entrada linguística de uma criança de ~12 anos.
  • Avaliaram 19 checkpoints durante o treinamento (de 1M a 100M tokens) para traçar a trajetória de desenvolvimento.
• Construções Sintáticas:
  • Alta Frequência: Perguntas wh (ex: "Who did the teacher like _?").
  • Baixa Frequência: Topicalização (ex: "The author, the teacher liked _.").
  • Variáveis: Animado vs. Inanimado (ex: "who/author" vs. "what/book").
• Técnica de Intervenção: Distributed Alignment Search (DAS):
  • O DAS é um método de interpretabilidade mecânica que aprende um vetor de direção ($a$) no espaço de representação do modelo que alinha com uma variável binária causal (neste caso: FILLER_PRESENT).
  • Procedimento: O modelo é treinado para encontrar uma direção que, quando injetada na representação de uma sentença base (sem filler), a transforme na representação de uma sentença fonte (com filler).
  • Experimentos:
    1. Localização: Treinar e testar dentro da mesma construção (Wh $\to$ Wh; Topic $\to$ Topic).
    2. Transferência Cruzada: Treinar em uma construção e testar na outra (Wh $\to$ Topic e vice-versa).
• Métrica de Avaliação:
  • ODDS: Medida de quanto a intervenção desloca a probabilidade do próximo token em direção à previsão da sentença fonte. Valores altos indicam uma representação causal forte.

3. Principais Contribuições

1. Avaliação Desenvolvimental Causal: É um dos primeiros estudos a aplicar intervenções causais (DAS) em modelos treinados com dados limitados e realistas para crianças, em vez de modelos web-scale.
2. Análise de Assimetria de Frequência: Investiga se a alta frequência de uma construção (perguntas wh) facilita a generalização para construções raras (topicalização) em modelos sem viés linguístico inato.
3. Validação de Hipóteses de Viés: Fornece evidências empíricas sobre a necessidade de viés indutivo específico da linguagem para explicar a aquisição humana rápida de estruturas sintáticas complexas.

4. Resultados Chave

• Trajetória de Desenvolvimento (RQ1):
  • A capacidade de localizar e transferir representações de filler-gap aumentou monotonicamente com o número de tokens.
  • Desalinhamento Temporal: Efeitos causais robustos (ODDS > 8) só emergiram após 50M-100M tokens. Em contraste, crianças humanas demonstram sensibilidade a essas estruturas por volta dos 18 meses (equivalente a muito menos dados). O modelo falhou em aprender representações fortes nos checkpoints iniciais (1M-10M tokens), que correspondem à entrada de crianças de 2-5 anos.
• Especificidade da Construção (RQ2):
  • A localização dentro da mesma construção (Wh $\to$ Wh) foi significativamente mais forte do que a transferência entre construções.
  • Isso sugere que o modelo aprende representações específicas por item e construção, e não uma regra abstrata única e generalizável como propõem algumas teorias linguísticas.
• Transferência Cruzada (RQ3):
  • Contrariando a hipótese de que a alta frequência (Wh) transferiria conhecimento para a baixa frequência (Topic), os resultados mostraram uma transferência assimétrica inversa: Topic $\to$ Wh foi mais forte que Wh $\to$ Topic.
  • Isso pode indicar que, ao aprender a construção rara (topicalização), o modelo é forçado a desenvolver um mecanismo mais geral, enquanto a construção comum (Wh) é aprendida de forma mais específica e "rígida".
• Efeito de "Boost" Lexical (Animacy):
  • Replicou-se o efeito de lexical boost: a transferência causal foi significativamente mais forte quando o animado/inanimado do filler correspondia entre as sentenças de treino e teste.

5. Significado e Conclusões

• Limitações dos Modelos Atuais: Modelos de linguagem treinados apenas na previsão da próxima palavra, mesmo com dados "humanos" (BabyLM), não são suficientes para aprender generalizações sintáticas apropriadas no mesmo ritmo e com a mesma abstração que as crianças. Eles exigem ordens de magnitude mais de dados para atingir níveis comparáveis de generalização.
• Necessidade de Viés Indutivo: Os resultados apoiam a tese de que a aquisição humana de linguagem requer uma combinação de mecanismos estatísticos gerais mais viés indutivo específico da linguagem (estruturas de hipóteses pré-definidas).
• Implicações Futuras: Para que os LMs sejam modelos plausíveis da aquisição da linguagem, eles devem incorporar restrições arquiteturais ou espaços de hipóteses que reflitam a estrutura linguística humana, em vez de depender apenas de escala de dados.

Em suma, o estudo demonstra que, embora LMs possam eventualmente aprender representações compartilhadas para dependências sintáticas complexas, o processo é lento, dependente de grandes volumes de dados e menos abstrato do que o observado no desenvolvimento humano, reforçando a necessidade de incorporar viéses linguísticos explícitos nos modelos de aquisição.