Repetition Without Exclusivity: Scale Sensitivity of Referential Mechanisms in Child-Scale Language Models

Título: Repetição sem Exclusividade: Sensibilidade de Escala de Mecanismos Referenciais em Modelos de Linguagem de Escala Infantil

1. Problema e Motivação

O artigo investiga se a Exclusividade Mútua (ME) — um viés cognitivo fundamental no aprendizado de palavras onde crianças assumem que uma palavra nova se refere a um objeto novo, e não a um objeto já nomeado — pode emergir em Modelos de Linguagem (LMs) puramente textuais treinados exclusivamente em fala dirigida a crianças (CDS - Child-Directed Speech).

• Contexto: A maioria dos estudos computacionais sobre ME utiliza modelos "grounded" (ancorados), que possuem acesso a imagens ou representações de objetos.
• Lacuna: Não havia uma avaliação sistemática de ME em modelos baseados apenas em texto (como os do paradigma BabyLM) treinados em dados linguísticos naturais de crianças.
• Hipótese Central: O artigo questiona se as estatísticas distribucionais do texto infantil são suficientes para induzir a exclusividade lexical, ou se a ausência de "referentes" (objetos físicos/visuais) impede esse mecanismo, favorecendo em vez disso a repetição.

2. Metodologia

Os autores conduziram um experimento pré-registrado de sensibilidade à escala, combinando uma fase piloto exploratória e uma fase confirmatória.

• Corpus: Utilizaram o AO-CHILDES, um corpus de fala dirigida a crianças em inglês americano (~4 milhões de tokens). O corpus é caracterizado por uma alta taxa de repetição de substantivos (36,4% de probabilidade de reaparecimento em 3 frases) e uma raridade de contextos de desambiguação com múltiplos referentes.
• Modelos:
  • Piloto: BabyBERTa (Modelo de Linguagem Mascaramento - MLM) e um modelo autoregressivo pequeno.
  • Confirmatório: 45 modelos autoregressivos baseados na arquitetura GPT-2, treinados do zero no AO-CHILDES.
    • Grid de Treinamento: 3 tamanhos (Pequeno: 2.9M, Médio: 8.9M, Grande: 33.5M parâmetros) × 3 durações (5, 10 e 20 épocas) × 5 sementes aleatórias.
• Tarefas de Avaliação (Bateria ME):
  1. Supressão Familiar-Familiar (H1): Testa se rotular um objeto familiar reduz a probabilidade de prever esse mesmo objeto novamente em um contexto de dois referentes (o que indicaria ME).
  2. Diagnóstico de Dependência de Contexto (H2): Distingue ME genuína de artefatos de similaridade de embeddings. Compara condições com e sem contexto de desambiguação usando tokens nonce (palavras inventadas).
  3. Resposta Dose-Resposta (H3): Verifica se o efeito de priming (repetição) aumenta monotonicamente com o número de repetições.

3. Principais Resultados

• Ausência de Exclusividade Mútua (H1 Confirmada):

  • Em todas as 9 células do grid de modelos (45 modelos), não houve evidência de ME.
  • Pelo contrário, os modelos exibiram priming de repetição robusto (Anti-ME): rotular um objeto familiar aumentou a probabilidade de prever esse mesmo objeto novamente.
  • A taxa de Anti-ME variou de 85% a 100% entre os itens.
  • O priming diminuiu à medida que a qualidade do modelo de linguagem melhorou (correlação negativa com a Perplexidade, $\rho = -0.533$), mas nunca cruzou o zero para se tornar supressão (ME), mesmo nos melhores modelos (PPL ~15.2).

• Diagnóstico de Dependência de Contexto (H2 Confirmada):

  • O padrão de "ME" aparente com tokens nonce foi explicado inteiramente pela similaridade de embeddings, não pela desambiguação referencial.
  • A condição sem contexto familiar (nonce_only) gerou sinais de ME mais fortes do que a condição com contexto completo, indicando que o contexto de desambiguação não contribuiu para a inferência pragmática, mas sim que a presença de palavras familiares suprimiu tokens da região de nonce.

• Resposta Dose-Resposta (H3 Parcialmente Confirmada):

  • O priming aumentou com o número de repetições em 8/9 células.
  • Nos melhores modelos (20 épocas), a monotonicidade estrita enfraqueceu ligeiramente, sugerindo que o modelo aprendeu a modelar a distribuição de tópicos (onde a repetição infinita é improvável), mas a tendência geral permaneceu positiva (repetição), nunca invertendo para exclusividade.

• Análise de Escala:

  • Não houve sinal de uma transição de fase para ME em nenhuma das escalas testadas (até 33.5M parâmetros). A trajetória aponta para uma assíntota não-zero de priming de repetição, não para exclusividade.

4. Contribuições Chave

1. Evidência Empírica de Limitação Textual: Demonstra que, sob orçamentos de dados de escala infantil e arquiteturas textuais, o aprendizado distribucional favorece o rastreamento de referência baseado em repetição, e não a exclusividade lexical.
2. Diagnóstico de Dependência de Contexto: Introduz uma nova ferramenta metodológica para avaliar competências pragmáticas em LMs. O método abla o contexto pragmático para verificar se o efeito persiste devido a artefatos de similaridade de embedding (o que invalida a inferência pragmática genuína).
3. Conexão com Cognição Grounded: Conecta os resultados à literatura de cognição grounded, sugerindo que a ME requer um "conjunto de referentes" (objetos representados) para emergir. Sem referências visuais ou simbólicas explícitas, o modelo não possui o substrato computacional para mapear palavras a objetos exclusivos.
4. Caracterização do Viés de CDS: Mostra que a fala dirigida a crianças contém estatísticas distribucionais fortes que favorecem a repetição (scaffolding de cuidadores), o que os modelos aprendem robustamente.

5. Significado e Conclusão

O artigo conclui que a Exclusividade Mútua não é uma propriedade emergente do aprendizado puramente textual em escalas infantis. A falha em desenvolver ME não é uma limitação de capacidade do modelo, mas uma consequência estrutural da falta de ancoragem referencial (grounding).

• Implicação Teórica: A ME é um mecanismo de mapeamento palavra-referente que exige a representação de objetos concorrentes no mundo. Modelos de texto apenas aprendem estatísticas de co-ocorrência, levando ao priming de repetição.
• Implicação Prática: Para avaliar ou desenvolver modelos com competências pragmáticas de referência (como ME), é necessário ir além de dados textuais e considerar abordagens multimodais (texto + imagem/áudio), alinhando-se com a direção do desafio BabyLM multimodal.
• Refutação de Artefatos: O estudo alerta que padrões que parecem inferência pragmática em LMs podem ser, na verdade, artefatos de similaridade vetorial, exigindo diagnósticos rigorosos como o proposto.

Em suma, o trabalho estabelece que a fundamentação (grounding) é um ingrediente necessário para a Exclusividade Mútua, e que o aprendizado distribucional em texto sozinho, mesmo com dados infantis, é insuficiente para induzir esse viés cognitivo específico.