CxMP: A Linguistic Minimal-Pair Benchmark for Evaluating Constructional Understanding in Language Models

Título: CxMP: Um Benchmark de Pares Mínimos Linguísticos para Avaliar a Compreensão Construcional em Modelos de Linguagem

1. Problema e Motivação

A pesquisa atual sobre Modelos de Linguagem (LLMs) foca predominantemente na aceitabilidade gramatical (distinguir frases gramaticais de não gramaticais com base em restrições de forma). No entanto, há uma lacuna significativa na avaliação da capacidade dos modelos de interpretar os significados implícitos nas formas gramaticais.

• Limitação das Abordagens Atuais: Muitos benchmarks (como BLiMP) testam apenas a sintaxe superficial. Outros, como tarefas de Inferência em Linguagem Natural (NLI), dependem de raciocínio complexo ou são sensíveis a heurísticas superficiais, dificultando a comparação sistemática entre modelos de tamanhos variados (desde modelos pequenos e plausíveis do ponto de vista do desenvolvimento até LLMs massivos).
• A Lacuna Teórica: A Linguística Construcional (Construction Grammar) postula que as unidades fundamentais da linguagem são construções (pares forma-significado). Entender uma construção envolve mapear a estrutura sintática para uma relação semântica específica (ex: quem é o agente, quem é o paciente, a direção do movimento), e não apenas verificar a gramática.
• Objetivo: Criar um benchmark que avalie se os modelos conseguem capturar as relações semânticas e os papéis dos participantes inerentes a construções linguísticas específicas, indo além da mera correção gramatical.

2. Metodologia: O Benchmark CxMP

Os autores introduzem o CxMP (Constructional Minimal-Pair Benchmark), um conjunto de dados baseado na Gramática Construcional.

• Design de Pares Mínimos Controlados:

  • O dataset consiste em Pares de Avaliação, cada um contendo:
    1. Exemplo Construcional: Uma frase contendo uma construção alvo.
    2. Frase Diagnóstica: Uma frase que testa a compreensão do significado dessa construção.
  • Cada Frase Diagnóstica possui duas versões minimamente diferentes: uma plausível (correta) e uma implausível (incorreta).
  • O design inclui variações controladas (troca de sujeitos/objetos, uso de substantivos comuns vs. pseudopalavras) para isolar pistas linguísticas e evitar viés lexical.

• Tipos de Construções Avaliadas (9 tipos):
  O benchmark cobre um espectro de construções, desde padrões parcialmente fixos até esquemas altamente abstratos:

  1. Let-alone: Expressa uma escala de dificuldade (ex: "Ele não pode ajudar a Lisa, let alone a Emma" implica que ajudar a Emma é mais difícil).
  2. Causative-with: Relação de fornecimento/recipient (ex: "N1 cobriu N2 com um casaco").
  3. Way-manner: Movimento criado pelo próprio agente (ex: "N1 abriu caminho para a sala").
  4. Comparative-Correlative (CC): Relação de dependência entre duas cláusulas comparativas.
  5. Conative: Tentativa de ação sem garantia de sucesso (ex: "Chutou em direção a a bola" vs. "Chutou a bola").
  6. Ditransitive: Transferência de posse (ex: "N1 deu um presente a N2").
  7. Caused-motion: Causador move o tema (ex: "N1 puxou N2 para fora da água").
  8. Resultative: Ação que causa mudança de estado (ex: "N1 empurrou N2 para acordar").
  9. Intransitive-motion: Movimento autônomo com direção (ex: "N1 correu para N2").

• Geração e Validação de Dados:

  • Geração automática usando LLMs (GPT-5) com templates, seguida de filtragem rigorosa.
  • Validação humana realizada com falantes nativos de inglês, alcançando 96,65% de precisão na maioria das escolhas.
  • Total de 43.000 pares de avaliação.

3. Experimentos e Configuração

Os autores avaliaram uma gama diversificada de modelos para analisar o impacto do tamanho, dados e objetivos de treinamento:

• Modelos Pequenos (BabyLM/BabyBERTa): Treinados em corpora infantis (10M-100M tokens).
• Modelos de Escala Média: Pythia (14M a 12B parâmetros) e Open-sci-ref (1.3B a 1.7B).
• LLMs Grandes: Llama-3.1 (8B e 70B, base e instruídos) e GPT-5 (modelo fechado).
• Objetivos de Treinamento: Comparação entre Modelagem de Linguagem Causal (CLM) e Mascaramento (MLM).
• Métricas: Probabilidade logarítmica normalizada por comprimento para modelos de linguagem causal e pseudo-verossimilhança para modelos mascarados.

4. Resultados Principais

• Desempenho Geral:

  • Modelos pequenos (desenvolvimentalmente plausíveis) performam próximo ao nível de acaso.
  • Mesmo os modelos abertos de 70B parâmetros lutam com certas construções, indicando que a compreensão construcional não é totalmente resolvida nem pelos maiores modelos abertos.
  • O GPT-5 (fechado) demonstrou a melhor performance, interpretando a maioria das construções com precisão.

• Efeito do Tamanho do Modelo e Dados:

  • Tendência Positiva: A maioria das construções mostra melhoria clara com o aumento do tamanho do modelo.
  • Construções Complexas: Construções não padronizadas (como Let-alone e Comparative-Correlative) dependem fortemente da expressividade do modelo, melhorando significativamente apenas em modelos maiores.
  • Dados de Treinamento: O aumento de dados (de 300B para 1T tokens) trouxe ganhos substanciais na compreensão semântica, enquanto aumentos menores (50B para 300B) tiveram impacto limitado.

• Ajuste por Instrução (Instruction Tuning):

  • Modelos ajustados por instrução geralmente superam suas versões base, especialmente em construções de estrutura argumental.
  • No entanto, para construções não padrão (Let-alone, CC), o ajuste por instrução às vezes reduziu o desempenho, sugerindo que o tuning não melhora uniformemente todos os aspectos da compreensão semântica.

• Objetivos de Treinamento (MLM vs. CLM):

  • Modelos com objetivo de Mascaramento (MLM, como RoBERTa) tendem a superar modelos Causal (CLM) de tamanho e dados comparáveis, possivelmente devido à melhor integração bidirecional de forma e significado.

• Trajetórias de Aprendizado (CxMP vs. BLiMP):

  • Divergência Temporal: Modelos atingem alta precisão no benchmark de aceitabilidade gramatical (BLiMP) cedo no treinamento (aprox. 50B tokens).
  • Em contraste, o desempenho no CxMP (compreensão semântica) melhora gradualmente ao longo de todo o treinamento, sugerindo que a compreensão de significados construcionais é uma habilidade que se desenvolve mais lentamente do que a sintaxe superficial.

• Análise de Viés e Pseudopalavras:

  • Viés Heurístico: Modelos de tamanho médio mostram grandes lacunas de desempenho entre variantes, indicando dependência de heurísticas superficiais (ex: escolher o primeiro substantivo). Esse viés diminui em modelos maiores.
  • Experimento com Pseudopalavras (Wugs): Ao substituir palavras reais por pseudopalavras fonotaticamente naturais, o desempenho dos modelos caiu drasticamente. Isso prova que os modelos dependem fortemente do conteúdo lexical e não conseguem inferir o significado puramente a partir da forma construcional, ao contrário dos humanos.

5. Contribuições e Significância

1. Novo Paradigma de Avaliação: O CxMP preenche a lacuna entre a avaliação de aceitabilidade gramatical e a compreensão semântica profunda, focando especificamente no mapeamento forma-significado.
2. Descoberta de Limitações Persistentes: O estudo revela que, embora a competência sintática surja cedo, a compreensão construcional permanece limitada mesmo em LLMs de última geração, destacando uma falha na integração robusta de sintaxe e semântica.
3. Ferramenta para Estudos de Aprendizado: O benchmark permite traçar trajetórias de aprendizado detalhadas, mostrando que a compreensão semântica evolui de respostas aleatórias para o uso de heurísticas e, finalmente, para a estabilização, um processo diferente da aquisição de regras gramaticais formais.
4. Base para Pesquisa Futura: O dataset fornece uma estrutura padronizada para investigar como modelos aprendem construções, testar generalização em diferentes idiomas e explorar a relação entre viés lexical e compreensão estrutural.

Em resumo, o CxMP demonstra que a "inteligência linguística" dos modelos atuais ainda é frágil quando se trata de extrair significados complexos puramente da estrutura gramatical, dependendo excessivamente de associações lexicais aprendidas durante o treinamento.