Beyond Memorization: Assessing Semantic Generalization in Large Language Models Using Phrasal Constructions

Resumo Técnico: Além da Memorização: Avaliando a Generalização Semântica em Grandes Modelos de Linguagem Usando Construções Frasais

Definição do Problema
O pré-treinamento de Grandes Modelos de Linguagem (LLMs) em dados de escala web apresenta um desafio crítico de avaliação: distinguir entre a competência linguística genuína e a mera memorização de padrões frequentes. Embora os modelos frequentemente apresentem bom desempenho em tarefas envolvendo dados bem representados em seus conjuntos de treinamento, sua capacidade de generalizar para instâncias de linguagem criativas, fora do domínio ou menos comuns permanece incerta. Especificamente, é difícil determinar se os modelos realmente compreendem a semântica abstrata de estruturas sintáticas ou se dependem de correlações estatísticas derivadas de itens lexicais de alta frequência. Os métodos de avaliação existentes frequentemente falham em garantir a independência de teste em relação aos dados de pré-treinamento ou não conseguem isolar fenômenos linguísticos específicos, como a semântica construcional.

Metodologia
Para abordar esses desafios, os autores constroem um framework de avaliação diagnóstica fundamentado na Gramática de Construção (CxG). A CxG postula que a linguagem é aprendida através do uso, onde os falantes abstraem sobre lacunas sintáticas para interpretar e produzir novas instanciações de construções, mesmo com itens lexicais desconhecidos. Os autores utilizam esse framework para projetar dois experimentos usando Inferência de Linguagem Natural (NLI) como um proxy para a compreensão:

1. Experimento 1 (CxNLI): Este experimento testa a capacidade do modelo de generalizar a semântica construcional para instanciações criativas e infrequentes de construções frasais comuns. O conjunto de dados consiste em 435 triplas de NLI derivadas de 8 construções de alta frequência em inglês (ex: Resultativa, Movimento Causado, Let-Alone). As premissas utilizam templates construcionais "entranhados", mas são instanciadas com verbos ou itens lexicais atípicos improváveis de aparecerem nessa estrutura específica durante o pré-treinamento. A tarefa exige que o modelo determine se uma hipótese (derivada do significado abstrato da construção) implica, contradiz ou é neutra à premissa.
2. Experimento 2 (CxNLI-Distinction): Este experimento testa a capacidade do modelo de distinguir entre construções sintaticamente idênticas que possuem significados divergentes. O conjunto de dados contém 99 triplas de NLI apresentando construções (ex: Depictiva vs. Resultativa) que compartilham a mesma sintaxe de superfície (ex: NP V NP ADJ), mas diferem em significado (ex: estado resultante de uma ação vs. estado existente durante uma ação). O objetivo é avaliar se os modelos podem evitar a supergeneralização da semântica de construções altamente entranhadas para distratores sintaticamente idênticos, porém menos entranhados.

A avaliação envolve o teste de modelos de última geração, incluindo GPT-4o, GPT-o1, GPT-3.5 e Llama 3 (8B e 70B), nos contextos de zero-shot e aprendizagem em contexto (ICL). Os cenários de ICL utilizam exemplos do próprio conjunto de dados dos autores (CxNLI) e do conjunto de dados padrão Stanford NLI (SNNI) para sondar a dependência dos modelos em relação ao conhecimento construcional específico versus capacidades gerais de NLI.

Principidades Contribuições

1. Novo Conjunto de Dados Diagnóstico: Os autores introduzem um conjunto de dados de 534 triplas de NLI validadas manualmente, especificamente projetado para testar a generalização e distinção construcional, indo além de tarefas metalinguísticas para avaliar a compreensão semântica subjacente.
2. Framework de Avaliação Baseado em CxG: Diferente de trabalhos anteriores que focam em construções únicas ou tarefas metalinguísticas, este estudo utiliza a tarefa de NLI bem estabelecida para sondar a compreensão funcional do significado construcional, testando tanto a instanciação criativa quanto a ambiguidade sintática.
3. Avaliação Abrangente de Modelos: O estudo avalia uma gama de modelos, incluindo os maiores disponíveis atualmente (GPT-o1, Llama 3 70B), fornecendo uma visão abrangente do estado atual da generalização construcional em LLMs.
4. Recursos Abertos: O conjunto de dados, os prompts e as respostas dos modelos são disponibilizados publicamente para facilitar pesquisas futuras sobre a generalização linguística de LLMs.

Resultados
Os experimentos revelam uma discrepância significativa entre o desempenho humano e o dos modelos, particularmente na capacidade de distinguir construções sintaticamente idênticas:

• Experimento 1 (Generalização): Os modelos, particularmente GPT-4o e GPT-o1, demonstraram alta precisão (até 90%) ao generalizar a semântica construcional para instanciações criativas. O desempenho melhorou com a aprendizagem em contexto usando exemplos específicos de construções, sugerindo que os modelos podem aprender o mapeamento abstrato quando fornecidos com pistas relevantes.
• Experimento 2 (Distinção): Ocorreu uma queda acentuada de desempenho quando os modelos foram desafiados a distinguir construções sintaticamente idênticas. Mesmo os modelos mais avançados (GPT-o1, GPT-4o) viram sua precisão cair mais de 40% em comparação ao Experimento 1. Por exemplo, o GPT-o1 caiu de 90% de precisão no Exp. 1 para 46% no Exp. 2.
• Significância Estatística: Testes A/B Bayesianos confirmaram que a queda de desempenho no Experimento 2 é estatisticamente significativa e muito mais pronunciada para LLMs do que para humanos. Enquanto o desempenho humano permaneceu robusto (IAA de 83%), os modelos lutaram para rejeitar a semântica de construções altamente entranhadas quando apresentados com distratores sintaticamente idênticos, porém menos entranhados.
• Análise de Erros: Os modelos falharam frequentemente em distinguir entre construções como a Resultativa (ação causa estado) e a Depictiva (estado existe durante a ação), muitas vezes interpretando erroneamente a relação causal. Isso sugere uma falha no raciocínio causal e uma dependência excessiva das associações léxico-semânticas mais frequentes.

Significância e Alegações
Os autores alegam que suas descobertas destacam uma limitação fundamental nas arquiteturas atuais de LLM: embora os modelos possam processar a semântica construcional até certo ponto, eles falham em generalizar essa compreensão para novas instanciações quando a ambiguidade sintática é introduzida. Os resultados desafiam o paradigma de que "mais dados é melhor", sugerindo que o escalonamento de dados de texto da web pode reforçar vieses em direção a significados construcionais frequentes em vez de fomentar o verdadeiro raciocínio abstrato.

O artigo argumenta que a incapacidade de distinguir entre construções sintaticamente idênticas representa uma falha de raciocínio causal com potenciais implicações de segurança, uma vez que compreender mal a diferença entre um estado coocorrente e um resultado causado poderia levar a erros catastróficos em agentes de IA. Além disso, o estudo enfatiza a necessidade de benchmarks diagnósticos e contrastivos para avaliar com precisão a competência linguística, já que benchmarks de ampla cobertura podem superestimar as capacidades reais de um modelo. Os autores concluem que, embora os modelos atuais mostrem robustez no tratamento de construções entranhadas, sua capacidade de generalizar o significado construcional para formas distintas e sintaticamente idênticas permanece substancialmente atrás do conhecimento linguístico humano.