Light or Full Verb? A Minimal-Pair Dataset for Probing Phraseological Competence in Language Models

Resumo Técnico: Verbo Leve ou Verbo Pleno? Um Conjunto de Dados de Pares Mínimos para Sondar a Competência Fraseológica em Modelos de Linguagem

Problema
Verbos frequentes em inglês (ex: make, have, take) exibem um status lexical-funcional duplo: eles funcionam tanto como predicados lexicais plenos (ex: make a cake) quanto como verbos leves (verbos de suporte) em construções de verbo leve (LVCs), onde o peso semântico é carregado pela base nominal (ex: make a decision). Embora o trabalho de linguística computacional existente tenha tratado extensivamente as LVCs como um problema de identificação ou extração — determinando se um par verbo-substantivo dado constitui uma LVC — há uma lacuna na compreensão de se os modelos de linguagem (LMs) representam internamente a distinção entre esses dois usos. Os modelos atuais podem reconhecer LVCs por meio de associação distributiva ou pistas de categoria de substantivos sem codificar o contraste lexical-funcional específico entre um uso de verbo de suporte e um uso de verbo lexical pleno. Os benchmarks de pares mínimos existentes (ex: BLiMP, SyntaxGym) tipicamente contrastam sentenças gramaticais com sentenças não gramaticais; no entanto, sondar a competência em LVC requer contrastar duas sentenças gramaticais e naturais que diferem apenas no status lexical-funcional do mesmo verbo superficial.

Metodologia
Os autores introduzem um conjunto de dados de larga escala e controlado, projetado para sondar essa distinção usando séries de sentenças mínimas.

• Construção do Conjunto de Dados: O conjunto de dados cobre cinco verbos de alta frequência em inglês (make, take, give, have, receive) conhecidos por ocorrerem em LVCs. Para cada verbo, os autores curaram de 20 a 40 candidatos a LVC (validados contra critérios como bases nominais predicativas e relações colocacionais canônicas) e os parearam com contrapartes de verbo pleno usando substantivos de objetos concretos.
• Design Experimental: O conjunto de dados gera séries de sentenças onde o mesmo contexto é pareado com diferentes objetos, resultando em metade das leituras como LVC e metade como verbo pleno. Estas são construídas tanto em configurações ativas quanto passivas (ex: they made a decision vs. they made a cake; a decision was made vs. a cake was made).
• Experimentos de Sondagem: Os autores avaliaram o modelo Gemma 3 270m usando duas abordagens complementares:
  1. Sondagem Baseada em Surpresa (Surprisal): Calculando a surpresa ao nível do token (log-probabilidade negativa) para regiões críticas. Em sentenças ativas, a região crítica é o substantivo objeto; em sentenças passivas, é o verbo que segue a base nominal. Isso testa se o modelo atribui maior probabilidade ao tipo de construção esperado dado o contexto.
  2. Análise de Embedding Contrastivo: Extraindo estados ocultos para as frases nominais de objeto, calculando a média dos embeddings de token e aplicando redução de dimensionalidade (PCA) e agrupamento (KMeans) para determinar se as representações internas do modelo separam objetos de LVC de objetos de verbo pleno sob contextos sintáticos e verbais correspondentes.

Principais Contribuições

• Um Conjunto de Dados de Pares Mínimos: O lançamento de um conjunto de dados reutilizável e extensível de séries de sentenças em inglês minimamente variáveis que isola o contraste lexical-funcional de verbos leves vs. plenos enquanto mantém constantes os frames sintáticos e os contextos.
• Estrutura Metodológica: Uma mudança de contrastes de sentenças aceitáveis/inaceitáveis para contrastes de gramaticais/gramaticais visando especificamente o status lexical-funcional de verbos.
• Recursos Abertos: Os autores liberam o conjunto de dados, o código de geração e materiais para apoiar extensões para contextos mais amplos, verbos adicionais e outros idiomas.

Resultos

• Achados de Surpresa (Surprisal): O modelo demonstra sensibilidade à distinção de LVC. Em configurações ativas, as bases nominais em LVCs (ex: decision em make a decision) geralmente recebem menor surpresa do que suas contrapartes de verbo pleno, indicando que o modelo atribui maior probabilidade a emparelhamentos de verbo leve convencionais. Em configurações passivas, bases nominais predicativas aumentam a previsibilidade de seus verbos leves associados, embora haja variação entre verbos específicos (ex: make mostra o efeito mais forte).
• Achados de Embedding: A análise de agrupamento dos estados ocultos ao nível do objeto revela que as representações internas do modelo separam objetos de LVC de objetos de verbo pleno. Essa separação é particularmente distinta em camadas posteriores e ao analisar a mudança na representação entre camadas ($\Delta_l$), sugerindo que o modelo atualiza as representações de objeto de forma diferente com base no tipo de construção.

Significância e Alegações
O artigo alega que os modelos de linguagem diferenciam usos de verbo leve e verbo pleno mesmo em contextos mínimos e exibem padrões separáveis através de tipos de objetos. Os achados sugerem que os modelos capturam expectativas tanto de verbo-para-substantivo quanto de substantivo-para-verbo em LVCs, refletindo essa distinção tanto em probabilidades ao nível do token quanto na geometria das representações de objetos contextuais. Os autores posicionam este trabalho como um instrumento de sondagem controlado para investigar a competência fraseológica, indo além da simples tarefa de identificação para avaliar se os modelos representam os contrastes lexical-funcionais subjacentes. A estrutura foi desenhada para suportar futuras extensões, incluindo verbos adicionais, contextos mais amplos e aplicações translinguísticas, embora o estudo atual seja limitado ao inglês e a um conjunto específico de verbos.