Light or Full Verb? A Minimal-Pair Dataset for Probing Phraseological Competence in Language Models

Resumen Técnico: ¿Verbo ligero o pleno? Un conjunto de datos de pares mínimos para sondear la competencia fraseológica en modelos de lenguaje

Planteamiento del problema
Los verbos frecuentes en inglés (por ejemplo, make, have, take) exhiben un estatus léxico-funcional dual: funcionan ya sea como predicados léxicos plenos (por ejemplo, make a cake) o como verbos ligeros (verbos de apoyo) en construcciones de verbo ligero (LVC, por sus siglas en inglés), donde el peso semántico lo lleva la base nominal (por ejemplo, make a decision). Si bien el trabajo de lingüística computacional existente ha tratado extensamente las LVC como un problema de identificación o extracción —determinar si un par verbo-sustantivo dado constituye una LVC—, existe una brecha en la comprensión de si los modelos de lenguaje (LM) representan internamente la distinción entre estos dos usos. Los modelos actuales pueden reconocer las LVC mediante asociación distributiva o claves de categoría de sustantivos sin codificar el contraste léxico-funcional específico entre un uso de verbo de apoyo y un uso de verbo léxico pleno. Los benchmarks de pares mínimos existentes (por ejemplo, BLiMP, SyntaxGym) típicamente contrastan oraciones gramaticales con oraciones agramaticales; sin embargo, sondear la competencia en LVC requiere contrastar dos oraciones gramaticales y naturales que difieren únicamente en el estatus léxico-funcional del mismo verbo superficial.

Metodología
Los autores introducen un conjunto de datos a gran escala y controlado, diseñado para sondear esta distinción utilizando series de oraciones mínimas.

• Construcción del conjunto de datos: El conjunto de datos cubre cinco verbos de alta frecuencia en inglés (make, take, give, have, receive) conocidos por ocurrir en LVC. Para cada verbo, los autores curaron entre 20 y 40 candidatos a LVC (validados contra criterios como bases nominales predicativas y relaciones colocacionales canónicas) y los emparejaron con contrapartes de verbo pleno utilizando sustantivos de objetos concretos.
• Diseño experimental: El conjunto de datos genera series de oraciones donde el mismo contexto se empareja con diferentes objetos, produciendo la mitad lecturas de LVC y la mitad lecturas de verbo pleno. Estas se construyen tanto en configuraciones activas como pasivas (por ejemplo, they made a decision frente a they made a cake; a decision was made frente a a cake was made).
• Experimentos de sondeo: Los autores evaluaron el modelo Gemma 3 270m utilizando dos enfoques complementarios:
  1. Sondeo basado en la sorpresa (Surprisal): Cálculo de la sorpresa a nivel de token (log-probabilidad negativa) para regiones críticas. En oraciones activas, la región crítica es el sustantivo objeto; en oraciones pasivas, es el verbo que sigue a la base nominal. Esto pone a prueba si el modelo asigna una mayor probabilidad al tipo de construcción esperado dado el contexto.
  2. Análisis de incrustaciones (embeddings) contrastivas: Extracción de los estados ocultos para las frases nominales del objeto, promediando los embeddings de los tokens y aplicando reducción de dimensionalidad (PCA) y agrupamiento (KMeans) para determinar si las representaciones internas del modelo separan los objetos de LVC de los objetos de verbo pleno bajo contextos sintácticos y verbales coincidentes.

Contribuciones clave

• Un conjunto de datos de pares mínimos: La publicación de un conjunto de datos reutilizable y extensible de series de oraciones en inglés que varían mínimamente, el cual aísla el contraste léxico-funcional de verbos ligeros o plenos mientras mantiene constantes los marcos sintácticos y los contextos.
• Marco metodológico: Un cambio de los contrastes de oraciones aceptables/inaceptables hacia contrastes de gramatical/gramatical que apuntan específicamente al estatus léxico-funcional de los verbos.
• Recursos abiertos: Los autores liberan el conjunto de datos, el código de generación y los materiales para apoyar extensiones a contextos más amplios, verbos adicionales y otros idiomas.

Resultados

• Hallazgos de la sorpresa (Surprisal): El modelo demuestra sensibilidad a la distinción de LVC. En configuraciones activas, las bases nominales en LVC (por ejemplo, decision en make a decision) generalmente reciben una menor sorpresa que sus contrapartes de verbo pleno, lo que indica que el modelo asigna una mayor probabilidad a las combinaciones de verbo ligero convencionales. En configuraciones pasivas, las bases nominales predicativas aumentan la predictibilidad de sus verbos ligeros asociados, aunque existe variación entre verbos específicos (por ejemplo, make muestra el efecto más fuerte).
• Hallazgos de las incrustaciones (Embeddings): El análisis de agrupamiento de los estados ocultos a nivel de objeto revela que las representaciones internas del modelo separan los objetos de LVC de los objetos de verbo pleno. Esta separación es particularmente distintiva en las capas posteriores y al analizar el cambio de representación entre capas ($\Delta_l$), lo que sugiere que el modelo actualiza las representaciones de los objetos de manera diferente según el tipo de construcción.

Significancia y afirmaciones
El artículo afirma que los modelos de lenguaje diferencian entre usos de verbo ligero y de verbo pleno incluso en contextos mínimos y exhiben patrones separables a través de tipos de objetos. Los hallazgos sugieren que los modelos capturan expectativas tanto de verbo-a-sustantivo como de sustantivo-a-verbo en las LVC, reflejando esta distinción tanto en las probabilidades a nivel de token como en la geometría de las representaciones contextuales de los objetos. Los autores posicionan este trabajo como un instrumento de sondeo controlado para investigar la competencia fraseológica, yendo más allá de las tareas simples de identificación para evaluar si los modelos representan los contrastes léxico-funcionales subyacentes. El marco está diseñado para soportar futuras extensiones, incluyendo verbos adicionales, contextos más amplios y aplicaciones translingüísticas, aunque el estudio actual se limita al inglés y a un conjunto específico de verbos.