Beyond Memorization: Assessing Semantic Generalization in Large Language Models Using Phrasal Constructions

Resumen Técnico: Más allá de la memorización: Evaluación de la generalización semántica en modelos de lenguaje de gran escala mediante construcciones frasales

Planteamiento del problema
El preentrenamiento de los Modelos de Lenguaje de Gran Escala (LLM) con datos a escala web presenta un desafío crítico de evaluación: distinguir entre la competencia lingüística genuina y la mera memorización de patrones frecuentes. Si bien los modelos suelen desempeñarse bien en tareas que involucran datos bien representados en sus conjuntos de entrenamiento, su capacidad para generalizar a instancias de lenguaje creativas, fuera de dominio o menos comunes sigue siendo incierta. Específicamente, es difícil determinar si los modelos comprenden realmente la semántica abstracta de las estructuras sintácticas o si dependen de correlaciones estadísticas derivadas de ítems léxicos de alta frecuencia. Los métodos de evaluación existentes a menudo tienen dificultades para asegurar la independencia de las pruebas respecto a los datos de preentrenamiento o no logran aislar fenómenos lingüísticos específicos como la semántica de la construcción.

Metodología
Para abordar estos desafíos, los autores construyen un marco de evaluación diagnóstica basado en la Gramática de la Construcción (CxG). La CxG postula que el lenguaje se aprende a través del uso, donde los hablantes abstraen sobre los espacios sintácticos para interpretar y producir nuevas instancias de construcciones, incluso con ítems léxicos desconocidos. Los autores aprovechan este marco para diseñar dos experimentos utilizando la Inferencia de Lenguaje Natural (NLI) como un sustituto (proxy) de la comprensión:

1. Experimento 1 (CxNLI): Este experimento pone a prueba la capacidad del modelo para generalizar la semántica de la construcción a instancias creativas e infrecuentes de construcciones frasales comunes. El conjunto de datos consiste en 435 tríos de NLI derivados de 8 construcciones de alta frecuencia en inglés (p. ej., Resultativa, Causa-Movimiento, Let-Alone). Las premisas utilizan plantillas construccionales "arraigadas", pero están instanciadas con verbos atípicos o ítems léxicos improbables de aparecer en esa estructura específica dentro de los datos de preentrenamiento. La tarea requiere que el modelo determine si una hipótesis (derivada del significado abstracto de la construcción) implica, contradice o es neutral a la premisa.
2. Experimento 2 (CxNLI-Distinción): Este experimento evalúa la capacidad del modelo para distinguir entre construcciones sintácticamente idénticas que poseen significados divergentes. El conjunto de datos contiene 99 tríos de NLI con construcciones (p. ej., Depictiva vs. Resultativa) que comparten la misma sintaxis superficial (p. ej., NP V NP ADJ) pero difieren en significado (p. ej., estado resultante de una acción vs. estado existente durante una acción). El objetivo es evaluar si los modelos pueden evitar la sobregeneralización de la semántica de las construcciones altamente arraigadas hacia distractores sintácticamente idénticos pero menos arraigados.

La evaluación implica probar modelos de vanguardia, incluyendo GPT-4o, GPT-o1, GPT-3.5 y Llama 3 (8B y 70B), en entornos de aprendizaje de cero disparos (zero-shot) y de aprendizaje en contexto (ICL). Los entornos de ICL utilizan ejemplos del propio conjunto de datos de los autores (CxNLI) y del conjunto de datos estándar Stanford NLI (SNLI) para sondear la dependencia de los modelos en el conocimiento construccional específico frente a las capacidades generales de NLI.

Contribuciones clave

1. Nuevo conjunto de datos diagnóstico: Los autores introducen un conjunto de datos de 534 tríos de NLI validados manualmente, diseñados específicamente para probar la generalización y distinción construccional, yendo más allá de las tareas metalingüísticas para evaluar la comprensión semántica subyacente.
2. Marco de evaluación basado en CxG: A diferencia de trabajos previos que se centran en construcciones individuales o tareas metalingüísticas, este estudio utiliza la tarea de NLI bien establecida para sondear la comprensión funcional del significado de la construcción, probando tanto la instanciación creativa como la ambigüedad sintáctica.
3. Evaluación amplia de modelos: El estudio evalúa una gama de modelos, incluidos los más grandes disponibles actualmente (GPT-o1, Llama 3 70B), proporcionando una visión integral del estado actual de la generalización construccional en los LLM.
4. Recursos abiertos: El conjunto de datos, los prompts y las respuestas de los modelos se ponen a disposición pública para facilitar la investigación posterior sobre la generalización lingüística de los LLM.

Resultados
Los experimentos revelan una discrepancia significativa entre el rendimiento humano y el de los modelos, particularmente en la capacidad de distinguir construcciones sintácticamente idénticas:

• Experimento 1 (Generalización): Los modelos, particularmente GPT-4o y GPT-o1, demostraron una alta precisión (hasta un 90%) al generalizar la semántica de la construcción a instancias creativas. El rendimiento mejoró con el aprendizaje en contexto utilizando ejemplos específicos de la construcción, lo que sugiere que los modelos pueden aprender el mapeo abstracto cuando se les proporcionan pistas relevantes.
• Experimento 2 (Distinción): Se produjo una caída drástica en el rendimiento cuando se pidió a los modelos distinguir entre construcciones sintácticamente idénticas. Incluso los modelos más avanzados (GPT-o1, GPT-4o) vieron su precisión caer en más de un 40% en comparación con el Experimento 1. Por ejemplo, GPT-o1 cayó de un 90% de precisión en el Exp. 1 a un 46% en el Exp. 2.
• Significancia estadística: Las pruebas A/B bayesianas confirmaron que la caída del rendimiento en el Experimento 2 es estadísticamente significativa y mucho más pronunciada en los LLM que en los humanos. Mientras que el rendimiento humano se mantuvo robusto (IAA de 83%), los modelos lucharon por rechazar la semántica de las construcciones altamente arraigadas cuando se les presentaban distractores sintácticamente idénticos pero menos arraigados.
• Análisis de errores: Los modelos fallaron frecuentemente al distinguir entre construcciones como la Resultativa (la acción causa un estado) y la Depictiva (el estado existe durante la acción), malinterpretando a menudo la relación causal. Esto sugiere una falla en el razonamiento causal y una dependencia excesiva de las asociaciones léxico-semánticas más frecuentes.

Significancia y afirmaciones
Los autores afirman que sus hallazgos resaltan una limitación fundamental en las arquitecturas actuales de los LLM: aunque los modelos pueden procesar la semántica de la construcción hasta cierto punto, no logran generalizar este entendimiento a nuevas instancias cuando se introduce la ambigüedad sintáctica. Los resultados desafían el paradigma de "más datos es mejor", sugiriendo que escalar los datos de texto de la web puede reforzar los sesgos hacia los significados construccionales frecuentes en lugar de fomentar un verdadero razonamiento abstracto.

El artículo argumenta que la incapacidad de distinguir entre construcciones sintácticamente idénticas representa una falla en el razonamiento causal con posibles implicaciones de seguridad, ya que malinterpretar la diferencia entre un estado que coocurre y un resultado causado podría conducir a errores catastróficos en agentes de IA. Además, el estudio enfatiza la necesidad de evaluaciones diagnósticas y contrastivas para evaluar con precisión la competencia lingüística, ya que los benchmarks de amplio espectro pueden sobreestimar las capacidades reales de un modelo. Los autores concluyen que, si bien los modelos actuales muestran robustez en el manejo de construcciones arraigadas, su capacidad para generalizar el significado construccional a formas distintas y sintácticamente idénticas está sustancialmente por detrás del conocimiento lingüístico humano.