Language Models Can Resolve Reference Compositionally, But It's Not Their Native Strength: The Case of the Personal Relation Task

Resumen Técnico: Los modelos de lenguaje pueden resolver la referencia de manera composicional, pero no es su fortaleza nativa

Planteamiento del problema
El artículo aborda una pregunta crítica en la evaluación de los Modelos de Lenguaje de Gran Escala (LLM): ¿adquieren estos modelos genuinamente capacidades composicionales para interpretar el lenguaje natural, o sus resultados derivan principalmente de un sofisticado reconocimiento de patrones? Mientras que los benchmarks existentes suelen centrarse ya sea en la traducción del lenguaje natural a representaciones formales (tareas intensionales) o en el mapeo de descripciones hacia referentes concretos (tareas extensionales), pocos estudios contrastan explícitamente estos dos aspectos del significado dentro de un marco unificado. Los autores argumentan que la falta de fundamentación referencial (referential grounding) en el entrenamiento de los LLM puede ser un componente crucial ausente para imitar la comprensión del lenguaje similar a la humana, lo que requiere un método para distinguir entre la capacidad de un modelo para computar un "sentido" (la fórmula estructural) y su capacidad para resolver una "referencia" (la entidad específica).

Metodología
Los autores adaptaron la Tarea de Relación Personal (PRT) (Paperno, 2022) para evaluar tanto a LLMs como a participantes humanos. La tarea involucra un "universo" controlado de seis personas conectadas por cuatro tipos de relaciones: amigo, enemigo, padre y hijo. A los participantes se les presentan frases nominales complejas (p. ej., "el amigo del padre de Amber") y se les pide realizar una de dos tareas:

1. Tarea Extensional: Identificar la persona específica (referente) que la frase denota dentro del universo proporcionado.
2. Tarea Intensional: Generar una fórmula funcional anidada que represente el sentido de la frase (p. ej., amigo(padre(amber))).

El diseño experimental manipuló cuatro variables clave:

• Enfoque: Extensional vs. Intensional.
• Representación: Inglés (usando nombres y relaciones estándar) vs. Abstracto (mapeando nombres y relaciones a variables arbitrarias, p. ej., Amber $\to$ h, friend $\to$ x). La condición Abstracta sirve como control para la contaminación de los datos de preentrenamiento y aumenta la dificultad de la tarea Intensional al prevenir la manipulación superficial de cadenas de texto.
• Ramificación: Ramificación izquierda (genitivo 's, p. ej., "Amber's parent's friend") vs. Ramificación derecha (frases preposicionales, p. ej., "the friend of the parent of Amber").
• Complejidad: El número de relaciones involucradas más uno (probado en niveles 3, 4, 5 y 6 para LLMs; limitado al nivel 3 para humanos debido a restricciones presupuestarias).

El estudio evaluó cinco LLMs, incluyendo modelos estándar ajustados por instrucciones y Modelos de Razonamiento Grande (LRMs), utilizando una estructura de prompt estandarizada de cuatro partes (introducción, conjunto de datos, ejemplo resuelto, pregunta de prueba). Los datos humanos fueron recolectados de 32 participantes vía Prolific. El rendimiento se analizó mediante Modelos Lineales Generalizados Mixtos (GLMM) para evaluar los efectos del grupo de participantes, el enfoque de la tarea, la representación y la complejidad.

Contribuciones Clave

• Marco Metodológico: El artículo introduce una metodología unificada para evaluar la interpretación composicional intensional frente a la extensional, permitiendo la comparación directa entre estas dos capacidades semánticas distintas.
• Datos Comparativos: Proporciona datos de rendimiento humano sobre las mismas tareas bajo condiciones máximamente comparables a las de los LLM, llenando un vacío donde las capacidades composicionales suelen evaluarse sin bases humanas explícitas.
• Evaluación Empírica: El estudio ofrece una evaluación estadística de varios LLM, destacando las divergencias de fortalezas entre los modelos y los participantes humanos, e investiga específicamente el impacto de las arquitecturas mejoradas por razonamiento.

Resultos
El estudio revela una divergencia fundamental en los perfiles de rendimiento entre humanos y LLMs:

• Fortalezas Opuestas: Los humanos obtuvieron un rendimiento significativamente mayor en tareas Extensionales (82.8% de precisión) que en tareas Intensionales (71.1%). Por el contrario, los LLM obtuvieron un mejor rendimiento en tareas Intensionales (95.0%) que en tareas Extensionales (79.8%).
• Efectos de la Representación: Ambos grupos encontraron las representaciones en inglés más fáciles que las abstractas. Sin embargo, la brecha de dificultad fue más pronunciada para los LLM en la condición Extensional Abstracta (66.1% de precisión), que requiere navegar por el universo y mapear símbolos arbitrarios, mientras que la tarea Intensional en inglés (95% de precisión) fue la más fácil para los LLM, asemejándose a una tarea de traducción o reordenamiento sintáctico.
• Complejidad y Razonamiento: El rendimiento de los LLM se degradó a medida que aumentaba la complejidad. No obstante, los modelos mejorados por razonamiento (LRMs) mantuvieron una brecha de rendimiento más estable entre las tareas Extensionales e Intensionales a través de los niveles de complejidad en comparación con los modelos estándar, lo que sugiere que las capacidades de razonamiento pueden mitigar, aunque no eliminar, la debilidad en la resolución referencial.
• Ramificación: A diferencia de estudios previos con redes neuronales recurrentes, los LLM modernos basados en Transformers no mostraron un sesgo sistemático significativo entre estructuras de ramificación izquierda y derecha.

Significancia y Reivindicaciones
Los autores afirman que sus resultados apoyan la noción de que la falta de fundamentación referencial en el entrenamiento de los LLM es un déficit crítico para lograr una comprensión del lenguaje similar a la humana. Los hallazgos sugieren que los LLM sobresalen en la "traducción" de lenguaje natural a estructuras formales (tareas Intensionales) porque su objetivo de entrenamiento se centra en la predicción de formas superficiales y patrones sintácticos. En contraste, los humanos, cuyo uso del lenguaje está fundamentado en la interacción con el mundo real, sobresalen en la identificación de referentes concretos (tareas Extensionales) pero tienen dificultades cuando se ven obligados a articular explícmente las fórmulas estructurales subyacentes.

El artículo postula que, si bien los LLM pueden alcanzar una alta precisión en tareas composicionales, lo hacen a través de un proceso subyacente diferente al de los humanos, aprovechando las capacidades de traducción en lugar de una verdadera fundamentación referencial. Los autores concluyen que la referencia arbitraria sigue siendo un desafío notable incluso para los modelos de frontera, reforzando los argumentos de que la fundamentación referencial es un componente importante que aún falta integrar en los sistemas de IA. El estudio es modesto en sus afirmaciones, señalando que la configuración experimental es algo artificial y que se necesita trabajo futuro para comparar modelos básicos ajustados por instrucciones con modelos mejorados por razonamiento de manera más amplia.