Evaluating Adjective-Noun Compositionality in LLMs: Functional vs Representational Perspectives

El estudio revela que, aunque los grandes modelos de lenguaje desarrollan representaciones internas compuestas de adjetivos y sustantivos, existe una divergencia notable entre estas representaciones y su capacidad para traducirlas consistentemente en éxito funcional en tareas, lo que subraya la necesidad de evaluaciones contrastivas para comprender mejor sus capacidades.

Lo esencial

Imagina que tienes un chef de cocina muy avanzado (el Modelo de Lenguaje o LLM) que ha leído millones de recetas y libros de cocina. La pregunta que se hacen los autores de este estudio es: ¿Este chef realmente entiende cómo combinar ingredientes para crear un nuevo plato, o solo está memorizando recetas?

En el mundo de la inteligencia artificial, a esto le llamamos "composicionalidad". Es la capacidad de entender que si juntas "rojo" y "manzana", obtienes una "manzana roja" (algo que es una manzana y que es roja), y no una cosa extraña que no tiene sentido.

Aquí te explico qué hicieron los investigadores y qué descubrieron, usando una analogía sencilla:

1. Los Dos Tipos de Pruebas

Los investigadores decidieron mirar al chef de dos maneras diferentes, como si tuvieras dos lentes distintos:

• Lente 1: La Prueba de Sabor (Evaluación Funcional).
  Aquí le piden al chef: "Aquí tienes una manzana roja. ¿Es una manzana?". Si el chef dice "Sí", aprueba. Si dice "No", reprueba. Esto mide qué tan bien se comporta el chef en la vida real.
• Lente 2: El Escáner de Rayos X (Evaluación Representacional).
  Aquí no le preguntamos al chef nada. En su lugar, abrimos su cerebro (sus capas internas) y miramos cómo está organizado. Preguntamos: "¿Tiene el chef una sección en su cerebro donde sabe que 'rojo' y 'manzana' se combinan lógicamente?". Esto mide qué sabe el chef por dentro, aunque no lo diga.

2. El Experimento

Probaron a varios chefs (modelos de IA como LLaMA, Gemma, Qwen) de diferentes tamaños:

• Pequeños: Chefs novatos.
• Grandes: Chefs con mucha experiencia (más parámetros).
• Entrenados: Chefs que han pasado por un curso intensivo de instrucciones (Instruction Tuning).

Les dieron tres tipos de retos culinarios:

1. Sustitución: Si cambias "manzana" por "fruta", ¿sigue siendo una "manzana roja"?
2. Sistematicidad: Si sabes que "rojo" funciona con "manzana" y que "manzana" es una "fruta", ¿puedes deducir que "rojo" funciona con "fruta"?
3. Sobre-generalización: ¿Puede el chef distinguir entre "abrigo de trench" (que es un tipo de abrigo) y "traidor" (que suena a "abrigo" pero no lo es)?

3. El Gran Descubrimiento: ¡La Sorpresa!

Aquí es donde la historia se pone interesante. Los resultados mostraron una divergencia extraña:

• Por dentro (Rayos X): ¡El chef SÍ sabe! Cuando miraron dentro del cerebro de los modelos, vieron que tenían una estructura muy clara y organizada para entender cómo se combinan las palabras. Sabían que "rojo" modifica a "manzana". Esto era cierto incluso en los modelos pequeños y en los grandes. El conocimiento estaba ahí.
• Por fuera (Prueba de Sabor): ¡El chef a veces NO lo hace! Cuando les pidieron que respondieran a las preguntas, los modelos más grandes o los que habían sido "entrenados" con instrucciones a veces fallaban. A veces decían cosas incorrectas, como si hubieran perdido la confianza o se hubieran confundido por el formato de la pregunta.

La analogía final:
Imagina a un estudiante que ha estudiado todo el libro de matemáticas y entiende perfectamente la teoría (su cerebro está lleno de fórmulas correctas). Pero cuando le ponen un examen con un formato extraño o le preguntan de una manera muy directa, se pone nervioso y falla.

El estudio dice: "El modelo sabe la respuesta (tiene el conocimiento interno), pero no siempre logra expresarla correctamente en la tarea (falla en la conducta externa)."

4. ¿Por qué es importante esto?

Antes, pensábamos que si un modelo era más grande o estaba más entrenado, sería "mejor" en todo. Este estudio nos dice que no es tan simple.

• Si solo miramos si el modelo responde bien (la prueba de sabor), podríamos pensar que es tonto o que no entiende la lógica.
• Si solo miramos su cerebro (el escáner), podríamos pensar que es un genio.

La lección: Para entender realmente a una Inteligencia Artificial, necesitamos usar ambos lentes. No basta con ver si responde bien; hay que entender qué está pasando dentro de su "cabeza". A veces, el problema no es que la IA no sepa, sino que no sabe cómo decirlo en ese momento específico.

En resumen

Los autores nos dicen que las IAs actuales tienen un conocimiento interno muy sólido sobre cómo funcionan las palabras, pero a veces se les atasca la lengua al intentar demostrarlo en tareas prácticas. Por eso, para evaluarlas bien, no debemos confiar solo en sus respuestas, sino también en cómo piensan.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Evaluating Adjective-Noun Compositionality in LLMs: Functional vs Representational Perspectives" en español.

1. El Problema

La composicionalidad (la capacidad de generar significados complejos a partir de partes más simples) se considera fundamental en el procesamiento del lenguaje humano. Sin embargo, existe una incertidumbre sobre si los Grandes Modelos de Lenguaje (LLMs) poseen esta capacidad de manera genuina o si simplemente memorizan patrones superficiales.

El problema central abordado en este trabajo es la divergencia entre dos enfoques de evaluación:

1. Evaluación Funcional: Mide el rendimiento del modelo en tareas externas (output del usuario).
2. Evaluación Representacional: Analiza los estados internos del modelo (representaciones latentes) para detectar estructuras composicionales.

Hasta ahora, estos enfoques rara vez se han comparado directamente en los mismos modelos, lo que dificulta determinar si los LLMs son realmente composicionales o si sus capacidades internas no se traducen en un comportamiento funcional exitoso.

2. Metodología

Los autores diseñaron un marco experimental unificado para contrastar ambos enfoques en la composición de adjetivo-sustantivo (AN), un dominio lingüístico clásico y transparente.

A. Tareas de Evaluación Funcional (Basadas en Prompts)

Se evaluaron tres aspectos de la composicionalidad utilizando tres conjuntos de datos:

1. Sustitutividad (Dataset: AddOne): Evalúa si reemplazar un modificador semánticamente compatible preserva la implicación (entailment). Ejemplo: "El corredor estableció un nuevo récord" implica "El corredor estableció un récord".
2. Sistematicidad (Dataset: PLANE): Evalúa si el modelo puede recombinar relaciones semánticas conocidas para inferir una nueva. Ejemplo: Si rojo coche implica coche y coche implica vehículo, ¿implica rojo coche a rojo vehículo?
3. Sobre-generalización (Dataset: COMPCOMB - nuevo): Evalúa si el modelo evita inferir pertenencia de tipo basándose únicamente en la superposición de cadenas de caracteres. Distingue entre compuestos composicionales (trenchcoat es un tipo de coat) y exocéntricos no composicionales (turncoat no es un tipo de coat).

B. Configuración Experimental

• Modelos: Se probaron cuatro familias de modelos (LLaMA-2, CodeLlama, Qwen2.5-Coder, Gemma2) con tres variantes cada una:
  • Modelo Base.
  • Modelo Ajustado por Instrucciones (Instruction-Tuned).
  • Modelo Escalado (mayor número de parámetros).
• Métricas Funcionales: Precisión y puntuación F1 ponderada en las tareas de inferencia.
• Análisis Representacional: Se extrajeron estados ocultos de cada quinta capa del transformador.
  • Para AddOne y PLANE: Se entrenaron clasificadores lineales sobre las representaciones de capa para predecir etiquetas de implicación.
  • Para COMPCOMB: Se calculó la similitud coseno entre las incrustaciones de tokens para evaluar la discriminación de tipos.

3. Contribuciones Clave

1. Marco de Evaluación Contrastiva: Es uno de los primeros trabajos que evalúa sistemáticamente la composicionalidad en LLMs utilizando simultáneamente métricas de rendimiento funcional y análisis de representaciones internas en el mismo conjunto de modelos y tareas.
2. Nuevo Dataset (COMPCOMB): Introducción de un conjunto de datos sintético para evaluar la robustez contra la sobre-generalización en compuestos exocéntricos.
3. Descubrimiento de la Divergencia: Demostración empírica de que la presencia de estructuras composicionales internas no garantiza un rendimiento funcional exitoso.

4. Resultados Principales

Los hallazgos revelan una divergencia sorprendente entre lo que los modelos "saben" internamente y lo que "hacen" externamente:

• Rendimiento Funcional (Inestable):

  • El rendimiento en las tareas de composicionalidad no mejora consistentemente con el escalado (aumento de parámetros) ni con el ajuste por instrucciones.
  • En algunos casos (especialmente en AddOne y COMPCOMB), el rendimiento disminuye en modelos más grandes o ajustados por instrucciones en comparación con sus versiones base.
  • Esto sugiere que las mejoras generales de capacidad no se traducen uniformemente en comportamientos composicionales.

• Representaciones Internas (Estables):

  • A pesar del rendimiento funcional variable, las señales composicionales están consistentemente codificadas en las representaciones internas de todos los modelos.
  • La información composicional es detectable en todas las variantes (base, ajustada, escalada) y a menudo alcanza su punto máximo en las capas intermedias de la red neuronal.
  • Esto indica que el modelo tiene la estructura composicional necesaria, pero falla en utilizarla de manera fiable durante la generación de la respuesta.

5. Significado e Implicaciones

• Limitación de la Evaluación Unidimensional: Evaluar un modelo solo por su rendimiento en tareas (funcional) o solo por sus representaciones internas (representacional) ofrece una visión incompleta. Un modelo puede tener "conocimiento" composicional latente pero fallar en expresarlo.
• Necesidad de Evaluación Contrastiva: Para una comprensión completa de las capacidades de los LLMs, es crucial integrar ambos enfoques. La divergencia observada sugiere que los mecanismos de inferencia del modelo pueden estar "bloqueando" o no accediendo a las representaciones composicionales correctas.
• Seguridad y Robustez: Entender esta brecha es vital para el despliegue seguro de modelos. Si un modelo tiene representaciones correctas pero genera respuestas incorrectas, esto puede llevar a fallos impredecibles en aplicaciones críticas donde la lógica y la inferencia son esenciales.
• Dirección Futura: Se sugiere el uso de métodos de intervención causal (como activation patching) para determinar si las representaciones composicionales internas influyen causalmente en las predicciones o si son simplemente epifenómenos.

En conclusión, el paper demuestra que los LLMs modernos desarrollan representaciones composicionales robustas internamente, pero su capacidad para traducir estas representaciones en comportamientos funcionales exitosos es inconsistente y no escala linealmente con el tamaño del modelo o el ajuste por instrucciones.