Quantification and object perception in Multimodal Large Language Models and human linguistic cognition

Título: Cuantificación y percepción de objetos en Modelos de Lenguaje Grandes Multimodales (MLLMs) y la cognición lingüística humana

1. El Problema

La cuantificación es un fenómeno lingüístico complejo que integra lógica, pragmática y cognición numérica. Aunque se ha demostrado que los Modelos de Lenguaje Grandes (LLMs) y Multimodales (MLLMs) tienen dificultades con la cuantificación, las causas exactas de este bajo rendimiento permanecen poco claras.

• Brechas en la literatura: La investigación previa se ha centrado principalmente en el inglés y no ha explorado sistemáticamente tres aspectos clave de la cuantificación humana:
  1. La organización mental de los cuantificadores en escalas ordenadas (implicaturas escalares).
  2. Los rangos de uso y los valores prototípicos (umbrales contextuales).
  3. Los sesgos inherentes al sistema de estimación numérica aproximada humana.
• Falta de comparación: No se ha comparado sistemáticamente el rendimiento entre modelos con diferentes habilidades numéricas (modelos de "razonamiento" o thinking vs. modelos de propósito general o instruct) ni se ha estudiado la variación a través de lenguas diversas.

2. Metodología

El estudio empleó un diseño experimental que combina estímulos visuales y tareas de producción lingüística en seis idiomas (inglés, griego, ruso, español, italiano y catalán).

• Estímulos Visuales: Se presentaron imágenes generadas proceduralmente (usando la librería p5.js) con cuadrados negros y círculos blancos en un lienzo de 512x512 píxeles. El número de cuadrados variaba para representar diferentes proporciones (de 11% a 90%+).
• Tarea de los Participantes:
  1. Producción de cuantificadores: Seleccionar el cuantificador que mejor describía la imagen (ej. "pocos", "algunos", "muchos", "la mayoría").
  2. Estimación numérica: Indicar la proporción aproximada de cuadrados (ej. 11%-20%, 21%-30%, etc.).
• Participantes Humanos: 240 participantes (40 por idioma) reclutados vía Prolific.
• Modelos Evaluados (5 MLLMs):
  • Modelos de Razonamiento (Thinking): o4-mini y GLM-4.6V (entrenados con Aprendizaje por Refuerzo para cadenas de pensamiento).
  • Modelos de Propósito General (Instruct): GPT-4o, Gemma 3 y Molmo 2.
• Análisis Estadístico: Se utilizaron modelos de efectos mixtos lineales (para la estimación numérica) y regresiones multinomiales (para la producción de cuantificadores), comparando las distribuciones de respuesta entre humanos y modelos, y analizando escalas, modos (valores prototípicos) y rangos intercuartílicos (IQR).

3. Contribuciones Clave

• Ampliación Lingüística: Es el primer estudio que examina la cuantificación en MLLMs a través de lenguas tipológicamente diversas (familias germánica, románica, eslavas y helénicas) y sistemas de escritura distintos.
• Desglose de Habilidades: Distingue entre la capacidad de estimar cantidades (sistema numérico) y la capacidad de mapear cuantificadores a esas cantidades (semántica/pragmática).
• Comparación de Arquitecturas: Evalúa explícitamente si el entrenamiento adicional de "razonamiento" (RL) mejora la comprensión semántica de los cuantificadores en comparación con los modelos estándar.
• Análisis de Prototipicidad: Cuantifica los valores modales y los rangos de uso, revelando desviaciones sutiles en cómo los modelos interpretan los umbrales de verdad de los cuantificadores.

4. Resultados

A. Sistema de Estimación Numérica (Aproximación):

• Los humanos mostraron alta precisión.
• Los modelos de razonamiento (o4-mini, GLM-4.6V) superaron significativamente a los modelos de instrucción en la estimación de proporciones, acercándose más a la precisión humana.
• Los modelos de instrucción tendieron a subestimar sistemáticamente las proporciones de cuadrados cuando estas superaban el 50%.

B. Producción de Cuantificadores y Escalas:

• Ordenamiento en Escalas:
  • Humanos: Siguen consistentemente la escala <pocos, algunos, muchos, la mayoría>.
  • Modelos de Razonamiento: Logran un ordenamiento general similar al humano, pero muestran variaciones cruzadas entre idiomas no observadas en humanos (ej. en griego y catalán, el modelo elige patrones diferentes a los nativos).
  • Modelos de Instrucción: A menudo fallan en respetar la escala lógica. Por ejemplo, en Gemma 3, "la mayoría" no se usa con proporciones mayores que "muchos", violando la definición de conjuntos.
• Rangos de Uso y Prototipicidad:
  • Existen diferencias significativas en los valores modales (el porcentaje más típico para un cuantificador). Mientras que para los humanos "la mayoría" tiene un modo de 91%-100%, los modelos lo sitúan en rangos mucho más bajos (51%-70%).
  • Los rangos de uso (IQR) de los modelos son a menudo demasiado estrechos o demasiado amplios en comparación con la variabilidad humana.
• Dificultades Específicas:
  • Los cuantificadores "muchos" (many) y "algunos" (some) son los más problemáticos para todos los modelos, mostrando dificultades para codificar sus umbrales contextuales.
  • Contrario a la intuición, el inglés no fue el idioma con mejor rendimiento; los modelos mostraron patrones inconsistentes entre idiomas, sugiriendo representaciones internas no centralizadas.

C. Diferencias por Tipo de Modelo:

• Los modelos de razonamiento capturan mejor las definiciones de teoría de conjuntos y el ordenamiento de escalas, pero siguen fallando en la prototipicidad y la variabilidad pragmática humana.
• Los modelos de instrucción fallan tanto en la lógica de conjuntos como en la estimación numérica.

5. Significado e Implicaciones

• Naturaleza de los MLLMs: Los resultados sugieren que los MLLMs no poseen una representación semántica y pragmática genuina de la cuantificación. Su rendimiento se basa en patrones distribucionales estadísticos que fallan al capturar la complejidad de los umbrales contextuales y la variabilidad intra-hablante.
• Limitaciones del Entrenamiento RL: Aunque el entrenamiento de razonamiento (RL) mejora las habilidades numéricas y la lógica de conjuntos básica, es insuficiente para replicar la cognición pragmática humana (implicaturas escalares y variabilidad de uso).
• Cognición vs. Estadística: El estudio demuestra que la capacidad de contar o estimar números no garantiza la comprensión semántica de los cuantificadores. La brecha entre el reconocimiento de patrones estadísticos y la interpretación semántica profunda sigue siendo un obstáculo fundamental.
• Futuro: Se requiere un enfoque que integre la variabilidad humana y los mecanismos de inferencia pragmática para desarrollar agentes semánticos más robustos, y se debe investigar si las representaciones de los modelos son realmente multilingües o específicas por idioma.

En conclusión, el trabajo revela que, aunque los MLLMs avanzan en tareas numéricas, su comprensión de la cuantificación sigue siendo fundamentalmente diferente a la humana, careciendo de la flexibilidad pragmática y la consistencia prototípica que caracterizan a la cognición lingüística humana.