Resumen Técnico: Restricciones Lingüísticas sobre las Inferencias Inductivas de los Modelos de Lenguaje

Planteamiento del Problema

La cognición humana depende de la capacidad de realizar inferencias inductivas sobre categorías, un proceso fuertemente constreñido por la forma lingüística de las proposiciones. La investigación del desarrollo (Gelman et al., 2002) ha establecido que los humanos diferencian entre tres tipos de enunciados al extender propiedades novedosas a los miembros de una categoría:

1. Cuantificadores Universales: "Todos los osos son daxables".
2. Enunciados Genéricos: "Los osos son daxables". (Plurales sin artículo)
3. Cuantificadores Indefinidos: "Algunos osos son daxables".

Los humanos exhiben un patrón graduado consistente en su comportamiento inductivo: TODOS > GENÉRICO > ALGUNOS. Aunque las restricciones lógicas de "todos" y "algunos" son claras, el estatus de los genéricos es teóricamente complejo; estos denotan generalizaciones de tipo ley, robustas ante contraejemplos, pero no están marcados explícitamente en el lenguaje.

El problema central abordado en este artículo es si los aprendices estadísticos de propósito general, específicamente los Modelos de Lenguaje y Visión (VLMs), poseen la capacidad de distinguir entre estos tipos de proposiciones de manera análoga a los humanos. Específicamente, ¿modulan los VLMs sus inferencias inductivas basándose en sutiles pistas lingüísticas (cuantificadores frente a genéricos) en lugar de meras diferencias de la forma superficial?

Metodología

El estudio replica el diseño experimental de Gelman et al. (2002) utilizando VLMs, estructurado en tres experimentos secuenciales para asegurar comparaciones "justas entre especies".

1. Pruebas de Precondición

Antes de probar el razonamiento inductivo, los autores verificaron que los modelos candidatos cumplieran con dos presupuestos básicos:

• Identificación de Categorías: Se probó a los modelos en su capacidad para identificar robustamente la presencia o ausencia de categorías específicas en imágenes. Utilizando el conjunto de datos THINGS, se consultó a los modelos con muestras positivas y negativas (basadas en similitud, taxonómicas y aleatorias).
• Sensibilidad a los Cuantificadores: Se creó un nuevo benchmark de inspiración evolutiva para probar si los modelos comprenden el alcance de "todos" frente a "algunos". Esto involucró 6 condiciones en dos modalidades (Visión+Lenguaje y Solo Lenguaje), variando el contexto (todos/algunos), el objetivo de la pregunta (todos/algunos) y la proporción de entidades que satisfacen la propiedad.

2. Experimento de Inferencia Inductiva

Solo los modelos que cumplieron robustamente con las pruebas de precondición (específicamente Qwen3-VL 4B y 8B) fueron utilizados para el experimento principal.

• Estímulos: Los modelos fueron presentados con premisas que atribuían una propiedad novedosa (usando palabras no léxicas como "daxable" o términos pseudocientíficos como "hormona T9") a una categoría. Las premisas variaban según el tipo de proposición: Todos, Algunos o Genérico (plural sin artículo).
• Tarea: Se pidió a los modelos que determinaran si un miembro específico de la categoría (presentado mediante una imagen o una frase posesiva como "mi oso") poseía la propiedad novedosa.
• Medición: Se calculó la probabilidad relativa de una respuesta "Sí" ($p_{rel}(Sí)$) para medir la fuerza de la generalización inductiva.

3. Análisis de Representación Post-hoc

Para determinar si las diferencias de comportamiento se debían al reconocimiento de la forma superficial o a restricciones semánticas más profundas, los autores analizaron las representaciones vectoriales internas de los modelos.

• Control: Introdujeron variaciones de la forma superficial (por ejemplo, emparejar "todos" con "cada uno", "algunos" con "ciertos", y genéricos con artículos indefinidos como "un oso") para asegurar que la agrupación no fuera impulsada únicamente por la similitud léxica.
• Análisis: Se realizó un Análisis de Componentes Principales (PCA) sobre las representaciones de los estados ocultos de las premisas a través de varias capas del modelo Qwen3-VL-8B.

Resultados Clave

1. Rendimiento de la Precondición

• Identificación de Categorías: La mayoría de los VLMs lograron una alta precisión en las muestras positivas, pero tuvieron dificultades con las muestras negativas basadas en similitud. Qwen2.5-VL-7B y Qwen3-VL-8B mostraron la mayor precisión conjunta.
• Sensibilidad a los Cuantificadores: Los modelos generalmente funcionaron bien en las condiciones de "Algunos/Algunos". Sin embargo, el rendimiento en las condiciones de "Todos" mostró una variación dependiente de la modalidad, con muchos modelos teniendo dificultades en el dominio de Visión+Lenguaje. Solo Qwen3-VL 4B y 8B demostraron una precisión casi perfecta en todas las condiciones y modalidades, calificándolos para el experimento principal.

2. Comportamiento de la Inferencia Inductiva

Los VLMs seleccionados (Qwen3-VL 4B y 8B) exhibieron un alineamiento conductual con los datos humanos:

• Generalización Graduada: La probabilidad de extender una propiedad a una instancia específica siguió el patrón: TODOS > GENÉRICO > ALGUNOS.
• Independencia de la Modalidad: Este patrón se mantuvo tanto en las modalidades de Visión+Lenguaje como en la de Solo Lenguaje, lo que sugiere una representación general de estas restricciones.
• Efectos de Animacidad: La premisa "Genérica" produjo probabilidades de generalización más bajas para categorías inanimadas en comparación con las animadas, alineándose con las observaciones lingüísticas de que los genéricos se aplican con mayor frecuencia a entes animados.

3. Representaciones Internas

El PCA de los estados ocultos de los modelos reveló que:

• Las proposiciones no se agruparon únicamente por su forma superficial (por ejemplo, "todos" y "cada uno" no se mantuvieron distintos de "algunos" y "ciertos" basándose puramente en diferencias léxicas).
• En su lugar, las representaciones se organizaron de acuerdo con las restricciones inductivas. En las capas medias (por ejemplo, la capa 18), las proposiciones casi sinónimas (por ejemplo, "todos" frente a "cada uno") se entrelazaron, mientras que las proposiciones con diferentes alcances inductivos (Todos frente a Algunos frente a Genérico) se separaron.
• Esta organización sugiere que los modelos representan el significado de las proposiciones respecto a su alcance de generalización, más que solo su superficie léxica.

Contribuciones Clave

1. Alineamiento Conductual: El artículo proporciona evidencia de que los VLMs pueden distinguir entre proposiciones universales, genéricas e indefinidas de una manera consistente con el razonamiento inductivo humano (Gelman et al., 2002).
2. Representación de Restricciones: Demuestra que estas distinciones están codificadas en el espacio representacional interno de los modelos basándose en restricciones inductivas, y no simplemente en similitudes de la forma superficial.
3. Benchmark de Desarrollo: Los autores lanzan un nuevo benchmark para probar los modelos en "todos" y "algunos" tanto en modalidades de lenguaje como de visión+lenguaje, abordando un vacío en la literatura existente que a menudo se centra en cuantificadores vagos.
4. Enfoque en la Forma Superficial: A diferencia de otros trabajos centrados en el contenido conceptual, este estudio aísla el efecto de los cambios en la forma superficial (cuantificadores) manteniendo constante el contenido conceptual.

Significado y Reivindicaciones

Los autores afirman que sus hallazgos sugieren que los VLMs organizan las proposiciones de maneras que reflejan las restricciones cognitivas humanas respecto a la inferencia inductiva. Esto es significativo porque los genéricos han sido históricamente un "rompecabezas" para lingüistas y científicos cognitivos debido a su falta de marcado explícito y su compleja semántica.

El artículo enmarca modestamente su contribución como el establecimiento de un alineamiento conductual entre los VLMs y los humanos. No afirma que los modelos posean una cognición similar a la humana o que los modelos "entiendan" los genéricos en un sentido filosófico. En su lugar, postula que si dos sistemas (humanos y VLMs) resuelven un problema difícil (distinguir restricciones inductivas) satisfaciendo restricciones funcionales similares, sus soluciones pueden ser similares en formas funcionalmente relevantes (invocando el "principio de contravarianza").

Los autores concluyen que el análisis mecanístico adicional de los (V)LM podría ayudar a arrojar luz sobre la adquisición y el procesamiento de las declaraciones genéricas, ofreciendo una perspectiva computacional sobre un problema de larga data en la psicología cognitiva del lenguaje. Expresan explícitamente sus limitaciones, incluyendo la falta de prueba causal, la disparidad en la escala de los datos de entrenamiento entre modelos y humanos, y la naturaleza monolingüe (inglés) del estudio.