Grounded Concreteness: Human-Like Concreteness Sensitivity in Vision-Language Models

Resumen Técnico: Concreción Anclada en Modelos de Visión-Lenguaje

Planteamiento del Problema
El artículo aborda una tensión central en la ciencia cognitiva y la inteligencia artificial: si el "significado" puede recuperarse únicamente a partir del texto o si requiere un anclaje perceptivo. Mientras que los grandes modelos de lenguaje (LLM) aprenden de las distribuciones de texto, los conceptos humanos varían en su "concreción", una dimensión graduada donde las palabras concretas (p. ej., manzana) están estrechamente vinculadas a la percepción sensorial, mientras que las palabras abstractas (p. ej., justicia) son relacionales y dependen del contexto. Los autores investigan si los Modelos de Visión-Lenguaje (VLM), que pasan por un preentrenamiento multimodal, desarrollan una sensibilidad hacia la concreción lingüística más similar a la humana en comparación con los LLM de solo texto emparejados, incluso cuando se evalúan mediante prompts de solo texto.

Metodología
El estudio emplea un diseño de ablación controlado para aislar el efecto del anclaje visual.

• Comparación de Modelos: Los autores comparan pares emparejados de los modelos de solo texto Llama 3.1 de Meta (8B y 70B parámetros) contra sus contrapartes Llama Vision 3.2 (11B y 90B parámetros). Los modelos de visión utilizan los modelos de texto como bases (backbones), entrenados en conjuntos de datos multimodales.
• Protocolo de Evaluación: Crucialmente, todas las evaluaciones utilizan prompts de solo texto (no se proporcionan imágenes durante la inferencia). Esto asegura que cualquier diferencia de rendimiento surja de las representaciones internas aprendidas durante el preentrenamiento multimodal, y no de una entrada visual directa durante la tarea.
• Análisis de Tres Niveles: Los autores triangulan la evidencia a través de tres niveles complementarios:
  1. Comportamiento de Salida: Medición de la precisión en la Respuesta a Preguntas (QA) a través de diversos benchmarks (ARC, BoolQ, Winogrande, etc.) clasificados por puntuaciones de concreción a nivel de oración derivadas de normas humanas (Brysbaert et al., 2014).
  2. Geometría de los Embeddings: Análisis de la organización de las representaciones de los tokens en un espacio de baja dimensión (t-SNE) para probar si los tokens se agrupan por niveles de concreción.
  3. Dinámicas de Atención: Cuantificación de la dependencia contextual mediante la entropía de atención. Basándose en teorías psicolingüísticas, la hipótesis es que los tokens abstractos requieren un contexto más amplio (mayor entropía), mientras que los tokens concretos dependen de una atención focalizada (menor entropía).
• Alineación Humana: Se solicita a los modelos que generen calificaciones de concreción a nivel de token, las cuales se comparan con las distribuciones de normas humanas utilizando la divergencia KL simétrica.

Resultos Clave
A través de ambas escalas de modelos (8B/11B y 70B/90B), los VLM demostraron una sensibilidad a la concreción superior en comparación con sus contrapartes de solo texto:

• Rendimiento en QA: Los VLM superaron a los LLM en general, pero la brecha de rendimiento se amplió significamente a medida que aumentaba la concreción de las preguntas. La ventaja fue más pronunciada en preguntas que involucraban entidades perceptibles y relaciones espaciales, lo que sugiere que el anclaje visual proporciona un andamiaje para la semántica concreta.
• Geometría de la Representación: En las proyecciones t-SNE, las representaciones de los tokens de los VLM formaron grupos más apretados y contiguos para las palabras altamente concretas en comparación con la distribución difusa observada en los LLM de solo texto. Las medidas cuantitativas de dispersión intra-grupo confirmaron que los VLM logran una menor dispersión (agrupamiento más apretado) para los tokens concretos.
• Patrones de Atención: Los VLM exhibieron una correlación negativa más fuerte entre la concreción del token y la entropía de la atención. Los tokens concretos en los VLM mostraron una menor entropía (atención más enfocada), mientras que los tokens abstractos mostraron una mayor entropía. Esta separación fue más nítida en los VLM que en los LLM, particularmente en las capas iniciales a medias de la red.
• Alineación Humana: Los VLM generaron calificaciones de concreción que se alinearon más estrechamente con las normas humanas que los LLM. Esta alineación mejoró significativamente a medida que aumentaban las calificaciones de concreción humanas, mientras que la tendencia de alineación de los LLM fue más débil y estadísticamente menos fiable.

Significancia y Reivindicaciones
El artículo afirma proporcionar una demostración controlada de que la supervisión visual durante el entrenamiento induce una sensibilidad a la concreción más similar a la humana en los modelos fundacionales. Al mantener constante la base lingüística, el estudio aísla el anclaje visual como un factor causal en:

1. Robustez Conductual: Mejorando el rendimiento en QA específicamente en conceptos concretos.
2. Estructura Representacional: Organizando los embeddings en una geometría que refleja la concreción graduada.
3. Dinámicas de Procesamiento: Desplazando los mecanismos de atención para depender menos de un contexto amplio para las palabras concretas, de acuerdo con las teorías de la codificación dual y la cognición anclada (Paivio, 1990; Barsalou, 2008).

Los autores posicionan la concreción como un eje de diagnóstico principista e interpretable para las conductas relacionadas con el anclaje, ofreciendo un puente entre la teoría cognitiva y los diagnósticos computacionales. Argumentan que los VLM no solo desplazan el rendimiento global, sino que calibran preferencialmente sus representaciones internas y juicios para palabras perceptualmente ancladas.

Limitaciones
Los autores reconocen que el estudio se limita a una sola familia de modelos (Llama), lo que puede restringir la generalizabilidad a otras arquitecturas o lenguajes. Además, la frecuencia léxica actúa como un posible factor de confusión que no se controló totalmente debido a que los recuentos de tokens de preentrenamiento son inaccesibles. Finalmente, el análisis se centra en los puntos de control (checkpoints) finales, dejando sin explorar la trayectoria de desarrollo de la sensibilidad a la concreción durante el entrenamiento.