🤖 AI

NumerosityVLM: A Cognitively Inspired Benchmark for Interpreting Numerosity Representations in Vision-Language Models

El artículo presenta NumerosityVLM, un referente de evaluación de inspiración cognitiva con 10.800 imágenes sintéticas controladas que revela que la percepción de la numerosidad en los Modelos de Lenguaje-Visión está determinada primordialmente por su arquitectura y componentes lingüísticos más que por las condiciones visuales, con señales de numerosidad linealmente separables que emergen tempranamente en el codificador de visión.

Autores originales: Yiming Fu, Fangjun Li, Xiujin Liu, Ruidong Ma, Hang Yu, Zhichen Lu, Kanwei He, Alessandro Di Nuovo, Angelo Cangelosi, Zhegong Shangguan

Publicado 2026-08-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yiming Fu, Fangjun Li, Xiujin Liu, Ruidong Ma, Hang Yu, Zhichen Lu, Kanwei He, Alessandro Di Nuovo, Angelo Cangelosi, Zhegong Shangguan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los seres humanos poseen una capacidad innata y notable para reconocer cuántos elementos hay en un grupo sin tener que contarlos uno por uno. Un bebé puede distinguir la diferencia entre un montón de tres galletas y un montón de cuatro antes de aprender siquiera a hablar, apoyándose en un sentido del número que surge naturalmente en el cerebro en desarrollo. Esta habilidad, conocida como percepción de la numerosidad, es una parte fundamental de cómo entendemos el mundo. En años recientes, los científicos han centrado su atención en la inteligencia artificial, específicamente en un tipo de sistema informático llamado modelo de visión y lenguaje. Estos sistemas están diseñados para observar imágenes y responder preguntas sobre ellas, desempeñándose a menudo con una fluidez humana en tareas complejas. Sin embargo, queda una pregunta latente: ¿entienden estas máquinas verdaderamente el concepto de "cuántos", o simplemente están adivinando basándose en patrones visuales que han memorizado?

Para responder a esto, un equipo de investigadores creó un nuevo campo de pruebas llamado NumerosityVLM. Construyeron un conjunto de 10,800 imágenes generadas por computadora diseñadas para eliminar los trucos que podrían engañar a una máquina. En el mundo real, el conteo suele confundirse con otras pistas visuales. Por ejemplo, un grupo de objetos grandes puede ocupar más espacio que un grupo de objetos pequeños, lo que lleva a un sistema a pensar que hay más de los grandes simplemente porque cubren más área. Para prevenir esto, los investigadores controlaron cada detalle de sus imágenes. Crearon escenarios donde el número de elementos cambiaba mientras el espacio total que ocupaban permanecía igual, y viceversa. También eliminaron la textura, la forma y el color en etapas, dejando atrás simples puntos, para ver si los modelos dependían del aspecto de los objetos o del conteo real. Probaron siete modelos de código abierto diferentes, que iban desde sistemas más pequeños y antiguos hasta otros más grandes y avanzados, pidiéndoles que contaran los elementos en cada imagen.

Los resultados revelaron una clara división entre los modelos. Los sistemas más avanzados, que poseían estructuras internas más grandes, funcionaron significativamente mejor, logrando una alta precisión incluso cuando las pistas visuales eran engañosas. Los modelos más pequeños y antiguos tuvieron dificultades, fallando a menudo al distinguir entre diferentes cantidades y produciendo el mismo conjunto limitado de respuestas independientemente de lo que hubiera en la imagen. Los investigadores descubrieron que el factor determinante del éxito no fue la condición visual de la imagen, sino la arquitectura del modelo en sí. La forma en que la máquina fue construida importó mucho más que los trucos visuales específicos utilizados en la prueba. Esto sugiere que la capacidad de contar no es solo una cuestión de ver con claridad, sino de tener la estructura interna adecuada para procesar esa información.

Profundizando en cómo funcionaban estos modelos, el equipo analizó las diferentes etapas de la canalización de procesamiento de la máquina. Descubrieron que la capacidad de distinguir números aparece en realidad muy temprano, justo cuando la máquina observa la imagen por primera vez. Incluso los modelos menos exitosos podían detectar el número de elementos en sus capas visuales iniciales. El problema, resultó ser, ocurría más tarde. La diferencia entre un modelo que podía contar bien y uno que no podía residía en cómo traducía esas señales visuales en palabras. Los modelos más exitosos eran mejores al tomar la información numérica que ya habían visto y convertirla en una respuesta de texto correcta. Los modelos menos exitosos parecían perder esa información a medida que pasaban de ver a hablar.

El estudio también examinó cómo estas máquinas manejan la escala de los números. Los modelos con mejor desempeño fueron casi perfectos al contar grupos pequeños de hasta cuatro elementos, un rango que los humanos reconocen instantáneamente. A medida que los números crecían, su precisión disminuía, y comenzaban a adivinar consistentemente por debajo del conteo real. Este patrón de subestimación se fortalecía a medida que los números aumentaban, reflejando una limitación conocida en la percepción humana donde la estimación de cantidades grandes se vuelve menos precisa. Sin embargo, los modelos más avanzados mostraban este sesgo mucho más tarde que los más débiles, lo que sugiere que tenían una comprensión más robusta de los números mayores.

En última instancia, la investigación indica que los modelos actuales de visión y lenguaje poseen una forma de comprensión numérica, pero esta es frágil y depende fuertemente de su diseño. La capacidad de ver "cuántos" está presente en el procesamiento visual temprano de estos sistemas, pero el paso final de convertir esa percepción en una respuesta fiable es donde las máquinas suelen fallar. El estudio concluye que la brecha en el desempeño no se debe a una falta de datos visuales, sino a cómo están construidos los diferentes modelos para interpretar y expresar esos datos. Al aislar estos factores, los investigadores han proporcionado un mapa más claro de dónde se encuentra la inteligencia artificial en su viaje hacia una verdadera cognición numérica, demostrando que, si bien los ojos de la máquina pueden ver el número, la mente de la máquina aún debe aprender a contar.

Resumen Técnico: NumerosityVLM

Planteamiento del Problema

Los Modelos de Visión y Lenguaje (VLMs) han demostrado capacidades notables en tareas multimodales de alto nivel, como la comprensión de escenas y el cuestionamiento visual. Sin embargo, sus capacidades perceptivas fundamentales, específicamente la percepción de la numerosidad (la capacidad de estimar o contar cantidades), siguen siendo poco comprendidas. Aunque los humanos desarrollan la percepción de la numerosidad antes de la adquisición del lenguaje, los VLMs actuales tienen dificultades con esta tarea. Los benchmarks de conteo existentes sufren dos limitaciones primarias:

Rango Limitado: Los benchmarks de propósito general suelen cubrir solo rangos de numerosidad pequeños, fallando al evaluar el Sistema de Número Aproximado (ANS, por sus siglas en inglés).
Variables Confundidas: Los conjuntos de datos del mundo real entrelazan la numerosidad con factores visuales correlacionados, como el tamaño de los objetos, la densidad y el área de superficie total. Esto dificulta atribuir los fallos de conteo a deficiencias específicas en la percepción visual, la decodificación del lenguaje o la dependencia de claves de atajo (shortcuts).

En consecuencia, los benchmarks actuales no pueden distinguir de manera fiable si un modelo falla debido a una incapacidad para percibir cantidades visuales o una incapacidad para mapear esas percepciones a salidas textuales.

Metodología

Para abordar estas limitaciones, los autores introducen NumerosityVLM, un benchmark de diagnóstico inspirado cognitivamente que consta de 10,800 imágenes sintéticas generadas bajo condiciones estrictamente controladas.

Diseño del Benchmark

El conjunto de datos se construye sobre un lienzo de 1024 × 1024 píxeles con objetos no superpuestos. Presenta tres categorías de objetos (manzanas, mariposas, figuras humanas) y 12 niveles de numerosidad que van del 1 al 100 (cubriendo tanto los regímenes de subitización como de ANS). El benchmark emplea seis condiciones experimentales controladas:

Condiciones de Control Ortogonales:
- Base (Baseline): Preserva la covarianza natural entre la numerosidad y el área total.
- Tamaño Incongruente (Size-Incongruent): El área de superficie total es fija; el tamaño individual del objeto varía inversamente con la numerosidad.
- Espacio Incongruente (Space-Incongruent): El tamaño individual del objeto es fijo; la densidad espacial aumenta con la numerosidad dentro de un casco convexo fijo.
Condiciones de Ablación de Claves Visuales:
- Textura Ablada (Texture-Ablated): Los objetos son reemplazados por plantillas de formas simplificadas.
- Forma Ablada (Shape-Ablated): Los objetos son reemplazados por puntos de color sólido.
- Color Ablado (Color-Ablated): Los puntos de color se convierten en escala de grises.

Configuración Experimental

El estudio evalúa siete VLMs representativos de código abierto de cuatro familias arquitectónicas (CLIP, LVA, InternVL, Qwen3-VL) en un entorno de zero-shot. La evaluación utiliza estrategias de prompting de código abierto (open-ended) y cerrado (closed-ended).

Técnicas de Análisis

Atribución Multifactorial: Se realiza un ANOVA de tres vías sobre la precisión a nivel de imagen para cuantificar la contribución del Modelo, la Condición y el Subconjunto a la varianza del rendimiento utilizando $\omega^2$ parcial.
Análisis de Sesgo Sistemático: Comparaciones jerárquicas evalúan la robustez frente a factores visuales (tamaño, espacio, textura, forma, color) y sesgos dependientes de la magnitud (análisis de residuos).
Sondeo por Capas (Layer-wise Probing): Se entrenan Máquinas de Vectores de Soporte (SVM) lineales sobre las representaciones ocultas en cada etapa del flujo de trabajo del VLM (codificador de visión, módulo de alineación, modelo de lenguaje) para determinar dónde emergen las señales de numerosidad y dónde permanecen linealmente separables.
Análisis de Geometría Numérica: Se aplica el Análisis de Componentes Principales (PCA) a las representaciones del backbone del lenguaje para examinar la estructura geométrica de la codificación numérica (compresión lineal vs. logarítmica).

Resultados Clave

1. Varianza de Rendimiento y Arquitectura

El análisis multifactorial revela que la arquitectura del modelo es el factor dominante que explica la varianza del rendimiento ( $\omega^2$ parcial = 0.325), superando con creces la influencia de las condiciones visuales ( $\omega^2$ parcial = 0.005) o los subconjuntos de objetos.

Modelos de Nivel 1 (Tier-1): Arquitecturas recientes y más grandes (ej. Qwen3VL-8B, InternVL3-8B) alcanzan una alta precisión (~77–84%) y magnitudes de error bajas.
Modelos de Nivel 2 (Tier-2): Arquitecturas más antiguas o pequeñas (ej. CLIP, LLaVA-1.5) funcionan cerca de un nivel de base aleatorio (~21%) con magnitudes de error altas.

2. Robustez Visual y Sesgo

Tamaño vs. Espacio: Los modelos funcionan significativamente mejor bajo la condición de Tamaño Incongruente (área total fija) en comparación con la base, lo que sugiere que dependen fuertemente de las claves de área total. Sin embargo, el rendimiento no cambia significativamente bajo la condición de Espacio Incongruente (casco convexo fijo), lo que indica una falta de sensibilidad a los cambios de densidad espacial en los modelos probados.
Ablación de Claves: Eliminar la textura degrada significativamente el rendimiento de los modelos Tier-1 en relación con la base (cayendo a un 72.05% de precisión). Sin embargo, eliminar posteriormente las claves de forma y color mejora progresivamente su precisión, alcanzando un 77.71% bajo ablación de forma y un 80.92% bajo ablación de color. Los modelos Tier-2 no muestran una mejora significativa en las condiciones de ablación, lo que sugiere que no utilizan estas claves de manera efectiva independientemente de la complejidad.
Sesgo de Magnitud: Todos los modelos exhiben una subestimación sistemática para numerosidades mayores a 50. Los modelos Tier-1 mantienen una alta precisión en el rango de subitización (1–4) y en el rango inferior de ANS (5–20), pero se degradan a medida que la magnitud aumenta.

3. Percepciones Mecanísticas (Sondeo por Capas)

Codificador de Visión: Las señales de numerosidad linealmente separables emergen consistentemente en las capas tempranas del codificador de visión. Al final del codificador de visión, tanto los modelos de alto como los de bajo rendimiento codifican representaciones de numerosidad robustas. Esto indica que la extracción de características visuales no es la fuente principal de la disparidad de rendimiento.
Modelo de Lenguaje: La brecha crítica de rendimiento surge durante las etapas de modelado de lenguaje y decodificación. Los modelos Tier-1 retienen información numérica estructurada a través del proceso de decodificación, mientras que los modelos Tier-2 se degradan rápidamente.
Geometría Numérica: Los backbones de lenguaje de los modelos Tier-1 exhiben una geometría numérica altamente ordenada y logarítmicamente comprimida (alta correlación de Spearman y Log $R^2$ ), alineándose con las características del ANS humano. Los backbones de Tier-2 muestran un ordenamiento más débil y una escala menos consistente.

Contribuciones Clave

Benchmark NumerosityVLM: Una herramienta de diagnóstico inspirada en la cognición con control ortogonal sobre el tamaño del objeto, la disposición espacial y la numerosidad, junto con la ablación progresiva de claves, permitiendo un diagnóstico sistemático de la percepción de los VLMs.
Atribución de la Varianza de Rendimiento: Demostración de que el diseño arquitectónico y las estrategias de integración multimodal explican la mayor parte de las diferencias en el rendimiento de conteo, en lugar de las condiciones visuales o las categorías de objetos.
Localización Mecanística: Evidencia de que las señales de numerosidad son linealmente decodificables en las capas de visión tempranas en todos los modelos, mientras que las diferencias de rendimiento están asociadas principalmente con la capacidad del modelo de lenguaje para mapear las representaciones latentes a las salidas textuales.

Significado y Limitaciones

El artículo afirma que NumerosityVLM proporciona un marco necesario para pasar de métricas de rendimiento general a una comprensión mecánica de las limitaciones de los VLMs. Los hallazgos sugieren que el "fallo de conteo" en muchos VLMs no es un fallo de la percepción visual, sino un fallo de la alineación de representación-a-salida en el componente de lenguaje.

Los autores reconocen las limitaciones:

La dependencia de estímulos sintéticos con aislamiento estricto de factores puede limitar la generalización a escenas complejas del mundo real.
Los resultados del sondeo proporcionan evidencia correlacional en lugar de causal respecto a los mecanismos internos.

Se propone como trabajo futuro extender el marco a entornos del mundo real y explorar métodos de intervención causal.