More Accurate, Less Human: Gestalt Grouping in Vision Models

Resumen Técnico: Más Preciso, Menos Humano: Agrupación Gestalt en Modelos de Visión

Declaración del Problema
Los modelos de visión y lenguaje (VLM) se despliegan cada vez más en procesos de visualización para interpretar gráficos, evaluar diseños y actuar como sustitutos de los espectadores humanos. Aunque estos sistemas demuestran una alta precisión en los puntos de referencia (benchmarks) para la resolución de tareas, sigue sin verificarse si organizan la información visual de acuerdo con las mismas regularidades perceptivas que rigen la visión humana. Las evaluaciones convencionales miden la capacidad (por ejemplo, puntuaciones de alfabetización en visualización), pero no logran distinguir entre respuestas correctas derivadas de una agrupación perceptual similar a la humana y aquellas derivadas de mecanismos fundamentalmente distintos y no humanos. El artículo sostiene que una alta precisión no establece la "similitud humana" en la organización perceptual, lo que requiere un cambio de las métricas de rendimiento de tareas hacia la alineación conductual con la psicología cognitiva establecida.

Metodología
Los autores introducen una batería de evaluación conductual basada en la psicología de la Gestalt, probando específicamente los principios de Cierre (completitud perceptual de estructuras incompletas) y Similitud (agrupación por atributos compartidos). En lugar de recolectar nuevos datos humanos, la metodología reutiliza estímulos y datos de comportamiento humano publicados en estudios de percepción previos como objetivos de evaluación.

La batería consta de cuatro tareas a través de dos vías (gráficos y controles de imágenes naturales):

1. Reconocimiento de Siluetas (Cierre): Una tarea de elección forzada de 16 vías sobre siluetas rellenas donde se eliminan la textura y los detalles interiores. El ancla humana es la respuesta modal de diez observadores.
2. El Intruso de Marca-Color (Similitud): Identificación del elemento discordante entre marcas basado en el color, puntuado contra un núcleo perceptual de la multitud (crowdsourced).
3. Conteo de Series de Colores (Similitud): Conteo de series de colores distintas en un gráfico, puntuado contra la banda de capacidad humana publicada (6–12 categorías).
4. El Intruso de Objeto (Similitud): Identificación del elemento semántico discordante en imágenes naturales, puntuado contra el techo de test-retest del conjunto de datos THINGS.

El estudio evalúa 45 modelos a través de cinco familias de entrenamiento: codificadores supervisados, codificadores auto-supervisados, codificadores de visión y lenguaje contrastivos, VLM de pesos abiertos y modelos fundacionales cerrados.

Métricas
Tres métricas complementarias cuantifican la alineación conductual:

• Acuerdo Conductual ($B$): La tasa en la que la respuesta de un modelo coincide con el objetivo humano (elección modal o banda de capacidad). Esto mide la similitud humana, no solo la habilidad.
• Consistencia de Error Conductual ($\kappa$): Una medida de si el modelo comete errores en los mismos elementos específicos que los humanos, más allá de lo que se esperaría por azar dada su precisión respectiva. Esto se compara contra un techo de consistencia humano-humano.
• Replicación de Efecto Conductual ($a(k)$): Si el perfil de precisión del modelo a través de variables conteos de series imita la forma de la curva de capacidad humana.

Resultos Clave

• Disociación de la Precisión y la Similitud Humana: Una alta precisión en los puntos de referencia no garantiza la alineación con la organización perceptual humana. Los modelos suelen intercambiar posiciones en los rankings dependiendo de la tarea de agrupación específica (por ejemplo, un alto rendimiento en similitud de color puede ser promedio en agrupación semántica).
• Varianza de la Consistencia de Error: Aunque 34 de 45 modelos superaron la precisión humana, solo cuatro lograron una consistencia de error ($\kappa$) igual o superior al techo humano-humano. Muchos modelos, incluyendo algunos modelos fundacionales cerrados, exhiben una alta precisión pero fallan en replicar los patrones de error humanos.
• Propiedades Específicas de la Familia:
  • VLM de Pesos Abiertos: Generalmente desempeñaron pobremente, con la mayoría fallando en superar el suelo de adivinación de posición en tareas semánticas, lo que sugiere que sus respuestas generadas no reflejan las capacidades de agrupación de sus torres de visión subyacentes.
  • Modelos Fundacionales Cerrados: Mostraron un desplazamiento a nivel de bloque hacia una agrupación similar a la humana, con varios modelos (por ejemplo, Claude-Opus-4.6) logrando tanto una precisión superior a la humana como una consistencia de error a nivel humano. Sin embargo, esta alineación no es uniforme en todo el nivel.
  • Objetivos de Entrenamiento: El tipo de agrupación que exhibe un modelo sigue su objetivo de entrenamiento en lugar de su arquitectura. El entrenamiento auto-supervisado lideró en similitud de color, mientras que el entrenamiento de visión y lenguaje contrastivo lideró en agrupación semántica y forma.
• Especificidad de la Tarea: La agrupación similar a la humana no es un rasgo global; un modelo que se alinea con los humanos en una tarea puede divergir dramente en otra.

Significancia y Reivindicaciones
El artículo afirma proporcionar un instrumento de medición reutilizable y basado en la teoría para auditar los modelos de visión que entran en procesos de visualización. Al aprovechar los datos de psicofísica existentes, la metodología permite a los investigadores determinar si un modelo "ve" los gráficos de la misma manera que una audiencia humana sin realizar nuevos estudios de usuarios.

Los autores afirman que:

1. El fundamento conductual es medible: Es posible cuantificar si los modelos organizan el contenido visual mediante principios de la Gestalt similares a los humanos.
2. La precisión es insuficiente: Las métricas convencionales pasan por alto diferencias críticas en la organización perceptual; un modelo puede ser "más preciso" y, sin embargo, "menos humano" en su lógica de agrupación.
3. Se requiere una evaluación indexada por tareas: Ninguna puntuación única certifica a un modelo como un sustituto humano. Las auditorías deben ser específicas para la tarea (por ejemplo, agrupar marcas frente a reconocer formas) y la familia de entrenamiento.
4. Limitaciones actuales: El estudio se centra en marcas y objetos aislados (los componentes básicos de los gráficos) en lugar de contextos de gráficos completos (ejes, leyendas), y cubre solo dos principios de la Gestalt (Cierre y Similitud).

El trabajo concluye que, si bien algunos modelos fundacionales cerrados han alcanzado un nivel de alineación conductual que les permite servir como sustitutos humanos para tareas específicas, esta capacidad se gana a través de recetas de entrenamiento específicas en lugar de la escala por sí sola, y sigue siendo dependiente de la tarea.