The Visual Iconicity Challenge: Evaluating Vision-Language Models on Sign Language Form-Meaning Mapping

Resumen Técnico: El Desafío de la Iconicidad Visual

Enunciado del Problema
Los Modelos Visión-Lenguaje (VLM) son cada vez más capaces de procesar datos multimodales, sin embargo, su capacidad para anclar formas visuales en significado semántico sigue siendo una prueba crítica de su alineación con señales centradas en el ser humano. Las lenguas de señas ofrecen un campo de prueba natural único para este problema debido a la naturaleza ubicua de la iconicidad—la semejanza no arbitraria entre la forma visual de una seña (configuración de la mano, movimiento, ubicación) y su significado. Aunque investigaciones anteriores han explorado el simbolismo sonoro en modelos de solo texto y la descripción de imágenes estáticas en VLM, existe una falta de evaluación sistemática sobre la medida en que los VLM perciben la estructura visoespacial dinámica de las lenguas de señas y la mapean al significado conceptual. Específicamente, no está claro si los modelos pueden distinguir entre señas arbitrarias e icónicas, inferir significado a partir de la forma visual únicamente (transparencia), o replicar la sensibilidad humana a la iconicidad graduada.

Metodología
Los autores presentan el Desafío de la Iconicidad Visual, un punto de referencia basado en video derivado de la Lengua de Señas Neerlandesa (NGT). El conjunto de datos consta de 96 videos de señas aisladas (64 icónicas, 32 arbitrarias), anotados manualmente con características fonológicas de referencia, tipos de iconicidad y puntuaciones de iconicidad calificadas por humanos (escala de 1 a 7).

El marco de evaluación evalúa 17 VLMs de última generación (incluyendo 11 de código abierto y 6 modelos propietarios) a través de tres tareas complementarias:

1. Predicción de la Forma Fonológica: Una tarea de clasificación multiclase donde los modelos predicen cinco parámetros fonológicos discretos a partir del video: configuración de la mano, ubicación, forma del trayecto, repetición del trayecto y lateralidad.
2. Transparencia: Una tarea de conjunto abierto y conjunto cerrado (10 opciones) que requiere que los modelos infieran el glosa léxica (significado) de una seña basándose únicamente en su forma visual, minimizando la dependencia de priores textuales.
3. Calificaciones de Iconicidad Graduadas: Una tarea de regresión donde los modelos asignan una puntuación de 1 a 7 que representa el grado de semejanza entre la forma de la seña y su significado.

El estudio evalúa los modelos en configuraciones de zero-shot y few-shot (4-shot). Se establecieron líneas base humanas utilizando a un sordo signante (nativo de la Lengua de Señas Turca, no nativo de NGT) y participantes oyentes inexpertos en señas. Los autores también analizan la correlación entre la precisión de la predicción fonológica y el rendimiento en iconicidad/transparencia para probar la hipótesis de que la competencia en la forma sustenta el mapeo del significado.

Contribuciones Clave

• Creación de un Punto de Referencia: La introducción del Desafío de la Iconicidad Visual, el primer punto de referencia diagnóstico a gran escala para la iconicidad en lenguas de señas en VLMs, que cuenta con anotaciones fonológicas densas y líneas base humanas.
• Líneas Base Humanas: Recopilación de datos de rendimiento de humanos inexpertos en señas y de un sordo signante para las tareas de fonología y transparencia, proporcionando límites superiores e inferiores para la evaluación de modelos.
• Evaluación Sistemática: La primera evaluación a gran escala en zero-shot y few-shot de diversos VLMs en el mapeo forma-significado en lenguas de señas, revelando sesgos específicos y modos de fallo.
• Liberación de Recursos: Disponibilidad pública del código de evaluación, anotaciones y líneas base humanas para garantizar la reproducibilidad.

Resultados

• Predicción Fonológica: Los modelos generalmente reflejan los patrones de adquisición humana, encontrando más fácil predecir la ubicación y la lateralidad que la configuración de la mano y la forma del trayecto. Aunque los modelos grandes (por ejemplo, Gemini 3.1 Pro, GPT-5.4) logran una precisión moderada (hasta 0.73 media), persiste una brecha significativa en comparación con las líneas base humanas (0.79). La indicación few-shot produce ganancias modestas, principalmente para modelos más pequeños.
• Transparencia: El rendimiento es bajo en general. En la identificación de conjunto abierto, el mejor modelo (Gemini 3.1 Pro) alcanza solo 29% de precisión, muy por debajo de la línea base del sordo signante humano (59%). Incluso en configuraciones de 10 opciones, el rendimiento sigue siendo limitado, lo que sugiere una dificultad fundamental para anclar la forma visual al significado léxico sin priores textuales fuertes.
• Calificaciones de Iconicidad: Los modelos muestran una correlación moderada a fuerte con las calificaciones de iconicidad humanas (rho de Spearman hasta 0.774 para Gemini 3.1 Pro). Sin embargo, los modelos exhiben un sesgo sistemático: mientras que los humanos prefieren las señas icónicas basadas en acciones, la mayoría de los modelos de código abierto muestran una preferencia inversa por las señas basadas en objetos. Los modelos de código cerrado muestran menos de esta inversión.
• Correlaciones: Existe una fuerte correlación positiva ($\rho = .769$) entre la precisión de la predicción de la forma fonológica de un modelo y su capacidad para calificar la iconicidad, lo que sugiere que la sensibilidad a las propiedades corporales estructuradas es un prerrequisito para el mapeo forma-significado.
• Impacto del Razonamiento: Habilitar el "modo de pensamiento" (cadena de pensamiento) en Qwen3-VL-32B mejoró significativamente su calibración de escala ($\kappa_w$), acercando el rendimiento de los modelos abiertos a los niveles de los modelos cerrados.

Significado y Afirmaciones
El artículo afirma que el Desafío de la Iconicidad Visual valida con éxito tareas diagnósticas para sondear VLMs en estructuras ancladas visualmente. Los hallazgos indican que, aunque los VLMs actuales pueden distinguir señas icónicas de arbitrarias y se alinean con los patrones de dificultad fonológica humana, fallan en inferir significado léxico a partir de la forma visual únicamente y exhiben un sesgo estático basado en objetos que invierte las preferencias humanas por señas basadas en acciones.

Los autores concluyen que el razonamiento explícito (modo de pensamiento) puede reducir la brecha de calibración entre modelos abiertos y cerrados. Argumentan que cerrar la brecha entre el rendimiento del modelo y las señales centradas en el ser humano requiere un preentrenamiento más rico en datos de gestos/señas y una mejor codificación de poses dinámicas, en lugar de depender exclusivamente de características visuales estáticas. El estudio sitúa estas tareas diagnósticas como esenciales para comprender los límites de la anclaje multimodal actual en lenguas visoespaciales complejas y temporalmente extendidas.