Resumen Técnico: Hacia una Evaluación Robusta del Reconocimiento de Actividades Visuales

Declaración del Problema

La evaluación de los sistemas de reconocimiento de actividades visuales se ve fundamentalmente desafiada por la ambigüedad inherente en la semántica de los verbos y la interpretación de las imágenes. La evaluación estándar se basa en métricas de coincidencia exacta (exact-match), donde la predicción de un modelo se considera correcta solo si coincide con una única etiqueta de verbo "dorada". Este enfoque no tiene en cuenta dos fuentes primarias de ambigüedad:

1. Sinonimia: Múltiples verbos sinónimos (por ejemplo, enseñar frente a dar clase) pueden describir el mismo evento.
2. Multi-perspectiva: Una sola imagen puede ser descrita válidamente por distintos verbos que reflejan diferentes puntos de vista (por ejemplo, marchar frente a actuar para una banda).

En consecuencia, la evaluación de coincidencia exacta subestima sistemáticamente el rendimiento del modelo al penalizar predicciones semánticamente válidas pero léxicamente distintas. Aunque existen métricas como CLIPScore, estas suelen depender de medidas de similitud genéricas que no logran capturar las distinciones de sentido de los verbos de forma detallada ni los cambios de perspectiva.

Metodología

Para abordar estas limitaciones, los autores proponen un marco de agrupamiento (clustering) visión-lenguaje que construye "clústeres de sentido de verbos". Este marco agrupa imágenes y verbos en clústeres coherentes donde cada clúster representa una perspectiva o sentido distinto de una actividad. La metodología procede en tres etapas:

1. Adquisición de Pares Imagen-Verbo

Para mitigar el sesgo de etiquetado inherente al conjunto de datos imSitu original (donde las imágenes fueron recuperadas mediante búsquedas en Google basadas en verbos), los autores consultan a dos Modelos de Lenguaje de Gran Escala (LLM) multimodales —GPT-4o mini y Llama-3.2-90B— para generar todos los verbos apropiados para cada imagen. Retienen únicamente los verbos presentes en el vocabulario de imSitu (504 verbos) y construyen nodos que representan pares <imagen, verbo>. Estos nodos se embeben utilizando un modelo Llama multimodal (Llama-3.2-11B) procesando las entradas de texto e imagen simultáneamente, extrayendo el estado oculto final tras la capa de atención cruzada.

2. Marco de Agrupamiento de Dos Pasos

El marco emplea un proceso de agrupación de dos pasos para agrupar estos pares <imagen, verbo>:

• Paso 1: Agrupamiento de Mismo Verbo: Para cada uno de los 504 verbos, las imágenes asociadas se agrupan para disambiguar los sentidos finos de ese verbo específico. El número óptimo de clústeres ($k$) para cada verbo se determina maximizando el coeficiente de Silueta (Silhouette score) a través de un rango de $k \in [2, 16]$. Se prueban tanto K-Means como el Agrupamiento Jerárquico Aglomerativo (HAC).
• Paso 2: Agrupamiento entre Verbos: Los clústeres resultantes del Paso 1 se agrupan posteriormente para reunir verbos con significados compartidos a través de diferentes ítems léxicos. El número de clústeres finales ($k_r$) se determina mediante una razón $r$ aplicada al recuento total de verbos (504), optimizada mediante el coeficiente de Silueta.

3. Protocolo de Evaluación

Los clústeres resultantes sirven como la verdad de terreno (ground truth) para la evaluación. Una predicción del modelo se considera correcta si el verbo predicho aparece en cualquier clúster que contenga la imagen objetivo. Esto se compara contra:

• Coincidencia Exacta: Emparejamiento con la etiqueta dorada estándar.
• Emparejamiento WordNet-Synset: Comprobar si la predicción comparte un synset con la etiqueta dorada.
• Juicio Humano: Anotación manual de 100 imágenes muestreadas para evaluar la alineación.

Resultados Clave

Calidad del Agrupamiento y Análisis de Ambigüedad

• Estructura de los Clústeres: El análisis revela que, en promedio, cada imagen se mapea a aproximadamente 4 clústeres de sentido, y cada clúster contiene aproximadamente 2 verbos.
• Cuantificación de la Ambigüedad:
  • Sinonimia: ~54% de los verbos abarcan múltiples clústeres (polisemia), y los clústeres contienen un promedio de 1.59–1.97 verbos, confirmando la prevalencia de sinónimos.
  • Multi-perspectiva: Más del 70% de las imágenes pertenecen a más de un clúster, lo que indica que una sola imagen a menudo soporta múltiples perspectivas descriptivas válidas.
• Rendimiento de la Métrica: El agrupamiento K-Means utilizando embeddings de Llama-3.2-90B proporcionó el mejor equilibrio entre cohesión interna (Silueta, Calinski-Harabasz) y validez externa (pureza de WordNet).

Mejoras en la Evaluación de Modelos

La evaluación de varios modelos supervisados (ResNet-50, CLIP, Llama-11B) y LLMs zero-shot (GPT-4o mini, Llama-3.2-90B) reveló mejoras significativas de rendimiento bajo la métrica basada en clústeres:

• Ganancias de Precisión: Todos los modelos mostraron mejoras sustanciales en la precisión Top-1. Por ejemplo, el modelo supervisado Llama-11B mejoró del 56.0% (Coincidencia Exacta) al 72.1% (Basado en Clústeres). Los LLMs zero-shot mostraron ganancias relativas aún mayores (por ejemplo, GPT-4o mini de prompt cerrado mejoró del 17.3% al 39.2%).
• Fuente de Mejora: El análisis de desglose indica que la comprensión multi-perspectiva explica la mayor parte de la ganancia (8–27% de mejora), mientras que la resolución de sinonimia contribuye con una parte menor pero significativa (3–6%).
• Alineación Humana: La evaluación basada en clústeres demostró la mayor concordancia con los juicios humanos, superando tanto a la coincidencia exacta como a las líneas base de VLM-como-juez en términos de la $\tau$ de Kendall (acuerdo de ranking) y el $\alpha$ de Krippendorff (acuerdo de etiquetas). A diferencia de VLM-como-juez, que mostró alta inestabilidad ante variaciones de prompts, el método basado en clústeres proporcionó una alineación consistente y robusta.

Limitaciones de Métricas Alternativas

El artículo demuestra que CLIPScore es inadecuado para la evaluación centrada en verbos. Incluso cuando se utilizan descripciones completas, CLIPScore está dominado por palabras contextuales, lo que hace que los cambios en el verbo sean insignificantes. El CLIPScore de solo verbos logró solo un ~25% de precisión Top-1, fallando en recuperar de manera fiable las etiquetas validadas por humanos.

Significancia y Contribuciones

El artículo reclama tres contribuciones primarias:

1. Marco Novedoso: La propuesta de un marco de agrupamiento visión-lenguaje que construye grupos de sentido basados en imágenes y verbos de actividad, validados mediante métricas internas y externas.
2. Evaluación Superior: La demostración de que la evaluación basada en clústeres ofrece una evaluación más precisa y matizada de los sistemas de reconocimiento de actividades visuales en comparación con la precisión tradicional de coincidencia exacta, reflejando mejor sus verdaderas capacidades semánticas.
3. Cuantificación de la Ambigüedad: Un análisis cuantitativo del conjunto de datos imSitu que revela la extensión de la sinonimia y la ambigüedad de multi-perspectiva, mostrando que las métricas de evaluación estándar no logran capturar estas complejidades inherentes.

Los autores concluyen que, aunque sus experimentos se centran en imSitu, el marco está diseñado para ser adaptable a otros conjuntos de datos de actividad visual. Reconocen las limitaciones, incluyendo la dependencia de verbos generados por LLM en lugar de una anotación humana exhaustiva, y el coste computacional del proceso de agrupamiento offline, pero argumentan que el conjunto fijo de objetivos resultante amortiza este coste para evaluaciones futuras.