A Unified Benchmark for HOI Evaluation across Vision-Language Models and HOI-Specific Methods

Resumen Técnico: CrossHOI-Bench

1. El Problema

La detección de Interacción Humano-Objeto (HOI, por sus siglas en inglés) ha estado dominada históricamente por modelos específicos de la tarea. Con el auge de los Grandes Modelos Visuales-Lingüísticos (VLMs) generativos, surge la pregunta crítica: ¿pueden los VLMs autónomos realizar la detección de HOI de manera competitiva frente a los métodos especializados?

Sin embargo, evaluar ambos paradigmas bajo un mismo protocolo es imposible con los benchmarks existentes (como HICO-DET o V-COCO) debido a dos limitaciones fundamentales:

1. Evaluación por coincidencia exacta bajo anotaciones incompletas: Los benchmarks tradicionales penalizan cualquier predicción que no coincida exactamente con una anotación de "ground truth". Dado que las anotaciones son a menudo incompletas (debido a ambigüedad visual o escasez de etiquetas en escenas multi-persona), las predicciones válidas pero no anotadas se marcan como incorrectas. Esto afecta desproporcionadamente a los VLMs, cuyas salidas generativas son más flexibles y pueden describir interacciones válidas que no están en el conjunto de etiquetas fijas.
2. Sesgo hacia casos simples: Los conjuntos de datos actuales contienen una alta proporción de escenas "cabeza" (head-classes) simples (una persona, un objeto, acción obvia), lo que no permite evaluar la verdadera capacidad de razonamiento de los modelos en escenarios complejos.

2. Metodología: CrossHOI-Bench

Para abordar estas limitaciones, los autores introducen CrossHOI-Bench, un nuevo marco de evaluación unificado.

• Reformulación de la Tarea: En lugar de una tarea de clasificación abierta o detección directa, el HOI se reformula como una tarea de opción múltiple con múltiples respuestas correctas.
  • Cada pregunta presenta una imagen y un par humano-objeto (o persona objetivo) junto con cuatro opciones de interacción.
  • Positivos Curados: Incluyen las anotaciones originales de HICO-DET más interacciones visualmente claras que fueron añadidas manualmente para corregir la subanotación.
  • Negativos Curados: Se seleccionan cuidadosamente para excluir interacciones plausibles pero no anotadas. Se utiliza un proceso de dos etapas (cribado automático con VLMs y refinamiento manual) para asegurar que las opciones incorrectas sean realmente inviables visualmente, evitando falsos negativos.
• Construcción del Dataset:
  • Se basa en HICO-DET, pero se eliminan las escenas demasiado simples para aumentar la dificultad.
  • Se redistribuyen las frecuencias de las clases para reducir el sesgo hacia las clases "cabeza" y aumentar la presencia de escenas multi-persona con interacciones distintas.
  • Se incluyen dos sub-benchmarks complementarios basados en V-COCO (enfocado en escenas multi-persona) y SWiG-HOI (enfocado en interacciones humano-humano).
• Configuraciones de Evaluación: Se proponen tres configuraciones para aislar diferentes capacidades:
  1. Setting 1 (Detección completa): El modelo debe detectar a la persona y luego reconocer la interacción.
  2. Setting 2 (Reconocimiento localizado): Se proporciona la caja delimitadora (bounding box) de la persona objetivo; el modelo solo debe reconocer la interacción (elimina el error de detección).
  3. Setting 3 (Reconocimiento a nivel de imagen): El modelo debe identificar interacciones para todas las personas en la escena.

3. Contribuciones Clave

1. Primer Benchmark Unificado: Es el primer dataset diseñado para evaluar simultáneamente VLMs generales y métodos específicos de HOI bajo un protocolo justo, mitigando el sesgo de las anotaciones incompletas.
2. Evaluación Justa y Desafiante: Al reformular la tarea como opción múltiple con negativos curados, se evita penalizar descripciones válidas no anotadas, permitiendo una comparación real de la capacidad de razonamiento.
3. Análisis Exhaustivo de Paradigmas: Proporciona una comparación sistemática que revela fortalezas y debilidades complementarias entre los VLMs y los modelos especializados.

4. Resultados Experimentales

Los experimentos comparan VLMs de última generación (como Qwen2.5-VL, InternVL3, LLaVA-OV) contra métodos especializados (como ADA-CM, CMMP, HOLa).

• Rendimiento de VLMs Grandes:
  • Los VLMs grandes (ej. Qwen2.5-VL-32B, InternVL3-38B) logran un rendimiento competitivo e incluso superior en modo zero-shot en la mayoría de las métricas (Instance-F1, Macro-F1), superando a menudo a los métodos especializados.
  • Demuestran una fuerte capacidad de comprensión contextual y razonamiento visual.
• Limitaciones de los VLMs:
  • Reconocimiento de Múltiples Acciones: Tienen dificultades para identificar todas las interacciones concurrentes de un mismo par humano-objeto (tienden a predecir solo la acción más saliente).
  • Atribución Cruzada (Cross-person Attribution): En escenas con múltiples personas, a menudo atribuyen la interacción de una persona vecina a la persona objetivo (confusión de atención global).
  • Detección: Su rendimiento cae drásticamente en el Setting 1 (detección autónoma) en comparación con el Setting 2 (cajas dadas), indicando que la detección de objetos/personas sigue siendo un cuello de botella para los VLMs.
• Rendimiento de Métodos Especializados:
  • Mantienen un rendimiento competitivo en la detección y localización, especialmente gracias a sus pipelines estructurados.
  • Son mejores reconociendo múltiples acciones concurrentes de una misma persona.
  • Sin embargo, muestran una generalización fuera de distribución (OOD) muy pobre; su rendimiento cae drásticamente cuando se evalúan en los sub-benchmarks (V-COCO, SWiG-HOI) que tienen distribuciones de etiquetas diferentes a HICO-DET.

5. Significado e Impacto

• Reevaluación del Estado del Arte: El trabajo demuestra que los VLMs generales ya no son inferiores a los modelos especializados en la comprensión de interacciones, desafiando la necesidad de arquitecturas exclusivas para HOI si se dispone de modelos suficientemente grandes.
• Necesidad de Nuevos Protocolos: Expone que los benchmarks tradicionales (HICO-DET) subestiman sistemáticamente el rendimiento de los modelos generativos debido a sus métricas de coincidencia exacta y anotaciones incompletas.
• Dirección Futura: Identifica que los desafíos restantes no son tanto la comprensión semántica (donde los VLMs brillan), sino la localización precisa en escenas densas y la desambiguación de interacciones simultáneas en entornos multi-persona.
• Herramienta Unificada: CrossHOI-Bench establece un estándar para el desarrollo futuro, permitiendo que tanto los investigadores de VLMs como los de HOI específico avancen bajo un mismo marco de evaluación justo.

En conclusión, CrossHOI-Bench no solo ofrece un nuevo dataset, sino que redefine cómo se debe medir el progreso en la detección de interacciones humano-objeto en la era de los modelos multimodales masivos.