HOI-R1: Exploring the Potential of Multimodal Large Language Models for Human-Object Interaction Detection

Resumen Técnico de HOI-R1: Explorando el Potencial de los Grandes Modelos de Lenguaje Multimodales para la Detección de Interacciones Humano-Objeto

Planteamiento del Problema
La detección de interacciones humano-objeto (HOID, por sus siglas en inglés) tiene como objetivo identificar interacciones entre humanos y objetos en imágenes, produciendo instancias como tuplas de cajas delimitadoras de humanos, cajas delimitadoras de objetos, clases de objetos y clases de interacción. Los métodos tradicionales de HOID dependen de un paradigma centrado en el detector, utilizando detectores de objetos para generar propuestas seguidas de una cabeza de interacción dedicada (a menudo basada en transformadores) para predecir etiquetas. Los enfoques de vanguardia recientes incorporan cada vez más los conocimientos previos de los Modelos de Visión-Lenguaje (VLM) para manejar anotaciones de cola larga. Sin embargo, estos métodos introducen canales complejos que requieren módulos adicionales, objetivos de entrenamiento específicos y un acoplamiento arquitectónico entre los detectores y los decodificadores de interacción, lo que dificulta la extensibilidad y la reutilización. Además, la capacidad de razonamiento inherente de los Grandes Modelos de Lenguaje Multimodales (MLLM) para tareas estructuradas de HOID —específicamente el razonamiento simultáneo sobre las interacciones y la localización de pares dentro de un protocolo estandarizado— sigue siendo poco explorada.

Metodología
Los autores proponen HOI-R1, un marco que elimina por completo los detectores de objetos, resolviendo el HOID de extremo a extremo mediante el razonamiento en lenguaje natural utilizando MLLMs. El enfoque implica un paradigma de entrenamiento de dos etapas:

1. Predicción Basada en Lenguaje y Diseño de Prompts:
   En lugar de la regresión de cajas delimitadoras, el modelo produce instancias de HOI en un formato de lenguaje natural estructurado (JSON). El prompt de entrada está diseñado con tres componentes:

   • Instrucción de la Tarea: Define el rol del modelo y proporciona listas exhaustivas de clases válidas de objetos e interacciones para restringir el espacio de salida y evitar alucinaciones.
   • Guía de Razonamiento: Una sección de "Proceso de Pensamiento" que descompone la tarea en pasos secuenciales (identificar humanos, analizar acciones, determinar interacciones) para reflejar los procesos cognitivos humanos.
   • Ejemplo de Formato: Una plantilla que requiere que la salida incluya una cadena de razonamiento (dentro de las etiquetas <thought>) y las predicciones finales (dentro de las etiquetas <answer>), incorporando coordenadas espaciales directamente en el texto.

2. Ajuste Fino Supervisado (SFT) con Destilación de Pensamiento:
   Para transferir el conocimiento específico de la tarea, se emplea un paradigma de profesor-estudiante. Un modelo profesor potente (GPT4o-mini) genera trazas de razonamiento paso a paso para las imágenes de entrenamiento. El MLLM estudiante es entrenado mediante SFT para predecir tanto las trazas de razonamiento generadas por el profesor como las tripletas de HOI de verdad fundamental (ground-truth). Esta "destilación de pensamiento" internaliza el proceso lógico de la detección de HOI.

3. Aprendizaje por Refuerzo (RL) con Recompensas Personalizadas:
   Tras el SFT, el modelo se alinea utilizando la Optimización de Política Relativa de Grupo (GRPO). Los autores diseñan una función de recompensa compuesta por cuatro componentes para asegurar la alineación estructural, semántica y geométrica:

   • Recompensa de Formato: Asegura que la salida contenga las etiquetas requeridas (<thought>, <answer>) y las claves JSON válidas (human, object, object class, verb class). Penaliza las cajas delimitadoras duplicadas y las estructuras de claves incorrectas.
   • Recompensas de Etiquetas de Objeto y Verbo: Fomenta la predicción precisa de las clases de objetos e interacciones comparando las etiquetas predichas con la verdad fundamental mediante una estrategia de drop-on-match.
   • Recompensa de IoU de HOI: Utiliza el algoritmo de Hungarian para emparejar las parejas humano-objeto predichas con las parejas de verdad fundamental basándose en la Intersección sobre la Unión (IoU) de ambas cajas (humano y objeto), proporcionando una señal de alineación geométrica.

Contribuciones Clave

• Marco HOI-R1: El primer marco de MLLM que resuelve el HOID de extremo a extremo mediante lenguaje natural, eliminando la dependencia de los detectores de objetos.
• Paradigma de Entrenamiento: Introducción de una estrategia de entrenamiento de dos etapas que combina SFT con destilación de pensamiento (para inyectar conocimiento de HOI) y RL con funciones de recompensa especializadas (para alinearse con las métricas de HOID).
• Diseño de Recompensas: Desarrollo de funciones de recompensa específicas de elementos (formato, etiqueta e IoU) que guían a los MLLMs para producir predicciones estructuradas, precisas y espacialmente fundamentadas.

Resultados Experimentales
Los experimentos se realizaron en el conjunto de datos HICO-DET utilizando múltiples MLLMs de código abierto, incluyendo la familia Qwen-VL (Qwen2.5-VL, Qwen3-VL) y Rex-Omni.

• Ganancias de Rendimiento: HOI-R1 demuestra mejoras consistentes en todos los modelos. Notablemente, aplicar HOI-R1 a Qwen2.5-VL-3B resulta en un impulso de precisión de 2x (de ~8.39 mAP a 18.33 mAP en la categoría Full bajo la configuración Default) con solo 1 época de SFT y 40 pasos de entrenamiento de RL.
• Comparación con el SOTA: La variante HOI-R1 de Rex-Omni-3B alcanza 27.00 mAP en la configuración de Objeto Conocido (Known Object), superando al modelo de 72B de parámetros Qwen2.5-VL-AWQ y a los métodos tradicionales basados en transformadores como QPIC.
• Eficiencia: El método converge significativamente más rápido que los métodos tradicionales de HOID, que a menudo requieren cientos de épocas, logrando un alto rendimiento con pasos de entrenamiento mínimos (1 época de SFT + 40 pasos de RL).
• Estudios de Ablación: Eliminar el componente de "pensamiento" degrada significativamente el rendimiento en categorías raras, resaltando el valor del razonamiento. Eliminar la recompensa de IoU causa una caída sustancial (3.62 mAP), confirmando la necesidad de las recompensas de alineación geométrica.

Significado y Reivindicaciones
El artículo afirma que HOI-R1 establece nuevos puntos de referencia para el HOID basado en MLLM, demostrando que los grandes modelos de lenguaje poseen el potencial inherente para manejar tareas de razonamiento visual complejo y estructurado sin módulos de detección especializados. Al aprovechar el razonamiento en lenguaje natural y el aprendizaje por refuerzo, el marco simplifica el canal de procesamiento de HOID mientras logra un rendimiento competitivo o superior en comparación con los enfoques centrados en detectores. Los autores posicionan este trabajo como un paso hacia la simplificación de las arquitecturas de HOID y la liberación de las capacidades de razonamiento de los MLLM para la comprensión visual de grano fino.