Rethinking Video Human-Object Interaction: Set Prediction over Time for Unified Detection and Anticipation

1. El Problema

La comprensión de la Interacción Humano-Objeto (HOI) en videos requiere no solo detectar interacciones en curso, sino también anticipar su evolución futura. Sin embargo, los métodos existentes presentan dos limitaciones fundamentales:

1. Desacoplamiento de la detección y la anticipación: Los enfoques actuales suelen seguir una formulación de dos etapas: primero detectan o rastrean instancias de humanos y objetos, y luego clasifican o pronostican interacciones sobre pares pre-construidos externamente. Esto convierte a la anticipación en un problema de predicción downstream sobre candidatos externos, en lugar de una evolución estructurada de la misma representación del par. Como resultado, el modelo aprende débilmente cómo persiste, cambia o se disuelve una interacción a lo largo del tiempo.
2. Deficiencias en la evaluación: Los benchmarks actuales (como VidHOI y Action Genome) dependen de anotaciones dispersas en fotogramas clave. Esto crea discontinuidades temporales donde las etiquetas de "futuro" pueden estar separadas de los fotogramas observados por grandes brechas temporales. Esto reduce la fiabilidad de la evaluación, ya que el rendimiento puede reflejar artefactos de anotación en lugar de un razonamiento genuino sobre la dinámica futura continua.

2. Metodología: HOI-DA

Los autores proponen HOI-DA, un marco unificado centrado en pares que realiza conjuntamente la localización sujeto-objeto, la detección de HOI presente y la anticipación futura.

Principio Central

En lugar de predecir interacciones futuras de forma independiente, HOI-DA modela los estados futuros como transiciones residuales desde el estado actual del par. La anticipación no es un añadido posterior, sino una restricción estructural sobre cómo se representan las interacciones a nivel de par en el tiempo.

Arquitectura Clave

• Decodificador Unificado Centrado en Pares: Utiliza "slots" de pares aprendibles ($Q_s$ para sujeto, $Q_o$ para objeto) que mantienen la identidad del par a lo largo del tiempo sin necesidad de rastreo externo. Se crea una representación compartida del par ($Q_{pair}$) que sirve como base tanto para la detección presente como para la anticipación futura.
• Módulo de Resumen Temporal: Para la anticipación, el modelo no extrapola solo desde el último fotograma. Utiliza anclas de horizonte aprendibles que atienden sobre toda la trayectoria histórica del par compartido, condicionando la predicción futura a la historia completa de la interacción.
• Visión Residual: La anticipación se modela como una desviación residual ($R^{(h)}$) del estado de interacción en el límite de observación ($\bar{Z}_{det}$). Esto fuerza al modelo a enfocarse en el cambio de la interacción en lugar de re-describir el contexto presente.
• Rama Semántica Guiada por Lenguaje: Incorpora un codificador de texto (basado en RoBERTa) para inyectar estructura semántica de vocabulario en la predicción de verbos y objetos, ayudando a manejar la distribución de cola larga de los verbos.
• Regularización de Ortogonalidad Dual: Para evitar que las predicciones futuras colapsen hacia el estado presente o sean redundantes entre diferentes horizontes, se introduce una regularización que fuerza la ortogonalidad entre:
  1. El estado presente y el cambio futuro (ortogonalidad de tareas).
  2. Las direcciones de cambio entre diferentes horizontes temporales (ortogonalidad de horizontes).

3. Contribuciones Clave

1. Formulación Unificada (HOI-DA): Un arquitectura que trata la anticipación como una restricción estructural sobre la representación del par, permitiendo un razonamiento temporalmente consistente entre la detección y la anticipación.
2. Regularización de Ortogonalidad Dual: Un mecanismo novedoso que separa el anclaje presente del cambio futuro y asegura diversidad en las predicciones a múltiples horizontes temporales.
3. BenchMark DETAnt-HOI: La creación de un benchmark corregido temporalmente derivado de VidHOI y Action Genome.
   • Corrección de Continuidad: En lugar de construir clips solo con fotogramas de interacción, el protocolo rellena brechas cortas no interactivas (usando anotaciones de VidOR para VidHOI) y elimina brechas largas, asegurando que las etiquetas futuras correspondan a una evolución dinámica continua y no a saltos de anotación.

4. Resultados Experimentales

Los experimentos se realizaron en los componentes de VidHOI y Action Genome del nuevo benchmark DETAnt-HOI.

• Rendimiento Superior: HOI-DA supera consistentemente a los métodos anteriores (como ST-HOI, STTran y Gaze-Tran) en todas las métricas de detección (mAP) y anticipación.
• Ventaja en Horizontes Largos: La mejora es más significativa a medida que aumenta el horizonte de anticipación. Por ejemplo, en VidHOI, HOI-DA supera a Gaze-Tran en +5.10 mAP en el horizonte $h=1$ y en +8.59 mAP en $h=7$. Esto demuestra que la formulación unificada es más robusta ante la incertidumbre temporal.
• Estabilidad en la Puntuación: Las métricas de Recall@k muestran que HOI-DA mantiene un mejor ranking de las interacciones futuras plausibles sobre los mismos pares, no solo una mejor calibración de puntuaciones.
• Estudios de Ablación:
  • La fusión de tareas sin estructura (un solo decodificador sin regularización) funciona peor que los enfoques separados, confirmando que el acoplamiento debe ser estructurado.
  • La eliminación del Módulo de Resumen Temporal degrada severamente la anticipación a largo plazo.
  • La regularización de ortogonalidad es crucial para mantener la distinción entre el estado presente y los cambios futuros a diferentes escalas de tiempo.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en la visión por computadora para la interacción humano-objeto:

• De la Predicción a la Estructura: Demuestra que la anticipación no debe tratarse como una tarea de predicción downstream, sino como una restricción estructural que moldea la representación misma del par humano-objeto.
• Calidad de los Datos: Destaca la importancia crítica de la continuidad temporal en los datos de entrenamiento y evaluación. El benchmark DETAnt-HOI establece un nuevo estándar para evaluar la anticipación de manera fiel, eliminando sesgos introducidos por la escasez de anotaciones.
• Robustez Temporal: Al mantener la identidad del par dentro del modelo (en lugar de depender de rastreadores externos), HOI-DA logra un razonamiento temporalmente consistente que es superior para aplicaciones que requieren comprensión de la evolución de escenas, como la robótica colaborativa y la monitorización de seguridad proactiva.

En resumen, el artículo propone que la clave para una anticipación efectiva en video es aprender representaciones de pares que preserven la identidad y modelen la evolución futura como una transformación estructurada del estado presente, todo ello validado bajo un protocolo de evaluación temporalmente corregido.