RegFormer: Transferable Relational Grounding for Efficient Weakly-Supervised Human-Object Interaction Detection

Resumen Técnico: RegFormer

1. El Problema

La detección de Interacción Humano-Objeto (HOI) busca localizar humanos y objetos en una imagen e identificar sus interacciones como tripletes $\langle$humano, interacción, objeto$\rangle$.

• Limitación de la Supervisión Completa: Entrenar modelos con anotaciones completas (cajas delimitadoras y etiquetas de interacción para cada par) es prohibitivamente costoso y no escala bien a medida que crecen los conjuntos de datos.
• Desafíos de la Supervisión Débil: Los enfoques actuales de supervisión débil (que solo usan etiquetas a nivel de imagen) dependen de detectores de objetos externos para generar pares candidatos. Sin embargo, estos métodos sufren de dos problemas principales:
  1. Costo Computacional: Enumerar y procesar todos los pares posibles de instancias (humano $\times$ objeto) requiere múltiples pasadas forward o recortes de regiones, lo que es ineficiente.
  2. Falsos Positivos: La falta de señales de localización precisas lleva a que el modelo clasifique interacciones en combinaciones no interactivas o en regiones irrelevantes, ya que las regiones unidas (union regions) a menudo contienen ruido.

2. Metodología: RegFormer

Los autores proponen RegFormer (Relational Grounding Transformer), un módulo de reconocimiento de interacciones ligero y versátil que unifica el razonamiento a nivel de imagen y a nivel de instancia dentro de un solo marco.

Arquitectura Clave:
El modelo sigue un enfoque secuencial HO $\to$ I (Pares Humano-Objeto $\to$ Interacción), en lugar de consultar todos los tripletes HOI posibles simultáneamente.

• Codificador de Instancias Pares (Pairwise Instance Encoder):

  • Genera consultas (queries) para pares humano-objeto que están ancladas espacialmente (spatially grounded).
  • En lugar de usar solo embeddings de texto, el modelo calcula la similitud coseno entre las características de los parches de la imagen y los embeddings de texto de las clases de humano y objeto.
  • Esto produce puntuaciones de importancia de parche ($\alpha$) que agregan características visuales relevantes, creando una representación espacialmente localizada para cada par.

• Decodificador de Interacción:

  • Utiliza las consultas de pares ancladas espacialmente para predecir las puntuaciones de interacción mediante atención cruzada con las características de la imagen.
  • Esto permite inferir interacciones directamente sin necesidad de recortar regiones de la imagen para cada par.

• Aprendizaje Consciente de la Interactividad (Interactiveness-aware Learning):

  • Para mitigar los falsos positivos, el modelo aprende una puntuación de interactividad para cada par.
  • Esta puntuación actúa como un mecanismo de "puerta" (gating) que suprime las respuestas a regiones no interactivas y resalta las zonas de interacción real.
  • Combina dos señales:
    1. Interactividad Local: Basada en la región específica del par.
    2. Interactividad Global Enmascarada: Basada en la importancia global de los parches, restringida a la región de la instancia. Esto ayuda a distinguir entre objetos que aparecen en la imagen pero no interactúan.

Transferencia a Nivel de Instancia (Inferencia):
Una ventaja crucial de RegFormer es su capacidad de transferencia directa. Durante la inferencia, al recibir las cajas delimitadoras de un detector de objetos externo:

1. Se aplica una máscara consciente de la región a las consultas y a las puntuaciones de interactividad.
2. Esto restringe el razonamiento a las instancias específicas detectadas.
3. Resultado: El modelo pasa de la clasificación a nivel de imagen a la detección a nivel de instancia sin necesidad de ningún entrenamiento adicional.

3. Contribuciones Principales

1. RegFormer: Un módulo de clasificación ligero que unifica el razonamiento HOI a nivel de imagen e instancia en un solo marco eficiente.
2. Consultas Ancladas Espacialmente y Puntuación de Interactividad: Mejoran la capacidad del modelo para captar señales de interacción localizadas y suprimir combinaciones irrelevantes, mejorando la discriminación.
3. Transferencia Sin Entrenamiento Adicional: El modelo puede transferirse directamente de la clasificación a la detección de instancias simplemente ajustando las consultas con las cajas del detector, logrando un razonamiento eficiente con una sola pasada forward del backbone.
4. Rendimiento Competitivo: Logra un rendimiento comparable a los modelos totalmente supervisados, superando a los métodos de supervisión débil anteriores.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos HICO-DET y V-COCO.

• Eficiencia: A diferencia de métodos anteriores (como ML-Decoder) cuyo tiempo de inferencia aumenta drásticamente con el número de pares de instancias, RegFormer muestra un aumento marginal en el tiempo de inferencia, siendo hasta 128 veces más rápido en escenarios densos.
• Precisión (HICO-DET):
  • RegFormer supera significativamente a los métodos de supervisión débil anteriores (ej. +12.52 mAP en la categoría "Full" sobre ML-Decoder).
  • Con backbones potentes (DINO-B y CLIP-B), alcanza un rendimiento de 38.14 mAP (Full) usando H-DETR, compitiendo directamente con modelos totalmente supervisados de última generación.
  • Destaca especialmente en clases raras, donde los métodos supervisados suelen fallar.
• Detección Zero-Shot: En configuraciones de composición no vistas (Unseen Compositions), RegFormer supera a los métodos de supervisión débil existentes (como OpenCat) por un margen amplio, demostrando una fuerte capacidad de generalización sin necesidad de pre-entrenamiento a gran escala.
• Análisis de Componentes: La combinación de consultas ancladas espacialmente y la puntuación de interactividad aporta mejoras complementarias, siendo la puntuación de interactividad clave para reducir los falsos positivos.

5. Significado e Impacto

RegFormer representa un avance significativo en la comprensión de escenas mediante supervisión débil.

• Escalabilidad: Al eliminar la necesidad de enumerar y procesar exhaustivamente todos los pares de instancias, resuelve el cuello de botella computacional que limitaba la aplicación de la detección HOI en tiempo real o en grandes volúmenes de datos.
• Eficiencia de Anotación: Demuestra que es posible lograr un rendimiento de nivel de instancia de alta calidad utilizando únicamente etiquetas a nivel de imagen, reduciendo drásticamente el costo de anotación.
• Versatilidad: Su diseño agnóstico al detector permite integrarse fácilmente con cualquier detector de objetos moderno, facilitando su adopción en diversos sistemas de visión por computadora.

En resumen, RegFormer establece un nuevo estado del arte en la detección HOI con supervisión débil, logrando un equilibrio óptimo entre eficiencia computacional, precisión y capacidad de generalización.