HOI-aware Adaptive Network for Weakly-supervised Action Segmentation

A continuación se presenta un resumen técnico detallado del artículo "Red Adaptativa Consciente de la Interacción Humano-Objeto para la Segmentación de Acciones Débilmente Supervisada" (AdaAct).

1. Enunciado del Problema

El artículo aborda el desafío de la Segmentación de Acciones Débilmente Supervisada (WSAS), cuyo objetivo es predecir la etiqueta de la acción para cada fotograma de un video utilizando únicamente una transcripción (una lista ordenada de acciones) como supervisión, sin contar con marcas de tiempo precisas de inicio/fin.

Desafíos Clave Identificados:

• Ambigüedad en Acciones Similares: Los métodos existentes suelen depender de codificadores temporales fijos que analizan vecindades locales de fotogramas. Esto falla al distinguir entre acciones semánticamente similares (por ejemplo, "verter café" frente a "verter jugo") porque las características visuales de los fotogramas inmediatos son altamente similares.
• Falta de Contexto Global: Los enfoques actuales tratan los fragmentos de video como entradas de longitud fija, omitiendo el contexto más amplio proporcionado por toda la secuencia del video.
• Redes Estáticas: La mayoría de los métodos utilizan una arquitectura de red fija para todos los videos, lo que impide que el modelo se adapte al contexto semántico específico (por ejemplo, los objetos específicos presentes) de un video dado en el momento de la prueba.

2. Metodología: AdaAct

Los autores proponen AdaAct, una red adaptativa que aprovecha las Interacciones Humano-Objeto (HOI) como conocimiento previo a nivel de video para ajustar dinámicamente los parámetros de la red durante la inferencia. La arquitectura consta de dos componentes principales:

A. Codificador de HOI de Video

Este módulo extrae, selecciona e integra información de HOI de todo el video para crear un vector de contexto global. Opera en tres etapas:

1. Extracción: El video se submuestrea (15 FPS) y un detector de HOI preentrenado (con pesos congelados) identifica las cajas delimitadoras de las manos y los objetos, junto con puntuaciones de confianza de interacción.
2. Selección (Video-NMS): Un algoritmo novedoso de Video-NMS filtra las interacciones detectadas. A diferencia del NMS estándar que solo utiliza la Intersección sobre Unión (IoU), este añade una restricción temporal para eliminar detecciones duplicadas de alta puntuación a lo largo del tiempo. Se seleccionan las $K$ interacciones superiores.
3. Integración: Las $K$ interacciones seleccionadas son procesadas por una red basada en Transformers (ViT). Se añade un token aprendible a la secuencia de incrustaciones de HOI, y el estado de salida de este token sirve como conocimiento dependiente de HOI ($s$).

B. Codificador Temporal Adaptativo (Red Hiper)

En lugar de utilizar un codificador temporal fijo, AdaAct emplea una Red Hiper de dos ramas para generar los pesos y sesgos del codificador temporal (un esqueleto basado en GRU) dinámicamente en función del contexto de HOI del video de entrada.

• Rama Independiente de HOI ($z$): Aprende las características generales de los videos instruccionales. Mantiene una lista de incrustaciones aprendibles que se actualiza iterativamente durante el entrenamiento. Esta rama captura conocimiento transferible común a todos los videos.
• Rama Dependiente de HOI ($s$): Toma el vector de características de HOI codificado (del Codificador de HOI de Video) como entrada. Adapta el codificador específicamente a las interacciones únicas de objetos presentes en el video actual.
• Fusión: Los pesos ($W$) y sesgos ($b$) para el codificador temporal se generan fusionando las salidas de ambas ramas (multiplicación elemento a elemento para los pesos). Esto permite que la red ajuste "sobre la marcha" sus parámetros para distinguir acciones similares basándose en los objetos específicos detectados (por ejemplo, ver un "exprimidor" y una "naranja" sesga el modelo hacia "verter jugo" en lugar de "café").

C. Entrenamiento y Decodificación

• Función de Pérdida: El modelo se entrena utilizando una Pérdida Discriminativa Forward Constrained, que maximiza la diferencia de energía entre segmentaciones válidas e inválidas.
• Decodificación: Durante la inferencia, se utiliza el algoritmo de Viterbi para encontrar la secuencia de acciones óptima y las longitudes de los segmentos basándose en las probabilidades por fotograma generadas por el codificador adaptativo.

3. Contribuciones Clave

1. Primer Codificador Temporal Adaptativo para WSAS: El artículo introduce el primer marco donde los parámetros del codificador temporal se adaptan dinámicamente al contenido del video de entrada durante el momento de la prueba, en lugar de utilizar un modelo estático.
2. HOI como Prior Global: Propone explotar la información de HOI global temporalmente pero local espacialmente para resolver la ambigüedad. Al identificar objetos clave (por ejemplo, un cuchillo frente a una cafetera) a través de todo el video, el modelo obtiene un contexto crucial para distinguir acciones similares.
3. Rendimiento de Vanguardia: El método logra resultados superiores en dos conjuntos de datos desafiantes (Breakfast y 50Salads) tanto para tareas de segmentación de acciones como de alineación de acciones.

4. Resultados Experimentales

El método fue evaluado en los conjuntos de datos Breakfast y 50Salads utilizando cuatro métricas: Media sobre Fotograma (MoF), MoF sin Fondo (MoF-BG), Intersección sobre Unión (IoU) e Intersección sobre Detección (IoD).

• Conjunto de Datos Breakfast: AdaAct logró un 51.2% MoF y un 48.3% MoF-BG, superando a la vanguardia anterior (CDFL/TASL) en 1.4% y 1.2% respectivamente.
• Conjunto de Datos 50Salads: AdaAct logró un 55.6% MoF y un 50.3% MoF-BG, mejorando la línea base en 0.9% y 0.5%.
• Alineación de Acciones: Incluso cuando se proporcionan transcripciones durante la inferencia (un escenario de supervisión más fuerte), AdaAct sigue superando a los métodos existentes, mostrando una ganancia de +1.8% MoF en 50Salads.
• Estudios de Ablación:
  • Eliminar el conocimiento dependiente de HOI redujo el MoF en un 3.7%.
  • Eliminar el conocimiento independiente de HOI redujo el MoF en un 0.9%.
  • La dimensión óptima de conocimiento se encontró en 128.
• Análisis Cualitativo: El modelo corrigió con éxito errores en acciones de "verter" (café frente a jugo frente a leche) aprovechando la presencia de objetos específicos (por ejemplo, un exprimidor) detectados en el codificador de HOI, lo cual los métodos fijos pasaron por alto.

5. Significancia

Este trabajo representa un cambio significativo en la segmentación de acciones débilmente supervisada al pasar de la extracción de características estática a la adaptación dinámica de parámetros consciente del contexto.

• Resolución de Ambigüedad: Resuelve eficazmente el problema de la "acción similar" inyectando contexto semántico a nivel de video (HOI) directamente en el proceso de toma de decisiones de la red.
• Eficiencia: Logra estas mejoras sin requerir anotaciones costosas a nivel de fotograma, confiando únicamente en transcripciones y detectores de HOI preentrenados.
• Generalizabilidad: La tubería de "extraer-seleccionar-integrar" para HOI y el enfoque de Red Hiper para la adaptación de parámetros ofrecen un nuevo paradigma para manejar la ambigüedad temporal en tareas de comprensión de video.