Motion-aware Contrastive Learning for Temporal Panoptic Scene Graph Generation

1. Definición del Problema

El artículo aborda la Generación Temporal de Grafos de Escena Panóptica (TPSGG), una tarea que busca generar grafos de escena dinámicos a partir de entradas de video (incluyendo videos naturales, RGB-D y nubes de puntos 4D).

• Objetivo: Representar entidades como nodos y sus relaciones espacio-temporales como aristas, capturando tanto interacciones estáticas (p. ej., "de pie sobre") como dinámicas (p. ej., "patinando", "abriendo").
• Limitaciones de los Métodos Existentes: Los enfoques actuales de vanguardia suelen seguir una tubería de dos etapas:
  1. Segmentación y Rastreo: Generar "tubos de máscara" (secuencias de máscaras de segmentación rastreadas a través del tiempo).
  2. Predicción de Relaciones: Codificar estos tubos utilizando agrupación global (p. ej., agrupación promedio) seguida de una MLP para clasificar las relaciones.
• El Problema Central: Las operaciones de agrupación global aplanan la dimensión temporal, descartando efectivamente los patrones de movimiento y el orden de los cuadros. Esto conduce a un rendimiento deficiente en relaciones dinámicas, ya que el modelo depende en gran medida de semánticas visuales estáticas en lugar de la evolución del movimiento. Los métodos existentes de aprendizaje contrastivo para videos a menudo se centran en semánticas a nivel de cuadro o en clips completos, fallando en aislar el movimiento específico de los tubos de máscara de entidad.

2. Metodología

Los autores proponen un novedoso Marco de Aprendizaje Contrastivo Consciente del Movimiento diseñado para obligar al modelo a aprender representaciones sensibles a las trayectorias de movimiento en lugar de solo a la apariencia estática.

A. Descripción General del Marco

El marco se integra con una columna vertebral estándar de TPSGG (Segmentación Panóptica + Clasificación de Relaciones) pero introduce un objetivo específico de aprendizaje contrastivo durante el entrenamiento para refinar las representaciones de los tubos de máscara de entidad ($H_i$).

B. Estrategias de Aprendizaje Contrastivo

El objetivo es acercar las representaciones de patrones de movimiento similares y separar aquellas con patrones distintos.

1. Muestreo Positivo:
   • Selecciona tubos de máscara de videos diferentes que comparten la misma categoría de tripleta sujeto-relación-objeto (S-R-O) (p. ej., "persona pateando pelota" del Video A y "persona pateando pelota" del Video B).
   • Racional: Dado que las semánticas visuales difieren entre videos, el modelo se ve obligado a confiar en la trayectoria de movimiento compartida para asociar la ancla y las muestras positivas.
2. Muestreo Negativo (Dos Estrategias):
   • Basado en Mezcla (Shuffle): Toma el tubo ancla y mezcla temporalmente los cuadros ($\pi(H_a)$).
     • Desafío: Las relaciones estáticas (p. ej., "sobre") tienen poco movimiento, lo que hace que las versiones mezcladas sean idénticas a la original.
     • Solución: Los autores introducen una Estrategia de Selección de Movimiento Fuerte utilizando bordes de flujo óptico para filtrar y seleccionar solo tubos con amplitud de movimiento significativa para la mezcla.
   • Basado en Tripleta: Selecciona tubos negativos del mismo video pero con diferentes tripletas S-R-O.
     • Estrategia: Utiliza una distribución multinomial para muestrear preferentemente tripletas que comparten categorías visuales (sujeto/objeto) con la ancla pero tienen relaciones diferentes. Esto crea "negativos difíciles" que obligan al modelo a distinguir relaciones basándose en el movimiento en lugar de la similitud visual.

C. Transporte Óptimo para la Cuantificación de Relaciones

Un desafío crítico es medir la similitud entre dos tubos de máscara de longitudes potencialmente diferentes (diferentes duraciones de eventos). La agrupación estándar falla aquí.

• Enfoque: Los autores tratan dos tubos de máscara como distribuciones de probabilidad discretas ($\mu$ y $\nu$).
• Métrica: Utilizan la distancia de Transporte Óptimo (OT) (específicamente usando el algoritmo Sinkhorn) para encontrar el costo mínimo para transportar una distribución a la otra.
• Beneficio: Esto sincroniza efectivamente los estados de movimiento de dos tripletas, preservando la evolución temporal y la trayectoria de las máscaras sin requerir que sean de igual longitud. La puntuación de similitud se deriva como $sim = \alpha - d_{OT}$.

3. Contribuciones Clave

1. Marco Contrastivo Consciente del Movimiento: Un paradigma de aprendizaje novedoso que fomenta explícitamente que el modelo aprenda representaciones basadas en patrones de movimiento alineando tripletas S-R-O similares a través de diferentes videos y separándolas de tripletas mezcladas temporalmente o visualmente similares pero semánticamente diferentes.
2. Transporte Óptimo para la Alineación de Tubos: La introducción de la distancia de Transporte Óptimo para cuantificar relaciones entre tubos de máscara de longitudes variables, superando las limitaciones de la agrupación temporal en la captura de dinámicas de movimiento.
3. Selección de Movimiento Fuerte: Una estrategia heurística que utiliza flujo óptico para filtrar relaciones estáticas durante el muestreo negativo, asegurando que el objetivo contrastivo permanezca efectivo.
4. Rendimiento de Vanguardia: Demostró mejoras significativas sobre los métodos existentes en conjuntos de datos de videos naturales y 4D, particularmente en el reconocimiento de relaciones dinámicas.

4. Resultados Experimentales

El método fue evaluado en OpenPVSG (videos naturales) y PSG4D (videos RGB-D y de nubes de puntos 4D).

• Conjuntos de Datos:
  • OpenPVSG: 400 videos (ViDOR, Epic-Kitchens, Ego4D).
  • PSG4D: Incluye PSG4D-GTA (tercera persona) y PSG4D-HOI (egocéntrica).
• Métricas: Recall en K (R@K) y Recall medio en K (mR@K).
• Hallazgos Clave:
  • Rendimiento General: El método propuesto ("Ours") superó a las bases de referencia fuertes (IPS+T-Convolution, IPS+T-Transformer, PSG4DFormer) en todas las métricas.
  • Relaciones Dinámicas: Como se ilustra en la Figura 1, el método mejoró significativamente el rendimiento en predicados dinámicos (p. ej., "patinando", "corriendo sobre") en comparación con las bases de referencia que favorecían relaciones estáticas (p. ej., "de pie sobre").
  • Datos 4D: Logró ganancias sustanciales tanto en entradas de nubes de puntos como RGB-D, mostrando generalización más allá de los videos 2D estándar.
  • Estudios de Ablación:
    • Eliminar ya sea la pérdida contrastiva basada en mezcla o la basada en tripleta degradó el rendimiento, siendo la basada en tripleta ligeramente más fundamental.
    • Reemplazar el Transporte Óptimo con Agrupación Estándar + Distancia Coseno/L2 resultó en una menor precisión, confirmando la necesidad de preservar la estructura temporal.
    • El umbral $\gamma$ para seleccionar tubos de movimiento fuerte mostró un punto óptimo; demasiado bajo incluye ruido estático, demasiado alto reduce el volumen de datos.

5. Significado

Este trabajo cierra la brecha entre la segmentación panóptica y el razonamiento temporal. Al cambiar el enfoque de las características visuales estáticas a las representaciones conscientes del movimiento, el artículo resuelve un cuello de botella crítico en la generación de grafos de escena: la incapacidad de modelar con precisión las interacciones dinámicas.

• Impacto Técnico: Demuestra que el aprendizaje contrastivo, cuando se diseña cuidadosamente con restricciones específicas del dominio (tubos de máscara, transporte óptimo), puede extraer efectivamente dinámicas temporales que las capas de agrupación estándar pasan por alto.
• Aplicación: La capacidad mejorada para comprender relaciones dinámicas es crucial para agentes autónomos, robótica y sistemas de vigilancia inteligentes que deben interactuar o predecir acciones humanas en tiempo real.