Revisiting Weakly-Supervised Video Scene Graph Generation via Pair Affinity Learning

1. El Problema: La Brecha en la Supervisión Débil

La generación de grafos de escena en video (VSGG) busca parsear el contenido de un video en triplets estructurados $\langle$ sujeto, predicado, objeto $\rangle$. Mientras que los métodos totalmente supervisados (FS-VSGG) requieren anotaciones exhaustivas de cuadros delimitadores (bounding boxes) y relaciones en cada frame, los métodos de supervisión débil (WS-VSGG) intentan reducir costos utilizando solo triplets no localizados (sin cajas) en el frame central del video.

El problema fundamental identificado por los autores es una discrepancia en la distribución de detección:

• FS-VSGG: Los detectores se ajustan (fine-tuning) para filtrar objetos no interactivos, entregando propuestas centradas en relaciones.
• WS-VSGG: Dependen de detectores "off-the-shelf" (pre-entrenados) que detectan todos los objetos visibles. Esto genera un espacio de detección masivo dominado por pares no interactivos (ruido).
• La falla actual: Los métodos existentes entrenan modelos de predicción de relaciones solo en pares "emparejados" (interactivos) y descartan los no emparejados. Sin embargo, en la inferencia, el modelo debe operar sobre un espacio lleno de pares no interactivos que nunca vio durante el entrenamiento, lo que crea una brecha severa entre entrenamiento y prueba. Además, el emparejamiento basado solo en la clase (ej. "persona" con "taza") genera falsos positivos cuando hay múltiples objetos de la misma clase en la escena.

2. Metodología Propuesta

Los autores proponen un marco unificado que introduce el aprendizaje de afinidad de pares para distinguir entre pares interactivos y no interactivos. La metodología consta de tres componentes principales:

A. Emparejamiento Consciente de la Relación (Relation-Aware Matching - RAM)

Para resolver la ambigüedad del emparejamiento a nivel de clase (donde múltiples objetos de la misma clase se marcan falsamente como positivos):

• Utiliza modelos de Visión-Lenguaje (VL) (como GroundingDINO) para anclar descripciones relacionales a instancias específicas.
• Construye consultas de texto enriquecidas con contexto relacional (ej. "la taza que la persona está sosteniendo" en lugar de solo "taza").
• Extrae mapas de atención cruzada para identificar la instancia visualmente consistente con la relación.
• Calcula una puntuación de fiabilidad basada en la concentración espacial de la atención. Si es fiable, se realiza un emparejamiento "grounded"; si no, se recurre al emparejamiento por clase.
• Resultado: Genera etiquetas pseudo-localizadas más limpias para el entrenamiento.

B. Aprendizaje y Puntuación de Afinidad de Pares (Pair Affinity Learning and Scoring - PALS)

En lugar de descartar los pares no emparejados, el modelo los utiliza como supervisión negativa para aprender una afinidad de pares:

• Representación Dual: El modelo mantiene dos embeddings paralelos para cada par: uno para la clasificación del predicado (relación específica) y otro para la afinidad de pares (probabilidad de que el par interactúe, independientemente del predicado).
• Entrenamiento: Se entrena un clasificador binario para distinguir pares interactivos (positivos) de no interactivos (negativos), utilizando una formulación de pérdida balanceada por clase para manejar el desequilibrio masivo.
• Inferencia: La puntuación de afinidad ($PA$) se incorpora en la puntuación final de ranking:
  $$Score(s, p, o) = conf_s \cdot conf_o \cdot PC_p \cdot PA_{(s,o)}$$
  Esto permite suprimir pares no interactivos incluso si tienen alta confianza de detección.

C. Modulación de Afinidad de Pares (Pair Affinity Modulation - PAM)

Para abordar el problema de que los pares no interactivos dominen el razonamiento contextual dentro de la red (atención espacial y temporal):

• Se introduce un mecanismo de "puerta" (gating) en las capas de atención.
• Se construye una matriz de afinidad par a par ($G_i$) que modula los logits de atención.
• Funcionamiento: Los pares con baja afinidad (no interactivos) tienen su flujo de información atenuado, mientras que los pares interactivos pueden atenderse preferentemente entre sí. Esto mejora el razonamiento contextual y evita que el ruido diluya las señales relacionales verdaderas.

3. Contribuciones Clave

1. Identificación de la Brecha de Distribución: Demostraron que la falta de filtrado de pares no interactivos en WS-VSGG es un cuello de botella fundamental que los métodos anteriores ignoran.
2. Marco PALS: Introducen un mecanismo de aprendizaje de afinidad que trata la interacción como una tarea binaria separada de la clasificación de predicados, permitiendo al modelo aprender a ignorar el ruido.
3. Mecanismo RAM: Proponen una técnica de pre-procesamiento basada en visión-lenguaje para refinar las etiquetas pseudo-localizadas, reduciendo significativamente el ruido en las etiquetas de entrenamiento.
4. Módulo PAM: Desarrollan un módulo plug-and-play que modula la atención interna de la red para suprimir el contexto no relevante, mejorando la robustez del razonamiento.

4. Resultados Experimentales

Los experimentos se realizaron en el dataset Action Genome (AG) bajo el protocolo SGDet (detección de grafos de escena).

• Rendimiento SOTA: El método propuesto supera consistentemente a los baselines de estado del arte (PLA, TRKT) con diferentes arquitecturas de backbone (STTran, DSG-DETR).
• Mejoras Cuantitativas:
  • Se logran ganancias promedio de +5.47 en R@10 (con restricción) y +6.43 (sin restricción) sobre los mejores baselines.
  • La configuración óptima alcanza el 88.3% y 94.3% del rendimiento de los modelos totalmente supervisados (el límite superior), a pesar de usar solo anotaciones débiles de un solo frame.
• Estudios de Ablación:
  • RAM: Mejora la calidad de las etiquetas pseudo, aumentando la precisión de los emparejamientos en un 80% en algunos casos.
  • PALS: Es el componente individual con mayor impacto, confirmando que la incapacidad de filtrar pares no interactivos es el principal obstáculo.
  • PAM: Proporciona mejoras consistentes, especialmente en escenarios con alta densidad de pares no interactivos.
• Eficiencia: El método añade un sobrecosto computacional mínimo (+1.27% de parámetros, latencia casi nula) y RAM es un paso de pre-procesamiento que no afecta la inferencia.

5. Significado e Impacto

Este trabajo es significativo porque cierra la brecha de rendimiento entre la supervisión débil y la completa en la generación de grafos de escena en video.

• Cambio de Paradigma: Demuestra que simplemente usar detectores genéricos no es suficiente; es crucial modelar explícitamente la "interactividad" de los pares de objetos.
• Generalización: El enfoque es agnóstico al backbone y al tipo de supervisión débil (funciona tanto con triplets no localizados como con subtítulos de video).
• Aplicabilidad: La idea de aprender una afinidad de interacción para filtrar ruido y modular la atención puede extenderse a otras tareas de visión por computadora con supervisión débil donde el ruido de fondo es un problema crítico.

En resumen, el artículo presenta una solución elegante y eficiente que aborda la raíz del problema en WS-VSGG: la contaminación del espacio de detección por objetos irrelevantes, utilizando aprendizaje de afinidad y razonamiento contextual mejorado para recuperar la precisión de los sistemas totalmente supervisados.