OSEF: One-Step Evidence Fusion for Cross-Video Scene Procedure Planning

Resumen Técnico: OSEF: Fusión de Evidencia en un Solo Paso para la Planificación de Procedimientos de Escenas en Vídeos Cruzados

1. Definición del Problema: Planificación de Procedimientos de Escenas en Vídeos Cruzados (CVSPP)

El artículo aborda una brecha en la Planificación de Procedimientos de Escenas en Vídeo (VSPP) existente. Los sistemas tradicionales de VSPP asumen que el vídeo de evidencia correcto y la ventana temporal son proporcionados como entrada para predecir una secuencia de acciones que transforma una escena inicial a una escena objetivo. Sin embargo, en escenarios prácticos, la evidencia correcta no está disponible; un sistema debe primero recuperar el vídeo correcto de un conjunto de candidatos y localizar la ventana temporal relevante antes de planificar.

Los autores introducen la Planificación de Procedimientos de Escenas en Vídeos Cruzados (CVSPP) como una tarea de referencia donde un modelo recibe:

1. Una consulta legal: Una descripción textual de una transición inicio-meta con las respuestas redactadas (por ejemplo, "inicio: patatas crudas; meta: patatas fritas doradas servidas") sin revelar el ID del vídeo, los marcas de tiempo o la secuencia de acciones.
2. Un conjunto de candidatos ($K$ vídeos), cada uno dividido en $M$ celdas temporales.

El modelo debe realizar simultáneamente las siguientes tareas:

• Recuperar el vídeo de soporte correcto.
• Localizar la ventana temporal relevante dentro de ese vídeo.
• Planificar la secuencia de acciones ordenada de conjunto cerrado que une los estados inicial y final.

La tarea está definida por dos desafíos acoplados:

• Ambigüedad de Evidencia de la Misma Tarea: Múltiples vídeos candidatos pueden demostrar el mismo procedimiento nominal con etapas y ventanas adyacentes casi idénticas, lo que hace que el condicionamiento basado solo en el nombre de la tarea sea insuficiente.
• Propagación de Errores de Recuperación a la Planificación: En las cascadas estándar de "recuperar-luego-planificar", una selección dura temprana del vídeo o la ventana incorrectos pasa una cadena de escenas errónea al planificador, causando que la pérdida de planificación falle de forma irrecuperable.

2. Metodología: Fusión de Evidencia en un Solo Paso (OSEF)

Para abordar estos desafíos, los autores proponen la Fusión de Evidencia en un Solo Paso (OSEF), un marco que retrasa el compromiso irreversible de la evidencia. En lugar de seleccionar un único vídeo y recortar una ventana antes de planificar, OSEF califica todas las celdas candidatas y alimenta la representación completa de evidencia suave al planificador en una única ruta diferenciable.

La arquitectura consta de tres componentes principales:

1. Red de Evidencia Condicionada por Consulta:

   • El modelo califica cada celda $(k, m)$ en la red de $K \times M$ candidatos contra la consulta legal $q$.
   • Un levantamiento simétrico sin parámetros construye intervalos cerrados válidos $(i \le j)$ para formar una red de puntuaciones $H_\theta(q, k, i, j)$.
   • El argmax de esta red determina el vídeo reportado y el intervalo localizado para la evaluación, pero la ruta del planificador retiene todas las $K \times M$ celdas.

2. Adaptador de Evidencia-a-Planificación (E2P) Global de Tokens:

   • Este componente evita la pérdida de señales a nivel de celda que ocurre en el agrupamiento (pooling) estándar.
   • Aplana toda la red $K \times M$ (sin recortar) y la procesa a través de un codificador Transformer de una sola capa.
   • $2T$ consultas de punto final aprendidas (que representan los estados inicial y final para cada uno de los $T$ pasos) realizan una atención cruzada con todas las celdas de la red.
   • Esto produce un tensor de cadena de estados de escena ($B \times T \times 2 \times d_v$) donde la evidencia de cada candidato permanece disponible para el planificador, incluso si la selección de argmax duro es incorrecta.

3. Planificador Condicionado por Objetivo:

   • Un Transformer de tres capas mapea los pares de estados a logits de acción por paso.
   • La consulta legal condiciona al planificador mediante dos mecanismos: un escalado/desplazamiento afín tipo FiLM sobre los tokens de estado y como un token distinto antepuesto para la atención.
   • Una cabeza compartida decodifica los $T$ pasos.

Objetivo de Entrenamiento:
El modelo emplea una Supervisión de Cascada Conjunta. La pérdida ($L_{JC}$) combina la pérdida de entropía cruzada del plan generado a partir de la cadena global suave ($\hat{S}$) con una suma ponderada de las pérdidas de los planes generados por las cadenas candidatas individuales ($S_k$), ponderadas por la probabilidad de recuperación $p_k$. Esto permite que la pérdida de planificación reformule la representación de la evidencia.

3. Construcción del Benchmark

Los autores construyeron un benchmark a partir de 11 fuentes de vídeo instructivo (3 benchmarks de planificación nativos: COIN, CrossTask, NIV; y 8 fuentes convertidas como YouCook2, Ego4D, etc.).

• Auditoría de Consulta Legal: Una puerta de "cierre de fallo" asegura que las consultas no contengan filtraciones de la verdad de base (sin IDs de vídeo, marcas de tiempo o secuencias de acciones).
• Roles Negativos: El benchmark incluye roles negativos tipificados para probar modos de fallo específicos: Vídeo Incorrecto (WV), Ventana Incorrecta (WO) y Tarea Incorrecta (WA).
• Métricas:
  • Eje de Evidencia: R@1 de vídeo exacto, MRR y span-IoU.
  • Eje de Planificación: Precisión Media por paso (MAcc) y Éxito de Secuencia Exacta (PLAN-SR).
  • Métrica Completa: FULL-SR, la probabilidad de recuperar correctamente el vídeo, localizar la ventana y predecir la secuencia de acciones exacta simultáneamente.

4. Resultados Clave

El artículo evalúa OSEF frente a nueve familias de planificadores adaptados (incluyendo planificadores latentes, de grafos, generativos y de secuencia discreta) a través de 14 celdas de origen-horizonte.

• Rendimiento de Clasificación: OSEF ocupa el primer lugar en las seis celdas nativas (COIN, CrossTask, NIV) donde el ranking de métodos es válido.
• Ganancias de Rendimiento: En cuatro celdas de la misma tarea (COIN-T3/T4 y CrossTask-T3/T4), OSEF mejora el FULL-SR entre 2.9 y 10.7 puntos porcentuales sobre un baseline SOTA de selección dura mejorado.
• Análisis de Componentes: Un estudio de ablación revela que la interfaz global de tokens (retener todas las celdas en lugar de agruparlas) representa el mayor incremento individual en el rendimiento. El agrupamiento suave por sí solo es insuficiente; la capacidad de leer toda la red mediante consultas aprendidas es crítica.
• Modos de Fallo:
  • La recuperación está casi saturada en candidatos de tareas distintas para fuentes específicas (por ejemplo, NIV-T3 alcanza 99.20% R@1), pero la planificación sigue siendo el cuello de botella.
  • La localización es débil; un plan correcto no garantiza una ventana correcta (el FULL-SR sigue siendo alto incluso cuando el span-IoU es bajo).
  • En las fuentes convertidas con etiquetas gruesas (por ejemplo, CEgo, TACoS), el rendimiento suele situarse cerca del "suelo de la secuencia mayoritaria", lo que indica que estas celdas son pruebas de estrés de degeneración de etiquetas más que de ranking de evidencia.

5. Significado y Reivindicaciones

El artículo afirma ser el primer benchmark que puntúa recuperación, localización y planificación juntos a partir de una consulta con las respuestas redactadas. Su importancia radica en:

1. Formalizar el Problema Acoplado: Separa explícitamente la "ambigüedad de evidencia de la misma tarea" de la "propagación de errores de recuperación a la planificación", demostando que las cascadas de selección dura son frágiles.
2. Introducir la Fusión Suave: OSEF demuestra que mantener la evidencia "suave" sobre toda la red de candidatos y alimentarla al planificador mediante un adaptador global de tokens supera significativamente a los baselines de selección dura.
3. Evaluar la Transferencia: Proporciona un banco de pruebas riguroso para ver cómo se transfieren los planificadores VSPP existentes cuando la evidencia no es suministrada, revelando que la mayoría de los planificadores heredados fallan sin la interfaz específica de OSEF.

Los autores señalan modestamente las limitaciones: la configuración actual utiliza características congeladas y consultas deterministas, y el coste de la red crece con el número de candidatos ($K$). Identifican la decodificación de intervalos fiel y los backbones más fuertes como desafíos abiertos. El paquete suplementario incluye constructores de modelos y código de evaluación.