ESTANet: Efficient Online Error Detection in Procedural Videos via Prediction Inconsistency

Resumen Técnico: ESTANet

Planteamiento del Problema
El artículo aborda el desafío de la detección de errores en tiempo real y en línea en videos procedimentales. A diferencia de los métodos offline que procesan videos completos, los sistemas online deben operar de forma causal utilizando únicamente los fotogramas pasados y actuales, un requisito para el despliegue práctico en dispositivos vestibles (por ejemplo, Microsoft HoloLens, Apple Vision Pro) que asisten a los usuarios en tareas cotidianas. El sistema debe detectar dos tipos distintos de errores:

1. Errores de Ejecución: Acciones que son interrumpidas, realizadas incorrectamente o que son ajenas al proceso (por ejemplo, dejar caer un cuchillo, añadir azúcar en lugar de miel).
2. Errores Procedimentales: Desviaciones en la secuencia, como la omisión, repetición o desorden de los pasos (por ejemplo, apretar las patas de una mesa antes de insertar un soporte transversal).

Los métodos online existentes sufren limitaciones: a menudo detectan solo el primer error, pasan por alto errores de ejecución matizados, dependen de Modelos de Lenguaje Extensos (LLM) pesados que dificultan el rendimiento en tiempo real, o requieren videos anotados con errores y sin errores durante el entrenamiento.

Metodología: ESTANet
Los autores proponen ESTANet (Error-Sensitive and Temporally-vArying Network), un marco ligero que detecta errores explotando las inconsistencias de predicción entre un pequeño conjunto de detectores de acciones. La hipótesis central es que los detectores de acciones con diferentes sensibilidades y contextos temporales divergirán naturalmente en sus predicciones cuando ocurre un error, mientras que se mantendrán consistentes en ejecuciones correctas.

El marco consta de cuatro detectores divididos en dos categorías:

1. Detectores Estándar vs. Sensibles al Error (Captura de Errores de Ejecución):

   • Detectores Estándar: Utilizan una arquitectura simple que consiste en una Unidad Recurrente de Puerta (GRU) de una sola capa seguida de una cabeza de clasificación lineal. Están entrenados para producir predicciones estables.
   • Detectores Sensibles al Error: Incorporan un módulo de Atención Dinámica Temporalmente Consciente (TAD). El módulo TAD genera pesos y sesgos dinámicos para la transformación afín de las características de los fotogramas antes de que entren en la GRU. Estos parámetros dependen de la entrada y son conscientes del tiempo, lo que hace que el detector sea altamente sensible a los datos fuera de distribución (es decir, errores de ejecución), provocando predicciones inconsistentes en comparación con los detectores estándar.

2. Diseño de Variación Temporal (Captura de Errores Procedimentales):

   • El sistema entrena detectores con diferentes tamaños de ventana temporal: una ventana pequeña ($s$) y una ventana grande ($l$).
   • Estrategia para la Selección de Ventanas: En lugar de una búsqueda exhaustiva de hiperparámetros, los autores proponen una estrategia robusta y específica de cada conjunto de datos:
     • $s$ se establece como la duración media más corta de cualquier acción en el conjunto de datos, obligando al detector a depender de un contexto parcial.
     • $l$ se calcula para cubrir $\beta$ (establecido en 2) acciones completas precedentes para aproximadamente $\theta$ (establecido en 50%) de las acciones en el conjunto de datos.
   • Esto asegura que cuando ocurre un error procedimental (por ejemplo, un paso faltante), el detector con la ventana grande (que depende de dependencias de largo alcance) prediga de forma diferente al detector con la ventana pequeña (que depende de un contexto de corto alcance).

Inferencia y Lógica de Decisión
Durante la inferencia, el sistema procesa los fotogramas de forma causal. Genera cuatro predicciones de acción por fotograma:

• $y^{s-st}$ y $y^{s-lg}$: Detectores estándar con ventanas pequeñas y grandes.
• $y^{e-st}$ y $y^{e-lg}$: Detectores sensibles al error con ventanas pequeñas y grandes.

El sistema construye cuatro pares de comparación para verificar la concordancia:

1. $(y^{s-st}, y^{e-st})$ y $(y^{s-lg}, y^{e-lg})$: Detectan errores de ejecución comparando las predicciones estándar frente a las sensibles al error.
2. $(y^{s-st}, y^{s-lg})$ y $(y^{e-st}, y^{e-lg})$: Detectan errores procedimentales comparando las predicciones a través de diferentes ventanas temporales.

Un fotograma se marca como error ($z_t = 1$) si al menos tres de los cuatro pares muestran un desajuste (votación por mayoría). El modelo se entrena exclusivamente con videos libres de errores utilizando una combinación de pérdida de entropía cruzada y una pérdida de suavizado para asegurar la consistencia temporal.

Contribuciones Clave

• Perspectiva Novedosa: El artículo cambia el enfoque del diseño de arquitecturas complejas hacia el aprovechamiento de los comportos de predicción intrínsecos de los detectores de acciones. Demuestra que las inconsistencias entre detectores simples son una señal poderosa para la detección de errores.
• Arquitectura Ligera: ESTANet evita componentes pesados como LLM o aprendizaje de grafos complejo, utilizando solo GRUs y un módulo TAD ligero, asegurando la eficiencia en tiempo real para dispositivos de borde.
• Estrategia Robusta de Selección de Ventanas: El artículo introduce un método automatizado y agnóstico al conjunto de datos para determinar los tamaños de ventana temporal óptimos ($s$ y $l$), eliminando la necesidad de búsquedas heurísticas laboriosas.
• Detección Unificada: El marco aborda simultáneamente errores de ejecución y procedimentales sin requerir datos de error anotados durante el entrenamiento.

Resultados Experimentales
Los autores evaluaron ESTANet en tres conjuntos de datos: EgoPER (que contiene ambos tipos de errores), Assembly-101-O y EPIC-Tent-O (enfocados en errores procedimentales).

• EgoPER: ESTANet logró un rendimiento de vanguardia con F1@10 de 47.2, F1@25 de 37.8 y F1@50 de 21.6, superando a las bases como PREGO y DTGL.
• Assembly-101-O: El método logró un Avg-F1 de 59.6, superando a DTGL (53.5) y PREGO (32.5).
• EPIC-Tent-O: ESTANet logró un Avg-F1 de 70.2, superando significativamente a DTGL (46.5) y PREGO (29.4).
• Eficiencia: El modelo mantiene la eficiencia en tiempo real debido a su diseño ligero, evitando los problemas de latencia asociados con los enfoques basados en LLM.

Significado y Reivindicaciones
El artículo afirma que ESTANet proporciona una solución práctica y poderosa para la detección de errores en línea al aprovechar las propiedades intrínsecas de los detectores de acciones en lugar de aumentar la complejidad arquitectónica. Los autores enfatizan que su enfoque se alinea con las restricciones del mundo real donde los videos normales (libres de errores) son abundantes, pero los datos de error anotados son escasos. Al lograr un rendimiento de vanguardia con un simple conjunto de GRUs, el trabajo sugiere que la inconsistencia de la predicción es una señal fundamental y subutilizada para detectar desviaciones en tareas procedimentales.