Resumen Técnico: EgoAction para la Detección de Acciones en EPIC-KITCHENS

1. Definición del Problema

El artículo aborda el desafío de Detección de Acciones en EPIC-KITCHENS-100, que requiere que los modelos localicen los tiempos de inicio y fin de las instancias de acción en videos egocéntricos largos y sin recortar, y asignen una etiqueta composicional compuesta por un verbo y un sustantivo (por ejemplo, "abrir nevera").

La dificultad central reside en el acoplamiento de la localización temporal y la semántica composicional. Una predicción solo es correcta si la Intersección sobre Unión temporal (tIoU) supera un umbral y el par verbo-sustantivo es preciso. Los autores identifican tres cuellos de botella específicos en este escenario:

• C1: Ambigüedad de los Límites: El temblor de la cámara egocéntrica y las fases de interacción cortas provocan desplazamientos temporales en las propuestas, incluso cuando la clasificación es correcta.
• C2: Degeneración Específica del Flujo: El flujo de sustantivos a menudo falla debido a la oclusión o el desorden, mientras que el flujo de verbos falla debido a movimientos sutiles o retrasados. Un promedio aritmético fijo de los límites de ambos flujos amplifica los errores cuando uno de los flujos es poco fiable.
• C3: Esparsidad Composicional: Con 97 verbos y 300 sustantivos, el espacio de acciones es vasto pero disperso. El sistema debe mantener candidatos ricos sin una explosión combinatoria antes de la Supresión de Máximos No Suprimidos (NMS).

2. Metodología: EgoAction

El sistema propuesto, EgoAction (Composición de Acción Egocéntrica con fusión temporal consciente de la fiabilidad), es una tubería de detección unificada y desacoplada. Evita forzar a los sustantivos y verbos en un único detector conjunto, tratándolos en su lugar como flujos complementarios con fiabilidad de localización variable.

2.1. Extracción de Características

La tubería utiliza características VideoMAE-L preextraídas, ajustadas finamente en EPIC-KITCHENS. Las características se extraen de videos a 30 FPS con una longitud de clip de 16 y un paso de fragmento de 8. Para videos largos, se emplea inferencia con ventana deslizante con una longitud máxima de ventana de 4608 pasos de características y un 50% de superposición.

2.2. Detección Temporal Causal Desacoplada

El sistema emplea dos detectores separados estilo CausalTAD (uno para sustantivos y otro para verbos) basados en la implementación de OpenTAD.

• Arquitectura: Las características se proyectan en representaciones temporales causales y se procesan mediante una Pirámide Temporal Multinivel (7 niveles).
• Cabeza: Una cabeza de detección sin anclas predice las probabilidades de clase por punto y las distancias a los límites de los segmentos.
• Entrenamiento: Los detectores de sustantivos y verbos se entrenan por separado en la división de entrenamiento + validación utilizando AdamW, precisión mixta y pesos EMA.
• Interacción entre Flujos (Opcional): Se exploró una variante de doble flujo donde una puerta de incertidumbre suprime características auxiliares poco fiables antes de la atención cruzada, pero la presentación final mantiene los flujos desacoplados para garantizar la robustez, trasladando las decisiones de fiabilidad al postprocesamiento.

2.3. Puntuación de Acción Composicional

Para cada índice de propuesta alineado $j$, el sistema combina los $K$ mejores candidatos de sustantivos y verbos ($K_n=10, K_v=10$).

• Cálculo de Puntuación: La puntuación de la acción es la media geométrica de las probabilidades de sustantivo y verbo: $S_{j,p,q} = \sqrt{P^n_{j,p} P^v_{j,q}}$. Esto asegura que un candidato sea fuerte solo cuando tanto la evidencia del objeto como la del movimiento lo respalden.
• Fusión de Límites: La innovación crítica es la Fusión Ponderada Dinámica (DWF). En lugar de una media aritmética fija, el sistema calcula pesos específicos de la propuesta basados en la máxima confianza de clasificación de cada flujo ($C^n_j$ y $C^v_j$).
  • Pesos: $W^n_j = \frac{C^n_j}{C^n_j + C^v_j + \epsilon}$ y $W^v_j = \frac{C^v_j}{C^n_j + C^v_j + \epsilon}$.
  • Límite Fusionado: $\hat{b}_j = W^n_j b^n_j + W^v_j b^v_j$.
  • Lógica: Esto desplaza la autoridad de los límites hacia el flujo más fiable (por ejemplo, si el sustantivo está ocluido, el flujo de verbos domina la localización temporal) sin alterar la puntuación semántica de la acción.

2.4. Postprocesamiento

Las propuestas fusionadas sufren Soft-NMS (por clase) para suprimir detecciones duplicadas con intervalos altamente superpuestos. El sistema agrega los resultados de las ventanas deslizantes y genera el envío JSON final.

3. Contribuciones Clave

1. Análisis del Problema: Los autores identifican que la detección conjunta directa o la fusión fija de dos flujos es insuficiente para EPIC-KITCHENS debido a la ambigüedad de los límites egocéntricos, la degeneración específica del flujo y la esparsidad composicional.
2. Tubería EgoAction: Una tubería de detección causal desacoplada que utiliza características VideoMAE-L ajustadas finamente en EPIC, detectores temporales específicos de factores y una regla novedosa de Fusión Ponderada Dinámica (DWF) para el postprocesamiento de límites.
3. Rendimiento: El sistema logra un rendimiento equilibrado entre factores, evitando el compromiso donde la mejora de una métrica degrada la otra.

4. Resultados Experimentales

El sistema fue evaluado en la clasificación oficial de 2026 de Detección de Acciones de EPIC-KITCHENS (Codabench).

• mAP de Acción: 25.94 (Promedio sobre tIoU 0.1–0.5).
• mAP de Verbo: 28.66.
• mAP de Sustantivo: 28.61.
• Clasificación: El sistema se clasificó 3º entre todos los envíos, quedando por detrás del 2º lugar por 0.31 puntos y superando al 4º lugar por 1.73 puntos.
• Perspectivas de Ablación: La brecha entre el mAP a nivel de factor (~28.6) y el mAP de acción (25.94) destaca que la precisión de la localización temporal sigue siendo el principal cuello de botella, particularmente en umbrales de tIoU más altos (0.5). DWF ataca específicamente esto adaptando la autoridad de los límites en función de la confianza del flujo.

5. Significado y Afirmaciones

El artículo afirma que EgoAction proporciona un sistema compacto y reproducible para la detección temporal de acciones egocéntricas. Su principal significado radica en la observación de que los flujos de verbos y sustantivos fallan de manera diferente (movimiento vs. visibilidad) y que un promedio fijo de límites es subóptimo.

Al reemplazar la media codificada en duro con la Fusión Ponderada Dinámica, el sistema desplaza la autoridad de los límites hacia el flujo más fiable mientras preserva el mecanismo de puntuación de acción desacoplado. Los autores enfatizan que esto es un operador ligero, solo de tensores, que no requiere cabezas de calibración aprendidas, evitando así el sobreajuste mientras aborda eficazmente la asimetría en la fiabilidad del flujo inherente a los datos de video egocéntrico. Los resultados demuestran que separar las decisiones de localización de la puntuación semántica y luego fusionarlas basándose en la confianza es una estrategia superior para la detección de acciones composicionales en videos sin recortar.