Resumen Técnico: OnPoint: Destilación de Nivel Múltiple de Offline-a-Online para la Localización de Acciones Temporales Online con Supervisión por Puntos

Definición del Problema: Localización de Acciones Temporales Online con Supervisión por Puntos (POTAL)

El artículo aborda una brecha crítica en la Localización de Acciones Temporales (TAL): la intersección entre la eficiencia de etiquetas y las restricciones de inferencia online. Los métodos de TAL existentes suelen depender de anotaciones densas de límites temporales y del acceso offline a secuencias de video completas, lo que limita su escalabilidad y evita su despliegue en escenarios de streaming (por ejemplo, análisis de deportes en vivo, asistencia quirúrgica, robótica). Por el contrario, los métodos de TAL Online (OnTAL) operan en entornos de streaming pero requieren supervisión a nivel de segmento completo, la cual es costosa de obtener.

Los autores introducen la Localización de Acciones Temporales Online con Supervisión por Puntos (POTAL), un nuevo escenario de tarea donde:

1. La supervisión es dispersa: El entrenamiento utiliza únicamente un único punto temporal (marca de tiempo) y una etiqueta de clase por instancia de acción, en lugar de límites completos de inicio/fin.
2. La inferencia es estrictamente online: El modelo debe procesar video en streaming cuadro por cuadro, realizando predicciones sin acceso al contexto futuro o la capacidad de revisar decisiones pasadas.

El desafío central es que entrenar un modelo online con solo etiquetas de puntos es inherentemente difícil debido a la falta de pistas de límites y a la ausencia de contexto futuro requerido para definir la extensión de las acciones.

Metodología: El Marco de Trabajo OnPoint

Para resolver POTAL, los autores proponen OnPoint, un marco de destilación de múltiples niveles de offline-a-online. El sistema emplea un profesor offline con supervisión por puntos (que tiene acceso al video completo) para guiar a un estudiante estrictamente online (que procesa ventanas de streaming). El profesor genera señales de supervisión estructuradas que el estudiante aprende a imitar utilizando solo fotogramas pasados y actuales.

El marco consta de cuatro componentes técnicos clave:

1. Señales de Destilación de Múltiples Niveles

El profesor transfiere el conocimiento a través de tres señales complementarias:

• Pseudo-destilación a Nivel de Instancia: El profesor offline genera un pseudo-segmento de verdad de terreno (límites de inicio/fin) a partir de etiquetas de puntos dispersas. Estas pseudo-etiquetas supervisan el módulo de predicción de instancias basado en anclas del estudiante, proporcionando una guía de límites estructurada que el estudiante no puede inferir de los puntos por sí solo.
• Destilación de Secuencia de Activación de Clase (CASS): Para mejorar la representación temporal, el estudiante alinea sus predicciones fotograma a fotograma dentro de una ventana deslizante con la Secuencia de Activación de Clase (CAS) del profesor. Esta supervisión densa, a nivel de fotograma, fortalece la capacidad del backbone para capturar transiciones de acción sutiles sin contexto futuro.
• Destilación de Ventana Anticipatoria a Nivel de Ventana: Para compensar la falta de contexto futuro, la CAS del profesor se utiliza para predecir la probabilidad de que ocurran acciones en la próxima ventana. Este "conocimiento futuro" se destila en la cabeza de anticipación del estudiante, guiándolo hacia los límites de acción inminentes.

2. Calibración de Atención Guiada por la Acción (Actionness)

Los decodificadores estándar basados en anclas suelen carecer de priors explícitos de acción. OnPoint introduce un mecanismo para calibrar los pesos de atención en el decodificador de transformer. Utiliza las puntuaciones de acción (actionness scores) derivadas del predictor CASS (específicamente, el inverso de la probabilidad de fondo) para sesgar los logits de atención. Esto obliga al decodificador a enfatizar los fotogramas con alta probabilidad de acción y suprimir el ruido de fondo, mejorando la calidad de las características de las anclas.

3. Supervisión de Puntos Auxiliar a Nivel de Ancla

Para mitigar el riesgo de propagación de errores de las pseudo-etiquetas imperfectas generadas por el profesor, el marco incorpora directamente las anotaciones de puntos originales de verdad de terreno como una señal de supervisión auxiliar. Un módulo de Predicción de Puntos a Nivel de Ancla clasifica si un ancla contiene un punto y regresa la distancia entre el centro del ancla y el punto. Esto proporciona una señal débil pero fiable que estabiliza el entrenamiento.

4. Entrenamiento e Inferencia

• Entrenamiento: El estudiante online se entrena utilizando una combinación ponderada de cuatro pérdidas: pérdida de nivel de instancia (de las pseudo-etiquetas), pérdida CASS, pérdida de anticipación y pérdida de predicción de puntos.
• Inferencia: El profesor offline se descarta. El estudiante online procesa ventanas deslizantes, genera propuestas mediante el decodificador de anclas y aplica la Supresión de No Máximos Online (ONMS) para entregar segmentos de acción inmediatamente tras su detección.

Principales Contribuciones

1. Formulación de la Tarea POTAL: La primera definición formal de localización de acciones temporales que impone simultáneamente restricciones estrictas de inferencia online y supervisión por puntos, con protocolos de evaluación y baselines completos.
2. Marco de Trabajo OnPoint: El primer marco de destilación de offline-a-online para TAL bajo supervisión por puntos. Une de forma única el contexto de video completo y las restricciones de streaming mediante destilación de múltiples niveles (pseudo-segmentos, CASS y anticipación).
3. Componentes Arquitectónicos Novedosos:
   • Destilación CASS: La primera integración de la destilación basada en CAS en un pipeline online para guía temporal fina.
   • Anticipación a Nivel de Ventana: Un mecanismo de destilación diseñado para enseñar al modelo online a anticipar acciones venideras basándose en el contexto temporal offline.
   • Decodificación Calibrada por Acción: Un novedoso mecanismo de atención que utiliza puntuaciones de acción para refinar las características de las anclas en ausencia de fotogramas futuros.
4. Mecanismo de Robustez: La introducción de la supervisión directa de puntos a nivel de ancla para estabilizar el entrenamiento frente a pseudo-etiquetas ruidosas.

Resultados Experimentales

Los autores evaluaron OnPoint en cinco conjuntos de datos: THUMOS'14, EGTEA, HOI4D-Office, FineAction y EPIC-Kitchens-100.

• Rendimiento: OnPoint superó consistentemente a los baselines fuertes (incluyendo enfoques sin destilación y otros métodos online entrenados con supervisión completa) en todos los datasets.
  • En THUMOS'14, logró una ganancia de mAP promedio del 4.8% sobre el mejor baseline, alcanzando un 61.9% de mAP promedio (tIoU 0.1–0.5), superando a varios métodos online de supervisión completa.
  • En EGTEA y HOI4D-O, mostró ganancias consistentes de 3.4% y 2.3% respectivamente sobre los baselines.
• Estudios de Ablación: Eliminar cualquiera de las tres señales de destilación (CASS, Anticipación o Nivel de Instancia) resultó en caídas de rendimiento, confirmando la necesidad del enfoque multinivel. El mecanismo de atención calibrada por acción por sí solo contribuyó con una mejora del 2.0%.
• Robustez: El modelo demostró resiliencia al ruido en las pseudo-etiquetas del profesor cuando la supervisión de puntos a nivel de ancla estaba activa, manteniendo la estabilidad donde la variante sin destilación falló.
• Eficiencia: El modelo online es computacionalmente eficiente (93M de parámetros, ~312 FPS en una RTX 4090), ofreciendo un equilibrio favorable entre velocidad y precisión comparado con modelos más pesados como HAT o MATR.

Significado y Reivindicaciones

El artículo posiciona a OnPoint como una base sólida para la investigación en POTAL. Reivindica ser el primer trabajo que logra unir con éxito la eficiencia de etiquetas de las anotaciones por puntos y las restricciones de causalidad estricta de los entornos de streaming online.

Los autores enfatizan que, aunque se probaron los Modelos de Lenguaje Extensos (LLMs) para la generación automática de etiquetas, estos resultaron poco fiables para la localización temporal precisa (logrando solo un ~29% de mAP frente al ~90% del profesor). En contraste, OnPoint demuestra que un profesor offline específico para la tarea, entrenado con etiquetas de puntos humanas débiles, puede transferir eficazmente el conocimiento a un estudiante online, permitiendo una localización de acciones en tiempo real y escalable sin el costo prohibitivo de la anotación densa. El trabajo establece que es posible lograr un TAL online de alto rendimiento incluso con una supervisión mínima, siempre que se emplee la arquitectura de destilación adecuada.