💻 computer science

STEP: Score-Based Temporal Energy for Human Pose Video Anomaly Detection

El artículo presenta STEP, un marco ligero que mejora la detección de anomalías en video basadas en esqueletos al proyectar secuencias de poses en un espacio blanqueado mediante PCA para asegurar una inyección de ruido físicamente plausible para ventanas temporales más largas e integrar una ponderación basada en la confianza para mitigar los errores de estimación de pose, logrando un rendimiento de vanguardia en los bancos de pruebas UBnormal y ShanghaiTech.

Autores originales: Jakub Micorek, Mateusz Koziński, Horst Possegger

Publicado 2026-08-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jakub Micorek, Mateusz Koziński, Horst Possegger

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En los espacios concurridos de la vida moderna —plantas de fábricas, calles bulliciosas y centros de cuidados— vigilar los problemas es una tarea constante y agotadora. Las cámaras capturan flujos interminables de movimiento, pero el ojo humano no puede monitorear cada fotograma sin perderse una caída, una pelea o un accidente repentino. Durante décadas, los científicos han intentado enseñar a las computadoras a detectar estos momentos raros y peligrosos de forma automática. El desafío es único: para reconocer algo que está mal, una máquina primero debe aprender cómo se ve lo que está "bien". Dado que los eventos peligrosos son raros e impredecibles, los investigadores entrenan sus sistemas únicamente con comportamientos normales y cotidianos, con la esperanza de que la computadora aprenda tan bien el ritmo de la seguridad que cualquier ruptura en ese ritmo exija atención inmediata.

Durante años, la forma más fiable de hacer esto ha sido eliminar el desorden visual del mundo —la ropa, la iluminación, el fondo— y centrarse únicamente en el esqueleto del cuerpo humano. Al rastrear las posiciones de articulaciones como codos y rodillas, los algoritmos pueden ver la geometría pura del movimiento. Este enfoque protege la privacidad e ignora las distracciones, pero se ha topado con un muro. Cuando los investigadores intentaron enseñar a estos sistemas a comprender secuencias largas de movimiento añadiendo ruido aleatorio a los datos —una técnica utilizada para ayudar a las computadoras a aprender patrones—, los esqueletos se desmoronaron. El ruido aleatorio retorcía las extremidades en ángulos imposibles, rompiendo las leyes de la física y confundiendo a la computadora. El sistema gastaba su energía aprendiendo cómo arreglar huesos rotos en lugar de aprender cómo detectar a una persona corriendo en la dirección equivocada.

Un equipo de investigadores de la Universidad Tecnológica de Graz y la Universidad Médica de Graz ha encontrado una forma de reparar este fundamento roto. Desarrollaron un nuevo método llamado STEP, que actúa como un filtro para los datos antes de que la computadora intente aprender de ellos. En lugar de alimentar al sistema de aprendizaje con las coordenadas crudas y erráticas de las articulaciones, primero traducen el movimiento a un espacio matemático compacto donde las reglas de la anatomía humana ya están integradas. Imagine tomar una danza compleja y retorcida y reducirla a unas pocas líneas simples y suaves que capturen la esencia del movimiento sin el bamboleo. En este nuevo espacio, cuando los investigadores añaden el ruido aleatorio necesario para ayudar a la computadora a aprender, el ruido no rompe el esqueleto. En su lugar, empuja suavemente el movimiento, creando variaciones que siguen siendo físicamente posibles, como una persona caminando un poco más rápido o girando un poco más ancho.

Este cambio permite que la computadora construya una imagen mucho más clara de cómo es el comportamiento normal a lo largo del tiempo. Los investigadores probaron su sistema en dos conjuntos de datos importantes: uno que contenía imágenes del mundo real de personas en diversas escenas, y otro compuesto por videos generados por computadora altamente realistas con anomalías cuidadosamente etiquetadas. Los resultados fueron sorprendentes. En el conjunto de datos sintético, su sistema identificó correctamente el comportamiento anómalo el 90,1% de las veces, un salto significativo sobre los mejores métodos anteriores. En el conjunto de datos del mundo real, igualó el rendimiento de los sistemas más avanzados existentes, demostrando que funciona incluso cuando el video es caótico o los ángulos de la cámara son difíciles.

Crucialmente, el sistema también es inteligente respecto a sus propias limitaciones. Las cámaras y el software utilizados para rastrear personas en el mundo real no son perfectos; a veces pierden el rastro de una persona o se confunden con las sombras y el desenfoque. El nuevo método incluye una comprobación de confianza integrada. Si el software de seguimiento no está seguro de dónde está una articulación, el sistema reduce automáticamente el peso de esa información, evitando que un error momentáneo sea confundido con un evento peligroso. Esto hace que el detector sea robusto frente a los errores inevitables de la vigilancia del mundo real.

La eficiencia del sistema es igual de impresionante que su precisión. Debido a que el método es tan optimizado, puede procesar los movimientos de cincuenta personas en un solo fotograma en menos de un milisegundo. Esta velocidad significa que puede ejecutarse en tiempo real en hardware estándar, dejando a la computadora libre para encargarse del trabajo pesado de encontrar las articulaciones en primer lugar. Los investigadores argumentan que, al centrarse puramente en la geometría del movimiento y limpiar los datos antes del aprendizaje, han resuelto un problema fundamental que había plagado al campo durante años. Han demostrado que no es necesario ver el rostro o la ropa de una persona para saber si está en problemas; solo es necesario comprender la forma de su movimiento, siempre que esa forma tenga permiso para respirar sin romperse.

Resumen Técnico: STEP – Energía Temporal Basada en Puntuación para la Detección de Anomalías en Videos de Pose Humana

Planteamiento del Problema

La detección de anomalías en videos (VAD) basados en esqueletos tiene como objetivo identificar comportamientos anormales (por ejemplo, caídas, violencia) utilizando únicamente datos de entrenamiento normales. Los enfoques recientes utilizan Modelos Basados en Energía (EBM) entrenados mediante el Emparejamiento de Puntuación de Eliminación de Ruido (DSM) para modelar la distribución de probabilidad de las poses humanas normales. Sin embargo, aplicar el DSM directamente a las coordenadas de las articulaciones sin procesar presenta dos fallos críticos:

Colapso Estructural: La inyección de ruido gaussiano isotrópico en las coordenadas de las articulaciones sin procesar destruye la estructura cinemática del cuerpo humano (por ejemplo, deformando las longitudes de los huesos o rompiendo la simetría). Este problema se agrava a medida que la ventana temporal ( $T$ ) se expande, causando que el modelo desperdicie capacidad aprendiendo configuraciones físicamente imposibles en lugar de variedades de movimiento válidas.
Incertidumbre de la Estimación de Pose: Los estimadores de pose comerciales introducen ruido, parpadeo (jitter) y articulaciones faltantes debido a oclusiones o desenfoque de movimiento. Tratar estas secuencias extraídas como la verdad de campo (ground truth) provoca que el paisaje de energía se deforme alrededor de los fallos de seguimiento, reduciendo la robustez.

Metodología

Los autores proponen STEP (Score-based Temporal Energy for Poses), un marco diseñado para resolver los problemas estructurales y de incertidumbre inherentes al DSM de coordenadas puras.

1. Estimación de Densidad en el Espacio PC

En lugar de modelar la distribución en el espacio de coordenadas de articulaciones sin procesar, STEP proyecta las secuencias de poses en un espacio de Componentes Principales (PC) compacto y blanqueado.

Proyección: Las seccciones se proyectan utilizando una matriz $W_K$ derivada de los $K$ componentes principales superiores del conjunto de entrenamiento, seguidos de un blanqueo mediante la matriz de autovalores $\Lambda_K$ .
Efecto de Blanqueo: Esta transformación escala el espacio latente hacia una hiperesfera isotrópica. La inyección de ruido en este espacio perturba las secuencias a lo largo de trayectorias de base aprendidas (por ejemplo, caminar, estar de pie) en lugar de destruir la estructura cinemática.
Eliminación de Ruido: Limitar la representación a los $K$ componentes principales superiores actúa como un eliminador de ruido, filtrando las fluctuaciones de alta frecuencia de las articulaciones y permitiendo que el modelo se concentre en las trayectorias de movimiento generales.

2. Puntuación de Anomalías Consciente de la Confianza

Para mitigar el impacto de los estimadores de pose poco fiables, STEP integra un mecanismo de ponderación de confianza suave tanto en el objetivo de entrenamiento como en la puntuación en tiempo de prueba.

Entrenamiento: La pérdida de DSM se repondera mediante la puntuación de confianza promedio $c(\mathbf{x})$ proporcionada por el estimador de pose. Esto reduce el peso de las secuencias con baja confianza, evitando que los fallos de seguimiento distorsionen el paisaje de energía aprendido.
Inferencia: La puntuación de anomalía final es la estimación de energía estandarizada máxima a través de múltiples escalas de ruido, ponderada por la puntuación de confianza de la secuencia. Esto evita que los errores de seguimiento de baja confianza sean marcados falsamente como anomalías.

3. Condicionamiento Arquitectónico

Los autores introducen un MLP Residual $\sigma$ -modulado para reemplazar los MLP estándar utilizados en marcos de EBM previos.

Mecanismo: La escala de ruido $\sigma$ no es simplemente concatenada en la entrada, sino que se enruta como una señal de condicionamiento global a cada capa oculta a través de un bloque de modulación (escalado de activaciones).
Beneficio: Esto permite que la red ajuste dinámicamente su estimación de densidad basándose en el nivel de ruido, superando consistentemente a los MLP vanilla.

4. Entrenamiento e Inferencia

Objetivo: El modelo se entrena utilizando un objetivo de DSM multiescala (Eq. 5) sobre una distribución uniforme de escalas de ruido $\sigma \in [\sigma_{low}, \sigma_{high}]$ .
Estimación de Energía: En el tiempo de prueba, el modelo evalúa la secuencia a través de distintas escalas de ruido. Las acciones normales caen en cuencas de baja energía, mientras que las anomalías producen puntuaciones de alta energía.
Eficiencia: El marco utiliza una Media Móvil Exponencial (EMA) de los pesos para una evaluación estable y procesa secuencias en tiempo real (< 1 ms para 50 personas en una GTX 1080), con una latencia dominada únicamente por la extracción de pose ascendente.

Contribuciones Clave

Estimación de Densidad en el Espacio PC: El artículo demuestra que el DSM directo en coordenadas puras falla a medida que las ventanas temporales se expanden debido al colapso estructural. STEP resuelve esto operando en un espacio PC blanqueado donde la inyección de ruido produce variaciones físicamente plausibles.
Puntuación Consciente de la Confianza: Se introduce un mecanismo de ponderación de confianza a nivel de secuencia para dar cuenta de las imprecisiones en la estimación de la pose, aumentando significativamente el AUROC al evitar que los errores de seguimiento disparen falsos positivos.
Condicionamiento Arquitectónico: Se propone un MLP Residual $\sigma$ -modulado, demostrando que el condicionamiento explícito en las escalas de ruido mejora el rendimiento de la estimación de densidad sobre arquitecturas estándar.

Resultados Experimentales

El marco fue evaluado en dos bancos de pruebas desafiantes: UBnormal (sintético, fotorrealista) y ShanghaiTech (mundo real).

UBnormal: STEP logra un nuevo estado del arte con 90.1% AUROC (Prueba completa) y 90.9% (División relacionada con humanos). Esto representa una mejora absoluta del 12.2% sobre el mejor método anterior basado en esqueletos (SeeKer) y supera significativamente a MULDE (el baseline directo de DSM), que sufre un colapso de rendimiento a medida que $T$ aumenta.
ShanghaiTech: STEP logra 86.2% AUROC (Completo) y 87.7% (HR), igualando o superando ligeramente el rendimiento de STG-NF y SeeKer.
Estudios de Ablación:
- Eliminar la proyección al espacio PC causa una caída drástica en el rendimiento a medida que $T$ aumenta (por ejemplo, de 80.7% con $T=2$ a 70.6% con $T=32$ para coordenadas puras).
- Eliminar la ponderación de confianza provoca una caída del 4.5% en UBnormal cuando se utiliza un filtrado agresivo, mientras que la ponderación suave mantiene la robustez.
- La arquitectura $\sigma$ -modulada proporciona una ganancia constante de aproximadamente un 1% sobre los MLP vanilla.
Eficiencia: El modelo procesa multitudes densas con una sobrecarga computacional insignificante (< 1 ms de latencia), lo que lo hace adecuado para el despliegue en tiempo real.

Significado y Reivindicaciones

El artículo afirma que STEP establece un nuevo referente para la VAD basada en esqueletos al abordar fundamentalmente las limitaciones de aplicar métodos basados en puntuación a los datos de pose humana. Al cambiar el dominio de modelado de las coordenadas puras a un espacio PC que preserva la estructura e integrar la conciencia de la confianza, los autores demuestran que es posible aprender paisajes de energía robustos para secuencias temporales largas sin la degradación de rendimiento observada en métodos anteriores.

Los autores enfatizan que su enfoque mantiene la naturaleza de preservación de la privacidad de la detección basada en esqueletos (eliminando la apariencia de los píxeles) mientras alcanza una precisión superior. Reconocen las limitaciones respecto a las interacciones entre múltiples personas o la manipulación de objetos donde la pose por sí sola es insuficiente, señalando que reintroducir características visuales comprometería los beneficios de privacidad del enfoque basado únicamente en esqueletos. El trabajo posiciona a STEP como una solución ligera y en tiempo real que resuelve el "colapso estructural" inherente a los enfoques basados en energía previos.