Frame-Level Evaluation in Weakly Supervised Video Anomaly Detection Mostly Measures Video-Level Ranking

En el mundo de la visión artificial, existe una carrera constante para enseñar a las máquinas a observar transmisiones de video y detectar problemas. Imagine una cámara de seguridad escaneando una calle concurrida, una estación de tren o el suelo de una fábrica. El objetivo es que el software note cuando algo sale mal —un altercado, una persona cayendo o un vehículo conduciendo en sentido contrario— y señale exactamente cuándo y dónde ocurre. Durante años, los investigadores han entrenado estos sistemas utilizando un método llamado supervisión débil. En lugar de mostrarle a la computadora cada segundo de un video y etiquetar el momento exacto en que ocurre un evento, simplemente le dicen si el video completo contiene una anomalía o no. Es un atajo práctico, muy parecido a un profesor que le dice a un estudiante "este ensayo tiene un error" sin señalar la frase específica. Para ver si estos sistemas funcionan, los científicos utilizan una prueba estándar que clasifica cada uno de los fotogramas de cada video en una base de datos, desde el más sospechoso hasta el más normal, y comprueba qué tan bien el sistema separa los momentos malos de los buenos.

Dos investigadores de la Universidad SungKyunKwan en Corea del Sur, Inpyo Song y Jangwon Lee, decidieron observar más de cerca esta prueba de clasificación estándar. Se hicieron una pregunta simple pero profunda: cuando una computadora obtiene una puntuación alta en esta prueba de clasificación, ¿realmente sabe cuándo ocurrió el problema, o solo es buena adivinando qué videos contienen problemas? Su investigación, publicada en un estudio reciente, revela una verdad sorprendente sobre cómo se evalúan estos sistemas. Descubrieron que la prueba estándar está tan fuertemente sesgada hacia la comparación de diferentes videos entre sí, que una computadora puede lograr una puntuación casi perfecta sin haber identificado jamás un solo momento específico de peligro dentro de un video. Es como si un estudiante pudiera aprobar un examen de historia adivinando correctamente qué libros de texto contienen errores, sin haber leído jamás una sola página para encontrar la errata.

Los investigadores comenzaron desglosando las matemáticas detrás de la puntuación de clasificación estándar. Se dieron cuenta de que esta puntuación se construye a partir de dos tipos diferentes de comparaciones. El primer tipo compara un momento malo en un video contra un momento bueno en el mismo video; esta es la prueba de localización real, que comprueba si el sistema conoce la diferencia entre un segundo seguro y un segundo peligroso dentro de la misma grabación. El segundo tipo compara un momento malo en un video contra un momento bueno en un video completamente diferente. Esta es la prueba de ordenación a nivel de video, que comprueba si el sistema puede distinguir que el Video A es más peligroso que el Video B. Cuando contaron cuántas de estas comparaciones ocurrieron realmente dentro del mismo video, el número fue sorprendentemente pequeño. A través de tres de los principales conjuntos de datos utilizados en el campo, menos del 0,4 por ciento de las comparaciones fueron entre fotogramas del mismo video. La gran mayoría de la puntuación proviene de comparar fotogramas entre diferentes videos.

Este desequilibrio crea lo que los autores llaman "dilución temporal". A medida que aumenta el número de videos en un conjunto de prueba, la probabilidad de que el sistema esté siendo probado en su capacidad para encontrar el momento exacto de un evento disminuye rápidamente. El sistema está siendo recompensado principalmente por asignar una puntuación general alta a un video que contiene una anomalía y una puntuación baja a un video que no la contiene. Para demostrar que este era el caso, los investigadores realizaron una serie de experimentos controlados. Entrenaron modelos computacionales simples para que no hicieran más que asignar una puntuación única y constante a cada fotograma de un video basándose en si ese video era etiquetado como peligroso o seguro. Estos modelos no tenían la capacidad de distinguir un momento de otro; la puntuación para el primer segundo de un video era idéntica a la del último segundo. A pesar de tener cero capacidad para localizar un evento en el tiempo, estos modelos simples lograron puntuaciones muy altas en la prueba estándar, que oscilaban entre el 81 y el 97 por ciento dependiendo del conjunto de datos.

Luego, los investigadores tomaron los resultados de los sistemas más avanzados y complejos disponibles actualmente y realizaron un "reemplazo de la media del video". Tomaron las puntuaciones detalladas segundo a segundo que producían estos sistemas complejos y reemplazaron cada puntuación de cada segundo con la puntuación promedio de todo ese video. Este proceso borró toda la información de tiempo de grano fino, dejando únicamente la calificación general del video. Si la prueba de clasificación realmente medía la capacidad de encontrar el momento exacto de una anomalía, este cambio debería haber provocado un desplome en las puntuaciones. En cambio, las puntuaciones apenas se movieron. En 69 de 72 ejecuciones controladas, el sistema mantuvo más del 90 por ciento de su puntuación original incluso después de que se eliminaran todos los detalles temporales. El mismo patrón se mantuvo para los resultados oficiales publicados por los autores de otros métodos líderes. Incluso cuando los investigadores desordenaron el orden de los fotogramas dentro de un video, desordenando la línea de tiempo pero manteniendo el mismo conjunto de puntuaciones, el rendimiento de la clasificación permaneció prácticamente intacto.

Los hallazgos sugieren que el estándar actual para evaluar estos sistemas no está midiendo lo que los investigadores creen que está midiendo. Una puntuación alta en la prueba de clasificación agrupada no demuestra que un sistema pueda localizar un evento; demuestra primordialmente que el sistema puede clasificar los videos por su riesgo general. Los investigadores argumentan que esta distinción es profundamente importante para las aplicaciones del mundo real. Si un guardia de seguridad recibe una alerta de que un video contiene una anomalía, necesita saber cuándo mirar, no solo qué video observar. El protocolo de evaluación actual recompensa la capacidad de elegir el video correcto, pero falla al verificar la capacidad de encontrar el momento adecuado. Los autores proponen que el campo debe cambiar la forma en que reporta los resultados. Recomiendan que los investigadores siempre reporten una puntuación separada que mida qué tan bien el sistema ordena los fotogramas dentro de un solo video, junto con la clasificación estándar a nivel de video. También sugieren que el diseño de las pruebas futuras debe asegurar que el número de videos no diluya la importancia de encontrar el momento exacto de un evento.

Este trabajo no pretende afirmar que los sistemas actuales sean inútiles o que no puedan aprender a localizar eventos. Simplemente muestra que el marcador en el que están jugando no los obliga a hacerlo. Las altas puntuaciones vistas en años recientes son, en gran medida, un refleio de la capacidad del sistema para clasificar videos, una capacidad que es útil pero distinta de la capacidad de precisar el tiempo. Al separar estas dos habilidades en el proceso de evaluación, el campo puede asegurar que los sistemas futuros no sean solo buenos adivinando qué videos son peligrosos, sino que sean verdaderamente capaces de observar el reloj y encontrar el segundo exacto en que algo sale mal. El camino a seguir requiere un cambio de enfoque, alejándose de un único número agregado que enmascara estas diferencias, hacia una imagen más clara que valore la precisión del tiempo tanto como la identificación del evento mismo.