🤖 AI

On Occlusions in Video Action Detection: Benchmark Datasets And Training Recipes

Este artículo investiga el impacto de las oclusiones en la detección de acciones en video mediante la introducción de cinco nuevos conjuntos de datos de referencia y demostrando que los modelos mejorados con componentes simbólicos y recetas de entrenamiento específicas superan significativamente a los enfoques existentes en el manejo de oclusiones tanto estáticas como dinámicas.

Autores originales: Rajat Modi, Vibhav Vineet, Yogesh Singh Rawat

Publicado 2026-07-14

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Rajat Modi, Vibhav Vineet, Yogesh Singh Rawat

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás viendo un partido de fútbol en la televisión, pero de repente, un perro gigante y peludo corre justo frente a la pantalla, bloqueando tu visión del delantero. Si fueras un humano, aún podrías adivinar que el delantero está ahí porque sabes cómo funciona el juego. Pero si le pides a una computadora que "vea" la acción, a menudo entra en pánico y dice: "¡No puedo encontrar al jugador!".

Eso es exactamente lo que investiga este artículo: qué tan mal fallan las IA de detección de video actuales cuando algo se interpone en el camino.

El gran problema: la IA se distrae fácilmente

Los investigadores configuraron una serie de "experimentos de juguete" para probar qué tan fuertes son realmente estos modelos de IA. Tomaron videos de personas realizando acciones (como saltar o correr) y pegaron digitalmente otros objetos —como autobuses o gatos— sobre ellas.

Los resultados fueron una llamada de atención. Cuando bloquearon solo una pequeña parte del actor (20%), el rendimiento de la IA cayó entre un 20% y un 50%. Si bloquearon todo el fondo, la caída fue aún peor. Esto demuestra que incluso los modelos más inteligentes y "de vanguardia" de hoy en día no son robustos ante las oclusiones del mundo real. No son naturalmente resistentes; simplemente no han sido entrenados para lidiar con ser bloqueados.

El nuevo patio de juegos: cinco nuevos conjuntos de datos

Para estudiar esto adecuadamente, el equipo no podía simplemente usar videos viejos. Construyeron cinco nuevos conjuntos de datos de referencia (benchmarks) desde cero:

O-UCF y O-JHMDB: Estos son como "rueditas de entrenamiento" donde añadieron objetos estáticos (inmóviles) o en movimiento de una manera controlada para probar niveles específicos de bloqueo.
OVIS-UCF y OVIS-JHMDB: Estos utilizan objetos en movimiento "semi-realistas" que imitan cómo se mueven las cosas en el mundo real.
Real-OUCF: Este es el nivel del "jefe final". Son videos reales de YouTube donde las personas se bloquean genuinamente entre sí en escenarios desordenados del mundo real.

Los héroes sorprendentes: Transformers vs. CNNs

Durante mucho tiempo, el mundo de la IA pensó que, si simplemente le enseñabas a un modelo a ignorar las partes bloqueadas (usando "aumento de datos" —básicamente, entrenándolo con muchas imágenes bloqueadas—), se volvería resistente. El artículo sugiere que esta no es toda la historia.

Descubrieron que los Transformers (un tipo de arquitectura de IA) son naturalmente mejores en esto que los modelos CNN más antiguos, ¡incluso si los Transformers nunca vieron una sola imagen bloqueada durante el entrenamiento!

El truco: Estos Transformers solo se vuelven súper robustos si se pre-entrenan en conjuntos de datos masivos primero. Si entrenas un Transformer desde cero sin ese gran punto de partida, su rendimiento es deficiente. Es como un estudiante que necesita leer una biblioteca de libros antes de poder resolver un rompecabezas; no nacen sabiendo la respuesta, pero tienen la "estructura cerebral" adecuada para aprender rápido.

La salsa secreta: Cápsulas e "Islas de Acuerdo"

Los investigadores no se detuvieron solo en encontrar el problema; cocinaron una receta para arreglarlo. Combinaron la arquitectura base de Transformer con algo llamado Cápsulas.

Piensa en las Cápsulas como un equipo de detectives especializados.

En una IA normal, si una silla bloquea a una persona, la IA se confunde sobre qué es una persona y qué es una silla.
En este nuevo modelo, los "detectives de cápsulas" pueden deducir espontáneamente: "Bien, este grupo de píxeles es la persona, y aquel grupo es la silla", incluso si nunca han visto una silla bloqueando a una persona antes.
El artículo sugiere que estos modelos forman "Islas de Acuerdo". Imagina a un grupo de amigos en una habitación ruidosa; incluso si no pueden oír la conversación completa, todos están de acuerdo en quién es quién. Los tokens internos de la IA (pequeños fragmentos de datos) comienzan a ponerse de acuerdo sobre dónde está el actor, creando una "isla" estable de verdad en medio del ruido de la oclusión.

La receta ganadora: Enmascaramiento de Tokens

Para hacer estos modelos aún más resistentes, los autores probaron un truco simple llamado Enmascaramiento de Tokens.

La analogía: Imagina que estás tratando de aprender una canción, pero cada vez que practicas, cubres aleatoriamente algunas notas en la partitura. Tienes que adivinar las notas faltantes basándote en el resto de la melodía.
El resultado: Al "tachar" aleatoriamente partes de los datos del video durante el entrenamiento (sin siquiera añadir objetos falsos), el modelo aprendió a llenar los huecos mejor.

El marcador: ¿Qué tan mejor es?

Los números hablan por sí solos. La nueva receta (Transformer + Cápsulas + Enmascaramiento de Tokens) superó a los antiguos campeones por un margen enorme:

En los conjuntos de datos sintéticos, mejoró el rendimiento en un 32.3% y 32.7%.
En los complicados videos del mundo real, aun así logró superar a los métodos existentes por un 2.6%.

Lo que descartaron

Es importante señalar lo que este artículo dice que no funciona o no es la respuesta:

Simplemente añadir más parámetros no es la solución mágica. Aunque los modelos más grandes generalmente ayudan, un Transformer más pequeño con la arquitectura correcta venció a un CNN mucho más grande.
El entrenamiento estático no es suficiente. Los modelos entrenados solo con imágenes estáticas tienen dificultades cuando el objeto que bloquea comienza a moverse. El artículo muestra que los modelos funcionan significativamente peor con oclusiones dinámicas (bloqueadores en movimiento) que con las estáticas.
El pre-entrenamiento no es opcional para los Transformers. El artículo muestra explícitamente que sin el pre-entrenamiento en grandes conjuntos de datos, los Transformers pierden su ventaja.

La conclusión final

Los autores concluyen que, si bien no hemos "resuelto" la oclusión perfectamente (todavía hay una brecha por cerrar), hemos encontrado una forma mucho mejor de manejarla. Al utilizar Transformers que han sido pre-entrenados, añadir capas de "cápsulas" para ayudar a agrupar los píxeles correctamente, y entrenarlos con una estrategia de "adivinar la pieza faltante", podemos construir detectores de video que son mucho más resilientes a la realidad desordenada del mundo.

Incluso han publicado su código y sus conjuntos de datos para que cualquiera pueda intentar construir sobre esto, porque el objetivo es asegurar que, cuando un perro corra frente a un peatón, el coche autónomo no se quede congelado, sino que siga conduciendo.

Resumen Técnico: Sobre las Oclusiones en la Detección de Acciones en Vídeo: Conjuntos de Datos de Referencia y Recetas de Entrenamiento

Planteamiento del Problema
El aprendizaje profundo ha logrado un éxito significativo en la detección de acciones en vídeo, pero persiste una brecha crítica respecto a la robustez ante oclusiones realistas. Mientras que aplicaciones como la conducción autónoma requieren la localización fiable de actores (por ejemplo, peatones) incluso cuando están parcialmente obstruidos, los modelos actuales de vanguardia (SOTA) se evalúan típicamente en conjuntos de datos donde las divisiones de prueba carecen de oclusiones realistas. Experimentos preliminares en este trabajo demuestran que los modelos actuales sufren caídas significativas de rendimiento (20–50%) cuando se introducen oclusores, verificando que los enfoques existentes carecen de una robustez inherente ante la variación en la severidad y el tipo de oclusión. Además, existe una falta de referentes estandarizados para estudiar sistemáticamente estos fallos.

Metodología y Construcción del Benchmark
Para abordar esto, los autores presentan un estudio de benchmark exhaustivo y cinco nuevos conjuntos de datos diseñados para evaluar la detección de acciones espaciotemporales bajo oclusión:

Conjuntos de Datos Sintéticos Estáticos/Dinámicos: O-UCF y O-JHMDB se generan superponiendo oclusores (seleccionados de Pascal-VOC) sobre los vídeos originales de UCF24 y JHMDB. Estos permiten la manipulación controlada de la severidad de la oclusión (cobertura de área del 0–60%) y del tipo (movimientos estáticos vs. dinámicos como lineales, circulares y de zoom).
Conjuntos de Datos Semi-Realistas: OVIS-UCF y OVIS-JHMDB utilizan oclusores con trayectorias de movimiento realistas derivadas del conjunto de datos OVIS, superpuestos en los vídeos de acción originales.
Conjunto de Datos del Mundo Real: Real-OUCF consiste en 1,743 clips de YouTube seleccionados manualmente que presentan oclusiones naturales y mutuas entre actores, refinados manualmente para asegurar una localización precisa de la acción.

El estudio evalúa tres líneas base SOTA: MOC, YOWO y VideoCapsuleNet (VCAPS), probándolos a través de diferentes arquitecturas (CNNs como ResNet/ResNext y Transformers como MViTv2). La métrica principal es vMAP (video Mean Average Precision) con un IoU de 0.5, junto con puntuaciones de robustez absoluta ( $\delta_a$ ) y relativa ( $\delta_r$ ).

Hallazgos Clave y Análisis
El benchmarking revela varios conocimientos críticos:

Severidad y Ubicación: El rendimiento se degrada a medida que aumenta la severidad de la oclusión en la región del actor, mientras que el aumento de la severidad en el fondo tiene un impacto mínimo.
Estático vs. Dinámico: Los modelos generalmente funcionan mejor con oclusiones estáticas que con las dinámicas, donde tanto los oclusores como los actores se mueven.
Arquitectura y Pre-entrenamiento: Los Transformers (específicamente MViTv2) superan a los modelos basados en CNN, incluso cuando las CNN son entrenadas con la oclusión como aumento de datos. Sin embargo, esta superioridad depende fuertemente del pre-entrenamiento a gran escala (por ejemplo, Kinetics-400); los transformers entrenados desde cero tienen un desempeño pobre.
Recuento de Parámetros: Aumentar el tamaño de los parámetros dentro de la misma familia de modelos generalmente mejora la robustez, pero los Transformers eficientes pueden superar a las CNN más grandes.

Soluciones Propuestas y Recetas de Entrenamiento
El artículo propone estrategias arquitectónicas y de entrenamiento específicas para mejorar la robustez ante la oclusión:

Aumento por Oclusión: Entrenar con oclusiones sintéticas mejora la robustez para todos los modelos, pero las ganancias son más significativas cuando se combinan con arquitecturas Transformer.
Integración de Cápsulas: Añadir capas de cápsulas a las arquitecturas Transformer (formando VCAPS-Mvitv2) permite que la red vincule píxeles específicos de un objeto a ranuras (slots) específicas. El análisis cualitativo muestra que estas cápsulas pueden separar emergentemente a los actores de oclusores no vistos (por ejemplo, sillas, sofás) sin supervisión explícita, realizando efectivamente un descubrimiento de objetos no supervisado.
Enmascaramiento de Tokens: Inspirados en el modelado de imágenes enmascaradas, los autores proponen enmascarar aleatoriamente los tokens de entrada durante el entrenamiento. Esto obliga al modelo a aprender representaciones robustas a partir de información parcial. Esta técnica potencia aún más el rendimiento, permitiendo que el modelo se aproxime a sus niveles de rendimiento de datos limpios incluso bajo oclusión.
"Islas de Acuerdo" Emergentes: El estudio observa que, sin supervisión a nivel de instancia o objetivos contrastivos, las capas del transformer agrupan naturalmente los píxeles en objetos semánticos, mientras que las capas de cápsulas los segregan en ranuras específicas de la instancia. Este comportamiento emergente facilita el mecanismo de "vinculación" necesario para una localización robusta.

Resultados
El modelo propuesto VCAPS-Mvitv2, entrenado con aumento por oclusión y enmascaramiento de tokens, logra resultados de vanguardia en los nuevos benchmarks:

O-UCF: 32.3% de mejora sobre los detectores existentes.
O-JHMDB: 32.7% de mejora.
Real-OUCF: 2.6% de mejora.
Benchmarks Limpios: El modelo también alcanza puntuaciones altas en los conjuntos de datos limpios estándar (83.1% vMAP en UCF-24 y 92.8% en JHMDB-21), demostrando que la robustez no conlleva un coste en el rendimiento con datos limpios.

Significancia y Reivindicaciones
El artículo afirma proporcionar el primer estudio de benchmark sistemático sobre oclusiones en la detección de acciones espaciotemporales. Su significancia radica en:

Exposición de Vulnerabilidad: Confirmar formalmente que los modelos SOTA actuales no son robustos ante oclusiones realistas, una brecha crítica para aplicaciones de seguridad.
Nuevos Estándares: Introducir cinco conjuntos de datos diversos (O-UCF, O-JHMDB, OVIS-UCF, OVIS-JHMDB, Real-OUCF) para facilitar la investigación futura.
Perspectivas Arquitectónicas: Demostrar que combinar Transformers con componentes simbólicos (cápsulas) y recetas de entrenamiento simples (enmascaramiento de tokens) puede inducir una robustez que supera a los modelos que dependen únicamente del aumento de datos.
Propiedades Emergentes: Destacar cómo comportamientos complejos como la separación de objetos/oclusores pueden emerger en redes neuronales sin supervisión explícita de lenguaje o contrastiva, ofreciendo una nueva perspectiva sobre cómo funcionan los mecanismos de agrupación visual en el aprendizaje profundo.

Los autores concluyen que, si bien su enfoque reduce significativamente la brecha, aún quedan desafíos, particularmente en la predicción de regiones faltantes (segmentación amodal) y en el manejo de los problemas de simetría inherentes a los objetos superpuestos. El código y los conjuntos de datos se liberan para fomentar un mayor desarrollo en esta área.