💻 computer science

VTO: Visual Tool Orchestration for Video Anomaly Detection

El artículo propone VTO, un marco de aprendizaje por refuerzo supervisado por procesos que aprovecha un evaluador cognitivo impulsado por un modelo fundacional y una supervisión paso a paso de grano fino para permitir que los agentes multimodales orquesten dinámicamente herramientas visuales especializadas para una detección de anomalías en video mejorada, validada por un nuevo benchmark y conjunto de herramientas llamado VAD-Tool.

Autores originales: Rui Wang, Yeteng Wu, Xianling Zhang, Mengshi Qi

Publicado 2026-08-11

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Rui Wang, Yeteng Wu, Xianling Zhang, Mengshi Qi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio en una ciudad ocupada y caótica. Tienes un cuaderno y un bolígrafo, pero la ciudad está llena de coches en movimiento, objetos que caen y personas peleando. Para resolver el caso, no puedes simplemente mirar toda la escena y adivinar; necesitas usar herramientas específicas. Tal vez necesites una lupa para rastrear a una persona específica, un velocímetro para comprobar si un coche va a exceso de velocidad, o un detector de incendios para detectar humo. En el mundo de las computadoras, esto se llama Detección de Anomalías en Video. Es el trabajo de enseñar a las máquinas a detectar cosas extrañas o peligrosas en grabaciones de video, como una pelea estallando o alguien cayéndose.

Durante mucho tiempo, las computadoras intentaron hacer esto memorizando patrones, como un estudiante estudiando intensamente para un examen. Miraban un video y decían: "¡Esto parece una pelea!". Pero si la pelea ocurría en un lugar nuevo o se veía ligeramente diferente, la computadora se confundía y fallaba. Recientemente, los científicos intentaron darle a las computadoras un "cerebro" (un Modelo de Lenguaje Extenso) que pudiera hablar y pensar. Esperaban que la computadora pudiera determinar qué herramienta usar y cuándo. Pero aquí está el problema: estas computadoras inteligentes a menudo dejan de pensar y dan su respuesta inmediatamente después de ver un pequeño problema. Pasan por alto el panorama general, como el hecho de que una pequeña pelea podría convertirse en una estampida. Necesitan una forma de aprender cómo seguir investigando, paso a paso, sin rendirse demasiado pronto.

Aquí es donde entra el nuevo artículo de investigación. Los investigadores, liderados por Rui Wang y Mengshi Qi de la Universidad de Telecomunicaciones de Beijing, construyeron un nuevo sistema llamado VTO (Orquestación de Herramientas Visuales). Piensa en VTO como un entrenador estricto pero brillante para un robot detective. En lugar de solo dejar que el robot adivine, el entrenador observa cada uno de los pasos que el robot da. Si el robot elige la herramienta equivocada, o deja de investigar antes de estar seguro, el entrenador le da un "pulgar abajo" en ese mismo instante. Si el robot sigue una cadena lógica perfecta, revisando una pista tras otra, el entrenador le da un "pulgar arriba".

El equipo creó un campo de entrenamiento especial llamado VAD-Tool, que es como un patio de juegos gigante con 12 diferentes "herramientas mágicas" para que el robot aprenda. Estas herramientas pueden hacer cosas como contar multitudes, reconocer rostros, detectar armas o detectar fuego. Los investigadores enseñaron a su robot utilizando un método llamado "aprendizaje por refuerzo supervisado por proceso". En términos simples, esto significa que no solo calificaron al robot por la respuesta final; calificaron el proceso. Se aseguraron de que el robot aprendiera que detenerse demasiado pronto es un error. Incluso utilizaron una IA súper inteligente (un modelo de 72 mil millones de parámetros) para actuar como juez, verificando si el razonamiento del robot tenía sentido en cada paso.

Los resultados fueron impresionantes. Cuando probaron su nuevo sistema VTO, mejoró mucho en la resolución de estos misterios complejos de múltiples pasos que los métodos antiguos. Mientras que otros sistemas a menudo se rendían tras encontrar una sola pista, VTO seguía adelante, conectando los puntos hasta encontrar la historia completa. En sus pruebas, el nuevo sistema mejoró la precisión de la elección de las herramientas correctas y el orden correcto hasta en un 10.2% en comparación con los mejores métodos anteriores. Incluso superó a algunos de los modelos de IA más grandes y poderosos que existen, demostrando que enseñar a una computadora cómo pensar paso a paso es más importante que simplemente hacerla más grande. El artículo sugiere que, al obligar a la IA a seguir un camino lógico y estricto y recompensarla por no rendirse, podemos construir sistemas más seguros y más inteligentes para vigilar nuestras ciudades.

Resumen Técnico: VTO – Orquestación de Herramientas Visuales para la Detección de Anomalías en Video

1. Definición del Problema

La Detección de Anomalías en Video (VAD) es una tarea crítica para aplicaciones que van desde la seguridad pública hasta la vigilancia urbana. Sin embargo, las anomalías en el mundo real rara vez son aisladas; son complejas, diversas y dependen de contextos físicos específicos (por ejemplo, una altercado local que escala hacia una agresión con armas). Los enfoques tradicionales de aprendizaje profundo tratan la VAD como una tarea de clasificación o puntuación de conjunto cerrado, lo que provoca una pobre generalización en escenarios de mundo abierto.

Intentos recientes de aprovechar los Modelos de Lenguaje de Gran Escala (LLMs) y los Modelos de Lenguaje-Visión (VLMs) para una VAD explicable han introducido agentes multimodales. No obstante, estos sistemas enfrentan dos limitaciones principales:

Orquestación Estática: Los sistemas que dependen del Ajuste Fino Supervisado (SFT) o de la clonación de comportamiento heurística tratan las herramientas como cápsulas aisladas. Tienen dificultades para orquestar dinámicamente distintos modelos expertos visuales para descifrar dependencias causales intrincadas.
Terminación Prematura: Los enfoques estándar de Aprendizaje por Refuerzo (RL), que dependen de recompensas de grano grueso basadas en resultados, a menudo causan que los agentes detengan la ejecución inmediatamente después de detectar una anomalía primaria. Sin una supervisión de grano fino, los agentes no logran completar las cadenas causales de múltiples pasos necesarias para identificar peligros secundarios en cascada.

2. Metodología: El Marco de Trabajo VTO

Los autores proponen VTO (Visual Tool Orchestration), un marco de aprendizaje por refuerzo supervisado por procesos diseñado para transformar la VAD en un problema complejo de orquestación de herramientas cognitivas de múltiples pasos.

2.1 Benchmark VAD-Tool

Para respaldar el marco, los autores construyeron VAD-Tool, un conjunto de herramientas visuales jerárquico y un benchmark que comprende:

12 Herramientas de Visión Especializadas: Organizadas en tres categorías funcionales:
- Identidad de Entidades y Seguimiento: Re-ID de personas, Reconocimiento de la marcha, Reconocimiento de matrículas, Re-ID de vehículos.
- Comprensión de Comportamiento y Escena: Estimación de pose, Detección de caídas humanas, Conteo de multitudes, Reconocimiento de escenas.
- Detección de Eventos de Seguridad y Peligros: Detección de violencia, Detección de armas, Detección de fuego/humo, y un experto en detección de anomalías general.
Dataset: Un conjunto de datos de entrenamiento a gran escala (~15.48M de tokens) y un riguroso conjunto de pruebas (1,841 muestras) que presenta consultas de anomalías interrelacionadas (por ejemplo, detección de violencia basada en la pose) que requieren razonamiento de múltiples pasos. Los datos fueron curados mediante un pipeline de humano en el bucle utilizando VLMs potentes (Qwen2.5-VL) para la generación inicial de trayectorias y revisión experta para la corrección lógica.

2.2 Pipeline de Entrenamiento

El marco VTO opera en dos etapas distintas:

Etapa 1: Ajuste Fino Supervisado (SFT)
El modelo base se ajusta finamente en el dataset VAD-Tool para establecer capacidades fundamentales:

Invocación Sintáctica de Herramientas: Adherencia al formato ReAct válido (Pensamiento, Acción, Entrada de Acción, Observación).
Modelado de Eventos de Anomalía: Adaptación de representaciones internas para eventos de seguridad de alto riesgo.
Integración de Observaciones: Aprendizaje para contextualizar salidas específicas de expertos visuales (por ejemplo, IDs de seguimiento, coordenadas espaciales).

Etapa 2: Alineación Cognitiva Supervisada por Procesos
Para superar las limitaciones de la clonación de comportamiento estática y el RL basado en resultados, los autores introducen un bucle de aprendizaje dinámico optimizado mediante Optimización de Política Relativa de Grupo (GRPO). Esta etapa emplea un sistema de recompensa dual para proporcionar una supervisión densa y paso a paso:

Recompensas de Objetivo Basadas en Reglas ( $R_{rule}$ ):
- Finalización de la Tarea ( $R_{comp}$ ): Puntuaciones positivas por finalización exitosa, penalizaciones negativas por errores.
- Coincidencia de Herramienta/Parámetro ( $R_{tool}, R_{param}$ ): Aplicación de coincidencia exacta para nombres de herramientas y parámetros.
- Penalización de Eficiencia ( $R_{eff}$ ): Desincentiva las invocaciones redundantes de herramientas.
Recompensas de LLM como Juez ( $R_{LLM}$ ):
- Utilizando un modelo de 72B de parámetros (Qwen2.5-VL) como evaluador experto para calificar las trayectorias en:
  - Logística ( $R_{logic}$ ): Razonamiento causal paso a paso.
  - Relevancia ( $R_{rel}$ ): Alineación de las acciones con la consulta del usuario.
  - Completitud ( $R_{complete}$ ): Asegurar que todos los pasos lógicos necesarios estén cubiertos, penalizando explícitamente la terminación prematura.

El agente optimiza su política maximizando la ventaja relativa del grupo, aprendiendo efectivamente a construir cadenas causales orientadas a objetivos sin terminación prematura.

3. Contribuciones Clave

Marco VTO: Un marco de agente multimodal dinámico impulsado por el aprendizaje por refuerzo supervisado por procesos. Aborda explícitamente el problema de la terminación prematura en VAD al pasar de recompensas basadas en resultados a una alineación cognitiva de grano fino por pasos.
Benchmark VAD-Tool: Una plataforma de evaluación integral que integra 12 modelos de visión especializados. Está diseñado específicamente para probar el razonamiento de anomalías interrelacionadas de un solo paso y de múltiples pasos, llenando el vacío en los datasets existentes que se centran principalmente en métricas impulsadas por resultados.
Avance de Rendimiento: El marco demuestra que la optimización de la política dinámica puede superar significativamente a las líneas base de SFT estático e incluso superar el rendimiento de modelos masivos de 72B de parámetros en tareas complejas de orquestación de herramientas.

4. Resultados Experimentales

Se realizaron experimentos extensos en el benchmark VAD-Tool utilizando varios modelos base (Vicuna-7B, Llama-3-8B, Qwen3-VL-8B) y una fuerte línea base de 72B (Qwen2.5-VL-72B).

Limitaciones de la Línea Base: Las líneas base de cero disparos (zero-shot) y pocos disparos (few-shot), así como los modelos solo de SFT, mostraron una degradación catastrófica en las tareas de "Herramientas Interrelacionadas". Por ejemplo, Vicuna-7B cayó al 0% de precisión en tareas de respuesta completa interrelacionada, y Qwen2.5-VL-72B se estancó en aproximadamente ~67.40%.
Rendimiento de VTO: VTO superó significativamente a todas las líneas base.
- Con el backbone Qwen3-VL-8B, VTO logró un 95.14% de precisión en la métrica "Whole" para herramientas interrelacionadas, comparado con el 89.74% de la línea base SFT.
- Con el backbone Llama-3-8B, VTO mejoró el rendimiento interrelacionado de 65.93% (línea base SFT) a 72.16%.
- VTO alcanzó puntuaciones perfectas (100%) en las métricas de Decisión (Decis) y Selección de Herramienta (Tool) para la variante Qwen3-VL-8B.
Estudios de Ablación: Eliminar los componentes supervisados por procesos (específicamente la recompensa de finalización de tarea o la recompensa del juez LLM) provocó caídas significativas en el rendimiento, confirmando la necesidad tanto de anclajes deterministas basados en reglas como de supervisión lógica cualitativa para prevenir la terminación prematura y las alucinaciones.

5. Significado y Reivindicaciones

El artículo afirma que VTO redefine la Detección de Anomalías en Video como un problema de orquestación de herramientas cognitivas de múltiples pasos y complejos, en lugar de una tarea de clasificación estática. Al introducir la Alineación Cognitiva Supervisada por Procesos, los autores demuestran que los agentes pueden ser entrenados para explorar entornos dinámicamente, construir cadenas causales observables de múltiples pasos y adherirse rigurosamente a las restricciones de seguridad sin terminar prematuramente.

Este trabajo cierra la brecha entre el aprendizaje de imitación estático y el aprendizaje por refuerzo dinámico en dominios de seguridad física. Proporciona una infraestructura rigurosa (VAD-Tool) y un marco escalable (VTO) que permite a los agentes manejar peligros impredecibles y en cascada, yendo más allá de las limitaciones de los paradigmas actuales dependientes de entrenamiento y libres de entrenamiento. Los autores enfatizan que su enfoque permite que modelos más pequeños (8B de parámetros) alcancen niveles de rendimiento que rivalizan o incluso superan a modelos mucho más grandes (72B de parámetros) en tareas de razonamiento complejo específicas.