Benchmarking Compact VLMs for Clip-Level Surveillance Anomaly Detection Under Weak Supervision

Título: Evaluación Comparativa de Modelos de Lenguaje Visual (VLM) Compactos para la Detección de Anomalías en Videovigilancia bajo Supervisión Débil

1. Problema de Investigación

La detección automática de anomalías en sistemas de videovigilancia (CCTV) enfrenta desafíos críticos en entornos operativos reales:

• Supervisión Débil y Desbalance de Clases: Las anomalías (accidentes, peleas, robos) son eventos raros comparados con la actividad normal, y las anotaciones suelen estar a nivel de clip (toda la secuencia es "anormal" o "normal") sin localización temporal precisa.
• Restricciones de Latencia y Recursos: Los despliegues en el borde (edge) requieren inferencia en tiempo real con hardware limitado, lo que descarta modelos masivos o pipelines complejos de múltiples etapas.
• Dependencia del Contexto: Lo que es normal en un escenario puede ser anómalo en otro, lo que exige modelos que comprendan semántica y contexto, no solo patrones visuales estáticos.
• Falta de Comparabilidad: Existe una carencia de benchmarks unificados que comparen modelos de lenguaje visual (VLM) compactos bajo un mismo protocolo, métricas y configuración de hardware, lo que dificulta determinar si las mejoras provienen del modelo o de la configuración experimental.

El estudio se formula como un problema de clasificación binaria a nivel de clip (normal vs. anómalo) bajo supervisión débil, utilizando el conjunto de datos UCF-Crime.

2. Metodología

Los autores proponen un protocolo de evaluación unificado y reproducible para comparar VLMs compactos (2B a 8B parámetros) frente a enfoques existentes.

• Modelos Evaluados: Se analizaron dos categorías de capacidad:
  • Tiny (2-4B): InternVL3-2B, Qwen2.5-VL-3B, Gemma-3-4B.
  • Small (7-8B): InternVL3-8B, Video-LLaVA-7B, Qwen2.5-VL-7B.
• Estrategias de Prompting: Se probaron cuatro modos de instrucción uniformes para todos los modelos:
  1. Instrucción Básica (directa).
  2. Definición Zero-shot (sin ejemplos).
  3. Few-shot (con ejemplos etiquetados).
  4. Chain-of-Thought (CoT, razonamiento paso a paso).
• Adaptación Eficiente de Parámetros (PEFT): Se aplicó LoRA (Low-Rank Adaptation) con rango 8 para realizar un ajuste fino (fine-tuning) de los modelos compactos sobre el conjunto de entrenamiento de UCF-Crime, manteniendo los pesos base congelados.
• Pipeline de Inferencia:
  • Extracción de frames RGB (muestreo uniforme temporal).
  • Preprocesamiento estandarizado según cada modelo.
  • Predicción restringida a un único carácter binario ('0' o '1').
• Métricas y Hardware: Se evaluaron precisión, recall, F1-score, ROC-AUC y latencia promedio por clip (tiempo de inferencia). Las pruebas se realizaron en GPUs NVIDIA RTX 4060 Ti (inferencia) y A100 (entrenamiento).
• Baselines: Se compararon contra pipelines de VLMs de entrenamiento libre (LAVAD, VERA) y métodos de aprendizaje débilmente supervisado (PEL4VAD), re-ejecutándolos bajo el mismo protocolo para garantizar equidad.

3. Contribuciones Clave

1. Protocolo de Benchmark Unificado: Establece un estándar para comparar VLMs compactos en detección de anomalías, normalizando preprocesamiento, splits de datos, métricas y configuración de runtime.
2. Evaluación de PEFT vs. Uso Libre: Demuestra empíricamente que el ajuste fino con LoRA es esencial para que los VLMs pequeños funcionen en esta tarea, superando significativamente su rendimiento en modo "zero-shot" o "few-shot".
3. Análisis de Robustez al Prompt: Identifica que los prompts complejos (Few-shot, CoT) degradan el rendimiento en modelos no ajustados ("sobrecarga de prompt"), mientras que el ajuste fino con LoRA reduce la sensibilidad al tipo de instrucción, estabilizando el comportamiento.
4. Eficiencia vs. Precisión: Muestra que modelos compactos ajustados (ej. 2B-4B parámetros) pueden igualar o superar a modelos más grandes (7B-8B) y baselines especializados, con una latencia de inferencia competitiva o superior.

4. Resultados Principales

• Impacto del Ajuste Fino (LoRA):
  • Los modelos "Tiny" sin ajuste tuvieron un rendimiento pobre (ej. F1 de 0.01 en InternVL3-2B con Few-shot).
  • Tras el ajuste con LoRA, el rendimiento se transformó radicalmente: InternVL3-2B pasó de un F1 de ~0.01 a 0.90, y Qwen2.5-VL-3B de 0.18 a 0.90.
  • El ajuste fino no solo mejoró la precisión, sino que en muchos casos redujo la latencia (ej. Qwen2.5-VL-3B pasó de 5.09s a 2.83s por clip en modo Basic), probablemente debido a una convergencia más rápida en la toma de decisiones binarias.
• Comparación con Baselines:
  • El modelo InternVL3-2B ajustado con LoRA alcanzó un F1 de 0.916 y un ROC-AUC de 0.92, superando a baselines de entrenamiento libre como LAVAD (F1 0.76) y VERA (F1 0.72), y compitiendo favorablemente con PEL4VAD.
  • Los modelos compactos ajustados superaron a sus contrapartes más grandes (7-8B) en términos de F1 y latencia en varios escenarios.
• Efecto del Prompting:
  • En modelos sin ajustar, los prompts complejos (CoT, Few-shot) aumentaron la latencia y redujeron la precisión (sobreajuste al prompt).
  • Con LoRA, el modelo se volvió robusto a la variación del prompt, manteniendo un alto rendimiento tanto con instrucciones básicas como con razonamiento complejo.

5. Significado e Implicaciones

El estudio concluye que el ajuste fino eficiente de parámetros (PEFT) es el habilitador crítico para utilizar VLMs compactos en la detección de anomalías en videovigilancia.

• Viabilidad Operativa: Permite desplegar detectores de alta precisión en hardware de borde con restricciones de latencia estrictas, eliminando la necesidad de modelos masivos o pipelines de múltiples etapas costosos computacionalmente.
• Simplicidad y Transparencia: Un pipeline simple (clip -> VLM ajustado -> respuesta binaria) es suficiente y superior a enfoques complejos de razonamiento en cadena para esta tarea específica.
• Dirección Futura: Sugiere que la adaptación específica de la tarea es obligatoria para la detección robusta de anomalías y abre la puerta a la integración multimodal (audio, flujo óptico) manteniendo la eficiencia del modelo.

En resumen, el trabajo demuestra que no es necesario recurrir a modelos gigantescos o a pipelines de inferencia complejos para lograr detección de anomalías de alto nivel; una combinación de modelos compactos + LoRA + prompts concisos ofrece el mejor equilibrio entre precisión, latencia y costo computacional.