Resumen Técnico: COPRA – Adaptación Condicional de Parámetros con Aprendizaje por Refuerzo para la Detección de Anomalías en Video

1. Definición del Problema y Motivación

La Detección de Anomalías en Video (VAD) tiene como objetivo identificar eventos raros e inesperados en videos largos, a menudo bajo supervisión débil donde solo están disponibles etiquetas a nivel de video. Si bien los Modelos Visuales-Lingüísticos (VLM) han demostrado ser prometedores en VAD al aprovechar priores semánticos y ofrecer interpretabilidad, el artículo identifica dos limitaciones críticas y poco exploradas en los enfoques existentes:

1. El Cuello de Botella de los Parámetros Compartidos: Los métodos actuales de VAD basados en VLM suelen depender de un espacio de parámetros estático y compartido (por ejemplo, indicaciones fijas o pesos ajustados globalmente) después del entrenamiento. Esto fuerza a que tipos de anomalías heterogéneos (por ejemplo, accidentes de tráfico vs. hurtos en tiendas) y contextos de escena diversos se integren en una única solución comprometida. En consecuencia, estos modelos se sobreajustan a las distribuciones de entrenamiento y fallan al generalizar a dominios no vistos o tipos de anomalías novedosos.
2. Discrepancia entre Entrenamiento e Inferencia: Las pipelines existentes a menudo entrenan con marcos muestreados escasamente de videos largos con supervisión débil a nivel de video, pero realizan la inferencia en ventanas deslizantes muestreadas densamente para la localización fina. Esta discrepancia conduce a inconsistencias donde los parámetros aprendidos a partir de entradas escasas se aplican a decisiones locales densas, degradando el rendimiento bajo variaciones en el movimiento, el punto de vista y la semántica.

2. Metodología: El Marco COPRA

Los autores proponen COPRA (Adaptación Condicional de Parámetros), un marco que reformula la VAD como un problema de adaptación condicionada por instancia. En lugar de aprender una única actualización estática, COPRA genera dinámicamente actualizaciones de parámetros específicas para la entrada para cada segmento de video, modulando un VLM en gran parte congelado sobre la marcha.

Arquitectura Central

• Generación de Parámetros Condicionada por Instancia: COPRA emplea una red generadora ligera, $g_{\phi_2}$, que toma una señal de condicionamiento visual compacta derivada del video de entrada $V$ y predice una actualización de parámetros específica $\Delta\theta(V)$.
• Condicionamiento Visual: El video de entrada se muestrea uniformemente (por ejemplo, $K=8$ marcos) y se procesa mediante un codificador visual congelado (un submódulo del VLM) para producir tokens visuales. Estos tokens sirven como la única señal de condicionamiento para el generador.
• Síntesis de Pesos LoRA: El generador es un Transformer que mapea tokens visuales a pesos LoRA (Adaptación de Bajo Rango) tokenizados y condicionados por instancia. Estos pesos se inyectan como actualizaciones residuales en la columna vertebral del VLM congelado (dirigiéndose específicamente a proyecciones de consulta-clave-valor, módulos de puerta y transformaciones de salida).
• Adaptación Híbrida: Los parámetros LoRA generados se inicializan con un prior latente global aprendible ($p_{global}$), combinando patrones de adaptación a nivel de conjunto de datos con residuos específicos de la entrada. Esto permite que el modelo retenga conocimiento general mientras se especializa para la instancia actual.

Entrenamiento mediante Aprendizaje por Refuerzo

COPRA se entrena de extremo a extremo utilizando Optimización de Política Relativa por Grupos (GRPO) bajo supervisión a nivel de video:

• Política: El generador $g_{\phi_2}$ actúa como una política que mapea señales visuales a actualizaciones de parámetros.
• Diseño de Recompensa: El sistema utiliza recompensas binarias basadas en la corrección de la clasificación final a nivel de video (Normal vs. Anomalía) y el cumplimiento del formato.
• Mecanismo: Para un video dado, el modelo genera múltiples secuencias de respuesta utilizando los parámetros adaptados. La ventaja se calcula mediante la normalización por grupos de estas recompensas. Esto alienta al generador a producir actualizaciones de parámetros que conduzcan a predicciones correctas, aprendiendo efectivamente un mecanismo de "generación de espacio de pesos" sin requerir supervisión explícita sobre los pesos en sí mismos.

Adaptación Temporal Flexible

Para abordar la discrepancia entre entrenamiento e inferencia, COPRA admite estrategias de muestreo flexibles. Durante la inferencia, los videos se dividen en segmentos superpuestos. El marco puede generar parámetros para fragmentos temporales específicos (por ejemplo, fragmentos de 120 segundos) y reutilizarlos para puntuar segmentos locales dentro de ese contexto, permitiendo el intercambio de parámetros consciente del contexto mientras se mantiene la granularidad temporal.

3. Contribuciones Clave

1. Identificación del Cuello de Botella de los Parámetros Compartidos: El artículo articula cómo las adaptaciones estáticas y compartidas en la VAD basada en VLM limitan la generalización al forzar requisitos heterogéneos en un único compromiso.
2. Marco de Adaptación Condicionada por Instancia: COPRA se presenta como el primer marco que formula la VAD como un problema condicionado por instancia, especializando dinámicamente el comportamiento del VLM para cada segmento de video mediante pesos LoRA generados.
3. Generación de Parámetros Impulsada por RL: La introducción de un marco de generación condicional de parámetros entrenado con aprendizaje por refuerzo (GRPO) bajo supervisión débil, permitiendo una adaptación dinámica por entrada sin un ajuste fino completo.
4. Generalización Robusta: Se demuestra que el marco alivia la discrepancia entre entrenamiento e inferencia y reduce la interferencia entre dominios, mejorando la robustez a través de patrones de anomalía diversos y dinámicas temporales.

4. Resultados Experimentales

Los autores evaluaron COPRA en benchmarks estándar de VAD y tareas de cruzar dominios:

• Rendimiento Intra-Dominio: En UCF-Crime y XD-Violence, COPRA superó consistentemente a las líneas base de VLM congelados y a métodos de adaptación estática fuertes (por ejemplo, VERA).
  • En UCF-Crime, COPRA mejoró el AUC de InternVL2-8B del 84.31% al 87.14%.
  • En XD-Violence, mejoró el AP de InternVL2-8B del 74.32% al 76.52%.
  • Los estudios de ablación confirmaron que la adaptación condicionada por instancia supera significativamente a la adaptación estática basada en GRPO.
• Generalización Cruzada-Dominio: Entrenado únicamente en UCF-Crime, COPRA se evaluó zero-shot en:
  • VRU-Accident: Mejoró las métricas semánticas de descripción densa (SPICE, METEOR) y la precisión de VideoQA de opción múltiple.
  • HIVAU-70K: Potenció la generación de explicaciones en lenguaje natural a nivel de clip, evento y video.
• Adaptación Temporal: Los experimentos mostraron que generar parámetros para fragmentos temporales más grandes (por ejemplo, 120s) y reutilizarlos para segmentos locales arrojó el mejor rendimiento, validando la flexibilidad de la estrategia de adaptación temporal.
• Análisis Cualitativo: Las visualizaciones t-SNE demostraron que COPRA produce incrustaciones más discriminativas, separando mejor los videos normales y anómalos en comparación con la línea base. Las descripciones generadas también fueron más coherentes y se centraron en pistas relevantes para la anomalía.

5. Significado y Afirmaciones

El artículo afirma que COPRA proporciona un mecanismo efectivo de generación de espacio de pesos para modelos fundamentales. Al alejarse de parámetros estáticos y compartidos hacia una adaptación dinámica condicionada por la entrada, COPRA permite:

• Escalabilidad: Adaptar modelos grandes congelados a tareas específicas sin reentrenamiento completo.
• Adaptabilidad: Manejar cambios significativos de distribución y tipos de anomalías novedosos al ajustar el límite de decisión para cada entrada.
• Conciencia del Contexto: Cerrar la brecha entre la supervisión de entrenamiento escasa y los requisitos de inferencia densa.

Los autores reconocen limitaciones, incluida la falta de fundamentación teórica para los pesos generados, la interpretabilidad limitada de los propios pesos LoRA y la sobrecarga computacional introducida por el proceso de entrenamiento GRPO (específicamente el muestreo repetido de respuestas). Sugieren que estas áreas merecen investigación futura.

Disponibilidad del Código: El código se publica en https://github.com/THE-MALT-LAB/COPRA.