Resumo Técnico: COPRA – Adaptação Condicional de Parâmetros com Aprendizado por Reforço para Detecção de Anomalias em Vídeo

1. Definição do Problema e Motivação

A Detecção de Anomalias em Vídeo (VAD) visa identificar eventos raros e inesperados em vídeos longos, frequentemente sob supervisão fraca onde apenas rótulos ao nível do vídeo estão disponíveis. Embora os Modelos Visão-Linguagem (VLMs) tenham demonstrado potencial na VAD ao aproveitar priores semânticos e oferecer interpretabilidade, o artigo identifica duas limitações críticas e pouco exploradas nas abordagens existentes:

1. O Gargalo dos Parâmetros Compartilhados: Os métodos atuais de VAD baseados em VLMs geralmente dependem de um espaço de parâmetros estático e compartilhado (por exemplo, prompts fixos ou pesos ajustados globalmente) após o treinamento. Isso força tipos heterogêneos de anomalias (por exemplo, acidentes de trânsito vs. furtos em lojas) e contextos de cena diversos em uma única solução comprometida. Consequentemente, esses modelos sofrem de sobreajuste às distribuições de treinamento e falham em generalizar para domínios não vistos ou tipos de anomalias novos.
2. Incompatibilidade entre Treinamento e Inferência: Pipelines existentes frequentemente treinam em quadros amostrados esparsamente de vídeos longos com supervisão fraca ao nível do vídeo, mas realizam inferência em janelas deslizantes densamente amostradas para localização granular. Essa discrepância leva a inconsistências onde parâmetros aprendidos a partir de entradas esparsas são aplicados a decisões locais densas, degradando o desempenho sob variações de movimento, ponto de vista e semântica.

2. Metodologia: O Framework COPRA

Os autores propõem o COPRA (Adaptação Condicional de Parâmetros), um framework que reformula a VAD como um problema de adaptação condicionada à instância. Em vez de aprender uma única atualização estática, o COPRA gera dinamicamente atualizações de parâmetros específicas para a entrada para cada segmento de vídeo, modulando um VLM amplamente congelado em tempo real.

Arquitetura Central

• Geração de Parâmetros Condicionada à Instância: O COPRA emprega uma rede geradora leve, $g_{\phi_2}$, que recebe um sinal de condicionamento visual compacto derivado do vídeo de entrada $V$ e prevê uma atualização específica de parâmetro $\Delta\theta(V)$.
• Condicionamento Visual: O vídeo de entrada é amostrado uniformemente (por exemplo, $K=8$ quadros) e processado por um codificador de visão congelado (um submódulo do VLM) para produzir tokens visuais. Esses tokens servem como o único sinal de condicionamento para o gerador.
• Síntese de Pesos LoRA: O gerador é um Transformer que mapeia tokens visuais em pesos LoRA (Adaptação de Baixo Rango) tokenizados e condicionados à instância. Esses pesos são injetados como atualizações residuais na espinha dorsal do VLM congelado (especificamente mirando projeções query-key-value, módulos de gating e transformações de saída).
• Adaptação Híbrida: Os parâmetros LoRA gerados são inicializados com um prior latente global aprendível ($p_{global}$), combinando padrões de adaptação ao nível do conjunto de dados com resíduos específicos da entrada. Isso permite que o modelo retenha conhecimento geral enquanto se especializa para a instância atual.

Treinamento via Aprendizado por Reforço

O COPRA é treinado de ponta a ponta usando Otimização de Política Relativa por Grupos (GRPO) sob supervisão ao nível do vídeo:

• Política: O gerador $g_{\phi_2}$ atua como uma política que mapeia sinais visuais para atualizações de parâmetros.
• Design de Recompensa: O sistema utiliza recompensas binárias baseadas na correção da classificação final ao nível do vídeo (Normal vs. Anomalia) e conformidade de formato.
• Mecanismo: Para um vídeo dado, o modelo gera múltiplas sequências de resposta usando os parâmetros adaptados. A vantagem é computada via normalização por grupo dessas recompensas. Isso incentiva o gerador a produzir atualizações de parâmetros que levam a previsões corretas, aprendendo efetivamente um mecanismo de "geração de espaço de pesos" sem exigir supervisão explícita sobre os próprios pesos.

Adaptação Temporal Flexível

Para abordar a incompatibilidade entre treinamento e inferência, o COPRA suporta estratégias de amostragem flexíveis. Durante a inferência, os vídeos são partitionados em segmentos sobrepostos. O framework pode gerar parâmetros para blocos temporais específicos (por exemplo, blocos de 120 segundos) e reutilizá-los para pontuar segmentos locais dentro desse contexto, permitindo compartilhamento de parâmetros consciente do contexto enquanto mantém granularidade temporal.

3. Contribuições Principais

1. Identificação do Gargalo dos Parâmetros Compartilhados: O artigo articula como adaptações estáticas e compartilhadas em VAD baseada em VLM limitam a generalização ao forçar requisitos heterogêneos em um único compromisso.
2. Framework de Adaptação Condicionada à Instância: O COPRA é apresentado como o primeiro framework a formular a VAD como um problema condicionado à instância, especializando dinamicamente o comportamento do VLM para cada segmento de vídeo via pesos LoRA gerados.
3. Geração de Parâmetros Impulsionada por RL: A introdução de um framework de geração condicional de parâmetros treinado com aprendizado por reforço (GRPO) sob supervisão fraca, permitindo adaptação dinâmica por entrada sem ajuste fino completo.
4. Generalização Robusta: O framework demonstra aliviar a incompatibilidade entre treinamento e inferência e reduzir interferência entre domínios, melhorando a robustez através de padrões de anomalia diversos e dinâmicas temporais.

4. Resultados Experimentais

Os autores avaliaram o COPRA em benchmarks padrão de VAD e tarefas entre domínios:

• Desempenho no Domínio: Em UCF-Crime e XD-Violence, o COPRA superou consistentemente as linhas de base de VLM congelados e métodos de adaptação estática fortes (por exemplo, VERA).
  • No UCF-Crime, o COPRA melhorou a AUC do InternVL2-8B de 84,31% para 87,14%.
  • No XD-Violence, melhorou a AP do InternVL2-8B de 74,32% para 76,52%.
  • Estudos de ablação confirmaram que a adaptação condicionada à instância supera significativamente a adaptação baseada em GRPO estático.
• Generalização entre Domínios: Treinado exclusivamente no UCF-Crime, o COPRA foi avaliado zero-shot em:
  • VRU-Accident: Melhorou métricas semânticas de legendagem densa (SPICE, METEOR) e a precisão de VideoQA de múltipla escolha.
  • HIVAU-70K: Aprimorou a geração de explicações em linguagem natural nos níveis de clipe, evento e vídeo.
• Adaptação Temporal: Experimentos mostraram que gerar parâmetros para blocos temporais maiores (por exemplo, 120s) e reutilizá-los para segmentos locais resultou no melhor desempenho, validando a flexibilidade da estratégia de adaptação temporal.
• Análise Qualitativa: Visualizações t-SNE demonstraram que o COPRA produz embeddings mais discriminativos, separando melhor vídeos normais e anômalos em comparação com a linha de base. As descrições geradas também foram mais coerentes e focadas em pistas relevantes para anomalias.

5. Significado e Alegações

O artigo alega que o COPRA fornece um mecanismo eficaz de geração de espaço de pesos para modelos fundamentais. Ao afastar-se de parâmetros estáticos e compartilhados em direção a uma adaptação dinâmica e condicionada à entrada, o COPRA permite:

• Escalabilidade: Adaptar modelos grandes congelados a tarefas específicas sem retreinamento completo.
• Adaptabilidade: Lidar com deslocamentos significativos de distribuição e tipos de anomalias novos ao ajustar a fronteira de decisão para cada entrada.
• Consciência Contextual: Preencher a lacuna entre supervisão de treinamento esparsa e requisitos de inferência densa.

Os autores reconhecem limitações, incluindo a falta de fundamentação teórica para os pesos gerados, interpretabilidade limitada dos próprios pesos LoRA e a sobrecarga computacional introduzida pelo processo de treinamento GRPO (especificamente a amostragem repetida de respostas). Eles sugerem que essas áreas merecem investigação futura.

Disponibilidade do Código: O código foi lançado em https://github.com/THE-MALT-LAB/COPRA.