💻 computer science

COPRA: Conditional Parameter Adaptation with Reinforcement Learning for Video Anomaly Detection

COPRA è un nuovo framework che sfrutta l'apprendimento per rinforzo per generare aggiornamenti dei parametri specifici per l'input per modelli visione-linguaggio congelati, risolvendo efficacemente le discrepanze tra addestramento e inferenza e ottenendo prestazioni all'avanguardia nella rilevazione di anomalie video e in altri compiti di comprensione video.

Autori originali: Darryl Cherian Jacob, Xinyu Liu, Kai Wang, Pan He

Pubblicato 2026-05-18

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Darryl Cherian Jacob, Xinyu Liu, Kai Wang, Pan He

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di assumere una guardia di sicurezza per sorvegliare migliaia di ore di filmati di videosorveglianza per individuare problemi. Questo è il compito della Rilevazione di Anomalie Video (VAD).

Per molto tempo, il modo migliore per farlo è stato addestrare un'IA super-intelligente (un Modello Vision-Language) a guardare il video e dire: "Questo sembra normale", oppure "Questo sembra un incidente".

Tuttavia, gli autori di questo articolo, COPRA, hanno notato un grave difetto nel modo in cui queste guardie IA vengono attualmente addestrate. Lo chiamano "Collo di bottiglia dei parametri condivisi".

Il Problema: La "Uniforme Tagliata su Misura per Tutti"

Immagina di avere una guardia di sicurezza che deve indossare un'unica uniforme statica per ogni singolo turno, indipendentemente da cosa sta sorvegliando.

Se sta sorvegliando una banca, deve cercare persone che scappano con borse.
Se sta sorvegliando un parco, deve cercare persone che litigano.
Se sta sorvegliando una strada, deve cercare incidenti automobilistici.

Attualmente, la maggior parte dei modelli IA cerca di imparare un unico insieme di regole (una singola "uniforme") che funzioni per tutti questi scenari diversi contemporaneamente. Il risultato? L'IA cerca di trovare un "compromesso". Diventa un po' brava a individuare rapine in banca, un po' brava a individuare risse nei parchi, ma non eccellente in nessuna di esse. Quando vede un nuovo tipo di problema che non ha mai visto prima, si confonde perché la sua "uniforme" non si adatta a quella situazione specifica.

Inoltre, c'è una discrepanza tra il modo in cui vengono addestrate e il modo in cui operano:

Addestramento: All'IA vengono mostrate alcune fotogrammi casuali tratti da un video lungo e le viene detto: "C'era un problema da qualche parte in questa intera ora".
Test: All'IA viene chiesto di guardare piccole, dense porzioni di video secondo per secondo per individuare esattamente quando è avvenuto il problema.

È come addestrare uno chef mostrandogli una foto di una torta finita e dicendo "Fai questo", per poi chiedergli di cuocere la torta un briciolo alla volta. Le istruzioni non corrispondono esattamente al compito.

La Soluzione: COPRA (La "Tuta Su Misura")

Gli autori propongono un nuovo sistema chiamato COPRA. Invece di costringere l'IA a indossare un'unica uniforme statica, COPRA fornisce all'IA un sarto magico che crea un abito su misura per ogni singolo clip video che vede.

Ecco come funziona in termini semplici:

Il Cervello Congelato: L'IA principale (il "cervello") rimane congelata e invariata. Conosce già molto del mondo.
Il Sarto Magico (Il Generatore): Una minuscola rete di supporto leggera osserva il clip video specifico (ad esempio, una scena di traffico rispetto a una scena di negozio).
Personalizzazione Istantanea: In base a ciò che vede, il sarto genera istantaneamente un piccolo insieme di "regolazioni" (chiamate pesi LoRA) specificamente per quel clip.
- Se il clip è un video di traffico, il sarto modifica il focus dell'IA per cercare auto e pedoni.
- Se il clip è un video di vendita al dettaglio, il sarto modifica l'IA per cercare comportamenti di furto.
Il Risultato: L'IA indossa questa "tuta su misura" solo per quell'istante, prende la sua decisione e poi se la toglie. Non deve ricordare una regola di compromesso per tutto; si adatta sul momento.

Come Hanno Addestrato il Sarto (Apprendimento per Rinforzo)

Potresti chiederti: "Come fa il sarto a sapere quali regolazioni fare?"

Gli autori hanno utilizzato una tecnica chiamata Apprendimento per Rinforzo. Pensa ad addestrare un cane con premi:

L'IA indovina se un video è normale o anomalo.
Se indovina la risposta corretta (basata sull'etichetta a livello di video), riceve un "premio" (una ricompensa).
Se sbaglia, non riceve alcun premio.
Col tempo, il "sarto" impara a generare le regolazioni su misura perfette che portano al maggior numero di premi.

Cosa Hanno Scoperto

L'articolo afferma che questo approccio di "cucito su misura" funziona molto meglio del vecchio metodo "taglia unica":

Migliore Accuratezza: Nei test standard (come individuare crimini nei video di videosorveglianza), COPRA ha individuato più anomalie e commesso meno errori rispetto ai metodi precedenti.
Migliore Generalizzazione: Quando hanno testato COPRA su video che non aveva mai visto prima (come incidenti stradali invece di crimini nei negozi), ha ancora funzionato bene. Poiché ha imparato come adattarsi invece di semplicemente memorizzare, è riuscito a gestire nuove situazioni.
Oltre Semplici Allarmi: Hanno anche dimostrato che questo metodo aiuta l'IA a scrivere descrizioni migliori di ciò che è accaduto (come "Un'auto ha investito un pedone") e a rispondere a domande sul video, dimostrando che la "tuta su misura" aiuta l'IA a comprendere meglio il contesto.

Riepilogo

In breve, COPRA smette di cercare di costringere un singolo modello IA a essere un esperto di tutto contemporaneamente. Invece, dà all'IA la capacità di riconfigurarsi istantaneamente per ogni video specifico che guarda. È la differenza tra una guardia di sicurezza che indossa un abito rigido e mal tagliato per ogni lavoro, e una guardia che cambia istantaneamente nell'equipaggiamento perfetto per la situazione specifica che sta affrontando.

Riepilogo Tecnico: COPRA – Adattamento Condizionale dei Parametri con Apprendimento per Rinforzo per il Rilevamento di Anomalie Video

1. Definizione del Problema e Motivazione

Il Rilevamento di Anomalie Video (VAD) mira a identificare eventi rari e inaspettati in video lunghi, spesso in condizioni di supervisione debole dove sono disponibili solo etichette a livello di video. Sebbene i Modelli Vision-Language (VLM) abbiano mostrato promesse nel VAD sfruttando prior semantiche e offrendo interpretabilità, il documento individua due limitazioni critiche e poco esplorate negli approcci esistenti:

Il Collo di Bottiglia dei Parametri Condivisi: I metodi VAD basati su VLM attuali si affidano tipicamente a uno spazio di parametri statico e condiviso (ad esempio, prompt fissi o pesi ottimizzati globalmente) dopo l'addestramento. Questo costringe tipi di anomalie eterogenei (ad esempio, incidenti stradali vs. furti in negozio) e contesti di scena diversi in un'unica soluzione compromessa. Di conseguenza, questi modelli soffrono di overfitting sulle distribuzioni di addestramento e falliscono nel generalizzare a domini non visti o a nuovi tipi di anomalie.
Disallineamento Addestramento-Inferenza: Le pipeline esistenti spesso addestrano su frame campionati sparsamente da video lunghi con supervisione debole a livello di video, ma eseguono l'inferenza su finestre scorrevoli densamente campionate per la localizzazione fine-granulare. Questa discrepanza porta a incoerenze dove i parametri appresi da input sparsi vengono applicati a decisioni locali dense, degradando le prestazioni sotto variazioni di movimento, punto di vista e semantica.

2. Metodologia: Il Framework COPRA

Gli autori propongono COPRA (Conditional PaRameter Adaptation), un framework che riformula il VAD come un problema di adattamento condizionato all'istanza. Invece di apprendere un singolo aggiornamento statico, COPRA genera dinamicamente aggiornamenti dei parametri specifici per l'input per ogni segmento video, modulando un VLM in gran parte congelato al volo.

Architettura Principale

Generazione di Parametri Condizionata all'Istanza: COPRA impiega una rete generatrice leggera, $g_{\phi_2}$ , che prende un segnale di condizionamento visivo compatto derivato dal video di input $V$ e prevede un aggiornamento specifico dei parametri $\Delta\theta(V)$ .
Condizionamento Visivo: Il video di input viene campionato uniformemente (ad esempio, $K=8$ frame) e processato da un encoder visivo congelato (un sottomodulo del VLM) per produrre token visivi. Questi token servono come unico segnale di condizionamento per il generatore.
Sintesi dei Pesi LoRA: Il generatore è un Transformer che mappa i token visivi in pesi LoRA (Low-Rank Adaptation) tokenizzati e condizionati all'istanza. Questi pesi vengono iniettati come aggiornamenti residui nel backbone del VLM congelato (mirando specificamente alle proiezioni query-key-value, ai moduli di gating e alle trasformazioni di output).
Adattamento Ibrido: I parametri LoRA generati sono inizializzati con un prior latente globale apprendibile ( $p_{global}$ ), combinando pattern di adattamento a livello di dataset con residui specifici per l'input. Ciò permette al modello di mantenere la conoscenza generale mentre si specializza per l'istanza corrente.

Addestramento tramite Apprendimento per Rinforzo

COPRA è addestrato end-to-end utilizzando Group Relative Policy Optimization (GRPO) sotto supervisione a livello di video:

Politica: Il generatore $g_{\phi_2}$ agisce come una politica che mappa segnali visivi in aggiornamenti dei parametri.
Progettazione della Ricompensa: Il sistema utilizza ricompense binarie basate sulla correttezza della classificazione finale a livello di video (Normale vs. Anomalia) e sulla conformità al formato.
Meccanismo: Per un dato video, il modello genera multiple sequenze di risposta utilizzando i parametri adattati. Il vantaggio è calcolato tramite normalizzazione a gruppi di queste ricompense. Ciò incoraggia il generatore a produrre aggiornamenti dei parametri che portano a previsioni corrette, imparando efficacemente un meccanismo di "generazione dello spazio dei pesi" senza richiedere supervisione esplicita sui pesi stessi.

Adattamento Temporale Flessibile

Per affrontare il disallineamento addestramento-inferenza, COPRA supporta strategie di campionamento flessibili. Durante l'inferenza, i video sono partizionati in segmenti sovrapposti. Il framework può generare parametri per chunk temporali specifici (ad esempio, chunk di 120 secondi) e riutilizzarli per la valutazione di segmenti locali all'interno di quel contesto, consentendo una condivisione dei parametri consapevole del contesto mantenendo la granularità temporale.

3. Contributi Chiave

Identificazione del Collo di Bottiglia dei Parametri Condivisi: Il documento articola come le adattazioni statiche e condivise nel VAD basato su VLM limitino la generalizzazione costringendo requisiti eterogenei in un unico compromesso.
Framework di Adattamento Condizionato all'Istanza: COPRA è presentato come il primo framework a formulare il VAD come un problema condizionato all'istanza, specializzando dinamicamente il comportamento del VLM per ogni segmento video tramite pesi LoRA generati.
Generazione di Parametri Guidata da RL: L'introduzione di un framework di generazione condizionale dei parametri addestrato con apprendimento per rinforzo (GRPO) sotto supervisione debole, abilitando un adattamento dinamico per input senza un fine-tuning completo.
Generalizzazione Robusta: Il framework dimostra di alleviare il disallineamento addestramento-inferenza e di ridurre l'interferenza cross-domain, migliorando la robustezza attraverso pattern di anomalie diversi e dinamiche temporali.

4. Risultati Sperimentali

Gli autori hanno valutato COPRA su benchmark VAD standard e task cross-domain:

Prestazioni In-Domain: Su UCF-Crime e XD-Violence, COPRA ha costantemente superato le linee di base VLM congelate e forti metodi di adattamento statico (ad esempio, VERA).
- Su UCF-Crime, COPRA ha migliorato l'AUC di InternVL2-8B dall'84,31% all'87,14%.
- Su XD-Violence, ha migliorato l'AP di InternVL2-8B dal 74,32% al 76,52%.
- Studi di ablazione hanno confermato che l'adattamento condizionato all'istanza supera significativamente l'adattamento statico basato su GRPO.
Generalizzazione Cross-Domain: Addestrato esclusivamente su UCF-Crime, COPRA è stato valutato zero-shot su:
- VRU-Accident: Ha migliorato le metriche semantiche di captioning denso (SPICE, METEOR) e l'accuratezza del VideoQA a scelta multipla.
- HIVAU-70K: Ha potenziato la generazione di spiegazioni in linguaggio naturale a livello di clip, evento e video.
Adattamento Temporale: Gli esperimenti hanno mostrato che generare parametri per chunk temporali più grandi (ad esempio, 120s) e riutilizzarli per segmenti locali ha prodotto le migliori prestazioni, validando la flessibilità della strategia di adattamento temporale.
Analisi Qualitativa: Le visualizzazioni t-SNE hanno dimostrato che COPRA produce embedding più discriminativi, separando meglio i video normali da quelli anomali rispetto alla baseline. Le descrizioni generate erano anche più coerenti e focalizzate su indizi rilevanti per l'anomalia.

5. Significato e Affermazioni

Il documento afferma che COPRA fornisce un efficace meccanismo di generazione dello spazio dei pesi per i modelli fondazionali. Spostandosi da parametri statici e condivisi verso un adattamento dinamico condizionato all'input, COPRA abilita:

Scalabilità: Adattare grandi modelli congelati a task specifici senza retraining completo.
Adattabilità: Gestire significativi spostamenti di distribuzione e nuovi tipi di anomalie modellando il confine decisionale per ogni input.
Consapevolezza del Contesto: Colmare il divario tra supervisione di addestramento sparsa e requisiti di inferenza densa.

Gli autori riconoscono limitazioni, inclusa la mancanza di fondamento teorico per i pesi generati, la limitata interpretabilità degli stessi pesi LoRA e l'overhead computazionale introdotto dal processo di addestramento GRPO (in particolare il campionamento ripetuto delle risposte). Suggeriscono che queste aree meritano futura indagine.

Disponibilità del Codice: Il codice è rilasciato all'indirizzo https://github.com/THE-MALT-LAB/COPRA.