Visual Timelines of Police Encounters in Body-Worn Camera Footage: Operational Context and Activity Cataloging for Training and Analysis in OpenBWC

Riepilogo Tecnico: Timeline Visive degli Incontri con la Polizia nelle Riprese delle Telecamere Indossate

Enunciato del Problema
Le agenzie di applicazione della legge possiedono vasti archivi di riprese provenienti da telecamere indossate (BWC), tuttavia tali dati rimangono "operativamente opachi". Gli analisti e i formatori devono attualmente visionare video completi in tempo reale per identificare i punti di inizio chiave degli incontri o i passaggi verso attività fisicamente intense. Sebbene i flussi di lavoro OpenBWC esistenti elaborino con successo l'audio in trascrizioni allineate temporalmente, queste trascrizioni non riescono a catturare il contesto situazionale condiviso (ad esempio, se un agente è in un veicolo o si sta avvicinando a una porta) o le dinamiche fisiche di un incontro. Il documento affronta la necessità di un metodo scalabile e rispettoso della privacy per convertire il video BWC grezzo in timeline visive strutturate e allineate temporalmente che riassumano il contesto operativo e l'intensità del movimento senza fare affidamento sul riconoscimento facciale o delle persone.

Metodologia
Gli autori propongono una pipeline che elabora il video BWC in finestre non sovrapposte di durata fissa di 10 secondi. L'approccio consta di quattro fasi principali:

1. Preparazione dei Dati e Finestratura: I video sono suddivisi in segmenti di 10 secondi. Una valutazione di prontezza garantisce l'integrità dei file.
2. Tassonomia di Annotazione: Gli annotatori umani etichettano ogni finestra con due dimensioni:
   • Contesto Operativo: Uno stato di scena grezzo (Veicolo di Pattuglia, Esterno, Interno o Bassa Visibilità).
   • Livello di Attività: Intensità del movimento (Routine, Inseguimento a Piedi, Alta Attività o Sconosciuto).
   • Vincolo di Privacy: Le etichette sono strettamente descrittive delle condizioni visibili ed escludono giudizi sull'identità o sul comportamento. Vengono utilizzate etichette "a bassa evidenza" (Bassa Visibilità/Sconosciuto) quando oscurità, sfocatura o occlusione impediscono una classificazione affidabile.
3. Estrazione delle Caratteristiche e Modellazione:
   • Inferenza del Contesto: I fotogrammi campionati da ogni finestra sono codificati utilizzando un encoder di immagini OpenCLIP congelato. Questi embedding sono aggregati (tramite pooling medio o massimo) per formare un descrittore a livello di finestra. Un classificatore di regressione logistica multiclasse predice il contesto operativo.
   • Inferenza dell'Attività: Gli autori valutano tre famiglie di rappresentazioni: (i) embedding di aspetto CLIP da soli, (ii) embedding CLIP arricchiti con scalari di stabilità temporale (distanze coseno), e (iii) una rappresentazione fusa che combina embedding CLIP con statistiche dense del flusso ottico (metodo di Farnebäck). Un classificatore multiclasse predice i livelli di attività.
4. Valutazione: I modelli sono addestrati su un sottoinsieme etichettato (428 finestre da 15 incidenti) e valutati su finestre di test tenute da parte, escludendo le regioni di transizione per evitare ambiguità nelle etichette.

Contributi Chiave

• Metodo Riproducibile per Timeline Visive: Un sistema che genera indici con timestamp e verificabili delle riprese BWC mantenendo la privacy (nessun riconoscimento di persone/volti).
• Schema di Etichettatura Consapevole della Privacy: Una tassonomia progettata specificamente per le condizioni reali delle BWC, che incorpora etichette "a bassa evidenza" per evitare congetture forzate e ridurre la supervisione rumorosa.
• Modelli di Baseline Trasparenti: Semplici modelli di classificazione che richiedono un addestramento supervisionato minimo, utilizzando backbones CLIP congelati e caratteristiche standard del flusso ottico.
• Audit di Integrità: Un processo completo di audit del dataset che caratterizza l'incertezza, la stabilità temporale e l'accordo tra gli annotatori.

Risultati

• Classificazione del Contesto: Il miglior modello ha raggiunto un'accuratezza del 78,75% e un macro-F1 di 0,7500. Il compito si è dimostrato robusto rispetto alle variazioni nel campionamento dei fotogrammi e nel pooling. Gli errori erano principalmente confusioni sistematiche tra contesti visivamente simili (ad esempio, Interno vs. Bassa Visibilità) piuttosto che classificazioni errate casuali.
• Classificazione dell'Attività: Il miglior modello fuso (CLIP + Flusso Ottico) ha raggiunto un'accuratezza dell'88,33% e un macro-F1 di 0,4535. Le prestazioni erano fortemente dominate dalla classe maggioritaria ("Routine"). La classe "Inseguimento a Piedi" non è stata rilevata da nessuna esecuzione, e l'"Alta Attività" è rimasta problematica. Le rappresentazioni fuse hanno superato i modelli basati solo sull'aspetto, indicando che movimento e aspetto sono complementari.
• Allineamento dell'Incertezza: Le previsioni del modello a bassa confidenza si allineavano frequentemente con le finestre in cui anche gli annotatori umani faticavano (ad esempio, oscurità, occlusione o zone di transizione), validando l'utilità della segnalazione basata sulla confidenza.
• Stabilità Temporale: Gli audit del dataset hanno confermato che le finestre di 10 secondi catturano generalmente parti stabili degli incontri, con le etichette di scena che cambiano meno frequentemente rispetto alle etichette di attività.

Significato e Affermazioni
Il documento afferma che questo approccio fornisce un livello visivo strutturato e pratico per integrare l'analisi esistente basata sul testo delle BWC. Convertendo video non strutturati in una sequenza temporale allineata di finestre etichettate, il sistema supporta revisioni più rapide degli incidenti e flussi di lavoro di formazione degli agenti più pratici. Gli autori sottolineano che il loro metodo rispetta i vincoli di privacy offrendo al contempo un "indice chiaro, con timestamp e verificabile" degli incontri con la polizia. Concludono che, sebbene prevedere l'intensità del movimento sia più difficile che identificare il contesto operativo, il metodo proposto di timeline visiva cattura con successo le dinamiche strutturali degli incontri con la polizia in modo scalabile e rispettoso della privacy.