Riepilogo Tecnico: ProGraD per il Ragionamento Relazionale Strutturato nel Rilevamento delle Attività di Gruppo

1. Definizione del Problema

Il Rilevamento delle Attività di Gruppo (GAD) estende il riconoscimento tradizionale delle attività di gruppo richiedendo ai modelli di localizzare simultaneamente più gruppi sociali all'interno di una scena, inferire l'appartenenza ai gruppi (chi sta agendo con chi) e classificare le attività collettive. Questo compito è complesso a causa delle interazioni sovrapposte, delle occlusioni e della necessità di inferire dinamicamente le strutture di gruppo invece di affidarsi a clustering spaziali fissi.

Il documento identifica un collo di bottiglia critico nell'adattamento dei Modelli Fondamentali di Visione (VFM) (ad esempio, DINOv2) al GAD. Sebbene i VFM offrano rappresentazioni delle caratteristiche superiori, sostituirli in modo ingenuo nelle pipeline GAD esistenti (progettate per backbones CNN) degrada le prestazioni. Ad esempio, sostituire un backbone ResNet-18 con un backbone DINOv2 congelato nel framework "Practical GAD" ha causato un calo del Group mAP@1.0 da 10,85 a 9,46. Gli autori sostengono che il limite principale non sia la qualità delle caratteristiche, ma la mancanza di meccanismi di decodifica strutturata e consapevole del gruppo capaci di modellare le relazioni attore-gruppo nello spazio rappresentativo dei VFM congelati.

2. Metodologia: ProGraD

Gli autori propongono ProGraD (Rilevamento delle Attività di Gruppo basato su Prompt), un framework che adatta i VFM congelati utilizzando il Fine-Tuning Efficiente in Parametri (PEFT) e un decoder relazionale specializzato. L'architettura è composta da tre componenti principali:

A. Estrazione delle Caratteristiche con Condizionamento PEFT

• Backbone Congelato: Il modello utilizza un VFM congelato (specificamente DINOv2-Base) per estrarre token a livello di patch e token degli attori (tramite ROI Align).
• Prompt di Gruppo Apprendibili: Invece del fine-tuning completo o di adattatori pesanti, ProGraD inietta prompt di gruppo apprendibili ($G_{prompt}$) nella sequenza di input del VFM. Questi prompt agiscono come query specifiche per il compito che condizionano il backbone congelato a esporre semantiche socialmente rilevanti (ad esempio, attori interagenti, disposizioni spaziali del gruppo) senza alterare i pesi del backbone.
• Generazione dei Token: I token degli attori vengono estratti tramite pooling RoI $1 \times 1$ dalle mappe di caratteristiche condizionate dai prompt, creando una rappresentazione compatta che preserva la precisione spaziale.

B. GroupContext Transformer (GCT)

L'innovazione centrale è un GroupContext Transformer leggero a due strati, progettato per separare esplicitamente la formazione attore-gruppo dall'aggregazione del contesto globale. Opera in due fasi:

1. Livello di Attenzione di Raggruppamento: Questo livello inizializza token di gruppo apprendibili ed esegue un'attenzione incrociata contro i token degli attori. Aggrega informazioni da attori potenzialmente distanti o separati temporalmente per formare rappresentazioni coerenti della composizione del gruppo ($G_{grp}$).
2. Livello di Attenzione Contestuale: Questo livello arricchisce sia i token di gruppo aggiornati che i token degli attori prestando attenzione al contesto globale della scena (token delle patch dell'immagine). Questo introduce indizi riguardanti disposizioni spaziali, oggetti di sfondo e regioni rilevanti per l'interazione, consentendo un rilevamento delle attività più accurato.

C. Teste di Previsione

Le embedding arricchite degli attori ($Act_x$) e dei gruppi ($G_{ctx}$) vengono inviate a reti feed-forward leggere per:

• Classificazione dell'Attività di Gruppo: Prevedere il comportamento collettivo.
• Classificazione dell'Attività dell'Attore: Prevedere le azioni individuali.
• Inferenza dell'Appartenenza: Proiettare i token in uno spazio condiviso per calcolare le affinità e assegnare gli attori ai gruppi (o identificare gli outlier).

D. Obiettivo di Addestramento

Il modello è addestrato end-to-end utilizzando una perdita multi-task che combina:

• Perdita di classificazione dell'azione individuale ($L_{ind}$).
• Perdita di classificazione dell'attività di gruppo ($L_{group}$).
• Perdita di previsione dell'appartenenza attore-gruppo ($L_{mem}$) utilizzando l'abbinamento ungherese.
• Una perdita di coerenza del gruppo contrastiva ($L_{con}$) per imporre la coerenza tra gli attori all'interno dello stesso gruppo.

3. Contributi Chiave

1. Identificazione del Collo di Bottiglia: Il documento dimostra che sostituire semplicemente i backbones CNN con VFM congelati nei decoder GAD esistenti degrada le prestazioni. Stabilisce che l'allineamento decoder-rappresentazione è il fattore chiave, non solo la qualità delle caratteristiche.
2. GroupContext Transformer (GCT): Un decoder relazionale nuovo, leggero e a due strati che separa esplicitamente il ragionamento sulle associazioni attore-gruppo dall'aggregazione del contesto globale.
3. Framework ProGraD: Un sistema integrato che combina VFM congelati con un condizionamento PEFT minimo (prompt apprendibili) e il GCT. Raggiunge prestazioni allo stato dell'arte con solo ~10M parametri addestrabili (meno della metà dei metodi precedenti).

4. Risultati Sperimentali

Gli autori hanno valutato ProGraD su due benchmark: Café (molti gruppi sociali concorrenti) e Social-CAD (interazioni sparse, per lo più singleton).

• Benchmark Café:
  • ProGraD ha raggiunto un Group mAP@1.0 di 17,03 e un Group mAP@0.5 di 39,11 (impostazione Split-by-Place).
  • Ciò rappresenta un miglioramento del 6,2% nel mAP@1.0 e un miglioramento dell'8,2% nel mAP@0.5 rispetto allo stato dell'arte precedente (Practical GAD).
  • Il modello ha utilizzato 10,74M parametri addestrabili rispetto a 22,77M per Practical GAD.
  • Anche la configurazione "Decoder Only" (senza prompt PEFT) ha superato i metodi esistenti, confermando la forza dell'architettura GCT.
• Benchmark Social-CAD:
  • ProGraD ha raggiunto il 70,00% di Accuratezza Sociale e l'88,33% di Accuratezza di Appartenenza, superando i metodi precedenti pur utilizzando meno parametri.
• Studi di Ablazione:
  • Rimuovere sia il livello di Attenzione di Raggruppamento che quello di Attenzione Contestuale ha portato a cali significativi delle prestazioni, confermando i loro ruoli complementari.
  • Impostare il numero di prompt di gruppo in corrispondenza del conteggio massimo di gruppi del dataset (7) ha prodotto risultati ottimali, suggerendo che allineare il conteggio dei token alla struttura dei dati è una scelta di progettazione principiale.
• Analisi Qualitativa:
  • ProGraD produce mappe di attenzione più nitide focalizzate su persone e aree rilevanti per l'interazione (ad esempio, tavoli), mentre i backbones VFM ingenui prestano attenzione ampiamente agli oggetti di sfondo.
  • Il modello identifica correttamente gli outlier in prossimità spaziale ravvicinata che non fanno parte di un gruppo, mentre i metodi di base spesso li classificano erroneamente basandosi esclusivamente sulla prossimità.

5. Significato e Limitazioni

Significato:
Il documento sostiene che il futuro del GAD risiede nel decodifica relazionale strutturata piuttosto che nel semplice aumento della dimensione del backbone. ProGraD dimostra che i VFM congelati possono essere adattati efficacemente per compiti complessi di ragionamento sociale attraverso un condizionamento minimo e decoder specializzati, offrendo un percorso efficiente in termini di parametri verso prestazioni allo stato dell'arte. Il modello fornisce inoltre mappe di attenzione interpretabili che offrono approfondimenti sul ragionamento attore-gruppo, il che è prezioso per applicazioni come la valutazione delle competenze e la generazione di feedback.

Limitazioni:
Gli autori riconoscono diverse limitazioni:

• Dipendenza dai Dati di Verità: Il framework attuale assume che le rilevazioni degli attori di verità siano fornite; non esegue rilevamento e raggruppamento congiunti.
• Conteggio Fisso dei Prompt: Il numero di prompt di gruppo ($K$) è fissato al conteggio massimo di gruppi del dataset, limitando la flessibilità per scene con dimensioni di gruppo variabili. Un lavoro futuro potrebbe esplorare un'allocazione adattiva dei token.
• Efficienza dell'Inferenza: Sebbene efficiente in termini di parametri, l'inferenza richiede comunque un passaggio in avanti completo attraverso il grande backbone VFM congelato. Un lavoro futuro potrebbe esplorare il riutilizzo delle caratteristiche o la selezione adattiva dei token per migliorare la scalabilità.
• Modalità di Fallimento: Il modello fatica in scenari con occlusioni gravi o riflessi speculari, dove gli indizi spaziali sono ambigui.