Riepilogo Tecnico: La Supervisione Geometrica Comportamentale Allinea i Modelli Fondamentali per Video alla Percezione Sociale Umana

1. Enunciato del Problema

I modelli fondamentali per video attuali, persino le architetture auto-supervisionate all'avanguardia come V-JEPA 2, non riescono a catturare il modo in cui gli esseri umani organizzano le informazioni sociali nelle scene dinamiche. Sebbene questi modelli eccellano nella classificazione delle azioni (ad esempio, distinguere "ballare" da "cuocere"), spiegano sistematicamente meno dei modelli linguistici le valutazioni umane di similarità sociale. Nello specifico, gli embedding di frasi basati su didascalie (ad esempio MPNet) superano costantemente gli encoder video preaddestrati nel prevedere le valutazioni umane di similarità per clip video sociali. Ciò indica un "divario di rappresentazione": gli obiettivi di preaddestramento video trascurano la struttura relazionale e affettiva intrinseca nella percezione sociale umana. Inoltre, i metodi di allineamento esistenti spesso si basano su costosi dati fMRI ("brain-tuning" o sintonizzazione cerebrale) o si concentrano su immagini statiche, lasciando aperta la questione se una supervisione comportamentale scalabile possa indurre una struttura visiva sociale simile a quella umana nei modelli video.

2. Metodologia

2.1 Costruzione del Dataset

Gli autori hanno costruito un benchmark di similarità umana su larga scala per video sociali dinamici:

• Stimoli: 250 clip naturalistiche di interazioni sociali tra due persone della durata di 3 secondi, tratte dal dataset Moments in Time.
• Compito: Un paradigma "odd-one-out" (OOO) di triplette in cui i partecipanti identificano il video "diverso" tra tre, definendo implicitamente la coppia rimanente come più simile.
• Scala: 49.484 giudizi raccolti da 245 partecipanti.
• Struttura: Un algoritmo greedy di set-cover ha garantito che ogni coppia di video apparisse in almeno una tripla. I dati sono stati suddivisi in 200 video per l'addestramento e 50 video per il test (disgiunti per stimolo).
• Verità Fondamentale: La similarità umana è rappresentata come una Matrice di Similarità Rappresentazionale (RSM) basata sulla frequenza dei giudizi di similarità a coppie.

2.2 Supervisione Geometrica Comportamentale (BGS)

Il contributo centrale è la Supervisione Geometrica Comportamentale (BGS), un obiettivo di addestramento ibrido progettato per allineare la geometria degli embedding dei modelli video alle valutazioni umane di similarità.

• Architettura: Applicata tramite Adattamento a Basso Rango (LoRA) a quattro backbone eterogenei di Vision Transformer (ViT): V-JEPA 2, V-JEPA 2.1, TimeSformer, VideoMAE e CLIP. Questo aggiorna meno del 2% dei parametri.
• Funzione di Perdita Ibrida ($L_{hybrid}$): Combina vincoli locali e globali:
  1. Perdita Tripla ($L_{triplet}$): Impone vincoli locali in cui la distanza tra un'ancora e una coppia positiva è inferiore alla distanza verso una coppia negativa (odd-one-out) di un margine $\gamma$.
  2. Perdita RSA ($L_{RSA}$): Impone la geometria globale allineando la matrice delle distanze a coppie del modello con la RSM umana utilizzando l'Analisi di Similarità Rappresentazionale (RSA). Questo termine viene applicato 6 volte per epoca su un sottoinsieme di video per gestire la memoria.
• Programma di Addestramento: Il modello viene affinato per 50 epoche. Il peso della perdita RSA ($\beta$) aumenta linearmente da 0,3 a 0,7, privilegiando la correttezza della tripla locale all'inizio e la struttura globale in seguito.

2.3 Controlli e Baseline

Per isolare il meccanismo di miglioramento, gli autori hanno confrontato la BGS con:

• Baseline Preaddestrate: 12 encoder video, 2 encoder di immagini, 2 VLM e 22 modelli linguistici di embedding di frasi (utilizzando le didascalie video).
• Ablazioni: Perdita solo tripla, perdita solo RSA e una variante tripla con budget corrispondente.
• Controllo di Distillazione Linguistica: Un modello addestrato con la stessa perdita ibrida ma utilizzando gli embedding delle didascalie MPNet come target di supervisione invece dei giudizi comportamentali umani.

2.4 Metriche di Valutazione

• Primaria: Quadrato della correlazione di Spearman ($R^2$) tra le RSM del modello e le RSM umane (limite di affidabilità split-half $R^2 = 0,213$).
• Secondarie:
  • Partizionamento della Varianza: Decomposizione della varianza spiegata in componenti uniche video, uniche linguaggio e condivise.
  • Sonde Lineari: Test per attributi sociali-affettivi emergenti (valenza, attivazione, dominio, intimità, comunicazione) senza supervisione esplicita.
  • Generalizzazione OOD: Transfer zero-shot al dataset PHASE (interazioni sociali geometriche astratte).
  • Riconoscimento Azioni: Conservazione delle prestazioni su UCF101.
  • Analisi dell'Attenzione: Svolgimento dell'attenzione spaziale per osservare gli spostamenti del focus.

3. Risultati Chiave

3.1 Chiusura del Divario Prestazionale

• Deficit Preaddestrato: Nessun modello video preaddestrato ha eguagliato le prestazioni del miglior encoder di frasi (MPNet, $R^2 = 0,134$). Il miglior modello video preaddestrato (X3D-M) ha raggiunto solo $R^2 = 0,124$.
• Successo BGS: L'affinamento con BGS ha migliorato significativamente le prestazioni. Il miglior modello, V-JEPA 2.1 (distillato), ha raggiunto $R^2 = 0,165$ (78% del limite di rumore), e V-JEPA 2 (grande) ha raggiunto $R^2 = 0,172$. Entrambi hanno superato la baseline MPNet.
• Necessità dell'Obiettivo Ibrido: La perdita ibrida ha superato le varianti solo tripla ($R^2 = 0,158$) e solo RSA ($R^2 = 0,131$). Crucialmente, il controllo di distillazione linguistica non è riuscito a riprodurre questi guadagni ($R^2 = 0,123$), escludendo il semplice trasferimento di didascalie come meccanismo.

3.2 Struttura Sociale-Affettiva Emergente

• Varianza Unica: Il partizionamento della varianza ha rivelato che i modelli affinati hanno catturato una varianza unica nei giudizi umani che gli embedding basati su didascalie non potevano ($R^2$ della varianza video unica raddoppiata da 0,02 a 0,04).
• Attributi Non Supervisionati: Nonostante non siano mai stati addestrati su etichette di attributi, i modelli allineati con BGS hanno sviluppato rappresentazioni linearmente decodificabili di valenza, attivazione e dominio. Un controllo di distillazione linguistica non è riuscito a recuperare questi attributi su 4 dimensioni su 5.

3.3 Generalizzazione e Conservazione

• Transfer Zero-Shot: I modelli allineati con BGS hanno raggiunto un'accuratezza dell'81% sul dataset PHASE (interazioni sociali astratte), eguagliando i livelli di accordo umano e superando significativamente la baseline preaddestrata (55%). Ciò dimostra la generalizzazione a stimoli fuori distribuzione (OOD).
• Riconoscimento Azioni: L'affinamento ha preservato (e leggermente migliorato per V-JEPA 2.1) le prestazioni di riconoscimento delle azioni su UCF101, indicando l'assenza di oblio catastrofico delle capacità di preaddestramento.

3.4 Spostamenti Meccanicistici

• Riorganizzazione dell'Attenzione: L'analisi dello svolgimento dell'attenzione ha mostrato uno spostamento sistematico del focus spaziale. I modelli preaddestrati si concentravano su singole regioni focali (ad esempio, un busto), mentre i modelli affinati ridistribuivano l'attenzione verso regioni socialmente informative: volti, direzioni dello sguardo, mani interagenti e entrambi gli agenti. Questo spostamento è avvenuto senza alcuna supervisione spaziale durante l'addestramento.

4. Significato e Affermazioni

Il documento afferma che la percezione sociale nei modelli video è una proprietà latente che diventa accessibile attraverso una supervisione comportamentale leggera. I contributi chiave sono:

1. Dimostrazione di un Divario di Rappresentazione: Il preaddestramento video attuale trascura la struttura visiva-sociale, che viene catturata meglio dai modelli linguistici fino all'applicazione di un allineamento comportamentale specifico.
2. Allineamento Scalabile tramite BGS: La Supervisione Geometrica Comportamentale induce con successo una struttura di similarità sociale simile a quella umana in diversi backbone video utilizzando un segnale compatto (LoRA, <2% dei parametri) e dati comportamentali, senza i costi infrastrutturali del "brain-tuning" basato su fMRI.
3. Oltre la Distillazione Linguistica: I guadagni non sono dovuti semplicemente all'apprendimento dalle didascalie. La BGS cattura una struttura visiva-sociale unica (ad esempio, lo sguardo, le dinamiche di interazione) che gli embedding linguistici trascurano, e recupera dimensioni sociali-affettive interpretabili senza etichettatura esplicita.
4. Robustezza: Il metodo generalizza a interazioni sociali astratte e fuori distribuzione e preserva le capacità standard di riconoscimento delle azioni.

Gli autori concludono che i dati comportamentali relazionali offrono una forma distinta di allineamento, orientando i modelli video verso una comprensione visiva sociale simile a quella umana plasmando la struttura geometrica degli embedding per corrispondere ai giudizi umani di similarità.