SocialFusion: Addressing Social Degradation in Pre-trained Vision-Language Models

Riepilogo Tecnico: SocialFusion: Affrontare la Degradazione Sociale nei Modelli Vision-Language Pre-addestrati

Definizione del Problema
Sebbene i modelli Vision-Language (VLM) pre-addestrati su larga scala dimostrino capacità generali notevoli, essi non riescono a unificare simultaneamente molteplici compiti di comprensione delle interazioni sociali visive. Inve al di là di sfruttare le sinergie tra i compiti, gli attuali VLM mostrano un "trasferimento negativo", in cui l'addestramento congiunto su diversi compiti sociali degrada le prestazioni rispetto all'addestramento su singolo compito. Gli autori ipotizzano che questo fallimento derivi da un fenomeno che chiamano "degradazione sociale". Essi postulano che il processo standard di pre-addestramento visivo-linguistico dei VLM comprometta la capacità dell'encoder visivo di rappresentare informazioni sociali sfumate, rendendo le caratteristiche codificate meno decodificabili e meno compatibili per i compiti di percezione sociale.

Metodologia
Il documento propone SocialFusion, un framework unificato progettato per aggirare la degradazione sociale apprendendo una connessione minima tra un encoder visivo congelato e un modello di linguaggio, piuttosto che fare affidamento sulle rappresentazioni degradate dei VLM standard.

• Architettura:
  • Encoder Visivo: SocialFusion utilizza un modello fondazionale pre-addestrato (specificamente CLIP negli esperimenti primari) che non è stato sottoposto al tipico processo di pre-addestramento VLM. I pesi dell'encoder visivo sono congelati per preservare la qualità delle rappresentazioni visive originali.
  • Connettore: Un MLP leggero a tre strati proietta le mappe di caratteristiche visive nello spazio di embedding del Large Language Model (LLM).
  • Modello di Linguaggio: L'LLM (Llama 3.2 1B) è congelato, con l'applicazione di un adattatore Low-Rank Adaptation (LoRA) solo ai suoi strati lineari per consentire l'apprendimento specifico per compito.
  • Input e Output: Il modello accetta immagini e bounding box opzionali (convertiti in embedding di posizione appresi). Per i compiti di classificazione (gesto, espressione, relazione, direzione dello sguardo), restituisce token testuali. Per la stima del target dello sguardo, proietta le caratteristiche visive finali in una mappa di calore 2D tramite una proiezione lineare e una convoluzione trasposta.
• Obiettivo di Addestramento: Il modello è addestrato congiuntamente su cinque distinti compiti sociali utilizzando una funzione di perdita combinata: perdita cross-entropy per i compiti basati sul testo e binary cross-entropy per pixel nella predizione della mappa di calore dello sguardo.
• Indagine sulla Degradazione Sociale: Per validare l'ipotesi, gli autori hanno condotto esperimenti controllati confrontando gli encoder visivi prima e dopo il pre-addestramento VLM. Hanno analizzato due meccanismi:
  1. Decodificabilità: Utilizzando il probing di rappresentazione lineare per misurare quanto bene le caratteristiche sociali possano essere linearmente separate dopo il pre-addestramento.
  2. Compatibilità: Utilizzando l'analisi del conflitto di gradiente (Grado di Conflitto del Gradiente) per misurare l'allineamento dei gradienti dei compiti durante l'addestramento congiunto.

Contributi Chiave

1. Identificazione della Degradazione Sociale: Il documento identifica e dimostra empiricamente che il pre-addestramento VLM degrada le rappresentazioni degli encoder visivi specificamente per i compiti di interazione sociale. Esperimenti controllati mostrano che gli encoder performano peggio sui compiti sociali dopo aver subito il pre-addestramento visivo-linguistico rispetto ai loro corrispettivi pre-addestramento.
2. Analisi del Meccanismo: Attraverso il linear probing e l'analisi del conflitto di gradiente, gli autori rivelano che il driver principale della degradazione sociale è la ridotta decodificabilità lineare delle caratteristiche visive, con il conflitto di gradiente che gioca un ruolo secondario e meno significativo.
3. Framework SocialFusion: La proposta di un'architettura di fusione minimale che congela l'encoder visivo e apprende una connessione leggera a un LLM. Questo approccio evita la degradazione inerente ai VLM standard.
4. Trasferimento Positivo Unificato: SocialFusion è il primo modello a raggiungere un trasferimento positivo in tutti i cinque compiti di interazione sociale testati (Analisi dei Gesti, Sguardo/Attenzione, Espressione Facciale, Dinamiche di Conversazione e Analisi della Situazione Sociale) quando addestrato congiuntamente.

Risultati

• Confronto con Baseline: Testando popolari VLM open-source (Qwen2-VL, Sail-VL 1.5 e MolmoE) utilizzando il fine-tuning LoRA, questi modelli hanno mostrato un marcato trasferimento negativo negli scenari di addestramento congiunto, spesso performando peggio rispetto all'addestramento su singolo compito.
• Performance di SocialFusion:
  • SocialFusion ha ottenuto un trasferimento positivo su tutti i 10 metriche testate (due per compito) nell'addestramento congiunto.
  • Ha stabilito nuovi risultati State-of-the-Art (SOTA) sul benchmark di riconoscimento dei gesti HaGRIDv2 (99.8 mAP) e sul benchmark di analisi della situazione sociale PISC (94.2 mAP per il Dominio, 88.5 mAP per la Relazione).
  • È rimasto competitivo su GazeFollow, LAM (Looking at Me) e AffectNet, sebbene non abbia superato il SOTA su AffectNet o GazeFollow (dove approcci specializzati basati su DINOv2 mantengono ancora un vantaggio).
• Analisi della Sinergia: Esperimenti di addestramento a coppie hanno indicato che, mentre alcune coppie di compiti mostravano sinergia, l'effetto di trasferimento positivo completo era più pronunciato addestrando simultaneamente su tutti i diversi compiti, suggerendo che il modello apprenda "competenze sociali atomiche" generalizzabili.

Significatività e Rivendicazioni
Il documento afferma che le attuali strategie di pre-addestramento VLM, pur essendo efficaci per la comprensione multimodale generale, possono essere dannose per l'acquisizione della competenza sociale generale. I risultati suggeriscono che le rappresentazioni visive apprese durante il pre-addestramento su larga scala non preservano gli indizi visivi specifici necessari per la percezione sociale.

La significatività di SocialFusion risiede nel dimostrare che il trasferimento positivo in domini sociali complessi e sfaccettati è ottenibile non costruendo modelli più grandi o più complessi, ma evitando la degradazione della rappresentazione causata dagli standard di pre-addestramento. Gli autori sostengono che ciò evidenzia la necessità critica di paradigmi di addestramento socialmente consapevoli nello sviluppo futuro dei VLM, suggerendo che domini specializzati come l'interazione sociale possano richiedere strategie di pre-addestramento o fine-tuning distinte per preservare gli indizi visivi fini. Il lavoro funge da fondamento per la costruzione di sistemi IA socialmente competenti e unificati, capaci di ragionare sulle interazioni umane in scenari reali.