SocialFusion: Addressing Social Degradation in Pre-trained Vision-Language Models

Technische Samenvatting: SocialFusion: Aanpak van sociale degradatie in voorgetrainde visuele-taalmodellen

Probleemstelling
Hoewel grootschalige voorgetrainde visuele-taalmodellen (VLMs) opmerkelijke algemene capaciteiten vertonen, slagen ze er niet in om meerdere visuele sociale interactie-taken simultaan te verenigen. In plaats van synergie tussen taken te benutten, vertonen bestaande VLMs "negatieve transfer", waarbij gezamenlijke training op diverse sociale taken de prestaties verslechtert vergeleken met single-task training. De auteurs hypothetiseren dat dit falen voortkomt uit een fenomeen dat zij "sociale degradatie" noemen. Zij stellen dat het standaard proces van visuele-linguïstische pre-training van VLMs het vermogen van de visuele encoder om genuanceerde sociale informatie te representeren aantast, waardoor de gecodeerde kenmerken minder decodeerbaar en minder compatibel worden voor sociale perceptie-taken.

Methodologie
Het paper stelt SocialFusion voor, een verenigd framework dat ontworpen is om sociale degradatie te omzeilen door een minimale verbinding te leren tussen een bevroren visuele encoder en een taalmodel, in plaats van te vertrouwen op de gedegradeerde representaties van standaard VLMs.

• Architectuur:
  • Visuele Encoder: SocialFusion maakt gebruik van een voorgetraind fundamenteel model (specifiek CLIP in de primaire experimenten) dat geen typisch VLM pre-training pipeline heeft ondergaan. De gewichten van de visuele encoder zijn bevroren om de kwaliteit van de originele visuele representaties te behouden.
  • Connector: Een lichtgewicht, drie-laagse MLP projecteert de visuele feature maps naar de embedding space van het Large Language Model (LLM).
  • Taalmodel: Het LLM (Llama 3.2 1B) is bevroren, waarbij alleen een Low-Rank Adaptation (LoRA) adapter wordt toegepast op de lineaire lagen om taalspecifieke leerprocessen mogelijk te maken.
  • Inputs & Outputs: Het model accepteert afbeeldingen en optionele bounding boxes (geconverteerd naar geleerde positie-embeddings). Voor classificatietaken (gebaren, expressie, relatie, blikrichting) produceert het teksttokens. Voor de schatting van het blikdoel projecteert het de uiteindelijke visuele features in een 2D-heatmap via een lineaire projectie en getransponeerde convolutie.
• Trainingsdoel: Het model wordt gezamenlijk getraind op vijf verschillende sociale taken met behulp van een gecombineerde loss-functie: cross-entropy loss voor tekstgebaseerde taken en pixel-wise binary cross-entropy voor de voorspelling van de gaze-heatmap.
• Onderzoek naar Sociale Degradatie: Om de hypothese te valideren, voerden de auteurs gecontroleerde experimenten uit waarbij visuele encoders vóór en na VLM pre-training werden vergeleken. Zij analyseerden twee mechanismen:
  1. Decodeerbaarheid: Het gebruik van lineaire representatie-probing om te meten hoe goed sociale features lineair gescheiden kunnen worden na pre-training.
  2. Compatibiliteit: Het gebruik van gradiëntconflict-analyse (Gradient Conflict Degree) om de uitlijning van taakgradiënten tijdens gezamenlijke training te meten.

Belangrijkste Bijdragen

1. Identificatie van Sociale Degradatie: Het paper identificeert en demonstreert empirisch dat VLM pre-training de visuele encoders' representaties specifiek voor sociale interactie-taken degradeert. Gecontroleerde experimenten tonen aan dat encoders slechter presteren op sociale taken na het ondergaan van visuele-linguïstische pre-training vergeleken met hun pre-training tegenhangers.
2. Mechanisme-analyse: Door middel van lineaire probing en gradiëntconflict-analyse onthullen de auteurs dat de primaire drijfveer van sociale degradatie de verminderde lineaire decodeerbaarheid van de visuele features is, waarbij gradiëntconflict een secundaire, minder significante rol speelt.
3. SocialFusion Framework: De voorstel van een minimale fusie-architectuur die de visuele encoder bevriest en een lichtgewicht verbinding leert met een LLM. Deze aanpak vermijdt de degradatie die inherent is aan standaard VLMs.
4. Verenigde Positieve Transfer: SocialFusion is het eerste model dat positieve transfer bereikt over alle vijf de geteste visuele sociale interactie-taken (Gebarenanalyse, Blik/Aandacht, Gelaatsuitdrukking, Conversatiedynamiek en Sociale Situatieanalyse) wanneer ze gezamenlijk worden getraind.

Resultaten

• Baseline Vergelijking: Bij testen op populaire open-source VLMs (Qwen2-VL, Sail-VL 1.5, en MolmoE) met LoRA fine-tuning, vertoonden deze modellen een sterke negatieve transfer in gezamenlijke trainingsscenario's, waarbij ze vaak slechter presteerden dan bij single-task training.
• SocialFusion Prestaties:
  • SocialFusion bereikte positieve transfer op alle 10 geteste metrieken (twee per taak) in gezamenlijke training.
  • Het vestigde nieuwe State-of-the-Art (SOTA) resultaten op de HaGRIDv2 gebarenherkenningsbenchmark (99.8 mAP) en de PISC sociale situatie analyse benchmark (94.2 mAP voor Domein, 88.5 mAP voor Relatie).
  • Het bleef competitief op GazeFollow, LAM (Looking at Me), en AffectNet, hoewel het de SOTA op AffectNet of GazeFollow niet overtrof (waar gespecialiseerde modellen zoals DINOv2-gebaseerde benaderingen nog steeds een voordeel hebben).
• Synergie-analyse: Pairwise training-experimenten gaven aan dat hoewel sommige taakparen synergie vertoonden, het volledige effect van positieve transfer het meest uitgesproken was wanneer er gelijktijdig op alle diverse taken werd getraind, wat suggereert dat het model generaliseerbare "atomaire sociale competenties" leert.

Betekenis en Claims
Het paper claimt dat huidige VLM pre-training strategieën, hoewel effectief voor algemeen multimodale begrip, nadelig kunnen zijn voor het verwerven van algemeen sociaal begrip. De bevindingen suggereren dat de visuele representaties die geleerd worden tijdens grootschalige pre-training, de specifieke visuele cues die nodig zijn voor sociale perceptie niet behouden.

De betekenis van SocialFusion ligt in het aantonen dat positieve transfer in complexe, veelzijdige sociale domeinen haalbaar is, niet door grotere of complexere modellen te bouwen, maar door de representatie-degradatie veroorzaakt door standaard pre-training pipelines te vermijden. De auteurs betogen dat dit wijst op een kritieke behoefte aan sociaal-bewuste trainingsparadigma's in toekomstige VLM-ontwikkeling, en suggereren dat gespecialiseerde domeinen zoals sociale interactie mogelijk onderscheidende pre-training of fine-tuning strategieën vereisen om fijnmazige visuele cues te behouden. Het werk dient als fundament voor het bouwen van verenigde, sociaal competente AI-systemen die in staat zijn om over menselijke interacties te redeneren in real-world scenario's.