🧬 biology

Behavioral Geometric Supervision Aligns Video Foundation Models with Human Social Perception

Dit artikel introduceert Behaviorale Geometrische Supervisie (BGS), een hybride doelstelling die video-fundatiemodellen afstemt op menselijke sociale perceptie door de inbeddingsgeometrie te beperken tot overeenstemming met menselijke vergelijkingsoordelen, waardoor modellen aanzienlijk beter presteren dan op taal gebaseerde basismodellen, interpreteerbare sociaal-emotionele attributen ontwikkelen en hun aandacht verplaatsen naar sociaal informatieve gebieden zonder expliciete training op die kenmerken.

Oorspronkelijke auteurs: Kathy Garcia, Leyla Isik

Gepubliceerd 2026-05-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kathy Garcia, Leyla Isik

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Het Grote Probleem: AI Kijkt, Maar "Begrijpt" Mensen Niet

Stel je voor dat je een video van twee mensen die ruzie maken, laat zien aan een zeer slimme AI en aan een mens.

De Mens begrijpt direct de sociale nuance: "Ze zijn gefrustreerd, maar geven nog steeds om elkaar," of "Dit is een speelse competitie."
De AI (specifiek de beste videomodellen van vandaag de dag) ziet voornamelijk bewegende pixels. Het kan misschien herkennen dat "een persoon een hand opheft" of dat "iemand schreeuwt", maar het faalt in het begrijpen van de relatie of het gevoel tussen de mensen.

De onderzoekers ontdekten dat als je een AI vroeg om te raden welke twee van drie videoclips het meest op elkaar leken, het slechter presteerde dan een simpele tekstgebaseerde AI die alleen de bijschriften las die de video's beschreven. Met andere woorden: de AI was beter in het lezen van de "filmrecap" dan in het daadwerkelijk "kijken naar de film" om de sociale dynamiek te begrijpen.

De Oplossing: AI Leren met "Wie Past Niet?"-Spelletjes

De onderzoekers wilden dit oplossen zonder dure hersenscans of enorme hoeveelheden nieuwe data. Ze introduceerden een methode genaamd Behavioral Geometric Supervision (BGS) (Gedragsgeometrische Supervisie).

Denk eraan als het leren van een kind om emoties te herkennen, niet door hen een schoolboek te geven, maar door een spelletje te spelen:

Het Spel: Laat de AI drie korte videoclips zien. Vraag het: "Welke is de buitenbeentje?" (Bijvoorbeeld: "Twee clips tonen vrienden die elkaar omhelzen, één toont vreemden die vechten. Welke is anders?")
De Menselijke Leraar: Mensen speelden dit spel duizenden keren, waardoor een enorme kaart ontstond van hoe wij sociale gelijkenissen zien.
De Les: De onderzoekers vertelden de AI niet alleen het juiste antwoord. Ze pasten het interne "brein" van de AI aan zodat zijn wiskundige begrip van de "afstand" tussen video's overeenkwam met de menselijke kaart. Als mensen dachten dat Video A en Video B zeer op elkaar leken, werd de AI gedwongen om zijn interne representatie van A en B zeer dicht bij elkaar te brengen.

De Magische Ingrediënten

Om dit efficiënt te laten werken, gebruikten ze twee hoofdtools:

LoRA (Low-Rank Adaptation): Stel je voor dat de video-AI een gigantische, zware bibliotheek is. In plaats van de hele bibliotheek opnieuw te bouwen, voegden ze een klein, lichtgewicht "notitieboekje" toe (waarmee minder dan 2% van het brein van de AI werd bijgewerkt) dat de nieuwe sociale regels leerde. Dit was snel en goedkoop.
De Hybride Loss (Lokaal + Globaal): Ze leerden de AI op twee manieren tegelijk:
- Lokaal: "Zorg ervoor dat dit specifieke paar video's dichter bij elkaar ligt dan dat andere" (zoals het goed krijgen van de specifieke spelantwoorden).
- Globaal: "Zorg ervoor dat de hele kaart van relaties eruitziet als de menselijke kaart" (zoals het begrijpen van de algemene vorm van de sociale wereld).

De Resultaten: Wat Veranderde Er?

Na deze training werd de AI niet alleen beter in het spel; het veranderde fundamenteel hoe het de wereld "zag".

Het Sloeg de Tekst-AI: De getrainde videomodellen werden beter in het matchen van menselijke sociale oordelen dan de tekstgebaseerde modellen die bijschriften lazen. Dit bewijst dat de AI iets visueels leerde dat woorden alleen niet konden vastleggen.
Het Leerde "Onzichtbare" Eigenschappen: Zonder ooit te zijn verteld wat "woede", "vreugde" of "dominantie" betekende, begon de AI deze concepten vanzelf te herkennen. Het is als een student die, na het bestuderen van veel voorbeelden van "vriendschap", plotseling beseft dat hij "vertrouwen" kan identificeren zonder dat iemand ooit het woord heeft gedefinieerd.
Het Keek Naar de Juiste Dingen: Voor de training keek de AI naar de achtergrond of willekeurige lichaamsdelen. Na de training verschuifde zijn aandacht naar gezichten, ogen en handen – precies de plekken waar mensen kijken om sociale interacties te begrijpen.
Het Vergat Niet Hoe Te Dansen: Normaal gesproken vergeet een AI oude trucs als je het een nieuwe leert. Maar deze AI wist nog steeds hoe het standaardacties moest herkennen (zoals "dansen" of "rennen"), net zo goed als daarvoor. Het voegde sociaal begrip toe zonder zijn oorspronkelijke vaardigheden te verliezen.

De Conclusie

Het artikel laat zien dat videomodellen voor AI al de ruwe data hebben om menselijke sociale interacties te begrijpen, maar dat ze er "slap" voor zijn. Door een kleine hoeveelheid menselijk gedragsdata te gebruiken (mensen die het "wie past niet?"-spel spelen), konden de onderzoekers dit sociale begrip "wakker maken".

Ze bewezen dat je AI niet hoeft te programmeren met complexe regels over menselijk gedrag; je hoeft het alleen maar te laten zien hoe mensen video's vergelijken, en de AI zal op natuurlijke wijze leren de wereld te zien zoals wij dat doen.

Technische Samenvatting: Gedragsgeometrische Supervisie brengt Video Foundation-modellen in lijn met Menselijke Sociale Perceptie

1. Probleemstelling

Huidige video foundation-modellen, zelfs de state-of-the-art zelftoezichthoudende architecturen zoals V-JEPA 2, slagen er niet in te vatten hoe mensen sociale informatie in dynamische scènes organiseren. Hoewel deze modellen uitstekend presteren in actieklassificatie (bijvoorbeeld het onderscheiden van "dansen" van "koken"), verklaren ze systematisch minder goed menselijke oordelen over sociale gelijkenis dan taalsystemen. Specifiek presteren op bijschriften gebaseerde zinsinbeddingen (bijvoorbeeld MPNet) consistent beter dan vooringestelde video-encoderers bij het voorspellen van menselijke gelijkenisoordelen voor sociale videoclips. Dit wijst op een "representatiekloof": video-vooropleidingsdoelen missen de relationele en affectieve structuur die inherent is aan menselijke sociale perceptie. Bovendien vertrouwen bestaande afstemmingsmethoden vaak op dure fMRI-data ("hersenaanpassing") of richten ze zich op statische beelden, waardoor de vraag open blijft of schaalbare gedragsmatige supervisie mensachtige sociale visuele structuur in videomodellen kan induceren.

2. Methodologie

2.1 Datasetconstructie

De auteurs bouwden een grootschalig menselijk gelijkenisbenchmark voor dynamisch sociaal video:

Stimuli: 250 naturalistische, 3-seconden durende clips van sociale interacties tussen twee personen uit het Moments in Time-dataset.
Taak: Een triplet "odd-one-out" (OOO)-paradigma waarbij deelnemers de "vreemde" video identificeren onder drie, wat impliciet het resterende paar als meer vergelijkbaar definieert.
Schaal: 49.484 oordelen verzameld van 245 deelnemers.
Structuur: Een gretig set-cover-algoritme zorgde ervoor dat elk videopaar in ten minste één triplet voorkwam. De data werd opgesplitst in 200 trainingsvideo's en 50 testvideo's (stimulus-disjunct).
Grondwahrheid: Menselijke gelijkenis wordt weergegeven als een Representational Similarity Matrix (RSM) gebaseerd op de frequentie van paarwijze gelijkenisoordelen.

2.2 Gedragsgeometrische Supervisie (BGS)

De kernbijdrage is Gedragsgeometrische Supervisie (BGS), een hybride trainingsdoel dat is ontworpen om de inbeddingsgeometrie van videomodellen in lijn te brengen met menselijke gelijkenisoordelen.

Architectuur: Toegepast via Low-Rank Adaptation (LoRA) op vier heterogene Vision Transformer (ViT)-backbones: V-JEPA 2, V-JEPA 2.1, TimeSformer, VideoMAE en CLIP. Dit update minder dan 2% van de parameters.
Hybride Verliesfunctie ( $L_{hybrid}$ ): Combineert lokale en globale beperkingen:
1. Tripletverlies ( $L_{triplet}$ ): Dwingt lokale beperkingen af waarbij de afstand tussen een anker en een positief paar kleiner is dan de afstand tot een negatief (odd-one-out) paar met een marge $\gamma$ .
2. RSA-verlies ( $L_{RSA}$ ): Dwingt globale geometrie af door de paarwijze afstandsmatrix van het model in lijn te brengen met de menselijke RSM met behulp van Representational Similarity Analysis (RSA). Deze term wordt 6 keer per epoch toegepast op een subset van video's om het geheugen te beheren.
Trainingschema: Het model wordt 50 epochs fijnge tuned. Het gewicht van het RSA-verlies ( $\beta$ ) wordt lineair opgevoerd van 0,3 tot 0,7, waarbij eerst prioriteit wordt gegeven aan lokale tripletcorrectheid en later aan globale structuur.

2.3 Controles en Baselines

Om het verbeteringsmechanisme te isoleren, vergeleken de auteurs BGS met:

Vooringestelde Baselines: 12 video-encoderers, 2 beeldencoderers, 2 VLM's en 22 zinsinbedding-taalsystemen (met gebruik van videobijschriften).
Ablaties: Alleen tripletverlies, alleen RSA-verlies en een budget-gelijkwaardige tripletvariant.
Taaldistillatiecontrole: Een model getraind met dezelfde hybride verliesfunctie, maar met MPNet-bijschriftinbeddingen als toezichtdoel in plaats van menselijke gedragsoordelen.

2.4 Evaluatiemetrics

Primair: Kwadraat van de Spearman-correlatie ( $R^2$ ) tussen model-RSM's en menselijke RSM's (split-half betrouwbaarheidplafond $R^2 = 0,213$ ).
Secundair:
- Variantieverdeling: Het ontleden van verklaarde variantie in unieke video, unieke taal en gedeelde componenten.
- Lineaire Probes: Testen op emergente sociaal-affectieve attributen (valentie, arousal, dominantie, intimiteit, communicatie) zonder expliciet toezicht.
- OOD-generalisatie: Zero-shot overdracht naar het PHASE-dataset (abstracte geometrische sociale interacties).
- Actierecognitie: Behoud van prestaties op UCF101.
- Aandachtsanalyse: Ruimtelijke aandacht-uitrol om verschuivingen in focus te observeren.

3. Belangrijkste Resultaten

3.1 Het Dichtsluiten van de Prestatiekloof

Vooringesteld Tekort: Geen enkel vooringesteld videomodel boekte prestaties die gelijk waren aan die van de beste zinsencoder (MPNet, $R^2 = 0,134$ ). Het beste vooringestelde videomodel (X3D-M) bereikte slechts $R^2 = 0,124$ .
BGS-Succes: Fijn tuning met BGS verbeterde de prestaties aanzienlijk. Het beste model, V-JEPA 2.1 (gedistilleerd), bereikte $R^2 = 0,165$ (78% van het ruisplafond), en V-JEPA 2 (groot) bereikte $R^2 = 0,172$ . Beide overtroffen de MPNet-baseline.
Noodzaak van Hybride Doel: Het hybride verlies presteerde beter dan alleen-triplet ( $R^2 = 0,158$ ) en alleen-RSA ( $R^2 = 0,131$ ) varianten. Cruciaal faalde de taaldistillatiecontrole om deze winsten te reproduceren ( $R^2 = 0,123$ ), waardoor eenvoudige bijschriftoverdracht als mechanisme wordt uitgesloten.

3.2 Emergente Sociaal-Affectieve Structuur

Unieke Variantie: Variantieverdeling onthulde dat fijngetunte modellen unieke variantie in menselijke oordelen vingen die op bijschriften gebaseerde inbeddingen niet konden vangen ( $R^2$ unieke videovariantie verdubbelde van 0,02 naar 0,04).
Ongeleerde Attributen: Ondanks dat ze nooit werden getraind op attribuutlabels, ontwikkelden BGS-afgestemde modellen lineair decodeerbare representaties van valentie, arousal en dominantie. Een taaldistillatiecontrole slaagde er niet in deze attributen op 4 van de 5 dimensies te herstellen.

3.3 Generalisatie en Behoud

Zero-Shot Overdracht: BGS-afgestemde modellen behaalden 81% nauwkeurigheid op het PHASE-dataset (abstracte sociale interacties), wat overeenkwam met menselijke overeenkomstniveaus en significant beter presteerde dan de vooringestelde baseline (55%). Dit demonstreert generalisatie naar out-of-distribution (OOD) stimuli.
Actierecognitie: Fijn tuning behield (en verbeterde licht voor V-JEPA 2.1) de actierecognitieprestaties op UCF101, wat aangeeft dat er geen catastrofale vergetelheid optreedt van vooropleidingscapaciteiten.

3.4 Mechanistische Verschuivingen

Aandachtsreorganisatie: Analyse van de aandachtsuitrol toonde een systematische verschuiving in ruimtelijke focus. Vooringestelde modellen concentreerden zich op enkele focusregio's (bijvoorbeeld een torso), terwijl fijngetunte modellen de aandacht herverdeelden naar sociaal informatieve regio's: gezichten, blikrichtingen, interacterende handen en beide agenten. Deze verschuiving vond plaats zonder enige ruimtelijke supervisie tijdens de training.

4. Betekenis en Claims

Het artikel beweert dat sociale perceptie in videomodellen een latente eigenschap is die toegankelijk wordt door middel van lichtgewicht gedragsmatige supervisie. De belangrijkste bijdragen zijn:

Demonstratie van een Representatiekloof: Huidige video-vooropleiding mist sociaal-visuele structuur, die beter wordt vastgelegd door taalsystemen totdat specifieke gedragsmatige afstemming wordt toegepast.
Schaalbare Afstemming via BGS: Gedragsgeometrische Supervisie slaagt erin mensachtige sociale gelijkenisstructuur in diverse video-backbones te induceren met behulp van een compact signaal (LoRA, <2% parameters) en gedragsdata, zonder de infrastructuurkosten van fMRI-gebaseerde "hersenaanpassing".
Voorbij Taaldistillatie: De winsten zijn niet louter het gevolg van leren van bijschriften. BGS vangt unieke visueel-sociale structuur (bijvoorbeeld blik, interactiedynamiek) die taalinbeddingen missen, en herstelt interpreteerbare sociaal-affectieve dimensies zonder expliciete labeling.
Robuustheid: De methode generaliseert naar abstracte, out-of-distribution sociale interacties en behoudt standaard actierecognitiecapaciteiten.

De auteurs concluderen dat relationele gedragsdata een onderscheidende vorm van afstemming biedt, die videomodellen in de richting van mensachtig sociaal visueel begrip stuurt door de geometrische structuur van inbeddingen te vormen zodat deze overeenkomt met menselijke gelijkenisoordelen.