🧬 biology

Behavioral Geometric Supervision Aligns Video Foundation Models with Human Social Perception

Dieser Beitrag stellt die Behaviorale Geometrische Überwachung (BGS) vor, ein hybrides Ziel, das Videofundamentmodelle mit der menschlichen sozialen Wahrnehmung in Einklang bringt, indem die Geometrie der Einbettungen so eingeschränkt wird, dass sie menschlichen Ähnlichkeitsurteilen entspricht, wodurch Modelle in der Lage sind, sprachbasierte Baseline-Modelle deutlich zu übertreffen, interpretierbare sozial-affektive Attribute zu entwickeln und ihre Aufmerksamkeit auf sozial informative Regionen zu lenken, ohne explizit auf diese Merkmale trainiert worden zu sein.

Ursprüngliche Autoren: Kathy Garcia, Leyla Isik

Veröffentlicht 2026-05-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kathy Garcia, Leyla Isik

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Das große Problem: KI schaut zu, versteht aber die Menschen nicht

Stellen Sie sich vor, Sie zeigen einem sehr intelligenten KI-System und einem Menschen ein Video von zwei Personen, die sich streiten.

Der Mensch versteht sofort die soziale Nuance: „Sie sind frustriert, aber immer noch füreinander da" oder „Das ist ein spielerischer Wettbewerb."
Die KI (speziell die besten heute verfügbaren Videomodelle) sieht hauptsächlich sich bewegende Pixel. Sie mag erkennen, dass „eine Person die Hand hebt" oder „jemand schreit", aber sie versteht die Beziehung oder das Gefühl zwischen den Personen nicht.

Die Forscher stellten fest, dass eine KI, wenn man sie bat, zu erraten, welche zwei von drei Videoclips am ähnlichsten waren, schlechter abschnitt als eine einfache textbasierte KI, die lediglich die Untertitel las, die die Videos beschreiben. Mit anderen Worten: Die KI war besser darin, die „Filmzusammenfassung" zu lesen, als tatsächlich den „Film" zu schauen, um die sozialen Dynamiken zu verstehen.

Die Lösung: KI mit „Ausreißer"-Spielen unterrichten

Die Forscher wollten dies beheben, ohne teure Gehirnscans oder massive Mengen neuer Daten zu benötigen. Sie führten eine Methode namens Behavioral Geometric Supervision (BGS) (Verhaltensgeometrische Überwachung) ein.

Stellen Sie sich vor, Sie bringen einem Kind bei, Emotionen zu erkennen, nicht indem Sie ihm ein Lehrbuch geben, sondern indem Sie ein Spiel spielen:

Das Spiel: Zeigen Sie der KI drei kurze Videoclips. Fragen Sie sie: „Welcher ist der Ausreißer?" (z. B. „Zwei Clips zeigen Freunde, die sich umarmen, einer zeigt Fremde, die sich streiten. Welcher ist anders?")
Der menschliche Lehrer: Menschen spielten dieses Spiel Tausende von Malen und erstellten eine riesige Karte darüber, wie wir soziale Ähnlichkeiten sehen.
Die Lektion: Die Forscher sagten der KI nicht einfach nur die richtige Antwort. Sie passten das interne „Gehirn" der KI so an, dass ihr mathematisches Verständnis der „Distanz" zwischen Videos mit der menschlichen Karte übereinstimmte. Wenn Menschen dachten, Video A und Video B seien sehr ähnlich, wurde die KI gezwungen, ihre interne Darstellung von A und B sehr nah beieinander zu platzieren.

Die magischen Zutaten

Um dies effizient umzusetzen, nutzten sie zwei Hauptwerkzeuge:

LoRA (Low-Rank Adaptation / Niedrigrangige Anpassung): Stellen Sie sich das VideokI-System als eine riesige, schwere Bibliothek vor. Anstatt die ganze Bibliothek neu zu bauen, fügten sie ein kleines, leichtgewichtiges „Notizbuch" hinzu (das weniger als 2 % des KI-Gehirns aktualisierte), das die neuen sozialen Regeln lernte. Dies war schnell und kostengünstig.
Der hybride Verlust (Lokal + Global): Sie unterrichteten die KI auf zwei Arten gleichzeitig:
- Lokal: „Stellen Sie sicher, dass dieses spezifische Videopaar näher beieinander liegt als jenes" (wie das richtige Beantworten spezifischer Spielfragen).
- Global: „Stellen Sie sicher, dass die gesamte Karte der Beziehungen wie die menschliche Karte aussieht" (wie das Verstehen der allgemeinen Form der sozialen Welt).

Die Ergebnisse: Was hat sich geändert?

Nach diesem Training wurde die KI nicht nur besser im Spiel; sie veränderte grundlegend, wie sie die Welt „sah".

Sie schlug die Text-KI: Die trainierten Videomodelle wurden besser darin, menschliche soziale Urteile zu treffen als die textbasierten Modelle, die Untertitel lasen. Dies beweist, dass die KI etwas Visuelles gelernt hat, das Worte allein nicht erfassen können.
Sie lernte „unsichtbare" Eigenschaften: Ohne jemals gesagt bekommen zu haben, was „Wut", „Freude" oder „Dominanz" bedeuten, begann die KI, diese Konzepte von selbst zu erkennen. Es ist wie ein Schüler, der nach dem Studium vieler Beispiele von „Freundschaft" plötzlich erkennt, dass er „Vertrauen" identifizieren kann, ohne dass jemals jemand das Wort definiert hat.
Sie sah die richtigen Dinge: Vor dem Training sah die KI auf den Hintergrund oder zufällige Körperteile. Nach dem Training verlagerte sich ihre Aufmerksamkeit auf Gesichter, Augen und Hände – genau die Stellen, auf die Menschen achten, um soziale Interaktionen zu verstehen.
Sie vergaß nicht, wie man tanzt: Normalerweise, wenn man einer KI einen neuen Trick beibringt, vergisst sie alte. Aber diese KI wusste immer noch, wie man Standardaktionen (wie „Tanzen" oder „Laufen") erkennt, genauso gut wie zuvor. Sie fügte soziales Verständnis hinzu, ohne ihre ursprünglichen Fähigkeiten zu verlieren.

Das Fazit

Das Papier zeigt, dass VideokI-Modelle bereits die Rohdaten besitzen, um menschliche soziale Interaktionen zu verstehen, aber dafür „einschlafen" sind. Indem sie eine kleine Menge menschlicher Verhaltensdaten verwendeten (Menschen, die das „Ausreißer"-Spiel spielen), konnten die Forscher dieses soziale Verständnis „wachrufen".

Sie bewiesen, dass man KI nicht mit komplexen Regeln über menschliches Verhalten programmieren muss; man muss ihr nur zeigen, wie Menschen Videos vergleichen, und die KI wird auf natürliche Weise lernen, die Welt so zu sehen, wie wir es tun.

Technische Zusammenfassung: Behaviorale Geometrische Supervision richtet Video-Foundation-Modelle auf die menschliche soziale Wahrnehmung aus

1. Problemstellung

Aktuelle Video-Foundation-Modelle, selbst fortschrittlichste selbstüberwachte Architekturen wie V-JEPA 2, erfassen nicht, wie Menschen soziale Informationen in dynamischen Szenen organisieren. Zwar sind diese Modelle bei der Aktionsklassifizierung hervorragend (z. B. Unterscheidung von „Tanzen" von „Kochen"), doch erklären sie menschliche Ähnlichkeitsurteile im sozialen Kontext systematisch schlechter als Sprachmodelle. Konkret übertreffen caption-basierte Satzeinbettungen (z. B. MPNet) vortrainierte Video-Encoder konsistent bei der Vorhersage menschlicher Ähnlichkeitsurteile für soziale Videoclips. Dies deutet auf eine „Repräsentationslücke" hin: Die Ziele des Video-Pretrainings verpassen die relationale und affektive Struktur, die der menschlichen sozialen Wahrnehmung innewohnt. Darüber hinaus verlassen sich bestehende Alignierungsmethoden oft auf teure fMRT-Daten („Brain-Tuning") oder konzentrieren sich auf statische Bilder, sodass die Frage offen bleibt, ob skalierbare behaviorale Supervision eine menschähnliche soziale visuelle Struktur in Video-Modellen hervorrufen kann.

2. Methodik

2.1 Datensatzkonstruktion

Die Autoren erstellten einen groß angelegten Benchmark für menschliche Ähnlichkeitsurteile bei dynamischen sozialen Videos:

Stimuli: 250 naturalistische, 3-Sekunden-Clips von sozialen Interaktionen zwischen zwei Personen aus dem Datensatz Moments in Time.
Aufgabe: Ein Triplett-„Odd-One-Out"-Paradigma (OOO), bei dem Teilnehmer das „fremde" Video unter drei identifizieren, wodurch implizit das verbleibende Paar als ähnlicher definiert wird.
Skala: 49.484 Urteile, gesammelt von 245 Teilnehmern.
Struktur: Ein Greedy-Set-Cover-Algorithmus stellte sicher, dass jedes Videopaar in mindestens einem Triplett vorkam. Die Daten wurden in 200 Trainingsvideos und 50 Testvideos aufgeteilt (stimulus-disjunkt).
Ground Truth: Menschliche Ähnlichkeit wird als Repräsentationsähnlichkeitsmatrix (RSM) basierend auf der Häufigkeit paarweiser Ähnlichkeitsurteile dargestellt.

2.2 Behaviorale Geometrische Supervision (BGS)

Der Kernbeitrag ist die Behaviorale Geometrische Supervision (BGS), ein hybrides Trainingsziel, das entwickelt wurde, um die Einbettungsgeometrie von Video-Modellen mit menschlichen Ähnlichkeitsurteilen auszurichten.

Architektur: Anwendung via Low-Rank Adaptation (LoRA) auf vier heterogene Vision-Transformer (ViT)-Backbones: V-JEPA 2, V-JEPA 2.1, TimeSformer, VideoMAE und CLIP. Dies aktualisiert weniger als 2 % der Parameter.
Hybride Verlustfunktion ( $L_{hybrid}$ ): Kombiniert lokale und globale Constraints:
1. Triplet Loss ( $L_{triplet}$ ): Erzwingt lokale Constraints, bei denen der Abstand zwischen einem Anker und einem positiven Paar kleiner ist als der Abstand zu einem negativen (Odd-One-Out)-Paar um einen Margin $\gamma$ .
2. RSA Loss ( $L_{RSA}$ ): Erzwingt globale Geometrie, indem die paarweise Abstandsmatrix des Modells mit der menschlichen RSM unter Verwendung der Repräsentational Similarity Analysis (RSA) ausgerichtet wird. Dieser Term wird zur Speicherverwaltung 6 Mal pro Epoche auf einer Teilmenge von Videos angewendet.
Trainingsplan: Das Modell wird für 50 Epochen feinabgestimmt. Das Gewicht des RSA-Verlusts ( $\beta$ ) wird linear von 0,3 auf 0,7 hochgefahren, wobei zu Beginn die lokale Triplett-Korrektheit und später die globale Struktur priorisiert werden.

2.3 Kontrollen und Baselines

Um den Verbesserungsmechanismus zu isolieren, verglichen die Autoren BGS mit folgenden:

Vortrainierte Baselines: 12 Video-Encoder, 2 Bild-Encoder, 2 VLMs und 22 Satzeinbettungs-Sprachmodelle (unter Verwendung von Video-Captions).
Ablationen: Triplett-Only-Verlust, RSA-Only-Verlust und eine budgetangepasste Triplett-Variante.
Sprach-Distillations-Kontrolle: Ein Modell, das mit derselben hybriden Verlustfunktion trainiert wurde, jedoch MPCaption-Einbettungen als supervisory target anstelle menschlicher behavioraler Urteile verwendete.

2.4 Evaluationsmetriken

Primär: Quadratisierter Spearman-Korrelationskoeffizient ( $R^2$ ) zwischen Modell-RSMs und menschlichen RSMs (Split-Half-Reliability-Obergrenze $R^2 = 0,213$ ).
Sekundär:
- Varianzpartitionierung: Zerlegung der erklärten Varianz in eindeutige Video-, eindeutige Sprach- und gemeinsame Komponenten.
- Lineare Probes: Testen auf emergente sozial-affektive Attribute (Valenz, Erregung, Dominanz, Intimität, Kommunikation) ohne explizite Supervision.
- OOD-Generalisierung: Zero-Shot-Transfer auf den PHASE-Datensatz (abstrakte geometrische soziale Interaktionen).
- Aktionserkennung: Erhaltung der Leistung auf UCF101.
- Attention-Analyse: Spatial Attention Rollout zur Beobachtung von Fokusverschiebungen.

3. Wichtige Ergebnisse

3.1 Schließen der Leistungslücke

Vortrainiertes Defizit: Kein vortrainiertes Video-Modell erreichte die Leistung des besten Satzeinbetters (MPNet, $R^2 = 0,134$ ). Das beste vortrainierte Video-Modell (X3D-M) erreichte nur $R^2 = 0,124$ .
BGS-Erfolg: Die Feinabstimmung mit BGS verbesserte die Leistung signifikant. Das beste Modell, V-JEPA 2.1 (distilled), erreichte $R^2 = 0,165$ (78 % der Rausch-Obergrenze), und V-JEPA 2 (large) erreichte $R^2 = 0,172$ . Beide übertrafen die MPNet-Baseline.
Notwendigkeit des hybriden Ziels: Der hybride Verlust übertraf die Triplett-Only- ( $R^2 = 0,158$ ) und RSA-Only- ( $R^2 = 0,131$ ) Varianten. Entscheidend ist, dass die Sprach-Distillations-Kontrolle diese Gewinne nicht reproduzieren konnte ( $R^2 = 0,123$ ), was eine einfache Caption-Übertragung als Mechanismus ausschließt.

3.2 Emergente sozial-affektive Struktur

Eindeutige Varianz: Die Varianzpartitionierung zeigte, dass feinabgestimmte Modelle eindeutige Varianz in menschlichen Urteilen erfassen konnten, die caption-basierte Einbettungen nicht erfassen konnten ( $R^2$ eindeutige Video-Varianz verdoppelte sich von 0,02 auf 0,04).
Unüberwachte Attribute: Obwohl sie nie auf Attribut-Labels trainiert wurden, entwickelten BGS-ausgerichtete Modelle linear dekodierbare Repräsentationen von Valenz, Erregung und Dominanz. Eine Sprach-Distillations-Kontrolle konnte diese Attribute in 4 von 5 Dimensionen nicht wiederherstellen.

3.3 Generalisierung und Erhaltung

Zero-Shot-Transfer: BGS-ausgerichtete Modelle erreichten auf dem PHASE-Datensatz (abstrakte soziale Interaktionen) eine Genauigkeit von 81 %, was dem menschlichen Übereinstimmungsniveau entspricht und die vortrainierte Baseline (55 %) signifikant übertrifft. Dies demonstriert eine Generalisierung auf Out-of-Distribution (OOD)-Stimuli.
Aktionserkennung: Die Feinabstimmung erhielt (und verbesserte bei V-JEPA 2.1 leicht) die Leistung bei der Aktionserkennung auf UCF101, was auf kein katastrophales Vergessen der Vortrainingsfähigkeiten hindeutet.

3.4 Mechanistische Verschiebungen

Attention-Neuorganisation: Die Attention-Rollout-Analyse zeigte eine systematische Verschiebung des räumlichen Fokus. Vortrainierte Modelle konzentrierten sich auf einzelne Fokusbereiche (z. B. ein Rumpf), während feinabgestimmte Modelle die Aufmerksamkeit auf sozial informative Bereiche umverteilt: Gesichter, Blickrichtungen, interagierende Hände und beide Akteure. Diese Verschiebung erfolgte ohne jegliche räumliche Supervision während des Trainings.

4. Bedeutung und Behauptungen

Die Arbeit behauptet, dass soziale Wahrnehmung in Video-Modellen eine latente Eigenschaft ist, die durch leichte behaviorale Supervision zugänglich wird. Die wichtigsten Beiträge sind:

Nachweis einer Repräsentationslücke: Das aktuelle Video-Pretraining verpasst die sozial-visuelle Struktur, die besser von Sprachmodellen erfasst wird, bis eine spezifische behaviorale Ausrichtung angewendet wird.
Skalierbare Ausrichtung via BGS: Behaviorale Geometrische Supervision induziert erfolgreich eine menschähnliche soziale Ähnlichkeitsstruktur in diversen Video-Backbones unter Verwendung eines kompakten Signals (LoRA, <2 % Parameter) und behavioraler Daten, ohne die Infrastrukturkosten von fMRT-basiertem „Brain-Tuning".
Über Sprach-Distillation hinaus: Die Gewinne sind nicht lediglich auf das Lernen aus Captions zurückzuführen. BGS erfasst eine eindeutige visuell-soziale Struktur (z. B. Blick, Interaktionsdynamik), die Spracheinbettungen verpassen, und gewinnt interpretierbare sozial-affektive Dimensionen ohne explizite Kennzeichnung zurück.
Robustheit: Die Methode generalisiert auf abstrakte, out-of-distribution soziale Interaktionen und erhält die Standardfähigkeiten der Aktionserkennung.

Die Autoren schließen, dass relationale behaviorale Daten eine distincte Form der Ausrichtung bietet, die Video-Modelle durch die Gestaltung der geometrischen Struktur von Einbettungen, um menschliche Ähnlichkeitsurteile zu entsprechen, zu einem menschähnlichen sozialen visuellen Verständnis lenkt.