Résumé Technique : La Supervision Géométrique Comportementale Aligne les Modèles Fondamentaux Vidéo avec la Perception Sociale Humaine

1. Énoncé du Problème

Les modèles fondamentaux vidéo actuels, même les architectures auto-supervisées les plus avancées comme V-JEPA 2, échouent à capturer la manière dont les humains organisent l'information sociale dans des scènes dynamiques. Bien que ces modèles excellent dans la classification des actions (par exemple, distinguer « danser » de « cuisiner »), ils sous-expliquent systématiquement les jugements de similarité sociale humaine par rapport aux modèles de langage. Plus précisément, les embeddings de phrases basés sur des légendes (par exemple, MPNet) surpassent constamment les encodeurs vidéo préentraînés dans la prédiction des jugements de similarité humaine pour des clips vidéo sociaux. Cela indique un « écart de représentation » : les objectifs de préentraînement vidéo manquent la structure relationnelle et affective inhérente à la perception sociale humaine. De plus, les méthodes d'alignement existantes reposent souvent sur des données IRMf coûteuses (« réglage cérébral ») ou se concentrent sur des images statiques, laissant la question ouverte de savoir si une supervision comportementale évolutive peut induire une structure visuelle sociale de type humain dans les modèles vidéo.

2. Méthodologie

2.1 Construction de l'Ensemble de Données

Les auteurs ont construit un benchmark de similarité humaine à grande échelle pour la vidéo sociale dynamique :

• Stimuli : 250 clips d'interaction sociale naturelle de deux personnes durant 3 secondes, issus de l'ensemble de données Moments in Time.
• Tâche : Un paradigme de triplet « l'intrus » (OOO) où les participants identifient la vidéo « étrange » parmi trois, définissant implicitement la paire restante comme plus similaire.
• Échelle : 49 484 jugements collectés auprès de 245 participants.
• Structure : Un algorithme de couverture d'ensemble glouton a garanti que chaque paire de vidéos apparaissait dans au moins un triplet. Les données ont été divisées en 200 vidéos d'entraînement et 50 vidéos de test (disjointes par stimulus).
• Vérité Terrain : La similarité humaine est représentée sous forme d'une Matrice de Similarité Représentationnelle (RSM) basée sur la fréquence des jugements de similarité par paires.

2.2 Supervision Géométrique Comportementale (BGS)

La contribution centrale est la Supervision Géométrique Comportementale (BGS), un objectif d'entraînement hybride conçu pour aligner la géométrie des embeddings des modèles vidéo avec les jugements de similarité humaine.

• Architecture : Appliquée via l'Adaptation à Faible Rang (LoRA) à quatre backbones hétérogènes de Vision Transformer (ViT) : V-JEPA 2, V-JEPA 2.1, TimeSformer, VideoMAE et CLIP. Cela met à jour moins de 2 % des paramètres.
• Fonction de Perte Hybride ($L_{hybrid}$) : Combine des contraintes locales et globales :
  1. Perte de Triplet ($L_{triplet}$) : Impose des contraintes locales où la distance entre une ancre et une paire positive est inférieure à la distance vers une paire négative (l'intrus) d'une marge $\gamma$.
  2. Perte RSA ($L_{RSA}$) : Impose une géométrie globale en alignant la matrice de distance par paires du modèle avec la RSM humaine en utilisant l'Analyse de Similarité Représentationnelle (RSA). Ce terme est appliqué 6 fois par époque sur un sous-ensemble de vidéos pour gérer la mémoire.
• Calendrier d'Entraînement : Le modèle est affiné pendant 50 époques. Le poids de la perte RSA ($\beta$) est augmenté linéairement de 0,3 à 0,7, priorisant la correction locale des triplets au début et la structure globale plus tard.

2.3 Contrôles et Lignes de Base

Pour isoler le mécanisme d'amélioration, les auteurs ont comparé la BGS à :

• Lignes de Base Préentraînées : 12 encodeurs vidéo, 2 encodeurs d'images, 2 VLM et 22 modèles de langage d'embedding de phrases (utilisant les légendes vidéo).
• Ablations : Perte de triplet uniquement, perte RSA uniquement, et une variante de triplet appariée au budget.
• Contrôle de Distillation Linguistique : Un modèle entraîné avec la même perte hybride mais utilisant les embeddings de légendes MPNet comme cible de supervision au lieu des jugements comportementaux humains.

2.4 Métriques d'Évaluation

• Primaire : Carré de la corrélation de Spearman ($R^2$) entre les RSM du modèle et les RSM humaines (plafond de fiabilité split-half $R^2 = 0,213$).
• Secondaires :
  • Partitionnement de la Variance : Décomposition de la variance expliquée en composantes vidéo unique, langage unique et partagées.
  • Sondes Linéaires : Test des attributs sociaux-affectifs émergents (valence, éveil, dominance, intimité, communication) sans supervision explicite.
  • Généralisation HORS-Distribution (OOD) : Transfert zéro-shot vers l'ensemble de données PHASE (interactions sociales géométriques abstraites).
  • Reconnaissance d'Actions : Préservation des performances sur UCF101.
  • Analyse de l'Attention : Déroulement de l'attention spatiale pour observer les changements de focalisation.

3. Résultats Clés

3.1 Réduction de l'Écart de Performance

• Déficit Préentraîné : Aucun modèle vidéo préentraîné n'a égalé les performances du meilleur encodeur de phrases (MPNet, $R^2 = 0,134$). Le meilleur modèle vidéo préentraîné (X3D-M) n'a atteint que $R^2 = 0,124$.
• Succès de la BGS : L'affinage avec BGS a considérablement amélioré les performances. Le meilleur modèle, V-JEPA 2.1 (distillé), a atteint $R^2 = 0,165$ (78 % du plafond de bruit), et V-JEPA 2 (grand) a atteint $R^2 = 0,172$. Tous deux ont dépassé la ligne de base MPNet.
• Nécessité de l'Objectif Hybride : La perte hybride a surpassé les variantes triplet uniquement ($R^2 = 0,158$) et RSA uniquement ($R^2 = 0,131$). Crucialement, le contrôle de distillation linguistique n'a pas réussi à reproduire ces gains ($R^2 = 0,123$), écartant le transfert simple de légendes comme mécanisme.

3.2 Structure Sociale-Affective Émergente

• Variance Unique : Le partitionnement de la variance a révélé que les modèles affinés ont capturé une variance unique dans les jugements humains que les embeddings basés sur des légendes ne pouvaient pas ($R^2$ variance vidéo unique doublée de 0,02 à 0,04).
• Attributs Non Supervisés : Bien qu'ils n'aient jamais été entraînés sur des étiquettes d'attributs, les modèles alignés par BGS ont développé des représentations linéairement décodables de valence, d'éveil et de dominance. Un contrôle de distillation linguistique n'a pas réussi à récupérer ces attributs sur 4 dimensions sur 5.

3.3 Généralisation et Préservation

• Transfert Zéro-Shot : Les modèles alignés par BGS ont atteint 81 % de précision sur l'ensemble de données PHASE (interactions sociales abstraites), correspondant aux niveaux d'accord humain et surpassant significativement la ligne de base préentraînée (55 %). Cela démontre une généralisation à des stimuli hors distribution (OOD).
• Reconnaissance d'Actions : L'affinage a préservé (et légèrement amélioré pour V-JEPA 2.1) les performances de reconnaissance d'actions sur UCF101, indiquant qu'il n'y a pas eu d'oubli catastrophique des capacités de préentraînement.

3.4 Changements Mécanistiques

• Réorganisation de l'Attention : L'analyse du déroulement de l'attention a montré un changement systématique de la focalisation spatiale. Les modèles préentraînés se concentraient sur des régions focales uniques (par exemple, un torse), tandis que les modèles affinés redistribuaient l'attention vers des régions socialement informatives : visages, directions du regard, mains en interaction et les deux agents. Ce changement s'est produit sans aucune supervision spatiale pendant l'entraînement.

4. Signification et Revendications

L'article revendique que la perception sociale dans les modèles vidéo est une propriété latente qui devient accessible grâce à une supervision comportementale légère. Les contributions clés sont :

1. Démonstration d'un Écart de Représentation : Le préentraînement vidéo actuel manque la structure visuelle-sociale, qui est mieux capturée par les modèles de langage jusqu'à ce qu'un alignement comportemental spécifique soit appliqué.
2. Alignement Évolutif via BGS : La Supervision Géométrique Comportementale induit avec succès une structure de similarité sociale de type humain dans divers backbones vidéo en utilisant un signal compact (LoRA, <2 % des paramètres) et des données comportementales, sans les coûts d'infrastructure du « réglage cérébral » basé sur l'IRMf.
3. Au-delà de la Distillation Linguistique : Les gains ne sont pas simplement dus à l'apprentissage à partir de légendes. La BGS capture une structure visuelle-sociale unique (par exemple, le regard, les dynamiques d'interaction) que les embeddings linguistiques manquent, et elle récupère des dimensions sociales-affectives interprétables sans étiquetage explicite.
4. Robustesse : La méthode généralise aux interactions sociales abstraites hors distribution et préserve les capacités standard de reconnaissance d'actions.

Les auteurs concluent que les données comportementales relationnelles offrent une forme distincte d'alignement, orientant les modèles vidéo vers une compréhension visuelle sociale de type humain en façonnant la structure géométrique des embeddings pour correspondre aux jugements de similarité humaine.