SocialFusion: Addressing Social Degradation in Pre-trained Vision-Language Models

Résumé Technique : SocialFusion : Remédier à la dégradation sociale dans les modèles de vision-langage pré-entraînés

Énoncé du problème
Bien que les modèles de vision-langage (VLM) pré-entraînés à grande échelle démontrent des capacités générales remarquables, ils échouent à unifier simultanément plusieurs tâches de compréhension des interactions sociales visuelles. Au lieu de tirer parti des synergies entre les tâches, les VLM existants présentent un « transfert négatif », où l'entraînement conjoint sur diverses tâches sociales dégrade les performances par rapport à un entraînement mono-tâche. Les auteurs émettent l'hypothèse que cet échec provient d'un phénomène qu'ils nomment « dégradation sociale ». Ils postulent que le processus standard de pré-entraînement visuo-linguistique des VLM altère la capacité de l'encodeur visuel à représenter des informations sociales nuancées, rendant les caractéristiques encodées moins décodables et moins compatibles pour les tâches de perception sociale.

Méthodologie
Le papier propose SocialFusion, un cadre unifié conçu pour contourner la dégradation sociale en apprenant une connexion minimale entre un encodeur visuel gelé et un modèle de langage, plutôt que de s'appuyer sur les représentations dégradées des VLM standards.

• Architecture :
  • Encodeur Visuel : SocialFusion utilise un modèle de fondation pré-entraîné (spécifiquement CLIP dans les expériences principales) qui n'a pas subi le pipeline de pré-entraînement typique des VLM. Les poids de l'encodeur visuel sont gelés pour préserver la qualité des représentations visuelles originales.
  • Connecteur : Un MLP léger à trois couches projette les cartes de caractéristiques visuelles dans l'espace d'embedding du grand modèle de langage (LLM).
  • Modèle de Langage : Le LLM (Llama 3.2 1B) est gelé, avec seulement une adaptation de bas rang (LoRA) appliquée à ses couches linéaires pour permettre l'apprentissage spécifique aux tâches.
  • Entrées & Sorties : Le modèle accepte des images et des boîtes englobantes optionnelles (converties en plongements de position appris). Pour les tâches de classification (gestes, expressions, relations, direction du regard), il produit des jetons textuels. Pour l'estimation de la cible du regard, il projette les caractéristiques visuelles finales dans une carte de chaleur 2D via une projection linéaire et une convolution transposée.
• Objectif d'Entraînement : Le modèle est entraîné conjointement sur cinq tâches sociales distinctes en utilisant une fonction de perte combinée : perte d'entropie croisée pour les tâches textuelles et entropie croisée binaire par pixel pour la prédiction de la carte de chaleur du regard.
• Investigation de la Dégradation Sociale : Pour valider l'hypothèse, les auteurs ont mené des expériences contrôlées comparant les encodeurs visuels avant et après le pré-entraînement VLM. Ils ont analysé deux mécanismes :
  1. Décodabilité : Utilisation du sondage de représentation linéaire (linear probing) pour mesurer la capacité des caractéristiques sociales à être linéairement séparées après le pré-entraînement.
  2. Compatibilité : Utilisation de l'analyse de conflit de gradient (Degré de Conflit de Gradient) pour mesurer l'alignement des gradients de tâches lors de l'entraînement conjoint.

Contributions Clés

1. Identification de la Dégradation Sociale : Le papier identifie et démontre empiriquement que le pré-entraînement VLM dégrade les représentations des encodeurs visuels spécifiquement pour les tâches d'interaction sociale. Des expériences contrôlées montrent que les encodeurs performent moins bien sur les tâches sociales après avoir subi un pré-entraînement visuo-linguistique par rapport à leurs homologues de pré-entraînement.
2. Analyse du Mécanisme : À travers le sondage linéaire et l'analyse de conflit de gradient, les auteurs révèlent que le principal moteur de la dégradation sociale est la réduction de la décodabilité linéaire des caractéristiques visuelles, le conflit de gradient jouant un rôle secondaire et moins significatif.
3. Cadre SocialFusion : La proposition d'une architecture de fusion minimale qui gèle l'encodeur visuel et apprend une connexion légère à un LLM. Cette approche évite la dégradation inhérente aux VLM standards.
4. Transfert Positif Unifié : SocialFusion est le premier modèle à atteindre un transfert positif sur les cinq tâches sociales visuelles testées (Analyse des Gestes, Regard/Attention, Expression Faciale, Dynamique de Conversation et Analyse de Situation Sociale) lorsqu'il est entraîné conjointement.

Résultats

• Comparaison avec les Baselines : Testés sur des VLM open-source populaires (Qwen2-VL, Sail-VL 1.5, et MolmoE) utilisant le fine-tuning LoRA, ces modèles ont montré un transfert négatif marqué dans les scénarios d'entraînement conjoint, performant souvent moins bien que l'entraînement mono-tâche.
• Performance de SocialFusion :
  • SocialFusion a atteint un transfert positif sur les 10 métriques testées (deux par tâche) en entraînement conjoint.
  • Il a établi de nouveaux résultats SOTA (État de l'Art) sur le benchmark de reconnaissance de gestes HaGRIDv2 (99.8 mAP) et le benchmark d'analyse de situation sociale PISC (94.2 mAP pour le Domaine, 88.5 mAP pour la Relation).
  • Il est resté compétitif sur GazeFollow, LAM (Looking at Me) et AffectNet, bien qu'il n'ait pas surpassé le SOTA sur AffectNet ou GazeFollow (où des approches spécialisées basées sur DINOv2 conservent un avantage).
• Analyse de Synergie : Des expériences d'entraînement par paires ont indiqué que si certains couples de tâches montraient une synergie, l'effet de transfert positif complet était plus prononcé lors de l'entraînement simultané sur toutes les tâches diverses, suggérant que le modèle apprend des « compétences sociales atomiques » généralisables.

Signification et Revendications
Le papier affirme que les stratégies actuelles de pré-entraînement VLM, bien qu'efficaces pour la compréhension multimodale générale, peuvent être préjudiciables à l'acquisition d'une compétence sociale générale. Les conclusions suggèrent que les représentations visuelles apprises lors du pré-entraînement à grande échelle ne préservent pas les indices visuels spécifiques nécessaires à la perception sociale.

La portée de SocialFusion réside dans la démonstration que le transfert positif dans des domaines sociaux complexes et multidimensionnels est réalisable non pas en construisant des modèles plus grands ou plus complexes, mais en évitant la dégradation de la représentation causée par les pipelines de pré-entraînement standards. Les auteurs soutiennent que cela souligne un besoin critique pour des paradigmes d'entraînement socialement conscients dans le développement futur des VLM, suggérant que des domaines spécialisés comme l'interaction sociale peuvent nécessiter des stratégies de pré-entraînement ou de fine-tuning distinctes pour préserver les indices visuels fins. Ce travail sert de fondation pour construire des systèmes d'IA socialement compétents et unifiés, capables de raisonner sur les interactions humaines dans des scénarios réels.