Résumé Technique : FriendBench

Énoncé du Problème

L'intelligence sociale nécessite de raisonner sur les relations interpersonnelles en se basant sur des indices comportementaux plutôt que sur le contenu verbal explicite. Bien que les systèmes d'IA soient de plus en plus chargés de médiatiser les interactions humaines, leur capacité à inférer la dynamique sociale à partir d'un comportement multimodal reste sous-évaluée. Plus précisément, il manque des benchmarks qui isolent l'inférence de la familiarité préalable (si deux personnes se sont déjà rencontrées) du contenu sémantique de leur conversation.

Les travaux existants reposent souvent sur le dialogue scripté, le contexte de la scène ou l'apparence pour inférer les relations, ou ciblent des constructions subjectives comme les émotions et les intentions qui manquent de vérité de terrain (ground truth) non ambiguë. Les auteurs postulent qu'une sonde « propre » de la perception sociale doit reposer sur des indices comportementaux de type « tranche fine » (Ambady et Rosenthal, 1992), où le sujet de la conversation est contrôlé, forçant l'observateur à se concentrer uniquement sur la manière dont les gens interagissent (coordination, réponse, orientation) plutôt que sur ce qu'ils disent.

Méthodologie

Construction du Benchmark (FriendBench)

Les auteurs introduisent FriendBench, un benchmark de classification binaire (Familier vs Inconnus) dérivé du jeu de données Seamless Interaction (Agrawal et al., 2025).

• Stimuli : 96 dyades équilibrées (48 familières, 48 inconnues) tirées d'interactions naturelles de type « soit l'un, soit l'autre » (ice-breaker).
• Contrôle : Chaque dyade répond au même type de question hypothétique à choix forcé (ex: « Préférerais-tu pouvoir voler ou être invisible ? »). Cela garantit que le sujet de la conversation est identique entre les classes, empêissant le contenu sémantique de révéler la réponse.
• Modalité : Chaque interaction est évaluée selon trois conditions :
  1. Texte : Transcriptions uniquement.
  2. Audio : Parole uniquement.
  3. Vidéo : Audiovisuel (parole + comportement visible).
• Conception : Le jeu de données est disjoint par participant (aucun individu n'apparaît dans plus d'une dyade) et stratifié par site d'enregistrement et composition de genre pour éliminer les facteurs de confusion. Les clips sont de 20 secondes, découpés selon les limites de tour de parole.

Protocole d'Évaluation

• Base de référence humaine : Une étude de crowdsourcing avec environ 90 évaluateurs par modalité (total d'environ 280 évaluateurs). Les évaluateurs ont effectué une tâche à choix forcé. La conception utilisait une structure incomplète à 6 blocs avec des données manquantes planifiées pour permettre la modélisation de la précision individuelle et du biais de réponse via des effets aléatoires croisés.
• Évaluation des modèles : 26 modèles de sept entreprises (OpenAI, Google, Anthropic, Alibaba, Mistral, Thinking Machines, Meta) ont été évalués dans un cadre zero-shot. Les modèles ont reçu des prompts adaptés directement des instructions humaines pour assurer la parité de cadrage de la tâche.
• Métriques :
  • Précision (Accuracy) : Classification globale correcte.
  • Rappel par classe (Per-class Recall) : Sensibilité à « Familier » vs « Inconnu ».
  • Théorie de la détection du signal : $d'$ (capacité de discrimination) et critère $c$ (biais de réponse). Un $c$ positif indique un biais vers « inconnu ».

Contributions Clés

1. Benchmark FriendBench : Un jeu de données multimodal et un cadre d'évaluation pour inférer la familiarité dyadique où le sujet sémantique est contrôlé, isolant ainsi les indices comportementaux.
2. Jeu de données Homme-Modèle Apparié : Publication des évaluations humaines pour les 96 dyades à travers le texte, l'audio et la vidéo, permettant une comparaison directe de la perception humaine et du modèle sous des conditions identiques.
3. Évaluation Complète des Modèles : Évaluation de 26 modèles de pointe (propriétaires et à poids ouverts) à travers les trois modalités.
4. Analyse de la Perception vs Biais : Une contribution méthodologique distinguant la discrimination (capacité à distinguer les classes) du biais de réponse (tendance à favoriser une classe), révélant que les modèles et les humains atteignent souvent une précision similaire via des mécanismes différents.

Résultats

Précision et Modalité

• Performance Humaine : Les humains performent au hasard dans le texte (précision de la foule de 51,0 %) mais s'améliorent significativement avec des modalités plus riches : 63,5 % en audio et 71,9 % en vidéo.
• Performance des Modèles : Les meilleurs modèles atteignent une précision statistiquement indiscernable de celle de la foule humaine dans toutes les modalités (ex: meilleur modèle 66,7 % en audio/vidéo contre 63,5 %/71,9 % pour l'humain).
• Gains de Modalité :
  • Texte : Ni les humains ni les modèles ne trouvent de signal fiable ; la performance est proche du hasard.
  • Audio : Les humains et les modèles gagnent une discrimination fiable par rapport au texte.
  • Vidéo (Audiovisuel) : Les humains obtiennent un gain supplémentaire fiable grâce au comportement visible (gain audio $\to$ vidéo de +11,0 %). Les modèles, eux, ne le font pas. Les meilleurs modèles plafonnent entre l'audio et la vidéo (ex: Gemini Video 66,7 % vs Gemini Audio 66,7 %), échouant à exploiter les indices visuels que les humains utilisent.

Biais de Réponse et Discrimination

Bien que l'imprécision globale soit similaire, les mécanismes diffèrent :

• Humains : Maintiennent une règle de décision équilibrée à travers les modalités (critère $c \approx 0$), identifiant correctement les paires familières et inconnues avec un rappel relativement équilibré.
• Modèles : Présentent un fort biais de réponse vers « inconnu ».
  • Dans le texte, les modèles penchent lourdement vers « inconnu » (ex: $gpt\_text\_mini$ a un rappel de 91,7 % pour les inconnus mais seulement 20,8 % pour les paires familières).
  • En vidéo, le meilleur modèle ($gemini\_video$) atteint une précision élevée ($d' \approx 1,12$) principalement en étiquetant presque toutes les paires comme « inconnues » (91,7 % de rappel pour les inconnus, 41,7 % pour les familiers), alors que la foule humaine reste équilibrée ($c = 0,06$).
• Conclusion : Les modèles atteignent la parité de précision non pas en égalant la discrimination humaine, mais en adoptant un a priori efficace qui suppose que les inconnus sont plus fréquents, menant à une règle de décision biaisée.

Différences Individuelles et Difficulté

• Traits des Évaluateurs : Les traits de l'intelligence sociale individuelle (TSIS) sont largement décorrélés de la précision en audio et en vidéo.
• Difficulté des Dyades : La difficulté est une propriété de l'interaction elle-même. Les dyades difficiles pour les humains sont généralement difficiles pour les modèles, et cette difficulté se transfère entre les modalités (ex: corrélation audio-vidéo $r=0,61$). Cependant, les humains et les modèles manquent souvent des classes différentes en raison de leurs règles de décision divergentes.

Signification et Revendications

L'article affirme que bien que les modèles multimodaux actuels aient atteint une précision de niveau humain sur cette tâche spécifique de perception sociale, ils ne reproduisent pas encore une perception de type humain.

1. Le Fossé Visuel : La divergence la plus significative concerne l'utilisation du canal visuel. Les humains convertissent de manière fiable les indices comportementaux visibles en gains de précision par rapport à la parole seule ; les modèles actuels capturent le signal vocal mais exploitent mal le canal visuel.
2. Biais vs Discrimination : Une haute précision dans les tâches de perception sociale peut masquer un grave biais de classe. Les modèles peuvent paraître compétents en se contentant simplement de par défaut de « l'inconnu », un comportement qui échouerait dans un déploiement réel où les taux de base diffèrent ou si manquer une paire « familière » a des conséquences critiques.
3. Standard d'Évaluation : Les auteurs soutiennent que l'évaluation de la perception sociale nécessite plus qu'un simple indicateur de précision. Des métriques comme le rappel par classe, les statistiques de détection du signal ($d'$ et $c$) et la difficulté au niveau de l'item sont nécessaires pour révéler si un modèle « comprend » réellement l'interaction ou s'il exploite simplement des priors statistiques.

Ce benchmark sert de mécanisme de suivi pour déterminer si les futurs modèles pourront apprendre à lire les relations de manière équilibrée, en utilisant le comportement visible comme le font les humains, plutôt que de se fier uniquement à la parole ou à des priors biaisés.