Résumé Technique : NICE – Un Benchmark Diagnostique Fondé sur la Théorie pour l'Intelligence Sociale des LLM

Énoncé du Problème

Alors que les modèles de langage de grande taille (LLM) sont de plus en plus déployés dans des contextes à forte intensité sociale (par exemple, compagnonnage émotionnel, service client), l'évaluation de leur intelligence sociale est devenue cruciale pour garantir la qualité et la sécurité des interactions humain-IA. Cependant, les benchmarks existants souffrent de deux limitations principales :

1. Absence de Structure Unifiée : Les benchmarks ciblant des capacités uniques (par exemple, la théorie de l'esprit, la compréhension des émotions) manquent d'un cadre commun pour cartographier les forces et les faiblesses à travers l'ensemble plus large de l'espace de l'intelligence sociale.
2. Absence de Granularité Diagnostique : Les scénarios ouverts et multi-tours offrent une haute validité écologique, mais ils entremêlent plusieurs capacités au sein d'un seul scénario, rendant impossible la traçabilité des échecs vers des déficits de capacités spécifiques.

Par conséquent, les évaluations actuelles réduisent souvent les modèles à des scores agrégés qui indiquent combien ils ont raison, mais échouent à diagnostiquer où ils échouent, entravant ainsi l'amélioration ciblée.

Méthodologie

Les auteurs proposent NICE (Norme, Interaction, Cognition, Expérience), le premier benchmark diagnostique holistique ancré dans la théorie sociale et construit via un pipeline psychométrique rigoureux. La construction comporte quatre étapes :

1. Construction du Cadre

Un cadre d'intelligence sociale a été développé par le biais d'une revue systématique de la littérature ascendante et d'une méthode Delphi descendante impliquant 23 experts.

• Base Théorique : Le cadre intègre la théorie du traitement de l'information sociale (Crick & Dodge, 1994) avec huit théories classiques de l'intelligence sociale humaine et des revues récentes sur l'IA.
• Structure : Le cadre final organise l'intelligence sociale en 4 catégories, 11 dimensions et 34 facettes de capacités fines.
• Pondération : Les poids structurels pour les catégories et les dimensions ont été estimés en utilisant le processus d'analyse hiérarchique (AHP) basé sur des comparaisons par paires effectuées par 9 experts.

2. Collecte de Matériel et Construction des Items

• Source : Les items n'ont pas été extraits de corpus bruts pour éviter la contamination des construits. À la place, l'équipe a adapté 18 benchmarks existants et 43 paradigmes psychologiques.
• Conception : Un pool de 137 items a été créé, où chaque item correspond exactement à une facette de capacité.
• Format de Tâche : NICE utilise une tâche de classement sous forme fermée. Pour chaque scénario, les modèles doivent classer 3 à 6 réponses candidates du « socialement optimal » au « violant les limites ». Cela teste non seulement la sélection de la meilleure réponse, mais aussi la sensibilité du modèle aux limites comportementales et normatives.

3. Validation

Le benchmark a subi un processus d'évaluation et de révision en trois tours impliquant 12 évaluateurs interdisciplinaires (aveugles aux résultats des modèles). Les items ont été évalués sur la fiabilité (clarté, stabilité du gradient), la validité (alignement du construit) et la neutralité (biais). Seuls les items obtenant un score ≥3,5 sur tous les critères ont été retenus.

4. Protocole d'Évaluation

• Modèles : Cinq LLM de pointe ont été évalués : GPT-5.5, Claude-Opus-4.7, Gemini-3.1-pro-preview, DeepSeek-v4-pro et Qwen3.6-plus.
• Configuration : Paramètres de décodage aléatoire (greedy) en zéro-shot. Chaque modèle a exécuté le benchmark de 137 items trois fois pour évaluer la stabilité.
• Référence : Un groupe de référence humain composé de 14 locuteurs natifs chinois a accompli les mêmes tâches.
• Métrique : La précision est définie strictement comme la correspondance avec la permutation complète du classement de référence ; un accord partiel ne reçoit aucun crédit.

Contributions Clés

1. Premier Benchmark Diagnostique Systématique : NICE est le premier benchmark à appliquer des principes de mesure tout au long du pipeline entier (cadre, développement d'items, validation) pour l'intelligence sociale artificielle, l'organisant en une hiérarchie structurée de 4 catégories, 11 dimensions et 34 facettes.
2. Diagnostic au Niveau des Facettes : En liant chaque item à une facette de capacité prédéfinie unique, NICE permet de tracer les erreurs des modèles vers des faiblesses spécifiques plutôt que de les absorber dans des scores au niveau des dimensions ou globaux.
3. Rigueur Psychométrique : Contrairement à de simples collections de tâches, NICE emploie un pipeline psychométrique complet, incluant un consensus d'experts, une pondération AHP et une validation itérative, garantissant que les résultats diagnostiques sont interprétables et structurellement valides.

Résultats et Analyse

L'évaluation de cinq LLM de pointe par rapport à la référence humaine a produit les insights suivants :

• Performance Agrégée : Les LLM ont atteint une précision agrégée plus élevée ($M=0,751$) comparée aux humains ($M=0,704$), avec un écart statistiquement significatif ($p < .001$).
• Disparités Dimensionnelles :
  • Forces des LLM : Les modèles ont significativement surpassé les humains en Responsabilité Sociale, Cohérence de Soi, Utilisation Émotionnelle, Perception Sociale et Apprentissage Adaptatif.
  • Faiblesses des LLM : Une faiblesse constante a été identifiée dans la Communication (D3), où les humains ont significativement surpassé les LLM (Humain $M=0,518$ vs LLM $M=0,428$ ; écart de 9,0 %).
• Diagnostic Granulaire de la Communication : La faiblesse dans la Communication a été localisée à trois facettes spécifiques :
  1. Communication multi-tours : Les LLM ont pris du retard sur les humains de 52,4 %.
  2. Communication non verbale : Les LLM ont pris du retard de 24,8 %.
  3. Synchronie : Les LLM ont pris du retard de 10,5 %.
• Résultats de l'Étude de Cas : L'analyse a révélé que les modèles échouent souvent à pénaliser les comportements « violant les limites » (par exemple, une politesse excessive comme s'incliner à 180 degrés) que les humains identifient correctement comme inappropriés. Cela suggère que les modèles peuvent surévaluer la déférence explicite tout en manquant de sensibilité aux normes contextuelles.
• Stabilité : Les échecs dans la dimension Communication étaient systématiques plutôt que aléatoires ; lorsqu'un modèle échouait à un item de Communication, il l'échouait systématiquement sur plusieurs exécutions.

Signification et Revendications

L'article revendique que NICE reframe l'évaluation de l'intelligence sociale d'un focus sur les scores agrégés vers un diagnostic fondé sur la théorie des faiblesses socialement conséquentes.

• Utilité Diagnostique : Le benchmark démontre qu'une haute précision agrégée peut masquer des déficits critiques dans des domaines spécifiques, tels que les nuances de communication et la sensibilité aux limites, qui sont vitaux pour une interaction humain-IA sûre.
• Insights Actionnables : En identifiant des facettes de capacités spécifiques (par exemple, communication multi-tours, indices non verbaux) où les modèles sous-performent constamment, NICE fournit une feuille de route pour l'entraînement et l'alignement ciblés des modèles.
• Limites : Les auteurs reconnaissent que NICE est actuellement un benchmark statique et basé sur le texte, développé principalement dans un contexte culturel chinois. Bien qu'il approxime des situations de la vie réelle, il ne peut pas capturer pleinement la dynamique des interactions sociales continues et réelles. Des travaux futurs sont nécessaires pour étendre le benchmark à des contextes plus complexes, interactifs et interculturels.