Résumé technique : SCENE – Reconnaissance des normes sociales et sanction dans les chats de groupe

Énoncé du problème

Les chats de groupe en ligne fonctionnent selon des schémas comportementaux implicites (normes) qui ne sont pas explicitement énoncés mais sont appliqués par le biais de sanctions sociales en cas de violation. Bien que des agents basés sur des modèles de langage de grande taille (LLM) soient de plus en plus déployés dans des contextes sociaux, leur capacité à inférer ces normes cachées, à reconnaître lorsqu'ils sont sanctionnés pour les avoir enfreintes et à adapter leur comportement en conséquence reste largement inexplorée. Les benchmarks existants se concentrent souvent sur des interactions dyadiques avec des objectifs explicites (par exemple, Sotopia) ou sur des jugements statiques et ponctuels (par exemple, SocialIQa), échouant à capturer la nature dynamique et multipartite de l'inférence normative dans le monde réel, où les agents doivent apprendre par l'observation et la réaction plutôt que par des instructions explicites.

Méthodologie

Les auteurs présentent SCENE, un benchmark conçu pour évaluer l'inférence de normes implicites et l'adaptation comportementale dans des environnements de chat multipartites.

1. Génération de scénarios et taxonomie

SCENE génère des scénarios de chats de groupe synthétiques mais interactionnellement plausibles, basés sur une structure à cinq éléments $\tau = (e, n, \ell, s, p)$ :

• Événement ($e$) : Le contexte du chat (par exemple, résultats d'examens, rapports de bugs, planification d'événements).
• Norme ($n$) : Une norme implicite cachée régissant le comportement (par exemple, registre d'humour noir vs soutien affiliatif). Les normes sont organisées en paires opposées pour tester si les modèles s'adaptent au contexte local ou s'ils s'appuient sur des comportements d'assistant par défaut.
• Éliciteur ($\ell$) : Le déclencheur qui positionne l'agent sujet pour agir (par exemple, être explicitement adressé, un tour de parole libre).
• Sanction ($s$) : Le mode de sanction sociale utilisé par le groupe en cas de violation (par exemple, silence ignoré, réactions correctives, mise en cause explicite).
• Précédent ($p$) : Le fait que le sujet observe un cycle précédent de violation et de sanction avant d'agir.

Le système filtre 21 952 tuples valides issus d'un produit cartésien de 13 événements, 14 normes, 7 éliciteurs, 6 modalités de sanction et 2 états de précédent.

2. Pipeline de génération en deux étapes

Pour garantir que l'agent sujet n'est pas exposé à la norme prématurément, la génération s'effectue en deux étapes à l'aide de LLM :

1. Étape aveugle à la norme : Génération de l'échafaudage du chat (cadre, participants, contexte) sans mentionner la norme.
2. Étape consciente de la norme : Remplissage des champs cachés, incluant la norme spécifique, les instructions comportementales pour les personnalités scriptées et les scripts de sanction.

3. Exécution et agents

• Agent sujet : Le modèle évalué, initialisé avec un briefing à la première personne mais ignorant l'évaluation et la norme cachée.
• Personnalités scriptées : 3 à 4 agents pilotés par des LLM qui simulent le groupe. Ils sont contraints par la norme cachée et instruits de sanctionner les violations en utilisant la modalité spécifique assignée.
• Orchestrateur : Gère le tour de parole et les conditions de terminaison.
• Espace d'action : Les agents peuvent envoyer un message, réagir par un émoji ou rester silencieux. Cet espace limité concentre l'évaluation sur la forme interactionnelle plutôt que sur le contenu factuel.

4. Métriques d'évaluation

SCENE évalue trois capacités fondamentales à l'aide de métriques comportementales dérivées de la transcription du chat :

• Taux de réparation : La fréquence avec laquelle le sujet effectue une « réparation sauvegardant la face » (excuse, rétractation ou changement de registre) dans les 1 à 3 tours suivant une sanction.
• Adaptation (dépendante des preuves) : Mesurée via le $\rho$ de Spearman entre le nombre de démonstrations antérieures de la norme ($X$) et le taux de violations subséquentes ($Y$). Une corrélation négative indique que l'agent apprend du comportement observé du groupe.
• Conformité sous des normes opposées : Teste si le modèle peut basculer entre des normes conflictuelles (par exemple, adresse formelle vs informelle) ou s'il adopte un style fixe par défaut.

Un audit de fidélité est effectué a posteriori pour s'assurer que les personnalités scriptées ont respecté la norme et délivré les sanctions comme prévu, filtrant ainsi les épisodes invalides.

Résultats clés

Les auteurs ont évalué six modèles de pointe et à poids ouverts (Claude Opus 4.7, Gemini 3.1 Pro, Qwen2.5-72B, Llama 3.3-70B, Mistral 3.1 et Gemma 2-27B) sur 6 000 épisodes.

1. Réactivité aux sanctions : Les modèles fermés de pointe ont nettement surpassé les modèles à poids ouverts. Claude Opus 4.7 a atteint un taux de réparation de 84,3 %, et Gemini 3.1 Pro a atteint 79,7 %. Les modèles à poids ouverts ont considérablement pris du retard (variant de 57,6 % à 71,9 %). Les mises en cause directes ont suscité des taux de réparation plus élevés que la moquerie parodique.
2. Adaptation aux normes : Seuls les deux modèles de pointe ont montré des corrélations de Spearman négatives statistiquement significatives ($\rho \approx -0,33$ et $-0,24$), indiquant qu'ils ont réussi à réduire les violations après avoir observé des démonstrations antérieures. Les modèles à poids ouverts ont montré des corrélations indiscernables de zéro, suggérant un manque d'adaptation dépendante des preuves.
3. Biais par défaut : Les modèles ont exhibé des comportements par défaut forts qui ont primé sur les normes locales. Par exemple, tous les modèles ont enfreint les normes d'adresse formelle significativement plus souvent que les normes informelles, suggérant un biais de classe entière vers des registres informels.
4. Fidélité : Les personnalités scriptées ont réussi à instancier les tests prévus dans la grande majorité des épisodes, avec seulement 2,1 % des épisodes contenant des violations de la part des personnalités scriptées.

Signification et affirmations

L'article positionne SCENE comme une étape nécessaire vers une évaluation dynamique et interactionnelle des capacités sociales des LLM, dépassant les benchmarks statiques de Théorie de l'Esprit (ToM) qui testent le raisonnement à la troisième personne.

• Adaptation à la première personne : Les auteurs soutiennent que l'intelligence sociale véritable chez les agents ne consiste pas à répondre à des questions sur les états mentaux, mais à adapter le comportement en temps réel sur la base des sanctions observées.
• Écart de capacités : Les résultats mettent en évidence un écart substantiel entre les modèles fermés de pointe et les modèles à poids ouverts en matière d'adaptation sociale, suggérant que les modèles à poids ouverts actuels peinent à inférer des règles sociales implicites à partir de l'interaction seule.
• Limites : Les auteurs reconnaissent que SCENE teste une forme étroite d'adaptation sociale au sein d'épisodes courts, synthétiques et uniquement textuels. Il ne mesure pas le jugement moral général, l'appartenance communautaire à long terme ou la capacité à gérer des normes superposées et conflictuelles trouvées dans les groupes réels.
• Risques : L'article note qu'une inférence améliorée des normes pourrait faciliter l'ingénierie sociale ou permettre aux agents de refléter des comportements toxiques de groupe si le registre local le récompense, soulignant la nécessité de divulgation et de contrôles de déploiement.

En résumé, SCENE fournit un environnement contrôlé pour mesurer si les LLM peuvent « lire la pièce », reconnaître lorsqu'ils ont été socialement corrigés et ajuster leur comportement en conséquence, révélant que si les modèles de pointe commencent à maîtriser cela, cette capacité n'est pas encore universelle dans le domaine.