Improvisational Games as a Benchmark for Social Intelligence of AI Agents: The Case of Connections

Titre et Contexte

L'article propose l'introduction formelle d'un jeu de mots improvisé appelé « Connections » pour évaluer les capacités de raisonnement et d'intelligence sociale des agents d'IA basés sur les grands modèles de langage (LLM). L'objectif est de dépasser les benchmarks traditionnels (comme la récupération de connaissances ou le raisonnement déductif simple) pour tester la capacité d'un agent à modéliser les états cognitifs des autres agents et à s'adapter à leurs capacités de compréhension.

1. Le Problème

Les benchmarks actuels pour les LLM se concentrent souvent sur la performance individuelle (réponses à des questions, résumé, expertise). Cependant, ils négligent la dimension sociale de l'intelligence, qui implique :

• La compréhension de la manière dont d'autres agents perçoivent les relations sémantiques.
• L'adaptation de la communication en fonction des connaissances partagées ou manquantes entre les joueurs.
• La capacité à naviguer dans un espace de contraintes où un indice doit être assez clair pour être deviné par les coéquipiers, mais assez ambigu pour ne pas être bloqué par l'adversaire (le « Setter »).

Le jeu « Connections » est choisi car il exige un équilibre délicat entre la créativité, la connaissance du monde et la théorie de l'esprit (comprendre ce que les autres savent).

2. Méthodologie

A. Formalisation du Jeu

Le jeu se déroule avec $n+1$ joueurs : un Setter (Joueur 0) qui pense à un mot secret, et $n$ Devineurs (Guessers).

• Mécanique : Le Setter révèle une lettre initiale. Les Devineurs proposent des indices (clues). Si un Devineur trouve le mot correspondant à l'indice et que le Setter ne parvient pas à le bloquer (en devinant le mot lui-même), une nouvelle lettre est révélée.
• Objectif : Les Devineurs gagnent s'ils trouvent le mot complet dans un nombre limité d'indices ; sinon, le Setter gagne.
• Contrainte : Les indices doivent respecter le préfixe actuel du mot.

B. Modélisation Mathématique et Cognitive

Les auteurs formalisent le jeu en utilisant des espaces d'incorporation sémantique (embeddings) :

• Représentation : Chaque joueur $j$ possède un vocabulaire de travail $U_j$ et une fonction d'encodage $\Phi_j$ qui mappe un mot ou un indice vers un vecteur de dimension $m$.
• Proximité Sémantique : Un mot $w$ est associé à un indice $p$ si leur produit scalaire (dot product) est élevé. L'idéal est que $w$ soit le mot le plus proche de $p$ dans l'espace sémantique du joueur.
• Hétérogénéité : Les auteurs postulent que bien que les joueurs puissent avoir des représentations sémantiques différentes (en raison de contextes socio-culturels ou éducatifs), la proximité relative entre des concepts fortement liés (ex: "contenant" et "tasse") devrait être similaire entre les joueurs.
• Optimisation de l'indice : Pour maximiser la probabilité de succès, un indice doit avoir un niveau de similarité sémantique $\lambda$ tel qu'il soit trop vague pour que le Setter le devine immédiatement, mais assez clair pour qu'au moins un Devineur le trouve. La probabilité de succès est modélisée par la fonction $(1-p)(1-(1-p)^{n-1})$, où $p$ est la probabilité qu'un devineur trouve la réponse.

C. Apprentissage Social et Vecteurs de Discours

Une contribution majeure est la proposition d'un mécanisme d'apprentissage pour gager les capacités cognitives des autres agents :

• Chaque agent $i$ maintient un vecteur de discours perçu $d_{i \leftarrow j}$ pour chaque autre agent $j$.
• Ce vecteur est mis à jour dynamiquement : si un agent $j$ devine correctement un indice, le vecteur est ajusté pour refléter une meilleure alignement sémantique avec ce type de mot. Si $j$ échoue, le vecteur est ajusté en sens inverse.
• Ce processus, analogue à une descente de gradient, permet à l'agent de construire un modèle mental des connaissances des autres joueurs au fil des tours, afin de générer des indices plus susceptibles d'être compris par les devineurs et moins par le Setter.

D. Expérimentation

• Configuration : Trois agents (un Setter, deux Devineurs) utilisant le modèle GPT-4o.
• Protocole : Les agents jouent sur plusieurs itérations avec différents mots secrets. Des prompts spécifiques sont utilisés pour définir les rôles et, dans certaines conditions, pour simuler des contextes sociaux (profession, culture, âge) afin de modifier les réseaux sémantiques des agents.

3. Résultats Clés

Les expériences, résumées dans le Tableau 1 de l'article, révèlent plusieurs comportements :

• Complexité du mot : Le nombre d'itérations nécessaires pour gagner varie considérablement selon le mot (de 8 itérations pour "kaleidoscope" à 173 pour "conjunction"). Les mots commençant par des lettres rares (comme 'X') sont résolus plus rapidement en raison d'un espace de recherche réduit.
• Comportements non-humains : Les modèles LLM montrent parfois des comportements étranges, comme faire des hypothèses très inhabituelles avant de trouver la réponse évidente, menant à un grand nombre d'itérations inutiles.
• Blocage fréquent : Dans le jeu standard (sans contexte social), la majorité des indices sont bloqués par le Setter. Cela s'explique par le fait que tous les agents utilisent le même modèle sous-jacent, rendant leurs réseaux sémantiques trop similaires. Le Setter "sait" ce que les Devineurs vont penser.
• Impact de l'apprentissage contextuel : Lorsque les agents sont "amorçés" (primed) avec des contextes spécifiques (ex: profession, culture), ils parviennent à développer des vocabulaires et des indices distincts, réduisant le taux de blocage. Cependant, sans cette instruction explicite, les agents peinent à inférer ces différences de contexte par eux-mêmes.

4. Contributions Principales

1. Nouveau Benchmark : Introduction du jeu « Connections » comme mesure rigoureuse de l'intelligence sociale des agents, allant au-delà du simple raisonnement logique.
2. Modélisation Formelle : Définition mathématique du jeu intégrant les embeddings sémantiques et la théorie de l'esprit, permettant de quantifier la probabilité de succès d'un indice en fonction des capacités des joueurs.
3. Mécanisme d'Adaptation Sociale : Proposition d'un algorithme d'apprentissage (mise à jour des vecteurs de discours) permettant aux agents de modéliser dynamiquement les connaissances des autres joueurs pour optimiser la collaboration.
4. Analyse des Limites des LLM : Mise en évidence du fait que les LLM actuels, bien que capables de jouer, manquent souvent d'une véritable « conscience sociale » spontanée et dépendent fortement de l'amorçage explicite pour simuler des différences cognitives entre agents.

5. Signification et Perspectives

Cet article démontre que les jeux de mots improvisés constituent un terrain d'essai fertile pour l'intelligence artificielle sociale. Il souligne que pour atteindre une intelligence humaine complète, les agents doivent non seulement raisonner, mais aussi comprendre et modéliser les états mentaux des autres.

Les auteurs suggèrent que le travail futur devrait se concentrer sur :

• La version du jeu où le mot n'est pas fixe à l'avance (le Setter doit improviser un mot qui reste cohérent avec les lettres révélées), ce qui exige une mémoire de jeu plus robuste.
• Le développement d'agents capables de découvrir par eux-mêmes les différences de contexte social entre les joueurs, sans avoir besoin d'instructions explicites (priming).
• L'intégration de ces capacités dans des agents autonomes capables de s'adapter à des scénarios changeants, marquant un pas vers des systèmes d'IA dotés d'une véritable agence et d'une intelligence sociale avancée.