Improvisational Games as a Benchmark for Social Intelligence of AI Agents: The Case of Connections

Titel: Improvisatiegames als Benchmark voor Sociale Intelligentie van AI-Agenten: Het Geval van "Connections"

Auteurs: Gaurav Rajesh Parikh (Duke University) en Angikar Ghosal (Stanford University).

---

1. Probleemstelling

Bestaande benchmarks voor Large Language Models (LLM's) focussen voornamelijk op taken zoals samenvatten, vragen beantwoorden en deductief redeneren. Er is echter beperkt onderzoek gedaan naar de sociale intelligentie van AI-agenten, specifiek hun vermogen om de cognitieve staten, kennis en redeneercapaciteiten van andere agenten te begrijpen en daarop te anticiperen.

Het paper introduceert het probleem dat AI-agenten vaak falen in scenario's die vereisen dat ze:

• Hun eigen kennis beperken of aanpassen op basis van wat anderen weten.
• Effectief communiceren binnen een gedeelde context zonder expliciete informatie te geven.
• De "geest" van andere spelers inschatten om samenwerking te bevorderen in plaats van alleen te focussen op het eigen succes.

Het paper stelt dat spelletjes zoals "Connections" een ideale testomgeving bieden om deze vaardigheden te evalueren, omdat ze een delicate balans vereisen tussen het geven van hints die voor teamgenoten begrijpelijk zijn, maar voor de tegenstander (de "Setter") te vaag zijn om te blokkeren.

2. Methodologie

Het Spel: Connections

Het spel wordt formeel gedefinieerd met de volgende regels:

• Rolverdeling: Er is één Setter (Player 0) die een geheim woord kiest, en meerdere Guesser-speler (Player 1 tot $n$).
• Verloop: De Setter onthult eerst de eerste letter. Spelers geven hints (clues). Als een hint correct wordt geraden door een Guesser (en niet tegelijkertijd door de Setter wordt "geblokkeerd"), wordt de volgende letter onthuld.
• Doel: De Guessers winnen als ze het woord binnen een bepaald aantal hints raden; anders wint de Setter.
• Uitdaging: De hint moet semantisch verbonden zijn met het woord, maar niet zo evident dat de Setter het direct kan raden.

Formele Modellering

De auteurs modelleren het spel met behulp van semantische embeddings:

• Woordruimte: Een vocabulaire $U$ met woorden bestaande uit letters.
• Semantische Representatie: Elke speler $j$ heeft een eigen semantische embedding-functie $\Phi_j$ die woorden en hints afbeeldt op vectoren.
• Semantische Nabijheid: Een woord $w$ wordt gekozen als het woord dat het dichtst bij de hint $p$ ligt in de semantische ruimte (maximalisatie van het dot-product $\Phi_j(w) \cdot \Phi_j(p)$).
• Variatie in Perceptie: Hoewel agenten dezelfde woorden kennen, kunnen hun semantische connecties verschillen (bijv. door achtergrondkennis). De auteurs introduceren een parameter $\epsilon$ om de tolerantie voor verschillen in semantische nabijheid tussen agenten te modelleren.

Strategie voor Hint-Generatie

De kern van de sociale intelligentie ligt in het optimaliseren van de hint:

1. Wiskundige Optimalisatie: De kans op succes (een nieuwe letter onthullen) wordt gemaximaliseerd door een hint te kiezen waarbij de Setter de kans $p$ heeft om te falen, en ten minste één Guesser de kans heeft om te slagen. De optimale kans $p^*$ voor een Guesser om te slagen wordt afgeleid als $p^* = 1 - (1/n)^{1/(n-1)}$.
2. Adaptief Leren (Discourse Vectors): Om de sociale intelligentie te simuleren, introduceren de auteurs een mechanisme waarbij agenten "discourse vectors" ($d_{i \leftarrow j}$) bijwerken op basis van de prestaties van andere agenten.
   • Als een agent een hint niet raadt, wordt de associatie met dat woord verzwakt in de perceptie van de hintgever.
   • Als een agent wel raadt, wordt de associatie versterkt.
   • Dit stelt de agent in staat om na verloop van tijd te "leren" welke kennisgebieden (bijv. TV-shows vs. medische termen) bij welke speler liggen.

Experimenten

• Setup: Drie agenten (één Setter, twee Guessers) aangedreven door GPT-4o.
• Prompts: De agenten kregen instructies over hun rol. In latere experimenten werden contextuele prompts (beroep, cultuur, leeftijd) gebruikt om de semantische netwerken van de agenten te diversifiëren (in-context learning).
• Data: Er werden 20 verschillende woorden getest, variërend van "kaleidoscope" tot "conjunction".

3. Belangrijkste Resultaten

De resultaten worden weergegeven in Tabel 1 en Figuur 1 van het paper:

• Iteraties en Woordlengte: Woorden die beginnen met zeldzame letters (zoals 'X' in xenophobia) vereisten minder iteraties om op te lossen dan woorden met veel mogelijke startwoorden (zoals 'C'). Dit komt door de kleinere zoekruimte.
• Menselijk vs. Niet-menselijk Gedrag:
  • Agenten vertoonden soms onmenselijk gedrag: na het onthullen van de laatste letter maakten ze soms bizarre, ongebruikelijke gokken voordat ze het obvious juiste woord raden.
  • Er was een hoge mate van "blocking" (de Setter raakte de hint te snel), vooral omdat alle agenten op hetzelfde basismodel (GPT-4o) draaiden en dus zeer vergelijkbare semantische netwerken hadden.
• Sociale Bewustwording:
  • Zonder expliciete contextprompts faalden de agenten vaak om de kennis van elkaar te inschatten; ze gaven hints die te breed of te specifiek waren voor de groep.
  • Met in-context learning (waarbij agenten elkaars achtergrond kenden) verbeterde de samenwerking. Agenten konden dan vocabulaire kiezen die specifiek aansloot bij de kennis van de andere Guessers en niet bij de Setter.
• Beperkingen: De agenten hadden moeite met het dynamisch aanpassen van het geheim woord als de Setter het woord niet van tevoren vast had (improvisatie), omdat LLM's moeite hebben met het consistent onthouden van de volledige spelgeschiedenis voor complexe beslissingen.

4. Kernbijdragen

1. Nieuwe Benchmark: Het introduceren van "Connections" als een formele benchmark voor het meten van sociale intelligentie en het vermogen om de cognitieve staten van anderen te modelleren.
2. Formalisatie van Sociale Intelligentie: Een wiskundige en probabilistische beschrijving van hoe agenten hints moeten genereren op basis van de verwachte kennis van teamgenoten versus tegenstanders.
3. Mechanisme voor Adaptief Leren: Het voorstellen van een gradient-descent-achtig mechanisme waarbij agenten hun perceptie van de "discourse vector" van andere agenten bijwerken op basis van feedback (slagen/mislukken), wat een vorm van sociale leer simuleert.
4. Empirisch Bewijs: Demonstratie dat LLM's het spel kunnen spelen, maar dat hun prestaties sterk afhankelijk zijn van het vermogen om contextuele verschillen tussen agenten te begrijpen en te benutten.

5. Betekenis en Toekomstperspectief

Dit paper is significant omdat het een brug slaat tussen traditionele taakgerichte benchmarks en de complexere wereld van sociale interactie. Het toont aan dat:

• Echte sociale intelligentie meer is dan alleen deductief redeneren; het vereist het begrijpen van wat anderen weten en denken.
• AI-agenten momenteel moeite hebben om deze "Theory of Mind" autonoom te ontwikkelen zonder expliciete instructies over de achtergrond van andere agenten.
• Spellen zoals "Connections" een veilige en gestructureerde omgeving bieden om te testen hoe AI-agenten kunnen leren samenwerken, hun kennis aanpassen en improviseren in dynamische scenario's.

Toekomstig werk richt zich op het testen van agenten in scenario's waar de Setter het woord dynamisch kan aanpassen tijdens het spel (improvisatie) en het verder verfijnen van de mechanismen voor het modelleren van de cognitieve achtergrond van andere agenten zonder voorafgaande prompting.