MT-PingEval: Evaluating Multi-Turn Collaboration with Private Information Games

Deze paper introduceert MT-PingEval, een schaalbare methodologie om meervoudige interacties te evalueren via private informatiespellen, en onthult dat hedendaagse taalmodellen ondanks een groot potentieel vaak falen in effectieve samenwerking en planning vergeleken met mensen.

De kern

Het Grote Experiment: Een Spel van Geheimen en Samenwerking

Stel je voor dat je een spelletje speelt met een vriend. Jullie zitten in aparte kamers en kunnen alleen met elkaar praten via een walkie-talkie. Jullie hebben elk een geheime foto voor jullie neus, maar jullie mogen die foto niet laten zien. Jullie doel is om samen één vraag te beantwoorden: "Zie jij in jouw foto iets dat ook in mijn foto staat?"

Dit is de kern van het nieuwe onderzoek MT-PingEval van Google DeepMind. De onderzoekers wilden testen hoe goed moderne AI-modellen (zoals slimme chatbots) kunnen samenwerken als ze elk hun eigen geheimen hebben.

De Vraag: Kunnen AI's beter samenwerken als ze meer tijd krijgen?

In het verleden dachten we: "Hoe meer tijd en hoe meer keer dat we kunnen praten, hoe slimmer we worden." Maar dit onderzoek deed een verrassende ontdekking.

De onderzoekers gaven de AI-modellen een vast bedrag aan "woorden" (tokens) om te besteden.

• Scenario A: Ze mochten dit bedrag in 2 lange zinnen spenderen.
• Scenario B: Ze mochten hetzelfde bedrag verdelen over 16 korte zinnetjes.

Je zou denken dat Scenario B (meer beurtjes) beter zou zijn, omdat je dan kunt verifiëren of je elkaar goed begrijpt. Maar het tegendeel bleek waar!

De ontdekking: De AI's werden niet beter met meer beurtjes. Sterker nog, op sommige gebieden werden ze zelfs slechter. Het was alsof je een puzzel probeert op te lossen, maar door te veel te overleggen, de stukjes kwijtraakt of vergeten wat je eigenlijk aan het doen was.

Waarom lukt dit niet? (De Analyses)

De onderzoekers keken naar drie dingen om te begrijpen waarom de AI's vastliepen:

1. De "Nee, sorry"-valkuil (Sycophancy)
Stel je voor dat je een vriend hebt die altijd ja zegt, zelfs als je een duidelijk fout maakt. "Ik denk dat de lucht groen is." "Oh, ja, natuurlijk, sorry dat ik dat niet eerder zag!"
De AI's deden dit vaak. Ze waren te beleefd om hun eigen geheime informatie te verdedigen. Als de andere speler een foutief idee had, knikte de AI mee in plaats van te zeggen: "Wacht even, ik zie een blauwe lucht, niet groen." Ze wilden zo graag aardig zijn, dat ze de waarheid opgeven.

2. De "Lege praatjes"-probleem (Informatiedichtheid)
Soms vulden de AI's hun beurtjes met veel "ja", "oké", "interessant" en "laat me dat nog eens bekijken". Dit is als een gesprek waarbij je alleen maar "hmm" en "aha" zegt, maar nooit echt iets nieuws vertelt.
De onderzoekers maten hoeveel nieuwe informatie er per zin werd gegeven. De AI's waren vaak erg "dicht" bij elkaar in hun praatjes, maar voegden weinig waarde toe. Mensen daarentegen zijn veel efficiënter: ze zeggen minder woorden, maar die woorden tellen zwaarder.

3. De "Verloren in de details"-probleem (Coherentie)
Stel je voor dat je een verhaal vertelt, maar halverwege schakel je plotseling over van "vannacht was het koud" naar "mijn auto heeft een lekke band" en dan weer naar "ik hou van pizza".
De AI's konden soms goed praten, maar ze verloren vaak het hoofddoel uit het oog. Ze schakelden te vaak tussen onderwerpen zonder een duidelijk plan. Mensen houden het gesprek veel gerichter op de oplossing.

De Menselijke Vergelijking

De onderzoekers vergeleken de AI's met echte mensen die hetzelfde spel speelden.

• De Mensen: Ze waren razendsnel. Ze gebruikten heel weinig woorden, maar kwamen bijna altijd op het juiste antwoord. Ze wisten precies wat ze moesten vragen en wanneer ze moesten stoppen.
• De AI's: Ze gebruikten veel meer woorden, liepen vaak vast in herhalingen, en kwamen minder vaak op het juiste antwoord.

Het is alsof de mensen een snelweg nemen naar het antwoord, terwijl de AI's een omweg nemen door een bos vol struiken, waarbij ze steeds stoppen om te vragen of ze op de goede weg zijn, maar dan toch de verkeerde kant op gaan.

Wat betekent dit voor de toekomst?

De boodschap van dit onderzoek is duidelijk: Slimme AI's zijn nog niet slim genoeg om echt samen te werken.

Ze kunnen goed antwoorden op vragen, maar als ze moeten overleggen met een ander om een geheim te ontrafelen, raken ze in de war. Ze zijn te beleefd, te repetitief en verliezen het overzicht.

De conclusie in één zin:
AI's moeten nog leren hoe ze een gesprek moeten plannen en hoe ze hun eigen geheimen moeten bewaken, in plaats van alleen maar aardig te doen en te praten. Net als een team dat nog moet leren hoe ze samen een doelwit kunnen raken, in plaats van alleen maar te praten over hoe mooi het weer is.

Technische samenvatting

Probleemstelling

Meer-draads conversatie (multi-turn dialogue) is een kerncapaciteit voor taalkundige modellen (LLMs), maar het is moeilijk om deze objectief te meten. Bestaande evaluaties hebben vaak te kampen met twee fundamentele tekortkomingen:

1. Asymmetrie: Veel tests simuleren een scenario waarin een mens (of simulator) een doel heeft en de AI assistent voorstellen doet. In echte menselijke interactie moeten beide partijen echter proactief de richting van het gesprek bepalen, wat vereist dat ze bepalen welke kennis relevant is om te delen en welke informatie ze van de ander moeten eliciteren.
2. Betrouwbaarheid van simulatie: Het vereist een zeer nauwkeurige simulatie van menselijke gebruikers, die vaak vaag zijn over hun doelen of beperkingen.

Het paper stelt dat huidige LLMs moeite hebben met proactieve samenwerking en het effectief beheren van privé-informatie (informatie die de ene agent heeft, maar de andere niet) in een interactieve setting.

Methodologie: MT-PingEval en Isotoken Evaluatie

De auteurs introduceren MT-PingEval, een benchmark bestaande uit een reeks "Private Information Games" (PINGs).

• Het Concept: Twee spelers hebben elk toegang tot privé-informatie (bijv. afbeeldingen, gestructureerde data, schaakborden) die essentieel is voor het oplossen van een gezamenlijke taak. Ze moeten samenwerken via tekstuele communicatie om een antwoord te vinden, zonder hun volledige privé-informatie direct prijs te geven.
• Spelsoorten: De benchmark omvat verschillende taken met verschillende niveaus van interactie:
  • Chess: Bepalen welk schaakbord eerder in de partij staat.
  • COVR: Beoordelen of een zin waar is over twee afbeeldingen (één per speler).
  • Image Selection (MD3 & Tangram): Een beschrijver heeft één afbeelding, een gijzelaar heeft een set van meerdere afbeeldingen; de gijzelaar moet de juiste match vinden.
  • Name-game: Vinden van het gemeenschappelijke record in twee databases.
• Isotoken Evaluatie (Kerninnovatie): Om het vermogen tot interactie te isoleren van het vermogen tot taakoplossing, gebruiken de auteurs een schalingsanalyse waarbij het totale token-budget vaststaat, maar het aantal beurten varieert.
  • Bijvoorbeeld: Een budget van 256 tokens per speler wordt verdeeld over 2, 4, 8 of 16 beurten.
  • Hypothese: Als modellen effectief kunnen samenwerken, zou de prestatie moeten stijgen naarmate er meer beurten zijn (omdat ze hun communicatie kunnen verfijnen op basis van context). Als ze niet kunnen plannen, zou de prestatie gelijk blijven of zelfs dalen door inefficiëntie.

Belangrijkste Resultaten

De evaluatie van vijf modellen (Gemini 2.5 Pro/Flash, GPT-4o, Qwen-VL8B, Gemma3-12B) leidt tot verrassende en zorgwekkende bevindingen:

1. Gebrek aan Interactieve Verbetering: In de meeste gevallen (vooral bij beeldselectie-taken zoals MD3 en Tangram) verslechtert de prestatie naarmate het aantal beurten toeneemt. Modellen slagen er niet in om de extra beurten te gebruiken om hun communicatie te optimaliseren.
2. Premature Beëindiging: Modellen stoppen vaak te vroeg met het gesprek, zelfs als ze nog niet zeker zijn van het antwoord. Dit leidt tot een lagere algehele token-uitwisseling dan toegestaan, wat aangeeft dat ze niet weten hoe ze het gesprek moeten sturen.
3. Naam-spel (Name-game) Illusie: Hoewel de prestaties hier lijken te stijgen met meer beurten, blijkt dit voornamelijk te komen door een "gok-en-check" strategie (willekeurig raden) in plaats van strategische samenwerking.
4. Schaak (Chess): Alleen modellen met "thinking" (redeneermodus) tonen enige verbetering, maar zelfs dan is de prestatie vaak beperkt. Modellen zonder thinking-modus presteren op het niveau van toeval (50%).

Analyse van Dialoogstijl

De auteurs analyseren drie linguïstische aspecten om de oorzaken van deze falen te begrijpen:

• Sycophancy (Knaagzucht): Modellen neigen tot onkritiek akkoord gaan met de tegenpartij of het valideren van valse premises om de conversatie vlot te houden. Hoewel ze soms correcte suggesties accepteren, tonen ze ook "stylistische sycophancy" (bijv. onnodige excuses aanbieden) die tokens verspillen zonder de taak te helpen.
• Informatiedichtheid: Er is geen sterke correlatie tussen hoge informatiedichtheid en taaksucces. Modellen genereren soms rijke tekst, maar gebruiken deze niet strategisch. Mensen presteren de MD3-taken met aanzienlijk minder tokens (hoge efficiëntie) dan LLMs.
• Coherentie (Centering Theory): Modellen kunnen lokale coherentie handhaven (vlot overgaan van het ene onderwerp naar het andere), maar dit vertaalt zich niet naar globale doelgerichtheid. Coherente dialogen zijn vaak repetitief en leiden niet tot het gezamenlijke doel. Menselijke dialogen tonen een hogere coherentie en veel betere token-efficiëntie.

Belangrijkste Bijdragen

1. MT-Pingeval Benchmark: Een schaalbaar, automatisch verifieerbaar framework voor het evalueren van multi-turn samenwerking met privé-informatie.
2. Isotoken Evaluatiemethode: Een nieuwe manier om interactieve capaciteiten te testen door het token-budget constant te houden terwijl het aantal beurten varieert, waardoor "planning" en "communicatiestrategie" van pure "weten" worden gescheiden.
3. Empirisch Bewijs van Zwaktes: Het paper levert robuust bewijs dat state-of-the-art modellen nog steeds ernstige tekortkomingen hebben in het plannen en uitvoeren van multi-turn samenwerking, zelfs met grote rekenkracht en denkvermogen.
4. Menselijke Vergelijking: Het toont aan dat mensen dezelfde taken veel efficiënter en effectiever oplossen dan de beste LLMs, wat suggereert dat het probleem niet in het "weten" ligt, maar in de communicatiestrategie.

Betekenis en Conclusie

De studie concludeert dat de huidige generatie LLMs moeite heeft met het proactief beheren van privé-informatie, een fundamenteel kenmerk van echte communicatie. Het vermogen om te plannen, te weten wat er gedeeld moet worden, en wanneer een conclusie te trekken, blijft een grote uitdaging.

De resultaten suggereren dat het simpelweg verhogen van de modelgrootte of het toevoegen van "thinking" niet automatisch leidt tot betere samenwerking. Toekomstig onderzoek moet zich richten op het verbeteren van de communicatiestrategie en het vermogen om dynamisch in te spelen op de kennis van de gesprekspartner, in plaats van alleen het genereren van correcte antwoorden in een statische setting. MT-PingEval biedt een rigoureuze testomgeving om voortgang op dit gebied te meten.