Technische Samenvatting: GPTNT – Benchmarking van Real-Time Collaboratie tussen Multimodale Agenten

Probleemstelling

Multimodale Large Language Models (MLLM's) worden steeds vaker ingezet voor collaboratieve taken met mensen en andere agenten. Hoewel bestaande benchmarks fundamentele vermogens in visie en taal demonstreren, falen ze doorgaans in het evalueren van de specifieke condities die real-time samenwerking definiëren: tijdsdruk, informatie-asymmetrie en de noodzaak van efficiënte communicatie binnen een dynamische visuele omgeving. Huidige benchmarks isoleren deze factoren vaak, opereren in statische omgevingen, of vertrouwen op beurtgebaseerde protocollen die generatielatentie niet bestraffen. Bijgevolg is er geen uniforme omgeving om te testen of modellen effectief kunnen coördineren wanneer één agent over visuele informatie beschikt maar geen instructies heeft, en de andere over instructies beschikt maar geen visuele toegang heeft, terwijl een countdown-timer loopt.

Methodologie

De auteurs introduceren GPTNT, een benchmark gebouwd op het coöperatieve videospel Keep Talking and Nobody Explodes (ktane). Het framework omvat het spel om een zero-shot evaluatieomgeving voor multimodale agenten te creëren.

De Omgeving

• Asymmetrische Rollen: Twee agenten coördineren om een procedureel gegenereerde bom te ontmantelen.
  • De Defuser (Ontmantelaar): Kan de bom zien (een 3D-omgeving met diverse puzzelmodules), maar heeft de instructiehandleiding niet. Zij moet de bom manipuleren (draaien, zoomen, klikken) op basis van instructies.
  • De Expert: Heeft toegang tot de instructiehandleiding (tekst en afbeeldingen), maar kan de bom niet zien. Zij moet modules identificeren en instructies geven uitsluitend op basis van de beschrijvingen van de Defuser.
• Real-Time Beperkingen: De benchmark werkt in asynchrone modus, waarbij de spelklok voortgaat in wall-clock tijd, ongeacht de snelheid van de modelgeneratie. Dit straft verbale redeneringen en trage inferentie af, waardoor latentie een kernonderdeel van de taakmoeilijkheid wordt. Een synchrone modus is ook beschikbaar voor gecontroleerde experimenten waarbij de klok pauzeert tijdens de generatie.
• Interactiemechanisme: Agenten communiceren via natuurlijke taal. De Defuser gebruikt een "Set-of-Marks" (SoM) aanpak om met UI-elementen te interageren, waarbij segmentatiemaskers worden overgelegd om fouten in gronding van coördinaten te voorkomen.
• Taakcomplexiteit: Missies omvat het oplossen van meerdere onafhankelijke puzzelmodules (bijv. Draden, Simon Says, Morsecode) voordat de timer verloopt of het team drie fouten (strikes) verzamelt.

Evaluatieprotocol

• Geëvalueerde Modellen: Vijf state-of-the-art MLLM's werden getest: GPT-5.2, Claude Sonnet 4.6, Gemini 3 Flash, Qwen3.5 (27B) en InternVL 3.5 (38B).
• Baselines: Een menselijke baseline bestaande uit tien paren spelers (inclusief niet-experts) werd vastgesteld.
• Metrieken: Succes wordt gemeten aan de hand van missievoltooiing (oplossen van alle modules), gedeeltelijk succes (opgeloste modules) en faalmodi (timeout versus strikeout).
• Diagnostische Ablaties:
  • Single-Module Missies: Om de moeilijkheidsgraad van specifieke modules te isoleren.
  • Offline VQA: "Manual VQA" test het vermogen van de Expert om over de handleiding te redeneren; "Simulator VQA" test de perceptie en telvaardigheden van de Defuser.
  • Single-Agent Ablaties: Modellen werden getest met toegang tot zowel de bom als de handleiding (verwijderen van communicatie) of zonder de handleiding (testen van parametrische kennis/contaminatie).

Belangrijkste Bijdragen

1. Uniforme Benchmark voor Real-Time Collaboratie: GPTNT is de eerste benchmark die gelijktijdig coördinatie vereist onder asymmetrische informatie, real-time asynchrone actie, visuele gronding in een dynamische omgeving en aanhoudende multi-turn communicatie.
2. Uitgebreide Evaluatie van Frontier Modellen: Het paper biedt een systematische analyse van waar huidige modellen falen, waarbij verder wordt gekeken dan geaggregeerde scores om prestaties te analyseren over verschillende rollen, partnercombinaties en taakcomplexiteiten.
3. Diagnostische Instrumenten voor Collaboratie versus Memorisatie: Het framework bevat specifieke evaluaties om onderscheid te maken tussen echte collaboratieve capaciteit en het vertrouwen op gememoriseerde speloplossingen (data-contaminatie), evenals tools om laag-niveau perceptuele fouten te scheiden van hoog-niveau redeneerfouten.

Resultaten

Belangrijkste Bevindingen

• Totale Falen in Volledige Setting: In de primaire asynchrone, multi-module setting heeft geen van de vijf geteste modellen een enkele bom succesvol ontmanteld. In tegenstelling hiertoe losten 9 van de 10 menselijke paren ten minste één missie op, waarbij het beste paar er zes oploste.
• Tijdsdruk als Bottleneck: De dominante faalmodus voor modellen was timeout (het verstrijken van de tijd), wat gebeurde in 50–90% van de missies. Zelfs in de synchrone modus (waar tijdsdruk wordt weggenomen) hadden modellen aanzienlijk moeite en losten ze slechts een fractie van de missies op, wat aangeeft dat de bottleneck niet alleen snelheid is, maar de kerncapaciteit om te collaboreren.
• Rol-asymmetrie: Prestaties variëren aanzienlijk per rol. De Defuser-rol heeft een grotere impact op het algemene succes dan de Expert-rol. Modellen zoals GPT-5.2 presteren beter als Defusers, terwijl anderen zoals Gemini 3 Flash beter presteren als Experts.
• Partner Compatibiliteit: In "other-play" (verschillende modellen gekoppeld aan elkaar) nam de communicatiesnelheid toe, maar verbeterde het succes niet noodzakelijkerwijs. Compatibiliteit tussen specifieke modelparen was een sterkere voorspeller van succes dan de individuele capaciteit van de partners.
• Laag-niveau Zwakheden: Offline evaluaties onthulden kritieke tekortkomingen:
  • State Tracking: Modellen hebben moeite met het bijhouden van de status over beurten heen (bijv. het onthouden van draadkleuren in Wire Sequence of sequenties in Simon Says).
  • Tellen: Defusers presteerden slecht op teltaken (bijv. aantal batterijen), een bekende zwakte bij grote modellen.
  • Hallucinatie & Ambiguïteit: Modellen falen vaak in het detecteren wanneer een partner ambigue of gehallucineerde informatie verstrekt, en gaan vaak door met onjuiste aannames in plaats van om verduidelijking te vragen.
• Contaminatie: Modellen vertoonden parametrische kennis van het spel (presteerden beter dan willekeurige baselines zonder de handleiding), maar deze kennis was onvoldoende om missies op te lossen zonder de specifieke conditionele logica van de handleiding. Visuele context leek de herinnering van de Defuser te ondersteunen, maar niet de procedurele redenering van de Expert.

Betekenis en Claims

Het paper beweert dat GPTNT een kritieke kloof blootlegt in de huidige MLLM-capaciteiten: hoewel modellen over sterke individuele visuele en talige vaardigheden beschikken, missen ze de geïntegreerde collaboratieve competentie die vereist is voor real-world, tijdgevoelige, asymmetrische taken.

• Ecologische Validiteit: In tegen tegenover statische benchmarks simuleert GPTNT de "rommelige" condities van real-world deployment waar informatie incompleet is, communicatie imperfect is en tijd beperkt is.
• Dynamische Uitdaging: Omdat de benchmark steunt op de procedureel gegenereerde aard van ktane en de actieve modding-community, is het ontworpen om uitdagend te blijven naarmate modellen verbeteren, waardoor de verzadigingsproblemen van statische benchmarks worden vermeden.
• Diagnostische Waarde: De auteurs stellen dat huidige modellen niet alleen falen door een gebrek aan kennis, maar door fundamentele zwakheden in state tracking, foutherstel en het vermogen om ambiguïteit in real-time dialoog te herkennen en op te lossen.

De auteurs concluderen dat GPTNT een noodzakelijke stap is naar een meer holistische evaluatie, waarbij wordt aangetoond dat de weg naar effectieve multimodale samenwerking vereist dat er wordt geadresseerd aan deze specifieke interactieve en temporele beperkingen, in plaats van simpelweg de modelgrootte te schalen.