Distributed Partial Information Puzzles: Examining Common Ground Construction Under Epistemic Asymmetry

Dit paper introduceert de Distributed Partial Information Puzzle (DPIP) en een bijbehorend multimodaal dataset om de uitdagingen van het modelleren van gemeenschappelijke grond onder epistemische asymmetrie te onderzoeken, waarbij blijkt dat zowel moderne grote taalmodellen als axiomatische benaderingen op basis van dynamische epistemische logica moeite hebben met het nauwkeurig bijhouden van taakvoortgang en geloofsstaten.

De kern

Stel je voor dat je met drie vrienden een enorme LEGO-toren moet bouwen, maar er is een groot probleem: niemand van jullie ziet hetzelfde.

Elk van de drie "ontwerpers" (de directors) heeft een foto van slechts één kant van de toren. De ene ziet de voorkant, de andere de linkerkant, en de derde de rechterkant. De vierde persoon, de "bouwer" (builder), heeft geen foto's. Diegene moet alleen maar luisteren, kijken naar wat de anderen met hun handen en stem doen, en de toren bouwen.

Als ze niet perfect met elkaar communiceren, wordt de toren een rommelige brij. Als ze wel goed samenwerken, ontstaat er een perfect bouwwerk dat aan alle drie de foto's voldoet.

Dit is precies wat dit wetenschappelijke artikel onderzoekt. Hier is een simpele uitleg van de belangrijkste punten:

1. Het Grote Probleem: "Deelkennis"

In het echte leven werken mensen vaak samen terwijl ze verschillende stukjes van de puzzel hebben. Soms weten ze niet wat de ander weet. Dit noemen de onderzoekers epistemische asymmetrie (een fancy woord voor: "jij weet iets wat ik niet weet, en andersom").

Om samen te werken, moeten ze een gemeenschappelijke basis (common ground) bouwen. Dat is het moment waarop iedereen zegt: "Oké, nu weten wij allemaal dat die blauwe steen hier moet komen."

2. De Experimenten: Een LEGO-puzzel

De onderzoekers hebben een spel bedacht genaamd DPIP (Distributed Partial Information Puzzle).

• De Opdracht: Drie ontwerpers en één bouwer.
• De Uitdaging: De ontwerpers mogen de stenen niet aanraken. Ze moeten de bouwer vertellen wat hij moet doen, maar ze zien alleen hun eigen kant van de toren. Ze moeten dus gissen, vragen stellen en met hun handen wijzen om de bouwer te helpen.
• De Data: Ze hebben 10 groepen mensen dit laten doen en alles op video gezet: wat ze zeiden, waar ze naar keken, en hoe ze met hun handen bewogen.

3. De Test: Kunnen Computers dit?

Nu komt het interessante deel. De onderzoekers wilden weten of moderne Kunstmatige Intelligentie (AI) dit kan. Ze gaven de AI twee dingen:

1. De video's en transcripties van wat de mensen zeiden en deden.
2. De vraag: "Wat denken jullie dat de toren eruitziet op dit moment?" of "Wat is de gezamenlijke mening van de groep?"

Ze testten twee soorten AI:

• De "Grote Taalmodellen" (LLMs): Dit zijn slimme computers zoals de ones die je misschien kent (zoals de voorlopers van wat wij nu gebruiken). Ze zijn goed in taal, maar kunnen ze ook begrijpen wat er gebeurt in een groep?
• De "Logische Regel-AI": Een computerprogramma dat werkt met strikte logica-regels (als iemand zegt X, dan is Y waar).

4. De Resultaten: De Menselijke AI faalt

Het nieuws is niet zo goed voor de moderne AI:

• De Grote Taalmodellen hadden het moeilijk. Ze konden vaak niet goed volgen wat er gebeurde. Ze raakten de draad kwijt als het gesprek lang duurde. Ze konden soms niet begrijpen dat als iemand met de hand naar links wees, het eigenlijk over de rechterkant van de toren ging (vanuit een ander perspectief).
• De Logische Regel-AI deed het verrassend goed. Omdat deze AI strikte regels volgt, kon hij soms beter voorspellen hoe de toren eruitzag dan de "slimme" taalmodellen.
• De "Gemeenschappelijke Basis" is lastig. De AI's konden vaak niet goed inschatten wat de groep samen dacht. Ze dachten vaak dat de groep het ergens over eens was, terwijl de groep eigenlijk in de war was.

5. Waarom is dit belangrijk?

Dit onderzoek laat zien dat AI nog niet klaar is voor complexe samenwerking.

• Voorbeeld: Als je een robot wilt die samenwerkt met mensen in een ziekenhuis of een fabriek, moet die robot niet alleen kunnen praten, maar ook begrijpen wat de ander weet en wat de ander niet weet.
• De les: Mensen zijn heel goed in het "lezen tussen de regels" en het begrijpen van gebaren en context. Computers zijn daar nog heel slecht in, vooral als iedereen een ander stukje van de puzzel heeft.

Samenvatting in één zin

Dit papier laat zien dat het voor moderne computers nog heel erg moeilijk is om samen te werken met mensen die verschillende informatie hebben, omdat ze moeite hebben om te begrijpen wat de anderen weten, denken en bedoelen met hun woorden en gebaren.

Het is alsof je een computer vraagt om een LEGO-toren te bouwen terwijl je hem alleen beschrijft vanuit één hoek, en hij moet raden hoe de rest eruitziet... en tot nu toe is die computer nogal verward!

Technische samenvatting

Probleemstelling

Het paper adresseert de uitdaging om gemeenschappelijke grond (common ground) te modelleren in multimodale, meerpartijen-situaties waar sprake is van epistemische asymmetrie.

• Gemeenschappelijke grond: Een gedeelde set van overtuigingen en feiten die essentieel is voor effectieve samenwerking.
• De uitdaging: Mensen beginnen taken vaak met verschillende achtergronden, perspectieven en informatie. Ze moeten deze asymmetrie oplossen door impliciete informatie te communiceren en inferenties te trekken.
• Huidige beperkingen: Bestaande AI-systemen, inclusief Large Language Models (LLMs), worstelen met het bijhouden van geloofsstaten (belief states) en taakprogressie in complexe, co-situeerde (gezamenlijk aanwezige) omgevingen waar communicatie via spraak, gebaren en fysieke acties verloopt. Er ontbreekt een robuust dataset dat deze drie elementen (meerpartijen, co-situeerd, epistemisch asymmetrisch) simultaan combineert.

Methodologie

1. De Taak: Distributed Partial Information Puzzle (DPIP)

De auteurs introduceren een nieuwe taak, de DPIP, die wordt uitgevoerd als een collaboratieve constructie-opdracht met LEGO-blokken.

• Opzet: Een groep van vier personen bestaat uit drie "directors" en één "builder".
• Epistemische Asymmetrie: Elke director krijgt een uniek, gedeeltelijk perspectief (een 2D-zijaanzicht) van een doelstructuur (3x3x3 blokken). Ze zien niet wat de anderen zien. De builder mag de blokken fysiek manipuleren, maar heeft geen visuele referentie van het einddoel.
• Doel: De directors moeten gezamenlijk de builder instrueren om één continue structuur te bouwen die consistent is met alle drie de individuele zijaanzichten.
• Datacollectie: Er zijn 10 groepen opgenomen met 3 Microsoft Kinect-camera's (voor gebaren en acties) en een microfoon. De data omvat spraaktranscripties, gebaren en fysieke acties.

2. Annotatie- en Alignement-pijplijn

De dataset is rijk geannoteerd om multimodale communicatie te ondersteunen:

• Spraak: Geautomatiseerde transcriptie (Whisper) gevolgd door menselijke correctie en annotatie van proposities (relaties tussen blokken).
• Acties: De builder's acties (plaatsen, verwijderen, verplaatsen) worden logisch vastgelegd in een 3D-structuuranalyse-tool (SAT) en omgezet naar discrete acties met ruimtelijke relaties.
• Gebaren: Geannoteerd met GAMR (Gesture Abstract Meaning Representation), waarbij gebaren worden gekoppeld aan de spreker, het doelobject en de betekenis (bijv. wijzen, instemmen).
• Cross-Modale Alignement: Alle modaliteiten worden temporair gesynchroniseerd. Proposities uit spraak en gebaren worden genormaliseerd en gekoppeld aan concrete object-ID's en acties om een volledig beeld van de communicatie te vormen.

3. Evaluatie-Paradigma's

De auteurs evalueren twee benaderingen voor het modelleren van gemeenschappelijke grond:

1. LLM-benadering: State-of-the-art modellen (Qwen3-4B, Llama-3.2-3B, GPT-5/GPT-5-mini) worden geprompt om de structuur of de gedeelde overtuigingen te voorspellen op basis van de gealigneerde multimodale data.
2. Axiomatische Pijplijn (DEL): Een systeem gebaseerd op Dynamic Epistemic Logic (DEL) dat gemeenschappelijke grond afleidt via drie axioma's:
   • Zien is geloven: Perceptuele context updatet overtuigingen.
   • Handelen is geloven: Fysieke acties onthullen intenties.
   • Zeggen is geloven: Taal communiceert epistemische staten.
     Dit systeem bouwt dynamisch een set van gedeelde overtuigingen op en definieert "turns" (beurtomslagen) op basis van updates in deze gemeenschappelijke grond.

Metingen: De prestaties worden gemeten met de Dice Similarity Coefficient (DSC) om de overlap te kwantificeren tussen de voorspelde structuur/geloof en de feitelijke "ground truth" (de daadwerkelijk gebouwde structuur).

Belangrijkste Resultaten

• Uitdaging voor LLM's: Moderne LLMs hebben moeite om de taakprogressie en geloofsstaten nauwkeurig te volgen.
  • In de taak "Acties → Structuur" presteerde GPT-5 het beste, maar alle modellen hadden moeite met lange dialogen (lage globale DSC-scores vergeleken met per-turn scores).
  • Multimodaliteit als valkuil: Wanneer LLMs alle modaliteiten (spraak, gebaren, acties) kregen, daalden de prestaties van sommige modellen (zoals GPT-5-mini) drastisch, wat suggereert dat extra context zonder voldoende redeneervermogen ruis toevoegt in plaats van nuttig is.
• Axiomatische Benadering: De DEL-gebaseerde pijplijn (CGC) presteerde verrassend goed, soms zelfs beter dan de LLM's bij het voorspellen van de uiteindelijke structuur, hoewel de scores over het algemeen laag waren.
• Mismatch in Geloofsovereenkomst: Er is een zeer lage overlap (lage DSC) tussen wat LLM's voorspellen als "gemeenschappelijke grond" en wat het axiomatische systeem berekent. LLM's trekken vaak andere conclusies over de gedeelde overtuigingen dan de logische afleiding suggereert.
• Uitzondering (Groep 7): In een groep die de taak faalde, presteerden de LLM's verrassend goed in het voorspellen van de afwezigheid van gemeenschappelijke grond. Dit suggereert dat LLM's wel kunnen detecteren wanneer er verwarring is, maar moeite hebben om de inhoud van de gemeenschappelijke grond te construeren wanneer deze wel aanwezig is.

Bijdragen

1. Nieuwe Taak en Dataset: Introductie van de DPIP en een bijbehorende multimodale dataset met spraak, gebaren en acties, specifiek ontworpen voor onderzoek naar epistemische asymmetrie en gemeenschappelijke grond in meerpartijensituaties.
2. Gedetailleerde Annotatie: Een robuust annotatiekader dat proposities uit drie modaliteiten temporair aligneert en omzet in gestructureerde logische representaties.
3. Evaluatie van AI: Een systematische evaluatie die aantoont dat huidige SOTA-LLMs tekortschieten in het modelleren van complexe, multimodale collaboratieve dynamieken en geloofsstaten, in vergelijking met een axiomatische logica-benadering.
4. Openbare Bron: De dataset en evaluatiecode zijn openbaar beschikbaar gesteld om verder onderzoek te stimuleren.

Betekenis en Conclusie

Dit paper legt een kritische bloot aan de beperkingen van huidige AI-systemen in het begrijpen van menselijke samenwerking. Het toont aan dat het simpelweg "meer context" (meer modaliteiten) geven aan een LLM niet voldoende is om gemeenschappelijke grond te modelleren; er is een dieper vermogen nodig om epistemische staten te redeneren en te integreren.

De studie biedt een nieuwe benchmark voor onderzoek in multimodale dialoog, theorie van de geest (Theory of Mind) en ruimtelijk redeneren. Het benadrukt dat het modelleren van gemeenschappelijke grond niet alleen een taak is van taalverwerking, maar een complexe interactie is van perceptie, actie en gedeelde intenties die huidige generatie AI-systemen nog niet volledig kunnen nabootsen. De auteurs concluderen dat toekomstig werk zich moet richten op het verbeteren van het redeneervermogen van AI in deze dynamische, gedeeltelijk waarneembare omgevingen.