Are you with me? A Framework for Detecting Mental Model Discrepancies in Task-Based Team Dialogues

Technische Samenvatting: "Bent u bij me? Een Kader voor het Detecteren van Discrepanties in Mentale Modellen in Opdrachtgebaseerde Teamdialoog"

Probleemstelling

Effectief teamwork berust op Gedeelde Mentale Modellen (GMM's), waarbij teamleden overlappende representaties van taakstaten, doelen en capaciteiten van teamgenoten onderhouden. Hoewel traditionele GMM-beoordelingsmethoden (bijvoorbeeld retrospectieve expertcodering, vragenlijsten) globale similariteitsscores bieden, slagen ze er niet in de dynamische, real-time aard van coördinatieproblemen vast te leggen. Specifiek ontbreekt het in de bestaande literatuur aan een systematische categorisering van hoe mentale modellen uiteenlopen tijdens natuurlijke teamdialoog en of specifieke patronen van misalignement toekomstige coördinatiefouten kunnen voorspellen. Dit artikel adresseert de lacune in het begrijpen van de specifieke soorten discrepanties die ontstaan wanneer updates niet worden gecommuniceerd en hoe deze discrepanties evolueren over opeenvolgende taakepisoden.

Methodologie

Experimentele Opstelling:
Het onderzoek gebruikte een collaboratieve objectidentificatietaken binnen een videospelomgeving met 20 tweetallige teams. De taak kende asymmetrische informatie: een "Spotter" had gedetailleerde schriftelijke instructies maar een beperkt zichtveld, terwijl een "Fotograaf" een versterkte verrekijker had maar volledig afhankelijk was van verbale aanwijzingen van de Spotter. Het experiment bestond uit vier opeenvolgende niveaus (Lokale Wetshandhaving, Bergzoeken en Redding, Strandpatrouille en Stropen), elk acht minuten durend.

Dataverwerking:
Alle teamcommunicaties werden getranscribeerd met behulp van Grootte Taalmodellen (LLM's) en geverifieerd door menselijke annotators. Een eerder ontwikkeld LLM-model (momenteel in beoordeling) werd ingezet om updates in mentale modellen te detecteren en discrepanties te categoriseren op het niveau van menselijke annotatie.

Kader voor Discrepantiecategorisering:
De auteurs stellen een kader voor dat vier onderscheiden soorten discrepanties in mentale modellen identificeerbaar in dialoog beschrijft:

1. Geloofscontradictie: Eén lid gelooft $X$, terwijl een ander lid $\neg X$ gelooft (bijvoorbeeld conflicterende meningen over de stabiliteit van een object).
2. Omissie: Het mentale model van een lid mist een geloof dat een ander lid hanteert, afgeleid uit rolgebaseerde verwachtingen van kennis versus gecommuniceerde inhoud.
3. Ongestunde Geloofsovertuigingen: Geloofsovertuigingen die door een lid worden geïdentificeerd die noch worden tegengesproken noch ondersteund door grondwaarheid of andere leden (niet verifieerbaar).
4. Valse Geloofsovertuigingen: Geloofsovertuigingen die expliciet worden tegengesproken door gevestigde grondwaarheid (bijvoorbeeld onjuiste locatiedata).

Voorspellend Model:
Om te testen of historische discrepantiepatronen toekomstige prestaties voorspellen, gebruikten de auteurs een basismodel met een gewogen som. De voorspelde discrepantietelling voor een doelniveau ($L_{target}$) werd berekend als de som van de discrepantietellingen uit eerdere niveaus ($L_i$) vermenigvuldigd met gewichten ($w_i$).
$$L_{target}(d) = \sum_{i \neq target} w_i L_i(d), \quad \sum w_i = 1$$
Het onderzoek gebruikte een uniforme weging als baseline ($w_i = 1/n$), aannemende dat alle eerdere niveaus evenveel bijdragen. Complexere schema's (bijvoorbeeld recentheid-gewogen, typespecifiek) werden voorgesteld als theoretische uitbreidingen maar niet empirisch getest in dit werk.

Belangrijkste Resultaten

Verdeling van Discrepanties:
Over 20 teams en vier niveaus werden in totaal 1.447 discrepanties geïdentificeerd.

• Omissies waren de dominante categorie en vormden de grootste bron van zowel totale discrepanties als voorspelfouten in absolute termen.
• Geloofscontradicties toonden hoge volatiliteit over niveaus en teams heen.
• Valse Geloofsovertuigingen en Ongestunde Geloofsovertuigingen waren zeldzaam, en kwamen voor in minder dan 20% van de teamniveau-observaties, en droegen verwaarloosbaar bij aan de totale voorspelfout.

Voorspellende Nauwkeurigheid:
Met behulp van de uniforme gemiddelde baseline bereikte het model een pairwise correlatie van 0,56 ($p=0,01$) tussen voorspelde en werkelijke discrepantietellingen voor Niveau 4 op basis van Niveaus 1–3.

• De auteurs waarschuwen dat deze correlatie stabiliteit in team-specifieke basissnelheden kan weerspiegelen in plaats van een mechanistisch causaal verband, aangezien Niveau 4-tellingen waarschijnlijk autocorrelatie vertonen met eerdere niveaus.
• Sommige teams (bijvoorbeeld Team 6) vertoonden voorspelbare trajecten waarbij basissnelheden ondanks tijdelijke verbeteringen bleven bestaan, terwijl andere (bijvoorbeeld Teams 13, 16) aanzienlijke afwijkingen vertoonden in het laatste niveau.

Validatie:
Om de LLM-gebaseerde detectie te valideren, correleerden de auteurs discrepantietellingen met een objectieve scoremetriek gebaseerd op prestaties bij objectidentificatie (visuele bevestiging van specifieke objecten). Team 16, dat aanzienlijk meer GMM-discrepanties vertoonde (met name omissies en contradicties), scoorde lager (26,3%) dan Team 8 (42,1%), wat de claim ondersteunt dat op communicatie gebaseerde misalignement zich manifesteert als meetbare prestatiedalingen.

Betekenis en Claims

Het artikel claimt de eerste systematische categorisering te bieden van GMM-discrepantietypes in natuurlijke teamcoördinatie. De primaire bijdragen zijn:

1. Theoretisch Kader: Onderscheid maken tussen vier specifieke soorten misalignement (omissies, contradicties, valse geloofsovertuigingen, ongestunde geloofsovertuigingen) in plaats van GMM-kwaliteit te behandelen als een monolithische metriek.
2. Temporele Dynamiek: Aantonen dat verschillende discrepantietypes differentiële temporele stabiliteit vertonen. Omissies toonden stabiele patronen over niveaus, wat suggereert dat informatie-delende gedragspatronen resistent zijn tegen verandering. Daarentegen toonden geloofscontradicties grotere volatiliteit, waarbij sommige teams ze oplosten door dialoog terwijl andere dat niet deden.
3. Voorspellend Potentieel: Aantonen dat zelfs een eenvoudige uniforme weging van historische discrepantietellingen betekenisvolle voorspellende nauwkeurigheid kan opleveren, wat suggereert dat coördinatiepatronen in een vroeg stadium trajecten vestigen die aanhouden.

De auteurs concluderen bescheiden dat hoewel het kader gerichte interventiestrategieën mogelijk maakt (bijvoorbeeld het aanpakken van informatiegaten versus interpretatieve meningsverschillen), het huidige additieve model onafhankelijkheid tussen discrepantietypes veronderstelt, wat mogelijk niet de realiteit weerspiegelt (bijvoorbeeld omissies die escaleren tot contradicties). Toekomstig werk is nodig om team-specifieke leercurves en typespecifieke dynamieken op te nemen.