Grounded Misunderstandings in Asymmetric Dialogue: A Perspectivist Annotation Scheme for MapTask

Probleemstelling

In collaboratieve dialogen bouwen deelnemers gezamenlijk een "common ground" (gemeenschappelijke basis) op. Traditionele benaderingen voor referentie-oplossing gaan ervan uit dat zodra een uiting is bevestigd (geground), beide gesprekspartners verwijzen naar hetzelfde entiteit. Dit model faalt echter in asymmetrische settingen, zoals de HCRC MapTask, waar deelnemers verschillende informatiebronnen hebben (bijvoorbeeld verschillende kaarten).

In deze situaties kunnen deelnemers denken dat ze het eens zijn, terwijl ze in werkelijkheid naar verschillende entiteiten verwijzen. Bestaande annotatieschema's voor de MapTask-corpus vangen deze subtiele, "stille" misaligneringen niet goed op, omdat ze vaak uitgaan van een enkele, gedeelde interpretatie in plaats van de persoonlijke interpretaties van zowel de spreker als de luisteraar apart te documenteren. Er is een tekort aan methoden om te kwantificeren hoe vaak dergelijke misverstanden optreden en hoe ze zich ontwikkelen tot ze worden opgelost.

Methodologie

De auteurs introduceren een perspectivistisch annotatieschema op het niveau van referentie-uitdrukkingen (Reference Expressions - REs) en combineren dit met een LLM-gestuurde annotatiepijplijn.

1. Unificatie van Landmark-ID's:

   • Het originele MapTask-systeem behandelt verschillende namen voor hetzelfde object (lexicale varianten) als verschillende entiteiten, en meervoudige voorkomens van hetzelfde object als één entiteit.
   • De auteurs introduceren een nieuw, unificatie-landmark-ID-systeem (<map-id>_<naam>#<ordinaal>@<zijde>). Dit onderscheidt expliciet tussen de "giver" (instructiegever) en de "follower" (volger) en onderscheidt meervoudige instances van hetzelfde object (bijv. twee geparkeerde bestelwagens op de kaart van de giver, maar slechts één op die van de follower).

2. Annotatieschema (5 Attributen):
   Voor elke referentie-uitdrukking worden vijf binaire attributen in een hiërarchische volgorde geannoteerd om de staat van begrip te modelleren:

   • is_quantificational: Is het een existentiële vraag of een definitieve verwijzing?
   • is_specified: Is er voldoende context om de interpretatie van de luisteraar af te leiden?
   • is_accommodated: Reageert de luisteraar zonder te signaleren dat hij/zij het niet begrijpt?
   • is_grounded: Koppelt de luisteraar de uitdrukking aan een specifiek punt op de kaart?
   • is_imagined: Verwijst de luisteraar naar een object dat niet op zijn/haar eigen kaart staat (maar wel is "gevisualiseerd" op basis van de beschrijving)?

3. LLM-Annotatiepijplijn:

   • De auteurs gebruiken GPT-5 via de OpenAI Batch API.
   • Ze hanteren een schema-gedwongen prompt (JSON-schema output) om de LLM te leiden door een gestructureerde workflow (Chain-of-Thought).
   • De context bestaat uit de volledige dialoog tot aan het einde van de huidige "transactie" (een reeks uitingen die één stap in de route beschrijven).
   • De LLM moet voor elke RE de bedoelde landmark-ID van de spreker en de geïnterpreteerde ID van de luisteraar toewijzen, gevolgd door een korte, bewijsgebaseerde redenering.

4. Validatie:

   • Het schema is toegepast op het volledige corpus (128 dialogen, 13.077 RE's).
   • Een steekproef van 504 RE's uit 3 dialogen is handmatig verifieerd. De LLM behaalde een nauwkeurigheid van 94,4% op RE-niveau en hoge F1-scores (0,89–1,00) op attributeniveau.

Belangrijkste Bijdragen

• Operationalisering van Grounding: Grounding wordt niet langer gezien als een binair eindresultaat, maar als een gegradueerd, perspectiefafhankelijk aligneringsproces.
• Nieuw Dataset: Een groot, geannoteerd dataset van 13.000+ referentie-uitdrukkingen met dubbele perspectieven (spreker vs. luisteraar) en incrementele begripsstaten.
• Analytisch Kader: Een methode om "stille" misverstanden te detecteren en te kwantificeren, zelfs wanneer de deelnemers denken dat ze het eens zijn.
• Benchmarks voor (V)LLM's: Het biedt een basis voor het evalueren van de capaciteit van taalkundige en visueel-taalkundige modellen om perspectiefafhankelijke grounding te modelleren.

Resultaten

De analyse van de geannoteerde data levert de volgende inzichten op:

1. Frequentie van Misverstanden:

   • Volledige misverstanden (waarbij beide partijen denken dat ze het eens zijn, maar naar verschillende objecten verwijzen) komen relatief weinig voor (1,82% na correctie voor lexische varianten).
   • Echter, multipliciteitsdiscrepanties (waar een object meerdere keren voorkomt op de ene kaart en één keer op de andere) zijn de grootste oorzaak van misalignering. Deze type discrepantie veroorzaakt 12,0% van de misverstanden, wat meer dan 6 keer het gemiddelde is.
   • Lexische varianten (verschillende namen voor hetzelfde object) leiden vaak tot korte correcties en resulteren zelden in langdurige misverstanden.

2. Evolutie van Begrip:

   • Misverstanden worden vaak opgelost via "running repairs" (continue correcties) in de dialoog.
   • Referentieketens (sequentie van verwijzingen naar hetzelfde object) bij multipliciteitsdiscrepanties zijn langer dan bij andere types, wat wijst op de cognitieve complexiteit om specifieke instances te onderscheiden.
   • Er zijn gevallen waarin deelnemers vastlopen in een misverstand (bijv. als de giver per ongeluk het startpunt verkeerd kiest), wat leidt tot een langdurige ruimtelijke misalignering die de LLM soms mist door een "alwetend bias" (de LLM ziet beide kaarten tegelijk en ziet de tegenstrijdigheid als ruis in plaats van een fundamenteel probleem).

3. Staten van Begrip:
   De auteurs classificeren de staten in drie categorieën:

   • Aligned: Succesvolle referentie-oplossing.
   • Misunderstood: Stille misalignering (beide denken dat het lukt, maar het lukt niet).
   • Pending: Wachten op informatie of expliciete miscommunicatie.

Betekenis en Toekomstperspectief

Dit onderzoek is significant omdat het de "zwarte doos" van wederzijds begrip in dialogen openbreekt. Het toont aan dat apparente grounding (schijnbare overeenstemming) misleidende kan zijn in asymmetrische contexten.

• Voor NLP/LLM-onderzoek: Het biedt een nieuwe benchmark om te testen of modellen niet alleen objecten kunnen identificeren, maar ook perspectief kunnen nemen en kunnen begrijpen hoe kennisverschillen leiden tot misverstanden.
• Voor VLM's (Vision-Language Models): Het benadrukt de noodzaak om modellen te trainen om te werken met beperkte informatie (zoals alleen de eigen kaart) en om te gaan met de onzekerheid die voortvloeit uit het ontbreken van gedeelde visuele context.
• Toekomst: De auteurs plannen evaluaties op basis van deze dataset om de incrementele grounding-vaardigheden van (V)LLM's te testen, met als doel modellen te ontwikkelen die beter kunnen omgaan met complexe, collaboratieve taken waar informatie niet gelijk is verdeeld.