Reference Games as a Testbed for the Alignment of Model Uncertainty and Clarification Requests

Technische Samenvatting: Referentiespellen als Testomgeving voor de Uitlijning van Modelonzekerheid en Verduidelijkingsverzoeken

Probleemstelling
In menselijke dialoog houden gesprekspartners actief wederzijds begrip in stand door onzekerheid te herkennen en verduidelijkingsverzoeken (reparatie) te initiëren wanneer er sprake is van ambiguïteit. Hoewel Large Language Models (LLM's) en Vision-Language Models (VLM's) vlotheid tonen, blijft het een open vraag of ze effectief de luisteraarrol kunnen aannemen die het herkennen van interne onzekerheid en het vertalen daarvan in gepast verduidelijkingsgedrag omvat. Huidige modellen maskeren vaak begrijpproblemen met vloeiende output, wat leidt tot een overschatting van hun competentie en een niet-uitgelijnd vertrouwen. Bovendien wijst bestaand onderzoek erop dat LLM's zelden proactief reparatie initiëren en vaak falen in het effectief verankeren van interacties. De uitdaging ligt in het evalueren van dit vermogen in open dialoogsettings, waar de grondwaarheid voor wanneer verduidelijking gerechtvaardigd is ontbreekt en de ruimte van interpretaties onbegrensd is.

Methodologie
Om deze uitdagingen aan te pakken, stellen de auteurs het gebruik van referentiespellen voor als een gecontroleerde, zelfstandige testomgeving. In deze opzet beschrijft een "spreker" een doelobject uit een reeks kandidaten (bijvoorbeeld kleurgroottes), en moet een "luisteraar" dit identificeren. Deze omgeving maakt verduidelijkingsbehoeften expliciet en meetbaar, omdat ambiguïteit strikt voortkomt uit het verschil tussen de beschrijving en de reeks kandidaten.

De studie evalueert drie VLM's op het kleurgroot-referentiespel-dataset (McDowell en Goodman, 2019), dat 197 spellen met elk 60 rondes bevat, variërend in moeilijkheidsgraad op basis van kleursimilariteit (ver, gesplitst, dicht). De geteste modellen zijn:

• Qwen2.5-VL-7B en Qwen2.5-VL-72B (geselecteerd vanwege hun sterke prestaties op deze taak).
• GPT-5-mini (als representatief commercieel model).

Het experimentele ontwerp bestaat uit drie fasen:

1. Basisexperiment: Modellen treden op als luisteraar om het doelrooster te voorspellen op basis uitsluitend van de sprekersbeschrijving en de visuele input. Om onzekerheid te schatten, worden de modellen vijf keer per ronde gesampled; de meerderheidsstemming bepaalt de voorspelling, en het aandeel overeenkomende samples dient als Basisvertrouwen-metriek.
2. Verduidelijkingsexperiment: Modellen krijgen expliciet de instructie om verduidelijking te vragen als ze onzeker zijn over het gerefereerde object. De prestatie wordt gemeten aan de hand van CR-Rate (frequentie van verduidelijkingsverzoeken), Nauwkeurigheid (correctheid van niet-verduidelijkingsantwoorden) en Gedempte Nauwkeurigheid (correctheid of succesvolle verduidelijking).
3. Interactie-experiment: Een mens in de lus geeft antwoorden op de verduidelijkingsverzoeken van het model. Deze fase evalueert de taakrelevantie van de gegenereerde vragen en meet of de daaropvolgende menselijke feedback de uiteindelijke nauwkeurigheid en het vertrouwen van het model verbetert.

Belangrijkste Resultaten

• Oververtrouwen: Alle modellen vertoonden uniform hoge vertrouwensscores (variërend van 87% tot 99%), zelfs onder moeilijke omstandigheden, wat wijst op een neiging tot oververtrouwen die slecht gekalibreerd is aan de werkelijke nauwkeurigheid.
• Verduidelijkingsgedrag:
  • GPT-5-mini vertoonde het meest uitgelijnde gedrag, met verduidelijkingsverzoeken in 13% van de gevallen. Het verzoekpercentage steeg met de taakmoeilijkheid (6% bij "ver" tot 17% bij "gesplitst/dicht"), en de nauwkeurigheid van niet-verduidelijkingsantwoorden (94%) overtrof de basisnauwkeurigheid (91%), wat suggereert dat het model succesvol antwoorden achterhield wanneer het onzeker was.
  • Qwen2.5-VL-72B genereerde verduidelijkingsverzoeken in 24% van de gevallen, maar dit gedrag was niet systematisch uitgelijnd met taakmoeilijkheid of interne onzekerheid. Het vertrouwen daalde slechts marginaal (van 91% naar 87%) bij het genereren van een verzoek.
  • Qwen2.5-VL-7B genereerde bijna nooit verduidelijkingsverzoeken (< 0,1%).
• Effectiviteit van Verduidelijking: In het interactie-experiment werden slechts 42% van de verduidelijkingsvragen gegenereerd door Qwen2.5-VL-72B als taakrelevant beschouwd. Cruciaal: het verstrekken van menselijke antwoorden op deze verzoeken verbeterde de end-to-end nauwkeurigheid van het model niet; in feite nam de nauwkeurigheid in de meeste omstandigheden licht af. Dit suggereert dat de modellen ofwel de verstrekte informatie niet benutten, of dat de verzoeken zelf niet de nodige informatie zochten om ambiguïteit op te lossen.

Belangrijkste Bijdragen

• Voorstel voor Testomgeving: Het artikel vestigt referentiespellen als een rigoureuze, gecontroleerde omgeving voor het evalueren van de uitlijning tussen modelonzekerheid en verduidelijkingsgedrag, waarmee de beperkingen van evaluatie in open dialoog worden overwonnen.
• Empirisch Bewijs van Misalignering: De studie levert empirisch bewijs dat huidige state-of-the-art VLM's moeite hebben om interne onzekerheid om te zetten in gepaste interactieve reacties. Zelfs in eenvoudige, beperkte taken falen modellen vaak om te herkennen wanneer ze onzeker zijn, of ze stellen geen relevante vragen.
• Ondoeltreffendheid van Huidige Verduidelijking: De bevindingen benadrukken dat verduidelijkingspogingen van huidige modellen vaak oninformatief of ongepast zijn, en falen om te fungeren als echte reparatiemechanismen die wederzijds begrip verbeteren.

Betekenis
Het artikel betoogt dat referentiespellen een waardevolle benchmark bieden voor het onderzoeken van de pragmatische competentie van taalmodellen. De resultaten tonen een aanzienlijke kloof aan in het vermogen van VLM's om op te treden als coöperatieve luisteraars die onzekerheid kunnen beheren. De auteurs concluderen dat zelfs in settings waar ambiguïteit kwantificeerbaar is en de behoefte aan verduidelijking expliciet is, modellen moeite hebben om interne onzekerheid om te zetten in adequate verduidelijkingsgedrag. Dit onderstreept de waarde van referentiespellen voor het diagnosticeren van interactiekwaliteiten in (visuele en) taalmodellen, en onthult dat vlotheid niet gelijkstaat aan robuuste, zelfbewuste communicatie.