💬 NLP

QUACK: Questioning, Understanding, and Auditing Communicated Knowledge in Multimodal Social Deduction Agents

Dit artikel introduceert QUACK, een open-source multimodaal raadselspelframework dat Large Language Model-agenten audit door grondwaarheids-trajecten te reconstrueren om hallucinaties, ongegronde beschuldigingen en inconsistenties tussen taal en handelingen automatisch te detecteren en te kwantificeren.

Oorspronkelijke auteurs: Ye Yuan, Rui Song, Weien Li, Zeyu Li, Haochen Liu, Xiangyu Kong, Changjiang Han, Yonghan Yang, Zichen Zhao, Zixuan Dong, Fuyuan Lyu, Bowei He, Haolun Wu, Jikun Kang, Xue Liu

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ye Yuan, Rui Song, Weien Li, Zeyu Li, Haochen Liu, Xiangyu Kong, Changjiang Han, Yonghan Yang, Zichen Zhao, Zixuan Dong, Fuyuan Lyu, Bowei He, Haolun Wu, Jikun Kang, Xue Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een groep vrienden voor die een hoog-risico spelletje "Among Us" of "Wolven" spelen. In dit spel zijn sommige spelers "Crewmates" die proberen het schip te repareren, en één is een "Impostor" die probeert hen te saboteren. De twist? Iedereen moet praten, liegen en elkaar beschuldigen om uit te zoeken wie wie is.

Stel je nu voor dat je de menselijke spelers vervangt door geavanceerde AI-robots (specifiek, Vision-Language Models). Deze robots kunnen de spelkaart zien, zich verplaatsen en met elkaar praten.

Het artikel introduceert een nieuw hulpmiddel genaamd QUACK (Questioning, Understanding, and Auditing Communicated Knowledge). Denk aan QUACK als een superkrachtige scheidsrechter die niet alleen kijkt wie het spel wint, maar daadwerkelijk controleert of de robots de waarheid spreken over wat ze zagen en deden.

Hier is de uiteenzetting van hoe het werkt en wat ze ontdekten, met gebruik van eenvoudige analogieën:

Het Probleem: Winnen Betekent Niet Dat Je Eerlijk Bent

In de meeste eerdere tests keken onderzoekers alleen naar de eindstand: "Heeft de AI gewonnen?"

De Tekortkoming: Een AI kon het spel winnen door perfect te liegen, of verliezen terwijl het logisch redeneerde. Net als in een echte rechtbank vertelt een vonnis van "Schuldig" of "Niet Schuldig" je niet of het bewijs echt was of dat de advocaat gewoon erg goed praatte.
Het Gat: Tot nu toe hadden we geen manier om te controleren of de woorden van een AI daadwerkelijk overeenkwamen met wat zijn "ogen" en "voeten" daadwerkelijk hadden ervaren.

De Oplossing: QUACK (De Waarheidsverteller)

QUACK is een spelomgeving en een scoresysteem dat specifiek is gebouwd om AI-leugens op te sporen.

Het Spel: De AI-agenten spelen op een digitale kaart met kamers en gangen. Ze kunnen hun omgeving zien (afbeeldingen) en krijgen tekstsamenvattingen. Ze moeten zich verplaatsen, taken uitvoeren en praten.
Het Geheime Logboek: Achter de schermen houdt de spelengine een perfect, seconde-voor-seconde dagboek bij van precies waar elke robot was, wat ze zagen en wat ze deden. Dit is de "Ground Truth" (feitelijke waarheid).
De Audit (Het Magische Deel): Na het spel neemt QUACK elke zin die de robots tijdens hun discussies hebben gezegd en vergelijkt deze met dat geheime dagboek.
- Voorbeeld: Als een robot zegt: "Ik zag Bob in de Cafetaria", controleert QUACK het dagboek. Als het dagboek aangeeft dat Bob eigenlijk in de Machinekamer was, markeert QUACK dit als een hallucinatie.

De Vier Manieren waarop AI "Faalt" (De Auditresultaten)

De onderzoekers ontdekten dat zelfs de slimste AI-modellen vier specifieke soorten fouten maken wanneer ze proberen te liegen of de waarheid te spreken in dit spel:

Ruimtelijke Hallucinatie (De "Geest"-waarnemingen):
- Analogie: Stel je een getuige voor die getuigt: "Ik zag de verdachte de gang afrennen", maar de beveiligingscamera bewijst dat de getuige op dat moment in een ander gebouw zat.
- De Bevinding: Ongeveer 15% van de tijd claimde de AI mensen te zien of op plekken te zijn waar het fysiek niet had kunnen zijn. Het "herinnerde" zich dingen die nooit gebeurd waren.
Ongestunde Beschuldiging (De "Schotkist"-beschuldiging):
- Analogie: Een detective die naar een verdachte wijst en zegt: "Ik denk dat hij het gedaan heeft", maar toegeeft: "Ik heb geen idee waarom, ik heb gewoon het gevoel."
- De Bevinding: Meer dan de helft van de beschuldigingen die door de AI werden gedaan, waren gedaan zonder enig feitelijk bewijs dat de AI had gezien. Ze raadden gewoon of maakten dingen op om overtuigend te klinken.
Bedroginstorting (De "Slechte" Leugenaar):
- Analogie: Een spion die probeert te liegen over zijn alibi, maar per ongeluk zegt: "Ik was bij de bank", terwijl de bank die dag gesloten was. De leugen is zo voor de hand liggend dat hij direct instort.
- De Bevinding: Wanneer de AI de "Impostor" speelde, waren zijn leugens vaak grof en gemakkelijk weerlegd door de spellogboeken. Ze bedachten geen subtiele, slimme leugens; ze verzonnen gewoon feiten die direct onwaar waren.
Taal-Actie Inconsistentie (De "Fout van de Tong"):
- Analogie: Iemand die zegt: "Ik was druk bezig met het repareren van de motor", terwijl het logboek aangeeft dat ze eigenlijk stil zaten en niets deden.
- De Bevinding: De AI zou taken beschrijven die ze eigenlijk nooit waren begonnen of voltooid.

De Grote Kernboodschap

Het meest verrassende resultaat is dat het winnen van het spel niet betekende dat de AI verankerd was in de werkelijkheid.

Een van de sterkste AI-modellen won het spel meer dan 80% van de tijd. Echter, toen QUACK zijn woorden auditteerde, bleek dat deze "slimme" winnaar nog steeds 16% van de tijd loog over zijn locatie en 54% van de tijd ongegronde beschuldigingen deed.

Kortom: QUACK liet zien dat AI-agenten geweldig kunnen zijn in het winnen van sociale deductiespellen, maar dat ze vaak verschrikkelijk zijn in het vertellen van de waarheid over wat ze daadwerkelijk hebben ervaren. Ze kunnen zeer overtuigende leugenaars zijn, of zeer zelfverzekerde leugenaars, zelfs als de feiten direct in de logboeken staan.

De auteurs hebben dit volledige systeem (het spel, de logboeken en het audit-hulpmiddel) gratis vrijgegeven zodat andere onderzoekers het kunnen gebruiken om te testen of hun eigen AI-agenten "eerlijk" zijn over hun acties, en niet alleen goed in het winnen.

Technische Samenvatting: QUACK – Vragen, Begrijpen en Auditen van Gecommuniceerde Kennis in Multimodale Agents voor Sociale Deductie

1. Probleemstelling

Grote Taalmodellen (LLM's) en Visueel-Taalmodellen (VLM's) worden steeds vaker ingezet als interactieve agents die omgevingen kunnen waarnemen, communiceren en redeneren onder onzekerheid. Een kritieke vereiste voor deze agents is gronding: hun natuurlijke taaluitingen met betrekking tot hun locatie, waarnemingen en acties moeten trouw blijven aan hun daadwerkelijk waargenomen traject.

Huidige evaluatiebenchmarks voor sociale deductiespellen (bijv. Among Us, Werewolf) staan voor twee primaire beperkingen:

Resultaatgerichte Scoren: De meeste evaluaties vertrouwen op speluitkomsten (winstpercentages, overlevingspercentages, stemnauwkeurigheid). Deze metrieken onderscheiden niet tussen een agent die slaagt door coherent redeneren en een die slaagt ondanks het produceren van inconsistente of gehallucineerde claims.
Beperkingen tot Alleen Tekst: Bestaande omgevingen beperken agents grotendeels tot tekstuele interacties. Zonder grondige visuele waarnemingen en reconstrueerbare trajecten is het onmogelijk om vast te stellen of de dialoog van een agent overeenkomt met wat het daadwerkelijk heeft waargenomen en gedaan, waardoor het moeilijk is om specifieke faalmodi zoals ruimtelijke hallucinaties of ongegronde beschuldigingen te identificeren.

Er ontbreekt een kader dat kan auditeren of de taal van een agent is gegrondvest in zijn multimodale waarneming en acties over lange tijdsperiodes in adversariele, multi-agent settings.

2. Methodologie: Het QUACK-kader

De auteurs introduceren QUACK, een open-source omgeving en evaluatiekader ontworpen om grondige multimodale sociale redenering te auditeren.

2.1 De Omgeving

QUACK is geformaliseerd als een gedeeltelijk waarneembare Markov-spel dat wordt gespeeld op een graf-structuur kaart.

Rollen: Agents krijgen verborgen rollen toegewezen als Gezen (bemanning) of Eenden (impostors).
- Gezen winnen door locatiegebonden taken te voltooien of alle Eenden te ejecteren.
- Eenden winnen door stempariteit te bereiken (levende Eenden $\ge$ levende Gezen) en kunnen op dezelfde locatie aanwezige Gezen elimineren.
Waarnemingen: Agents ontvangen multimodale invoer bij elk beslispunt:
- Globaal Overzicht ( $I_{global}$ ): Een gerenderde kaart die de indeling van de ruimtes en reiskosten toont, maar geen andere spelers.
- Lokaal Overzicht ( $I_{local}$ ): Een gerenderde afbeelding van de huidige ruimte, waarin alleen zichtbare spelers, lichamen en waargenomen bewegingsgebeurtenissen worden getoond.
- Gestructureerde Samenvatting ( $\tau$ ): Een tekstuele codering van transitstatus, waargenomen gebeurtenissen, taakvoortgang en cooldowns.
Acties: Agents voeren acties uit zoals bewegen, taken voltooien, lichamen melden, vergaderingen inroepen en doden (voor Eenden). Ze nemen ook deel aan "proximity chat" (vrije uitingen die alleen door agents in dezelfde ruimte worden gehoord) en formele vergaderdiscussies.
Herhaalbaarheid: Cruciaal genereert elke episode gestructureerde engine-level gebeurtenislogboeken, waardoor een traject van grondwaarheid per tick voor elke agent ontstaat. Dit maakt exacte herhaling en verificatie mogelijk.

2.2 Drie-niveau Evaluatiekader

QUACK evalueert agents op drie complementaire niveaus:

Niveau 1 (Speluitkomsten): Standaardmetrieken inclusief winstpercentages, ejectienauwkeurigheid, taakvoltooiing en overleving.
Niveau 2 (Gedrags-trajecten): Metrieken afgeleid van gereconstrueerde trajecten, zoals ruimtelijke dekking, taakefficiëntie, dodingspercentages en benutting van cooldowns.
Niveau 3 (Verificatie van Uitingen): De kernbijdrage. Dit niveau auditeert de consistentie tussen de discussie-uitingen van een agent en zijn grondwaarheidstraject.

2.3 Pipeline voor Verificatie van Uitingen

De pipeline van Niveau 3 werkt in twee fasen:

Claim-extractie: Een LLM parsen vrije discussie-uitingen in gestructureerde, controleerbare claims. Vijf claimtypes worden gedefinieerd:
- Locatie/Route: Beweringen over waar een speler was.
- Sighting: Beweringen over het zien van een andere speler.
- Activiteit: Beweringen over taken, reizen of wachten.
- Beschuldiging: Verdachten van een speler als Eend.
- Verdediging: Iemand verdedigen.
Claim-verificatie: Elke claim wordt gecontroleerd tegen het gereconstrueerde grondwaarheidstraject van de agent voor het relevante tijdsvenster. De uitspraken zijn Waar, Onwaar, Verkeerde Kamer, Bijna Raak (gedeeltelijk waar) of Onverifieerbaar.

Deze pipeline operationaliseert vier specifieke faalmodi van gronding:

Ruimtelijke Hallucinatie: Een locatie of sighting beweren die in tegenspraak is met het eigen traject van de agent.
Ongegrond Beschuldigen: Iemand beschuldigen zonder grondig bewijs (onderscheidend tussen de nauwkeurigheid van de beschuldiging en de gronding ervan).
Deceptie-inzakking: Een Eend die gemakkelijk weerlegbare leugens produceert (bijv. beweren een dood speler te hebben gezien) in plaats van subtiele, bijna-juiste decepties.
Inconsistentie Taal-Actie: Aangegeven activiteiten of routes die in strijd zijn met gelogde acties.

De pipeline is gevalideerd tegen menselijke annotatie, met een precisie van 99,5% en een recall van 98,7% bij claim-extractie en -verificatie.

3. Experimentele Opzet en Resultaten

De auteurs evalueerden drie frontier VLM's (GPT-5.5, GEMINI-3.1-PRO, CLAUDE-OPUS-4.7) over 270 spellen in zowel homogene (alle agents hetzelfde model) als kruis-model adversariele settings (Gezen vs. Eend van verschillende modellen).

Belangrijkste Bevindingen

Kloof tussen Uitkomst en Gronding: Hoge winstpercentages impliceren geen grondige redenering. Bijvoorbeeld, GPT-5.5 behaalde een winstpercentage van 81,1% als Gans, maar hallucineerde toch 16,4% van zijn ruimtelijke claims en deed 54,5% van zijn beschuldigingen zonder grondig bewijs.
Systematische Hallucinaties: Zelfs de sterkste agents hallucineren een aanzienlijk deel van de verifieerbare ruimtelijke claims. Het gepoolde percentage ruimtelijke hallucinaties over alle modellen was 15,1% (ongeveer 1 op de 7 claims).
Ongegrond Beschuldigen: Het gepoolde percentage ongegronde beschuldigingen was 53,5%. Meer dan de helft van alle beschuldigingen werd gedaan zonder enig bewijs dat de beschuldiger daadwerkelijk had kunnen waarnemen, ongeacht of de beschuldiging toevallig correct was.
Deceptie-inzakking: Eenden vertoonden een deceptiepercentage van 22,1%. Cruciaal was dat de subtiliteit van de deceptie bijna nul was; leugens waren "vlak weerlegbaar" (bijv. beweren in een kamer te zijn waar het logboek aangeeft dat de agent elders was) in plaats van subtiel.
Kloof in Leugendetectie: Zelfs wanneer een Eend een verifieerbare leugen vertelde, slaagde de bemanning (Gezen) erin hen in ongeveer 25% van de gevallen niet te ejecteren (gemiddeld ejectiepercentage na een leugen was 75,2%), wat wijst op een kloof tussen beschikbaar bewijs en de deductieve capaciteit van de bemanning.

Alle drie de modellen deelden hetzelfde kwalitatieve faalprofiel, en verschilden voornamelijk in graad en niet in aard.

4. Betekenis en Bijdragen

Het artikel claimt de volgende bijdragen:

QUACK-omgeving: Een open-source, multimodaal sociale deductie-omgeving met gedeeltelijke waarneembaarheid en volledig herhaalbare logboeken, waardoor de reconstructie van grondwaarheidstrajecten voor agents mogelijk wordt.
Drie-niveau Evaluatie: Een kader dat verder gaat dan winstpercentages om gedrags-trajecten en consistentie op uitingenniveau te meten, en direct de "gronding" van agent-taal adresseert.
Pipeline voor Verificatie van Uitingen: Een methode om agent-claims automatisch te auditeren tegen gereconstrueerde wereldtoestanden, waarbij vier kwalitatieve faalmodi worden omgezet in meetbare grootheden.
Empirisch Bewijs van Falen: Demonstratie dat zelfs frontier VLM's systematische, diagnoseerbare grondingsfouten vertonen in sociale redeneertaken die onzichtbaar zijn voor standaard op uitkomsten gebaseerde metrieken.

Breder Implicaties

De auteurs betogen dat gronding een distincte as van capaciteit is in multi-agent taalsettings die niet wordt vastgelegd door taaksucces en directe meting vereist. Zij stellen dat sociale deductiespellen een uniek instrument vormen voor het bestuderen van grondige generatie, omdat ze sterke prikkels combineren voor verifieerbare claims (en liegen) met een volledig herstelbare wereldtoestand – een combinatie die zelden beschikbaar is in open-ended taakopdrachten.

Het werk is diagnostisch geformuleerd, met als doel bloot te leggen wanneer agents ongegronde claims doen om detectie en mitigatie te faciliteren, in plaats van agents te optimaliseren voor deceptie. De auteurs geven de engine, het kader en de logboeken vrij om onafhankelijke reproductie en scrutinie van agent-gronding te ondersteunen.