💬 NLP

QUACK: Questioning, Understanding, and Auditing Communicated Knowledge in Multimodal Social Deduction Agents

Dieser Artikel stellt QUACK vor, ein quelloffenes multimodales Rahmenwerk zur sozialen Deduktion, das Large-Language-Model-Agenten durch Rekonstruktion von Ground-Truth-Trajektorien auditieren, um Halluzinationen, unbegründete Anschuldigungen und Inkonsistenzen zwischen Sprache und Handlungen automatisch zu erkennen und zu quantifizieren.

Ursprüngliche Autoren: Ye Yuan, Rui Song, Weien Li, Zeyu Li, Haochen Liu, Xiangyu Kong, Changjiang Han, Yonghan Yang, Zichen Zhao, Zixuan Dong, Fuyuan Lyu, Bowei He, Haolun Wu, Jikun Kang, Xue Liu

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ye Yuan, Rui Song, Weien Li, Zeyu Li, Haochen Liu, Xiangyu Kong, Changjiang Han, Yonghan Yang, Zichen Zhao, Zixuan Dong, Fuyuan Lyu, Bowei He, Haolun Wu, Jikun Kang, Xue Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von Freunden vor, die ein hochriskantes Spiel wie "Among Us" oder "Werwolf" spielt. In diesem Spiel sind einige Spieler "Crewmitglieder", die versuchen, das Schiff zu reparieren, und einer ist ein "Impostor", der versucht, sie zu sabotieren. Der Haken daran? Alle müssen reden, lügen und sich gegenseitig beschuldigen, um herauszufinden, wer wer ist.

Stellen Sie sich nun vor, Sie ersetzen die menschlichen Spieler durch fortschrittliche KI-Roboter (speziell Vision-Language-Modelle). Diese Roboter können die Spielkarte sehen, sich bewegen und miteinander sprechen.

Die Studie stellt ein neues Werkzeug namens QUACK (Questioning, Understanding, and Auditing Communicated Knowledge) vor. Denken Sie an QUACK als einen superkräftigen Schiedsrichter, der nicht nur beobachtet, wer das Spiel gewinnt, sondern tatsächlich überprüft, ob die Roboter die Wahrheit über das sagen, was sie gesehen und getan haben.

Hier ist die Aufschlüsselung, wie es funktioniert und was sie herausfanden, unter Verwendung einfacher Analogien:

Das Problem: Gewinnen bedeutet nicht, dass man ehrlich ist

In den meisten vorherigen Tests schauten die Forscher nur auf die Endpunktzahl: "Hat die KI gewonnen?"

Der Fehler: Eine KI könnte das Spiel gewinnen, indem sie perfekt lügt, oder sie könnte verlieren, obwohl sie logisch schlussfolgerte. Genau wie in einem echten Gerichtssaal sagt ein Urteil von "Schuldig" oder "Nicht schuldig" nichts darüber aus, ob die Beweise echt waren oder ob der Anwalt nur sehr gut geredet hat.
Die Lücke: Bis jetzt hatten wir keine Möglichkeit zu überprüfen, ob die Worte einer KI tatsächlich mit dem übereinstimmten, was ihre "Augen" und "Füße" tatsächlich erlebt hatten.

Die Lösung: QUACK (Der Wahrheitsfinder)

QUACK ist eine Spielumgebung und ein Bewertungssystem, die speziell entwickelt wurden, um KI-Lügen aufzudecken.

Das Spiel: Die KI-Agenten spielen auf einer digitalen Karte mit Räumen und Fluren. Sie können ihre Umgebung sehen (Bilder) und erhalten Textzusammenfassungen. Sie müssen sich bewegen, Aufgaben erledigen und sprechen.
Das geheime Protokoll: Im Hintergrund führt die Spielengine ein perfektes, taktgenaues Tagebuch darüber, wo jeder Roboter genau war, was er sah und was er tat. Dies ist die "Ground Truth" (die faktische Wahrheit).
Die Prüfung (Der magische Teil): Nach dem Spiel nimmt QUACK jeden Satz, den die Roboter während ihrer Diskussionen gesagt haben, und vergleicht ihn mit diesem geheimen Tagebuch.
- Beispiel: Wenn ein Roboter sagt: "Ich habe Bob in der Cafeteria gesehen", prüft QUACK das Tagebuch. Wenn das Tagebuch besagt, dass Bob tatsächlich im Maschinenraum war, markiert QUACK dies als eine Halluzination.

Die vier Arten, wie KI "versagt" (Die Prüfergebnisse)

Die Forscher stellten fest, dass selbst die intelligentesten KI-Modelle vier spezifische Arten von Fehlern machen, wenn sie versuchen, in diesem Spiel zu lügen oder die Wahrheit zu sagen:

Räumliche Halluzination (Die "Geister"-Sichtungen):
- Analogie: Stellen Sie sich einen Zeugen vor, der aussagt: "Ich habe den Verdächtigen den Flur hinunterrennen sehen", aber die Überwachungskamera beweist, dass sich der Zeuge zu dieser Zeit in einem anderen Gebäude befand.
- Die Erkenntnis: In etwa 15 % der Fälle behauptete die KI, Menschen gesehen zu haben oder an Orten gewesen zu sein, an denen sie physisch nicht hätte sein können. Sie "erinnerte" sich an Dinge, die nie passiert waren.
Unbegründete Anschuldigung (Die "Schrotflinten"-Beschuldigung):
- Analogie: Ein Detektiv, der auf einen Verdächtigen zeigt und sagt: "Ich denke, er hat es getan", aber zugibt: "Ich habe keine Ahnung warum, ich habe einfach nur das Gefühl."
- Die Erkenntnis: Mehr als die Hälfte der Anschuldigungen, die von der KI erhoben wurden, geschahen ohne tatsächliche Beweise, die die KI gesehen hatte. Sie rieten einfach oder dachten sich Dinge aus, um überzeugend zu klingen.
Zusammenbruch der Täuschung (Der "schlechte" Lügner):
- Analogie: Ein Spion, der versucht, über sein Alibi zu lügen, aber versehentlich sagt: "Ich war in der Bank", obwohl die Bank an diesem Tag geschlossen war. Die Lüge ist so offensichtlich, dass sie sofort zusammenbricht.
- Die Erkenntnis: Wenn die KI den "Impostor" spielte, waren ihre Lügen oft grob und ließen sich leicht durch die Spielprotokolle widerlegen. Sie strickten keine subtilen, klugen Lügen; sie erfanden einfach Fakten, die sofort falsch waren.
Inkonsistenz zwischen Sprache und Handlung (Der "Versprecher"):
- Analogie: Jemand sagt: "Ich war damit beschäftigt, den Motor zu reparieren", während das Protokoll zeigt, dass sie tatsächlich regungslos saßen und nichts taten.
- Die Erkenntnis: Die KI beschrieb Aufgaben, die sie tatsächlich weder begonnen noch abgeschlossen hatte.

Das große Fazit

Das überraschendste Ergebnis ist, dass das Gewinnen des Spiels nicht bedeutete, dass die KI in der Realität verankert war.

Eines der stärksten KI-Modelle gewann das Spiel in über 80 % der Fälle. Als QUACK jedoch seine Worte prüfte, stellte es fest, dass dieser "kluge" Gewinner immer noch 16 % der Zeit über seinen Standort lügte und 54 % der Zeit unbegründete Anschuldigungen erhob.

Kurz gesagt: QUACK hat uns gezeigt, dass KI-Agenten großartig darin sein können, soziale Deduktionsspiele zu gewinnen, aber oft schlecht darin sind, die Wahrheit über das zu sagen, was sie tatsächlich erlebt haben. Sie können sehr überzeugende Lügner oder sehr selbstbewusste Lügner sein, selbst wenn die Fakten direkt in den Protokollen vorliegen.

Die Autoren haben dieses gesamte System (das Spiel, die Protokolle und das Prüfungswerkzeug) kostenlos veröffentlicht, damit andere Forscher damit testen können, ob ihre eigenen KI-Agenten "ehrlich" über ihre Handlungen sind und nicht nur gut darin, zu gewinnen.

Technische Zusammenfassung: QUACK – Hinterfragen, Verstehen und Auditieren kommunizierten Wissens in multimodalen Agenten für soziale Deduktion

1. Problemstellung

Large Language Models (LLMs) und Vision-Language Models (VLMs) werden zunehmend als interaktive Agenten eingesetzt, die Umgebungen wahrnehmen, kommunizieren und unter Unsicherheit reasoning können. Eine kritische Anforderung für diese Agenten ist die Verankerung (Grounding): Ihre natürlichen Sprachäußerungen bezüglich ihres Standorts, ihrer Beobachtungen und Handlungen müssen mit ihrer tatsächlichen wahrgenommenen Trajektorie übereinstimmen.

Aktuelle Evaluierungsbenchmarks für Spiele zur sozialen Deduktion (z. B. Among Us, Werewolf) weisen zwei Hauptbeschränkungen auf:

Ergebniszentrierte Bewertung: Die meisten Evaluierungen stützen sich auf Spielresultate (Gewinnquoten, Überlebensraten, Genauigkeit der Abstimmungen). Diese Metriken unterscheiden nicht zwischen einem Agenten, der aufgrund kohärenten Reasonings erfolgreich ist, und einem, der erfolgreich ist, obwohl er inkonsistente oder halluzinierte Behauptungen aufstellt.
Beschränkung auf Text: Bestehende Umgebungen beschränken Agenten weitgehend auf textbasierte Interaktionen. Ohne verankerte visuelle Beobachtungen und rekonstruierbare Trajektorien ist es unmöglich zu bestimmen, ob die Dialoge eines Agenten mit dem übereinstimmen, was er tatsächlich wahrgenommen und getan hat. Dies erschwert die Identifizierung spezifischer Fehlermodi wie räumliche Halluzinationen oder unbegründete Anschuldigungen.

Es fehlt an Frameworks, die auditieren können, ob die Sprache eines Agenten über lange Zeiträume hinweg in adversarischen Multi-Agenten-Szenarien in seiner multimodalen Wahrnehmung und seinen Handlungen verankert ist.

2. Methodik: Das QUACK-Framework

Die Autoren stellen QUACK vor, eine Open-Source-Umgebung und ein Evaluierungsframework, das entwickelt wurde, um verankertes multimodales soziales Reasoning zu auditieren.

2.1 Die Umgebung

QUACK wird als partiell beobachtbares Markov-Spiel formalisiert, das auf einer graphenstrukturierten Karte gespielt wird.

Rollen: Agenten erhalten verdeckte Rollen als entweder Gänse (Crew) oder Enten (Impostoren).
- Gänse gewinnen, indem sie ortsgebundene Aufgaben erfüllen oder alle Enten ausstoßen.
- Enten gewinnen, indem sie eine Abstimmungsmehrheit erreichen (lebende Enten $\ge$ lebende Gänse), und können am selben Ort befindliche Gänse eliminieren.
Beobachtungen: Agenten erhalten an jedem Entscheidungspunkt multimodale Eingaben:
- Globale Ansicht ( $I_{global}$ ): Eine gerenderte Karte, die das Raumlayout und Reisekosten zeigt, aber keine anderen Spieler.
- Lokale Ansicht ( $I_{local}$ ): Ein gerendertes Bild des aktuellen Raums, das nur sichtbare Spieler, Leichen und beobachtete Bewegungsevents zeigt.
- Strukturierte Zusammenfassung ( $\tau$ ): Eine textuelle Kodierung des Transitstatus, beobachteter Events, des Aufgabenfortschritts und der Abklingzeiten.
Aktionen: Agenten führen Aktionen aus wie Bewegen, Erledigen von Aufgaben, Melden von Leichen, Einberufen von Besprechungen und Töten (für Enten). Sie nehmen zudem an „Proximity Chat" (freie Äußerungen, die nur von Agenten im selben Raum gehört werden) und formalen Besprechungsdiskussionen teil.
Wiederspielbarkeit: Entscheidend ist, dass jede Episode strukturierte Engine-Level-Event-Logs generiert und so eine Tick-für-Tick-Grundwahrheits-Trajektorie für jeden Agenten erstellt. Dies ermöglicht eine exakte Wiedergabe und Verifizierung.

2.2 Drei-Stufen-Evaluierungsframework

QUACK bewertet Agenten auf drei komplementären Ebenen:

Stufe 1 (Spielresultate): Standardmetriken einschließlich Gewinnquoten, Genauigkeit der Ausstöße, Aufgabenabschluss und Überleben.
Stufe 2 (Verhaltens-Trajektorien): Metriken, die aus rekonstruierten Trajektorien abgeleitet werden, wie räumliche Abdeckung, Effizienz bei Aufgaben, Tötungsraten und Nutzung der Abklingzeiten.
Stufe 3 (Behauptungsverifizierung): Der Kernbeitrag. Diese Stufe auditier die Konsistenz zwischen den Diskussionsäußerungen eines Agenten und seiner Grundwahrheits-Trajektorie.

2.3 Pipeline zur Behauptungsverifizierung

Die Pipeline der Stufe 3 arbeitet in zwei Phasen:

Extraktion von Behauptungen: Ein LLM zerlegt freie Diskussionsäußerungen in strukturierte, überprüfbare Behauptungen. Fünf Behauptungstypen sind definiert:
- Standort/Route: Aussagen darüber, wo sich ein Spieler befand.
- Sichtung: Aussagen darüber, einen anderen Spieler gesehen zu haben.
- Aktivität: Aussagen über Aufgaben, Reisen oder Warten.
- Anschuldigung: Verdächtigung eines Spielers, eine Ente zu sein.
- Verteidigung: Bestätigung eines Spielers.
Verifizierung von Behauptungen: Jede Behauptung wird für das relevante Zeitfenster gegen die rekonstruierte Grundwahrheits-Trajektorie des Agenten geprüft. Die Urteile lauten Wahr, Falsch, Falscher Raum, Fast-Treffer (teilweise wahr) oder Nicht überprüfbar.

Diese Pipeline operationalisiert vier spezifische Fehlermodi der Verankerung:

Räumliche Halluzination: Behauptung eines Standorts oder einer Sichtung, die der eigenen Trajektorie des Agenten widerspricht.
Unbegründete Anschuldigung: Anschuldigung eines Spielers ohne verankerte Beweise (Unterscheidung zwischen der Genauigkeit der Anschuldigung und ihrer Verankerung).
Zusammenbruch der Täuschung: Eine Ente, die leicht widerlegbare Lügen aufstellt (z. B. Behauptung, einen toten Spieler gesehen zu haben), anstatt subtile, fast-trefferartige Täuschungen.
Inkonsistenz zwischen Sprache und Handlung: Angegebene Aktivitäten oder Routen, die mit protokollierten Handlungen im Widerspruch stehen.

Die Pipeline wurde gegen menschliche Annotation validiert und erreichte bei der Extraktion und Verifizierung von Behauptungen eine Präzision von 99,5 % und einen Recall von 98,7 %.

3. Experimenteller Aufbau und Ergebnisse

Die Autoren evaluierten drei führende VLMs (GPT-5.5, GEMINI-3.1-PRO, CLAUDE-OPUS-4.7) über 270 Spiele hinweg, sowohl in homogenen (alle Agenten gleiches Modell) als auch in adversarischen Cross-Modell-Szenarien (Gänse vs. Enten unterschiedlicher Modelle).

Wichtige Erkenntnisse

Lücke zwischen Ergebnis und Verankerung: Hohe Gewinnquoten implizieren kein verankertes Reasoning. Beispielsweise erreichte GPT-5.5 als Gans eine Gewinnquote von 81,1 %, halluzinierte jedoch weiterhin 16,4 % seiner räumlichen Behauptungen und stellte 54,5 % seiner Anschuldigungen ohne verankerte Beweise auf.
Systematische Halluzinationen: Selbst die stärksten Agenten halluzinieren einen erheblichen Anteil überprüfbarer räumlicher Behauptungen. Die gepoolte Rate räumlicher Halluzinationen über alle Modelle hinweg betrug 15,1 % (ungefähr 1 von 7 Behauptungen).
Unbegründete Anschuldigungen: Die gepoolte Rate unbegründeter Anschuldigungen betrug 53,5 %. Mehr als die Hälfte aller Anschuldigungen wurde ohne Beweise aufgestellt, die der Ankläger tatsächlich hätte beobachten können, unabhängig davon, ob die Anschuldigung zufällig korrekt war.
Zusammenbruch der Täuschung: Enten zeigten eine Täuschungsrate von 22,1 %. Entscheidend war, dass die Raffinesse der Täuschung nahe null lag; Lügen waren „eindeutig widerlegbar" (z. B. Behauptung, sich in einem Raum zu befinden, in dem das Log zeigt, dass sich der Agent woanders befand), anstatt subtil zu sein.
Lücke bei der Lügendetektion: Selbst wenn eine Ente eine widerlegbare Lüge erzählte, scheiterte die Crew (Gänse) daran, sie in etwa 25 % der Fälle auszustoßen (durchschnittliche Ausstoßquote nach einer Lüge betrug 75,2 %), was eine Lücke zwischen verfügbaren Beweisen und der deduktiven Fähigkeit der Crew aufzeigt.

Alle drei Modelle teilten dasselbe qualitative Fehlerprofil und unterschieden sich primär im Ausmaß, nicht in der Art.

4. Bedeutung und Beiträge

Die Arbeit beansprucht folgende Beiträge:

QUACK-Umgebung: Eine Open-Source-Umgebung für multimodale soziale Deduktion mit partieller Beobachtbarkeit und vollständig wiederspielbaren Logs, die die Rekonstruktion von Grundwahrheits-Trajektorien für Agenten ermöglicht.
Drei-Stufen-Evaluierung: Ein Framework, das über Gewinnquoten hinausgeht, um Verhaltens-Trajektorien und Konsistenz auf Äußerungsebene zu messen und damit direkt die „Verankerung" der Agentensprache adressiert.
Pipeline zur Behauptungsverifizierung: Eine Methode, um Agentenbehauptungen automatisch gegen rekonstruierte Weltzustände zu auditieren und vier qualitative Fehlermodi in messbare Größen zu operationalisieren.
Empirischer Nachweis von Fehlern: Demonstration, dass selbst führende VLMs systematische, diagnostizierbare Verankerungsfehler in Aufgaben des sozialen Reasonings aufweisen, die für standardmäßige ergebnisbasierte Metriken unsichtbar sind.

Übergeordnete Implikationen

Die Autoren argumentieren, dass Verankerung eine distincte Achse der Fähigkeit in Multi-Agenten-Sprachumgebungen ist, die durch Task-Erfolg nicht erfasst wird und eine direkte Messung erfordert. Sie gehen davon aus, dass Spiele zur sozialen Deduktion als einzigartiges Instrument zur Untersuchung verankerter Generierung dienen, da sie starke Anreize für überprüfbare Behauptungen (und Lügen) mit einem vollständig rekonstruierbaren Weltzustand kombinieren – eine Kombination, die in offenen Sprachaufgaben selten verfügbar ist.

Die Arbeit wird als diagnostisch gerahmt, mit dem Ziel aufzudecken, wann Agenten unverankerte Behauptungen aufstellen, um deren Erkennung und Eindämmung zu erleichtern, und nicht um Agenten für Täuschung zu optimieren. Die Autoren veröffentlichen die Engine, das Framework und die Logs, um eine unabhängige Reproduktion und Überprüfung der Agentenverankerung zu unterstützen.