Distributed Partial Information Puzzles: Examining Common Ground Construction Under Epistemic Asymmetry

Die Studie stellt das verteilte Puzzle mit partiellen Informationen (DPIP) als neue multimodale Datensatz und Aufgabe vor, um die Konstruktion gemeinsamen Wissens unter epistemischer Asymmetrie zu untersuchen, und zeigt, dass sowohl moderne Large Language Models als auch ein axiomatischer Ansatz der dynamischen epistemischen Logik Schwierigkeiten haben, den Glaubenszustand und den Fortschritt in solchen kollaborativen Szenarien präzise zu verfolgen.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschung, als würden wir sie beim Kaffee diskutieren, mit ein paar bildhaften Vergleichen.

Das große Rätsel: Wie bauen wir gemeinsam etwas, wenn jeder nur ein Stück des Puzzles hat?

Stell dir vor, du und drei Freunde wolltet ein riesiges Lego-Schloss bauen. Aber hier ist der Haken: Niemand von euch darf das fertige Bild sehen.

• Der Baumeister (Builder): Er sitzt am Tisch und hat die Lego-Steine. Er darf bauen, aber er weiß nicht, wie das Schloss am Ende aussehen soll. Er ist blind für das Gesamtbild.
• Die drei Architekten (Directors): Jeder von ihnen hat ein Foto von einer Seite des fertigen Schlosses (z. B. nur die Vorderseite, nur die linke Seite, nur die Rückseite). Keiner hat das ganze Bild.

Die Aufgabe: Die Architekten müssen dem Baumeister per Sprache, Zeigegesten und Handbewegungen erklären, wie er die Steine stapeln muss, damit am Ende ein einziges, passendes Gebäude entsteht, das mit allen drei Fotos übereinstimmt.

Das ist das Kernstück dieser Studie, die sie „Distributed Partial Information Puzzle" (DPIP) nennen. Es ist ein Test, um zu sehen, wie gut Menschen (und Computer) zusammenarbeiten, wenn jeder nur einen Teil der Wahrheit kennt.

Warum ist das so schwer? (Der „Blinden-Füchse"-Effekt)

In der echten Welt passiert das oft. Stell dir vor, du bist Arzt, dein Kollege ist Ingenieur und ein Dritter ist Jurist. Ihr müsst ein neues Krankenhaus planen.

• Der Arzt sieht die Patientenbedürfnisse.
• Der Ingenieur sieht die Statik.
• Der Jurist sieht die Gesetze.

Wenn sie nicht perfekt kommunizieren, entsteht ein Chaos. In diesem Lego-Spiel müssen die Architekten ihre privaten Informationen (ihr Foto) in die gemeinsame Sprache übersetzen. Sie müssen sich ein gemeinsames Verständnis (Common Ground) aufbauen. Das ist wie ein unsichtbares Seil, das sie alle verbindet. Wenn das Seil reißt, baut der Baumeister etwas, das auf dem Foto des Architekten A aussieht, aber auf dem von B völlig falsch ist.

Was haben die Forscher gemacht?

1. Das Experiment: Sie haben 10 Gruppen von vier Personen beobachtet, die genau dieses Lego-Spiel gespielt haben.
2. Die Kamera-Überwachung: Sie haben alles aufgezeichnet: Was wurde gesagt? Wo wurde mit dem Finger gezeigt? Welche Steine wurden wohin gelegt?
3. Die Analyse: Sie haben diese Daten in eine Art „Logbuch" umgewandelt, das genau festhält: „Architekt A hat gesagt: 'Rot auf Blau', und der Baumeister hat es genau so gemacht."

Der große Test: Können KI-Modelle das verstehen?

Jetzt kommt der spannende Teil. Die Forscher haben diese Daten genutzt, um zu testen, ob moderne Künstliche Intelligenz (wie große Sprachmodelle, die wir alle kennen) so gut zusammenarbeiten können wie Menschen.

Sie haben zwei Arten von „KI-Überlegern" getestet:

1. Der moderne KI-Riese (LLMs): Modelle wie GPT-5 oder Qwen. Man hat ihnen die Transkripte der Gespräche und die Beschreibungen der Handlungen gegeben und gefragt: „Was bauen die gerade?"
2. Der logische Mathematiker (Axiomatischer Ansatz): Ein Programm, das strikten logischen Regeln folgt (wie ein strenger Richter), um zu berechnen, was die Gruppe müsste, wenn sie alles perfekt verstanden hätte.

Was kam heraus? (Die überraschenden Ergebnisse)

• Die KI stolpert über das „Gemeinsame Verständnis": Die modernen KI-Modelle waren gut darin, zu sagen: „Ah, der hat einen roten Stein genommen." Aber sie waren schlecht darin, den Zusammenhang zu verstehen. Sie konnten oft nicht erraten, welche gemeinsamen Überzeugungen die Gruppe gerade entwickelt hatte. Es war, als würde die KI die Worte hören, aber den Tonfall und die Bedeutung hinter den Gesten verpassen.
• Der logische Mathematiker war überraschend stark: Das strikte Regelwerk (der „Mathematiker") konnte oft besser vorhersagen, wie das Gebäude aussehen würde, als die riesigen KI-Modelle. Das zeigt, dass für diese Art von komplexer, räumlicher Zusammenarbeit reine Intelligenz nicht ausreicht; man braucht eine sehr präzise Logik.
• Der „Fehlerfall" war lehrreich: Es gab eine Gruppe, die das Spiel gar nicht geschafft hat. Die KI konnte hier sogar besser abschätzen, dass „hier ist kein gemeinsames Verständnis vorhanden", als bei den erfolgreichen Gruppen. Das ist wie ein Therapeut, der sofort merkt: „Die reden aneinander vorbei."

Die große Lehre

Diese Studie zeigt uns, dass KI zwar super darin ist, Texte zu schreiben oder Bilder zu erkennen, aber schwierigkeiten hat, wenn es darum geht, gemeinsam mit anderen etwas zu erschaffen, wenn jeder nur ein Stück des Puzzles hat.

Menschen nutzen Gesten, Blickkontakt und Intuition, um das „unsichtbare Seil" des gemeinsamen Verständnisses zu spannen. KI-Modelle haben damit noch große Probleme. Sie hören das „Was", aber verpassen oft das „Wie" und das „Warum" der Zusammenarbeit.

Zusammenfassend: Wir haben ein neues, schwieriges Spiel erfunden, um zu testen, ob Computer wirklich „miteinander reden" können. Die Antwort ist bisher: Noch nicht ganz. Sie müssen noch lernen, nicht nur zu hören, sondern wirklich zu verstehen, was ihre Partner im Kopf haben.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Distributed Partial Information Puzzles: Examining Common Ground Construction Under Epistemic Asymmetry" auf Deutsch:

1. Problemstellung

Die Etablierung von „Common Ground" (einem gemeinsamen Satz an Überzeugungen und Fakten) ist fundamental für die menschliche Zusammenarbeit. Aktuelle KI-Systeme, insbesondere Large Language Models (LLMs), haben jedoch Schwierigkeiten, dies in komplexen Szenarien zu bewältigen, die durch folgende Merkmale gekennzeichnet sind:

• Epistemische Asymmetrie: Die Teilnehmer verfügen über unterschiedliche, teilweise private Informationen.
• Multiparty-Interaktion: Mehr als zwei Parteien müssen koordiniert werden.
• Ko-Situierte Multimodalität: Die Kommunikation erfolgt nicht nur verbal, sondern integriert Gesten, Handlungen und den physischen Kontext.
• Fehlende Daten: Es gibt kaum Datensätze, die diese drei Herausforderungen gleichzeitig abdecken, was die Bewertung von KI-Systemen in diesem Bereich erschwert.

Das Paper adressiert die Frage, ob moderne KI-Systeme in der Lage sind, den Informationsaustausch in solchen Umgebungen zu verfolgen und gemeinsame Überzeugungen (Common Ground) korrekt abzuleiten.

2. Methodik

A. Die Aufgabe: Distributed Partial Information Puzzle (DPIP)

Die Autoren stellen eine neue kollaborative Aufgabe vor, das DPIP:

• Setup: Vier Teilnehmer (drei „Direktoren" und ein „Bauer").
• Information: Jeder Direktor erhält eine andere 2D-Seitenansicht einer Zielstruktur aus Lego-Steinen (z. B. Front-, Links- oder Rechtsansicht). Der Bauer sieht die Struktur nicht, darf aber die Steine manipulieren.
• Ziel: Die Direktoren müssen den Bauern gemeinsam anleiten, eine einzige zusammenhängende Struktur zu bauen, die mit allen drei privaten Ansichten übereinstimmt.
• Herausforderung: Kein einzelner Teilnehmer kann die Lösung allein finden; Kommunikation und Inferenz über die privaten Informationen der anderen sind zwingend erforderlich.

B. Datensatz und Annotation

Es wurde ein multimodaler Datensatz mit 10 Gruppenaufnahmen erstellt (insgesamt 33 Sessions, davon 10 vollständig annotiert).

• Modalitäten: Die Interaktionen wurden mit drei Kinect-Kameras und Audio aufgezeichnet.
• Annotation: Die Daten wurden manuell annotiert und zeitlich abgeglichen in drei Modalitäten:
  1. Sprache: Transkriptionen mit extrahierten propositionalen Inhalten (Beziehungen zwischen Blöcken).
  2. Handlungen: 3D-Rekonstruktion der Bauprozesse (Setzen, Entfernen, Bewegen von Blöcken).
  3. Gesten: Annotation mittels Gesture Abstract Meaning Representation (GAMR), um deiktische, ikonische oder emblematische Gesten zu erfassen.
• Qualitätssicherung: Es wurden Inter-Annotator-Übereinstimmungen (IAA) berechnet, die für Sprache und Struktur hoch waren, während die Gestenerkennung (insbesondere das Vorkommen) eine größere Variabilität aufwies.

C. Evaluierungsansatz

Die Autoren verglichen zwei Paradigmen zur Modellierung des Common Grounds (CG):

1. LLM-basiert: State-of-the-Art-Modelle (Qwen3-4B, Llama-3.2-3B, GPT-5-mini/GPT-5) wurden prompted, um basierend auf den multimodalen Eingaben die Struktur oder die geteilten Überzeugungen vorherzusagen.
2. Axiomatischer Ansatz (DEL): Eine Pipeline, die auf Dynamic Epistemic Logic (DEL) basiert. Sie nutzt Axiome wie „Sehen ist Glauben", „Handeln ist Glauben" und „Sagen ist Glauben", um den Zustand des Common Grounds inkrementell und deterministisch abzuleiten.

Experimente:

• Vorhersage der Struktur aus Aktionen (Baseline).
• Vorhersage der Struktur aus allen annotierten Modalitäten.
• Vorhersage der Struktur aus dem axiomatisch berechneten Common Ground.
• Vorhersage des Common Grounds durch LLMs im Vergleich zum axiomatischen Ground Truth.

3. Wichtige Beiträge

1. Einführung des DPIP: Eine neue Benchmark-Aufgabe, die Multiparty-Interaktion, epistemische Asymmetrie und multimodale Ko-Situierteität in einer einzigen kollaborativen Aufgabe vereint.
2. Multimodaler Datensatz: Ein reichhaltig annotierter Datensatz, der Sprache, Gesten und physische Aktionen zeitlich synchronisiert und propositionale Inhalte sowie Glaubenszustände (Überzeugungen) kodiert.
3. Axiomatischer CG-Inferenz-Modell: Ein neuer, logikbasierter Ansatz zur Berechnung von Common Ground in Echtzeit, der als Ground Truth für die Evaluierung von LLMs dient.
4. Benchmark-Ergebnisse: Eine umfassende Evaluierung, die zeigt, dass selbst fortschrittliche LLMs Schwierigkeiten haben, den Verlauf der Aufgabe und den Zustand der gemeinsamen Überzeugungen in diesem komplexen Setting zu verfolgen.

4. Ergebnisse und Analyse

• Leistung der LLMs:
  • LLMs zeigten bei der Vorhersage der Struktur aus reinen Aktionen (Action → Structure) bessere Ergebnisse auf Turn-Ebene als auf globaler Dialog-Ebene.
  • Die Hinzufügung weiterer Modalitäten (Gesten, Sprache) verbesserte die globale Vorhersagegenauigkeit (Global DSC) für einige Modelle (z. B. Qwen), verschlechterte sie aber teilweise für andere (z. B. GPT-5-mini), was darauf hindeutet, dass zusätzliche Modalitäten ohne ausreichenden Kontext als Rauschen wirken können.
  • Common Ground Inferenz: Die Diskrepanz zwischen den von LLMs inferierten Glaubenszuständen und dem axiomatisch berechneten Common Ground war hoch. In vielen Fällen war die Überlappung (DSC) nahe Null, was bedeutet, dass LLMs völlig andere Überzeugungszustände ableiten als die logisch fundierte Basis.
• Axiomatischer Ansatz: Der DEL-basierte Ansatz erwies sich als überraschend effektiv bei der Vorhersage der physischen Struktur und diente als robusterer Referenzpunkt als die LLMs.
• Fehlschlag-Szenario (Gruppe 7): In einer Gruppe, die die Aufgabe nicht erfolgreich abschloss, zeigten die LLMs eine bemerkenswerte Fähigkeit, das Fehlen von Common Ground zu erkennen (sie inferierten leere oder sehr kleine Glaubenssätze), was dem axiomatischen Ergebnis entsprach. Dies deutet darauf hin, dass LLMs „Verwirrung" erkennen können, aber Schwierigkeiten haben, den Inhalt von erfolgreichem Common Ground zu extrahieren.

5. Bedeutung und Fazit

Das Paper demonstriert, dass die Modellierung von Common Ground in multiparty, multimodalen und epistemisch asymmetrischen Umgebungen eine erhebliche Herausforderung für den aktuellen Stand der KI (SOTA) darstellt.

• Forschungsbeitrag: Es liefert eine kritische Lücke in der Forschung, indem es zeigt, dass reine Text- oder Dialogmodelle nicht ausreichen, um die Komplexität der menschlichen Zusammenarbeit zu verstehen, die physische Handlungen und geteilte Aufmerksamkeit erfordert.
• Zukunftsperspektive: Die Arbeit etabliert DPIP als neue Benchmark für die Forschung zu Theory of Mind, räumlichem Schlussfolgern und multimodalem Dialog-Management. Sie legt nahe, dass zukünftige KI-Systeme hybride Ansätze benötigen, die logische Inferenz (wie DEL) mit der Flexibilität von LLMs kombinieren, um in solchen dynamischen Umgebungen erfolgreich zu kollaborieren.

Zusammenfassend zeigt die Studie, dass aktuelle LLMs zwar starke diskursive Fähigkeiten besitzen, aber noch weit davon entfernt sind, die subtilen Mechanismen der gemeinsamen Wissenskonstruktion in Echtzeit-Physischen Umgebungen zu meistern.