💻 computer science

Are you with me? A Framework for Detecting Mental Model Discrepancies in Task-Based Team Dialogues

Dieser Beitrag schlägt einen Rahmen zur Kategorisierung von vier Arten mentaler Modell-Diskrepanzen in Teamdialogen vor und zeigt, dass die Analyse dieser Diskrepanzmuster zukünftige Fehljustierungen vorhersagen kann, wodurch eine Echtzeit-Alternative zu traditionellen retrospektiven Bewertungsmethoden geboten wird.

Ursprüngliche Autoren: Katharine Kowalyshyn, Matthias Scheutz

Veröffentlicht 2026-05-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Katharine Kowalyshyn, Matthias Scheutz

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie und ein Freund spielen gemeinsam ein Videospiel, bei dem Sie versteckte Objekte finden müssen. Doch hier liegt der Haken: Sie beide sehen die Welt unterschiedlich.

Sie (Der Entdecker) haben eine Karte und eine Liste dessen, wonach Sie suchen sollen, aber Ihr Sehvermögen ist unscharf, und Sie können nur Dinge aus der Nähe erkennen.
Ihr Freund (Der Fotograf) verfügt über superkräftige Ferngläser, mit denen er weit in die Ferne sehen kann, aber er hat keine Ahnung, wonach er suchen soll. Er ist vollständig auf Ihre Stimme angewiesen, um ihm zu sagen, wohin er zielen soll.

Um zu gewinnen, müssen Sie ständig sprechen. Sie sagen: „Schau nach links!", und er sagt: „Ich sehe es!"

Das Problem: Wenn Ihre Gedanken nicht übereinstimmen

Die Studie argumentiert, dass Teamarbeit nicht nur deshalb scheitert, weil zu wenig gesprochen wird, sondern weil Ihre mentalen Karten (das, was Sie glauben, was passiert) nicht mehr übereinstimmen.

Manchmal denken Sie, das Objekt sei links, und Ihr Freund denkt, es sei rechts. Manchmal kennen Sie eine geheime Regel des Spiels, vergessen aber, sie Ihrem Freund mitzuteilen, sodass er mit veralteten, falschen Informationen arbeitet.

Die Forscher bezeichnen diese Diskrepanzen als „Diskrepanzen in mentalen Modellen". Sie wollten herausfinden: Können wir unser Gespräch anhören, diese Diskrepanzen erkennen und vorhersagen, ob Ihr Team später versagen wird?

Die vier Arten von „Gedanken-Diskrepanzen"

Die Autoren entwickelten ein System, um diese Missverständnisse anhand einfacher Beispiele in vier Kategorien einzuteilen:

Widersprüchliche Überzeugungen (Der „Er-sagte/Sie-sagte"-Streit):
- Vergleich: Sie sagen: „Die Brücke ist sicher zu überqueren!", und Ihr Freund sagt: „Nein, die Brücke ist kaputt!"
- Was es ist: Beide haben starke Meinungen, aber sie sind direkte Gegensätze.
Auslassungen (Die „stille Lücke"):
- Vergleich: Sie sehen einen riesigen Bären hinter Ihrem Freund, vergessen aber, ihn zu erwähnen. Die mentale Karte Ihres Freundes enthält keinen Bären, obwohl er es aufgrund der Regeln wissen sollte.
- Was es ist: Eine Person weiß etwas Wichtiges, aber im Kopf der anderen Person ist dies eine Lücke. Dies war das häufigste Problem in der Studie.
Unbegründete Überzeugungen (Die „wilde Vermutung"):
- Vergleich: Sie sagen: „Ich denke, der Schatz ist in der Höhle", aber Sie haben keine Karte, keine Hinweise, und Ihr Freund hat dies nicht bestätigt. Sie fühlen es einfach nur.
- Was es ist: Eine Überzeugung, die niemand sonst teilt, und für die es noch keinen Beweis gibt, ob sie wahr oder falsch ist.
Falsche Überzeugungen (Die „falsche Tatsache"):
- Vergleich: Sie sagen: „Der Schatz ist in der Höhle", aber die Spielregeln besagen eindeutig, dass er im Wald ist. Sie sind sich Ihrer falschen Annahme sicher.
- Was es ist: Eine Überzeugung, die durch die Fakten als falsch erwiesen wird.

Was sie herausfanden

Die Forscher beobachteten 20 Paare, die dieses Spiel durch vier verschiedene Levels spielten (wie eine Polizeiverfolgung, eine Bergrettung usw.). Sie nutzten ein Computerprogramm (eine KI), um die Gespräche zu analysieren und diese vier Arten von Fehlern zu zählen.

Hier ist, was sie entdeckten:

Der Kristallkugel-Effekt: Wenn ein Team in den ersten Levels viele „Gedanken-Diskrepanzen" hatte, war es wahrscheinlich, dass sie auch im letzten Level viele davon hatten. Selbst eine einfache mathematische Formel (nur die Durchschnittsbildung vergangener Fehler) konnte zukünftige Fehler mit einer gewissen Genauigkeit vorhersagen.
Die „stille Lücke" ist der König: Auslassungen (das Vergessen, Informationen zu teilen) waren das häufigste Problem. Sie waren auch am stabilsten. Wenn ein Team frühzeitig schlecht darin war, Informationen zu teilen, blieben sie schlecht darin.
Der „Streit" ist volatil: Widersprüche (Meinungsverschiedenheiten) schwankten stark. Manche Teams stritten anfangs viel, lernten aber später, sich zu einigen. Andere stritten weiter.
Selten, aber gefährlich: „Falsche Überzeugungen" und „wilde Vermutungen" waren sehr selten. Wenn sie auftraten, geschah dies meist nur in Teams, die ohnehin bereits mit allem anderen kämpften.

Warum das wichtig ist

Die Studie legt nahe, dass wir nicht warten müssen, bis ein Team scheitert, um zu wissen, dass es Probleme gibt. Indem wir hören, wie sie sprechen, können wir die spezifische Art des Problems erkennen, mit dem sie kämpfen:

Wenn sie Informationen zu teilen vergessen, brauchen sie eine Checkliste oder ein Protokoll mit der Frage: „Hast du es ihnen gesagt?"
Wenn sie ständig streiten, brauchen sie Hilfe, um ihre grundlegenden Meinungsverschiedenheiten bezüglich des Plans zu klären.

Das Fazit

Die Studie beweist, dass wie ein Team spricht, offenbart, wie es denkt. Indem wir die spezifischen Wege kategorisieren, auf denen ihre Gedanken auseinanderdriften (Vergessen, Streiten, Raten oder Falschliegen), können wir vorhersagen, ob sie Erfolg haben oder scheitern werden, noch bevor das Spiel zu Ende ist. Es verwandelt ein chaotisches Gespräch in ein klares Warnsignal.

Technisches Fazit: "Bist du bei mir? Ein Rahmenwerk zur Erkennung von Diskrepanzen in mentalen Modellen in aufgabenbasierten Teamdialogen"

Problemstellung

Effektive Teamarbeit beruht auf geteilten mentalen Modellen (Shared Mental Models, SMMs), bei denen Teammitglieder überlappende Repräsentationen von Aufgabenzuständen, Zielen und Fähigkeiten der Teamkollegen unterhalten. Während traditionelle Methoden zur Bewertung von SMMs (z. B. retrospektive Expertenkodierung, Fragebögen) globale Ähnlichkeitswerte liefern, erfassen sie nicht die dynamische, Echtzeit-Natur von Koordinationsstörungen. Insbesondere fehlt es in der bestehenden Literatur an einer systematischen Kategorisierung, wie mentale Modelle während natürlicher Teamdialoge voneinander abweichen und ob spezifische Muster der Fehlausrichtung zukünftige Koordinationsausfälle vorhersagen können. Diese Arbeit schließt die Lücke im Verständnis der spezifischen Arten von Diskrepanzen, die entstehen, wenn Aktualisierungen nicht kommuniziert werden, und untersucht, wie sich diese Diskrepanzen über sequenzielle Aufgabensituationen hinweg entwickeln.

Methodik

Experimenteller Aufbau:
Die Studie nutzte eine kollaborative Objekterkennungsaufgabe in einer Videospielumgebung mit 20 Dyaden-Teams. Die Aufgabe zeichnete sich durch asymmetrische Informationen aus: Ein „Spotter" verfügte über detaillierte schriftliche Anweisungen, aber einen begrenzten Sichtbereich, während ein „Fotograf" über verbesserte Ferngläser verfügte, sich jedoch vollständig auf verbale Hinweise des Spotters verließ. Das Experiment bestand aus vier sequenziellen Levels (Lokale Strafverfolgung, Bergsuche und -rettung, Strandpatrouille und Wilderei), die jeweils acht Minuten dauerten.

Datenverarbeitung:
Alle Teamkommunikationen wurden mit Large Language Models (LLMs) transkribiert und von menschlichen Annotatoren verifiziert. Ein zuvor entwickeltes LLM-Modell (derzeit in Begutachtung) wurde eingesetzt, um Aktualisierungen mentaler Modelle zu erkennen und Diskrepanzen auf dem Niveau menschlicher Annotation zu kategorisieren.

Rahmenwerk zur Kategorisierung von Diskrepanzen:
Die Autoren schlagen ein Rahmenwerk vor, das vier verschiedene Arten von in Dialogen beobachtbaren Diskrepanzen mentaler Modelle identifiziert:

Widersprüchliche Überzeugungen (Belief Contradiction): Ein Mitglied glaubt $X$ , während ein anderes $\neg X$ glaubt (z. B. widersprüchliche Ansichten zur Stabilität eines Objekts).
Auslassung (Omission): Das mentale Modell eines Mitglieds fehlt eine Überzeugung, die ein anderes Mitglied hält, abgeleitet aus rollenbasierten Erwartungen an Wissen im Vergleich zum kommunizierten Inhalt.
Nicht gestützte Überzeugungen (Unsupported Beliefs): Von einem Mitglied identifizierte Überzeugungen, die weder durch die Grundwahrheit noch durch andere Mitglieder widerlegt oder gestützt werden (nicht verifizierbar).
Falsche Überzeugungen (False Beliefs): Überzeugungen, die explizit durch etablierte Grundwahrheit widerlegt werden (z. B. falsche Standortdaten).

Vorhersagemodell:
Um zu testen, ob historische Diskrepanzmuster zukünftige Leistungen vorhersagen, verwendeten die Autoren ein Baseline-Modell mit gewichteter Summe. Die vorhergesagte Diskrepanzanzahl für ein Ziel-Level ( $L_{target}$ ) wurde als Summe der Diskrepanzanzahlen aus vorherigen Levels ( $L_i$ ) multipliziert mit Gewichten ( $w_i$ ) berechnet.
$L_{target}(d) = \sum_{i \neq target} w_i L_i(d), \quad \sum w_i = 1$
Die Studie nutzte eine uniforme Gewichtung als Baseline ( $w_i = 1/n$ ) unter der Annahme, dass alle vorherigen Levels gleichwertig beitragen. Komplexere Schemata (z. B. rezensengewichtet, typspezifisch) wurden als theoretische Erweiterungen vorgeschlagen, aber in dieser Arbeit nicht empirisch getestet.

Wichtige Ergebnisse

Verteilung der Diskrepanzen:
Über 20 Teams und vier Levels hinweg wurden insgesamt 1.447 Diskrepanzen identifiziert.

Auslassungen waren die dominante Kategorie und stellten sowohl absolut gesehen die größte Quelle für Gesamtdiskrepanzen als auch für Vorhersagefehler dar.
Widersprüchliche Überzeugungen zeigten eine hohe Volatilität über die Levels und Teams hinweg.
Falsche Überzeugungen und Nicht gestützte Überzeugungen waren selten, traten in weniger als 20 % der Teambeobachtungen auf und trugen vernachlässigbar zum gesamten Vorhersagefehler bei.

Vorhersagegenauigkeit:
Unter Verwendung der uniformen Durchschnitts-Baseline erreichte das Modell eine paarweise Korrelation von 0,56 ( $p=0,01$ ) zwischen vorhergesagten und tatsächlichen Diskrepanzanzahlen für Level 4 basierend auf den Levels 1–3.

Die Autoren warnen, dass diese Korrelation möglicherweise Stabilität in teamspezifischen Basisraten widerspiegelt und nicht einen mechanistischen kausalen Zusammenhang, da die Zählungen in Level 4 wahrscheinlich mit früheren Levels autokorreliert sind.
Einige Teams (z. B. Team 6) zeigten vorhersehbare Verläufe, bei denen basisbedingte Herausforderungen trotz vorübergehender Verbesserungen fortbestanden, während andere (z. B. Teams 13, 16) erhebliche Abweichungen im letzten Level aufwiesen.

Validierung:
Um die LLM-basierte Erkennung zu validieren, korrelierten die Autoren die Diskrepanzanzahlen mit einer objektiven Bewertungsmetrik, die auf der Leistung bei der Objekterkennung basierte (visuelle Bestätigung spezifischer Objekte). Team 16, das signifikant mehr SMM-Diskrepanzen (insbesondere Auslassungen und Widersprüche) aufwies, erzielte einen niedrigeren Wert (26,3 %) als Team 8 (42,1 %), was die Behauptung stützt, dass kommunikationsbedingte Fehlausrichtungen in messbaren Leistungsabfällen manifestieren.

Bedeutung und Behauptungen

Die Arbeit behauptet, die erste systematische Kategorisierung von SMM-Diskrepanztypen in natürlicher Teamkoordination zu liefern. Ihre Hauptbeiträge sind:

Theoretisches Rahmenwerk: Unterscheidung zwischen vier spezifischen Arten von Fehlausrichtungen (Auslassungen, Widersprüche, falsche Überzeugungen, nicht gestützte Überzeugungen) anstatt SMM-Qualität als monolithische Metrik zu behandeln.
Temporale Dynamik: Nachweis, dass verschiedene Diskrepanztypen unterschiedliche temporale Stabilität aufweisen. Auslassungen zeigten stabile Muster über die Levels hinweg, was darauf hindeutet, dass Informationsweitergebungsverhalten widerstandsfähig gegen Veränderungen sind. Im Gegensatz dazu zeigten widersprüchliche Überzeugungen eine größere Volatilität, wobei einige Teams sie durch Dialog lösten, andere jedoch nicht.
Vorhersagepotenzial: Demonstration, dass selbst eine einfache uniforme Gewichtung historischer Diskrepanzanzahlen eine aussagekräftige Vorhersagegenauigkeit liefern kann, was darauf hindeutet, dass frühzeitige Koordinationsmuster Verläufe etablieren, die fortbestehen.

Die Autoren schließen bescheiden, dass das Rahmenwerk zwar gezielte Interventionsstrategien ermöglicht (z. B. Behandlung von Informationslücken versus interpretativen Meinungsverschiedenheiten), das aktuelle additive Modell jedoch Unabhängigkeit zwischen Diskrepanztypen annimmt, was die Realität möglicherweise nicht widerspiegelt (z. B. Auslassungen, die zu Widersprüchen eskalieren). Zukünftige Arbeiten sind erforderlich, um teamspezifische Lernkurven und typspezifische Dynamiken zu integrieren.