🤖 AI

Humans' ALMANAC: A Human Collaboration Dataset of Action-Level Mental Model Annotations for Agent Collaboration

Das Papier stellt ALMANAC vor, einen Datensatz aus 2.987 Annotationen von Mental Models auf Aktionsebene, die aus der menschlichen dyadischen Kollaboration bei der Map Task abgeleitet wurden und darauf ausgelegt sind, die Lücke bei der Ausbildung und Evaluierung der Fähigkeit von LLM-Agenten zu schließen, abgestimmte Mental Models aufrechtzuerhalten und menschliche kollaborative Verhaltensweisen zu simulieren.

Ursprüngliche Autoren: Jiaju Chen, Yuxuan Lu, Jiayi Su, Chaoran Chen, Songlin Xiao, Zheng Zhang, Yun Wang, Yunyao Li, Jian Zhao, Tongshuang Wu, Toby Jia-Jun Li, Dakuo Wang, Bingsheng Yao

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiaju Chen, Yuxuan Lu, Jiayi Su, Chaoran Chen, Songlin Xiao, Zheng Zhang, Yun Wang, Yunyao Li, Jian Zhao, Tongshuang Wu, Toby Jia-Jun Li, Dakuo Wang, Bingsheng Yao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen gemeinsam mit einem Freund ein Bild einer Schatzkarte zu zeichnen, aber Sie befinden sich in verschiedenen Räumen. Sie können nur über einen Text-Chat miteinander kommunizieren. Eine Person (der Guide/Führer) hat die ursprüngliche Karte mit dem korrekt eingezeichneten Pfad. Die andere Person (der Follower/Nachfolger) hat eine leere Karte, auf der nur die Orientierungspunkte (wie ein Berg oder eine Brücke) zu sehen sind, aber kein Pfad vorhanden ist.

Um erfolgreich zu sein, müssen sie zusammenarbeiten: Der Guide beschreibt den Pfad und der Follower versucht, ihn zu zeichnen.

Dies ist der Kern eines neuen Forschungsprojekts namens ALMANAC. Hier ist die einfache Aufschlüsselung dessen, was die Forscher getan haben und warum es wichtig ist, unter Verwendung alltäglicher Analogien.

1. Das Problem: Roboter sind gut im „Tun“, aber schlecht im „Gemeinsamen Denken“

Derzeitige KI-Agenten (wie fortschrittliche Chatbots) sind großartig darin, Befehlen zu folgen. Wenn Sie sagen: „Buche einen Flug“, tun sie es. Aber echte menschliche Zusammenarbeit besteht nicht nur darin, Befehlen zu folgen; es geht um mentale Abstimmung (Mental Alignment).

Denken Sie an ein menschliches Team wie an eine Jazzband. Sie lesen nicht nur Noten; sie hören ständig einander zu, erraten, was der andere Musiker als Nächstes spielen wird, und passen ihren eigenen Rhythmus in Echtzeit an. Sie haben ein „gemeinsames mentales Modell“.

Selbstreflexion: „Warum spiele ich diesen Ton?“
Partner-Intention: „Was versucht mein Bandkollege gerade zu tun?“
Teamziel: „Spielen wir immer noch eine Jazz-Melodie oder sind wir in den Rock driften?“

Das Paper argumentiert, dass die heutige KI wie ein Roboter ist, der zwar weiß, wie man sein eigenes Instrument perfekt spielt, aber keine Ahnung hat, was der Rest der Band gerade denkt. Bestehende Datensätze zeichnen nur auf, was Menschen gesagt und was sie getan haben, aber sie erfassen nicht das Warum in ihrem Kopf.

2. Die Lösung: ALMANAC (Der „Gedankenlese“-Datensatz)

Die Forscher haben einen neuen Datensatz namens ALMANAC erstellt, um dies zu beheben. Sie nahmen die oben beschriebene „Karten-Aufgabe“ und fügten eine spezielle Beobachtungsebene hinzu.

So wurden die Daten gesammelt:

Das Spiel: 50 Personen spielten die Karten-Aufgabe in Paaren (insgesamt 25 Paare).
Die „Checkpoints“: Jedes Mal, wenn das Paar 25 %, 50 % und 75 % der Aufgabe erreicht hatte, wurde das Spiel kurz pausiert. Die Spieler mussten schnell in ein Mikrofon sprechen und antworten: „Was glaubst du, ist unser Ziel in diesem Moment?“ „Was glaubst du, versucht dein Partner gerade zu tun?“ und „Warum hast du das gerade getan?“
Das Replay: Nach dem Spiel schauten sich die Spieler eine Wiedergabe ihrer eigenen Handlungen an. Für jede einzelne Bewegung, die sie machten (eine Linie ziehen, einen Fehler korrigieren, eine Nachricht senden), mussten sie ihren mentalen Zustand erneut deklarieren.

Das Ergebnis:
Sie erhielten 2.987 spezifische Aktionen, und für jede einzelne davon haben sie eine Aufzeichnung von:

Der ausgeführten Aktion (z. B. „Linie gezeichnet“).
Dem Teamziel (z. B. „Wir versuchen, die Brücke mit dem Berg zu verbinden“).
Der Partner-Intention (z. B. „Ich glaube, mein Partner ist verwirrt über die Richtung“).
Der Selbstreflexion (z. B. „Ich habe diese Linie gezeichnet, weil ich dachte, der Berg sei links“).
Einer Begründung (Rationale) (eine freie Erklärung ihres Denkprozesses).

3. Das Experiment: Kann KI „Gedanken lesen“?

Die Forscher testeten sechs verschiedene KI-Modelle (darunter große wie GPT-5.5 und Claude), um zu sehen, ob sie diesen neuen Datensatz nutzen können, um wie ein menschlicher Kollaborateur zu agieren. Sie gaben der KI zwei Aufgaben:

Die nächste Bewegung vorhersagen: „Basierend auf dem, was bisher geschah, was wird der Mensch als Nächstes tun?“
Den mentalen Zustand vorhersagen: „Basierend auf dem, was bisher geschah, was denkt der Mensch gerade?“

Die Ergebnisse:

Das „Was“ ist einfach, das „Warum“ ist schwer: Die KI-Modelle waren ziemlich gut darin, die nächste Aktion vorherzusagen (z. B. „Der Mensch wird wahrscheinlich eine Linie zeichnen“).
Der „Geist“ ist knifflig: Die Modelle hatten Schwierigkeiten, die internen Gedanken (die mentalen Modelle) vorherzusagen. Sie konnten das gemeinsame Ziel recht gut erraten (z. B. „Wir bauen eine Brücke“), aber sie waren schlecht darin, die private, persönliche Begründung des Menschen zu erraten (z. B. „Ich zeichne das, weil ich nervös bin“).
Die Rolle spielt eine Rolle:
- Guides (die Anweisungen geben) waren mental schwerer für die KI vorhersehbar, da ihre Gedanken komplexe räumliche Planungen beinhalten, die nicht immer laut ausgesprochen werden.
- Follower (die zeichnen) waren mental leichter vorhersehbar, da ihre Gedanken direkt durch die expliziten Anweisungen des Guides geformt werden.
Training hilft: Als sie ein kleineres KI-Modell mit diesem spezifischen Datensatz „trainierten“ (Fine-Tuning), wurde es deutlich besser darin, menschliches Verhalten zu simulieren, und holte fast die riesigen, teuren Modelle ein.

4. Das Fazit

Das Paper kommt zu dem Schluss, dass wir KI zu echten Kollaborateuren machen können, indem wir sie nicht nur darauf trainieren, Aufgaben zu erledigen. Wir müssen sie darauf trainieren, wie Menschen beim Zusammenarbeiten denken.

ALMANAC ist der erste Datensatz, der menschliche Handlungen mit diesen „Aktions-basierten mentalen Modellen“ koppelt. Er zeigt, dass KI zwar besser darin wird, menschliches Verhalten zu simulieren, aber immer noch Schwierigkeiten hat, die unsichtbare, interne Logik zu verstehen, die menschliche Teamarbeit ausmacht. Der Datensatz bietet die „Stützräder“, die benötigt werden, um KI beizubringen, ihr mentales Modell mit dem eines Menschen abzugleichen, anstatt nur blind Befehlen zu folgen.

Technischer Zusammenfassung: ALMANAC

Problemstellung

Jüngste Fortschritte bei Large Language Model (LLM) Agenten haben ihnen komplexe kognitive Fähigkeiten verliehen, wie etwa mehrstufiges Denken und den Einsatz von Werkzeugen, was sie zu potenziellen menschlichen Kollaborationspartnern macht. Eine effektive Zusammenarbeit erfordert jedoch mehr als nur die Erledigung von Aufgaben; sie erfordert die kontinuierliche Aufrechterung und Abstimmung von mentalen Modellen – insbesondere das Selbst-Nachdenken über das eigene Handeln, die wahrgenommene Absicht des Partners und das Verständnis gemeinsamer Teamziele.

Die aktuelle Forschung und Benchmarks zur Mensch-Agent-Kollaboration (z. B. ToolBench, WebArena, MultiAgentBench) bewerten Agenten primär auf aufgabenorientierte Interaktionen und unabhängige Aufgabenerfüllung. Es fehlt ihnen an authentischen Daten zur menschlichen Zusammenarbeit, die Mental-Model-Annotationen auf Aktionsebene beinhalten. Bestehende Datensätze menschlicher Interaktionen erfassen beobachtbare Abläufe (Dialoge, Ergebnisse), lassen aber den kritischen kognitiven Inhalt hinter kollaborativen Verhaltensweisen aus. Infolgedessen fehlt der Community die notwendige Datenbasis, um Agenten zu prozessorientierter kollaborativer Kompetenz und zur Fähigkeit zu führen, menschliche kollaborative Verhaltensweisen zu simulieren und zugrunde liegende mentale Zustände zu inferieren.

Methodik

Datensatz-Konstruktion: ALMANAC

Um diese Lücke zu schließen, präsentieren die Autoren ALMANAC (Action-Level Mental model ANnotations for Agent Collaboration), einen Datensatz, der aus dem Map Task abgeleitet wurde, einer klassischen dyadischen Routing-Aufgabe aus den Sozialwissenschaften.

Aufgabendesign: Zwei Teilnehmer (ein Guide und ein Follower) arbeiten zusammen, um eine Route auf einer Karte mittels textbasierter Kommunikation und Arbeitsraum-Aktionen (Zeichnen, Löschen) zu reproduzieren. Der Guide sieht die vollständige Route; der Follower sieht nur Landmarken.
Experimentelle Bedingungen: Die Studie manipuliert die Sichtbarkeit der Leinwand als Between-Subjects-Faktor:
- $C_{not\_visible}$ : Der Guide kann die Echtzeit-Zeichnung des Followers nicht sehen.
- $C_{visible}$ : Der Guide kann die Live-Leinwand des Followers betrachten.
Annotations-Framework: Basierend auf Theorien zu Teamarbeitsprozessen, Situationsbewusstsein und Common Ground erfasst das Framework mentale Modelle auf Aktionsebene durch einen zweistufigen Prozess:
1. In-Session Checkpoints: Bei 25 %, 50 % und 75 % des Aufgabenfortschritts erstellen die Teilnehmer kurze Echtzeit-Berichte über Teamziele, Partnerabsichten und Selbst-Nachdenken via Sprachaufnahme.
2. Post-Session Retrospective Labeling: Unmittelbar nach der Aufgabe überprüfen die Teilnehmer ihren Aktionsverlauf und Screenshots. Für jede Aktion liefern sie:
  - Freitextliche Begründung (Rationale): Erklärung des kognitiven Prozesses hinter der Aktion.
  - Strukturierte Labels: Kategorische Auswahl für Teamziel, Wahrgenommene Partnerabsicht und Selbst-Nachdenken sowie einen Indikator für den Abstimmungsstatus.
Datendimension: Der Datensatz umfasst 2.987 Kollaborations-Aktionen von 50 Teilnehmern aus 25 dyadischen Sitzungen. Die Aktionen werden in diskrete Rasterdarstellungen standardisiert, um die LLM-Verarbeitung zu erleichtern, ohne auf Bildverständnis angewiesen zu sein.

Benchmark-Experimente

Die Autoren evaluierten sechs LLMs (vier Open-Source/proprietär: Qwen3.6-35B, Llama 3.3 70B, GPT-5.5, Claude 4.6 Sonnet; und zwei feinabgestimmte: Qwen3-4B, Qwen3-30B-A3B) in zwei Aufgaben:

Vorhersage des nächsten Verhaltens (Next-Turn Behavior Prediction): Vorhersage der nächsten Aktion (Nachricht, Zeichnen, Löschen usw.) gegeben die Interaktionshistorie und Persona.
Vorhersage des mentalen Modells (Mental Model Prediction): Vorhersage des mentalen Zustands des Teilnehmers (Teamziel, Partnerabsicht, Selbst-Nachdenken, Rationale) für die nächste Runde.

Die Experimente verglichen Standard-Prompting, das Fine-Tuning auf ALMANAC und den Einschluss von Ground-Truth-Mental-Model-Annotationen als Input-Signale.

Kernbeiträge

ALMANAC-Datensatz: Der erste Datensatz zur menschlichen Kollaboration, der authentische kollaborative Verhaltensweisen mit teori-basierten Mental-Model-Annotationen auf Aktionsebene kombiniert.
Annotations-Framework: Ein neuartiges Design, das In-Session-Checkpoints mit Post-Session-Retrospective-Labeling kombiniert, um dynamische mentale Modelle und Freitext-Rationales auf der Granularität einzelner Aktionen zu erfassen.
Empirisches Benchmarking: Eine umfassende Evaluierung von sechs LLMs, die zeigt, dass Mental-Model-Annotationen zwar nützliche Signale für die Vorhersage kollaborativen Verhaltens liefern, aktuelle Modelle jedoch Schwierigkeiten haben, private Denkprozesse zu inferieren.

Ergebnisse

Vorhersage des nächsten Verhaltens (Next-Turn Behavior Prediction)

Rollenasymmetrie: Die Vorhersage der nächsten Aktion des Guides (beschränkt auf Nachrichten) war trivial (100 % Genauigkeit), während die Vorhersage der Aktion des Followers (beinhaltet Zeichnen, Löschen und Interpretieren) signifikant schwieriger war.
Sichtbarkeitseffekt: Modelle performten generell besser in der $C_{not\_visible}$ -Bedingung als in der $C_{visible}$ -Bedingung. Die Autoren führen dies auf die höhere Verhaltensvariabilität und die stärkere Abhängigkeit von visuell begründeten Korrekturen in der sichtbaren Bedingung zurück, die aus der Text-Historie allein schwerer zu inferieren sind.
Einfluss von Mentalen Modellen: Das Hinzufügen von Ground-Truth-Mental-Model-Annotationen als Input verbesserte generell die Leistung bei der Vorhersage der Follower-Aktionen, insbesondere bei der Zeichngenauigkeit in der $C_{not\_visible}$ -Bedingung. Dies deutet darauf hin, dass die Verhaltensweisen der Follower stärker in latenten Denkzuständen verwurzelt sind als die des Guides.
Fine-Tuning: Kleinere Modelle, die auf ALMANAC feinabgestimmt wurden (Qwen3-4B), erreichten eine Performance, die mit größeren proprietären Modellen vergleichbar ist, was zeigt, dass gezielte Supervision durch kollaborationsspezifische Daten die Lücke zu größeren Modellen schließen kann.

Vorhersage des mentalen Modells (Mental Model Prediction)

Vorhersagbarkeits-Hierarchie: Teamziel und Partnerabsicht waren signifikant leichter vorherzusagen als das Selbst-Nachdenken. Dies deckt sich mit der Beobachtung, dass geteilte Komponenten oft im Dialog und Fortschritt reflektiert werden, während das Selbst-Nachdenken private Motivationen erfasst, die nicht explizit geäußert werden.
Rollenasymmetrie: Mentale Modelle der Follower waren leichter vorherzusagen als die der Guides. Das Denken der Guides beinhaltet komplexe räumliche Planung und Partner-Monitoring, was allein aus der Interaktionshistorie schwer zu inferieren ist.
Effektivität des Fine-Tunings: Feinabgestimmte Modelle (speziell Qwen3-4B) zeigten eine überlegene Leistung bei der Vorhersage der mentalen Modelle und Rationales der Follower im Vergleich zu Prompt-basierten Modellen, was darauf hindeutet, dass ALMANAC eine effektive Supervision für das Erlernen kollaborationsrelevanter Denkprozesse bietet.
Limitierungen: Kein einzelnes Modell konnte konsistent andere über alle Bedingungen hinweg übertreffen. Die geringe Genauigkeit bei der Vorhersage des Selbst-Nachdenkens unterstreicht die Herausforderung, private mentale Modelle zu inferieren.

Bedeutung und Behauptungen

Das Paper behauptet, dass ALMANAC eine fundamentale Ressource für die Entwicklung von LLM-Agenten bereitstellt, die als echte kollaborative Partner fungieren statt lediglich als reine Aufgabenlöser.

Diagnostischer Wert: Die Ergebnisse deuten darauf hin, dass Mental-Model-Annotationen zwar Signale jenseits der Interaktionshistorie bieten, aktuelle LLMs diese jedoch nicht zuverlässig nutzen, um privates Denken zu inferieren. Die Lücke zwischen der Vorhersage geteilter Zustände (Teamziel) und privater Zustände (Selbst-Nachdenken) verdeutlicht eine fundamentale Limitation aktueller Modelle bei der Simulation der kognitiven Prozesse, die effektive Kollaboration vorantreiben.
Prozess-Kompetenz: Durch die Verankerung der Evaluierung in authentischen menschlichen Daten mit theoretisch fundierten Annotationen eröffnet ALMANAC einen Weg zu Agenten, die in der Lage sind, mentale Modelle während einer Kollaboration aufrechtzuerhalten und abzugleichen, womit ein kritisches Defizit aktueller Agent-Benchmarks adressiert wird, die sich rein auf die Aufgabenerfüllung konzentrieren.
Moderater Umfang: Die Autoren räumen Einschränkungen ein, darunter die Abhängigkeit von retrospektiver Berichterstattung (anfällig für Recall-Bias), die moderate Datensatzgröße im Vergleich zu großskaligen NLP-Benchmarks und die Beschränkung auf eine einzige Aufgaben-Domäne (Map Task). Sie merken an, dass zukünftige Arbeit nötig ist, um diese Erkenntnisse auf diverse, reale Domänen zu übertragen und multimodale Ansätze für ein besseres räumliches Verständnis zu explorieren.