🤖 AI

EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents

Das Papier stellt EnactToM vor, einen rigoros verifizierten und sich entwickelnden Benchmark aus 300 embodied Multi-Agenten-Aufgaben, der eine kritische Lücke in aktuellen Frontier-KI-Modellen aufzeigt, die bei wörtlichen Glaubensfragen zwar hervorragend abschneiden, aber bei der funktionalen Theory of Mind, die erforderlich ist, um in komplexen, teilweise beobachtbaren Umgebungen auf implizite Überzeugungen zu handeln, vollständig versagen (0,0 % Erfolg).

Ursprüngliche Autoren: Gurusha Juneja, Dylan Lu, Saaket Agashe, Parth Diwane, Edward Gunn, Jayanth Srinivasa, Gaowen Liu, William Yang Wang, Yali Du, Xin Eric Wang

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gurusha Juneja, Dylan Lu, Saaket Agashe, Parth Diwane, Edward Gunn, Jayanth Srinivasa, Gaowen Liu, William Yang Wang, Yali Du, Xin Eric Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie spielen mit einem Freund in einem riesigen, mehrstöckigen Haus ein Spiel „Verstecken". Doch es gibt eine Wendung: Sie beide haben Walkie-Talkies, aber das Signal ist schwach, Sie können nur ein paar Worte sagen und Sie können nicht sehen, was Ihr Freund sieht. Sie wissen, wo der Schatz ist, Ihr Freund jedoch nicht. Ihr Freund weiß, wo der Schlüssel ist, Sie jedoch nicht. Um zu gewinnen, müssen Sie herausfinden, was Ihr Freund denkt, dass Sie wissen, und was er wissen muss, ohne einfach nur die Antwort herauszuschreien.

Dies ist die Kernherausforderung von EnactToM, einem neuen Test für KI-Agenten, der in der Studie beschrieben wird.

Hier ist die Aufschlüsselung der Studie in einfachen Worten:

1. Das Problem: „Reden" vs. „Tun"

Aktuelle KI-Modelle sind hervorragend darin, darüber zu sprechen, was andere denken. Wenn Sie eine KI fragen: „Weiß Ihr Partner, dass der Kühlschrank offen ist?", kann sie dies meist korrekt beantworten. Die Studie nennt dies Literal Theory of Mind (wörtliche Theorie des Geistes). Es ist, als wäre man ein Zuschauer, der das Spiel perfekt beschreiben kann.

Wenn die KI jedoch tatsächlich in das Spiel eingebunden ist und auf diesem Wissen basierend handeln muss, scheitert sie oft. Dies ist Functional Theory of Mind (funktionale Theorie des Geistes). Die Studie argumentiert, dass nur weil eine KI sagen kann, was ein Partner weiß, nicht bedeutet, dass sie weiß, wie man diese Information nutzt, um zusammenzuarbeiten.

Die Analogie: Stellen Sie sich einen Koch vor, der ein Rezept perfekt beschreiben kann (Literal), aber die Suppe verbrennt, weil er nicht bemerkt hat, dass der Herd bereits an war (Functional). Die KI kann den mentalen Zustand ihres Partners beschreiben, scheitert aber daran, ihre Handlungen mit diesem Partner zu koordinieren.

2. Die Lösung: Ein neues „Fitnessstudio" für KI (EnactToM)

Die Forscher haben einen neuen Testbereich namens EnactToM entwickelt. Stellen Sie sich ein dreidimensionales virtuelles Haus vor, in dem KI-Agenten zusammenarbeiten müssen, um Hausarbeiten zu erledigen (wie eine Schüssel auf einen Tisch stellen oder einen Kühlschrank öffnen).

Das Setup: Die Agenten befinden sich in verschiedenen Räumen (partielle Beobachtbarkeit). Sie haben geheime Hinweise, die nur sie kennen (private Informationen). Sie können nur kurze Textnachrichten senden (eingeschränkte Kommunikation).
Das Ziel: Sie müssen die Aufgabe abschließen, indem sie herausfinden, was der andere weiß, und ihre Handlungen entsprechend anpassen.
Die „evolutionäre" Wendung: Dies ist kein statischer Test. Wenn KI-Modelle intelligenter werden und die einfachen Level bestehen, generiert das System automatisch schwierigere, kniffligere Rätsel basierend darauf, wo die KI gerade gescheitert ist. Es ist wie ein Videospiel, das schwieriger wird, je besser man spielt, und sicherstellt, dass der Test nie „stagniert".

3. Wie sie es gebaut haben (Der „Roboter-Architekt")

Anstatt dass Menschen jeden einzelnen Test schreiben (was ewig dauern würde), nutzten sie einen autonomen Codierungs-Agenten (einen Roboter-Programmierer), um die Tests zu erstellen.

Dieser Roboter schreibt die Spielregeln.
Anschließend prüft er die Regeln mit einem „Richter-Gremium" (zwei weitere KIs), um sicherzustellen, dass das Spiel fair, lösbar ist und tatsächlich Teamarbeit erfordert.
Er führt eine „Probierunde" durch, in der alle alle Geheimnisse kennen. Wenn die KI selbst dann scheitert, wird der Test verworfen, weil die Aufgabe physisch und nicht mental zu schwierig ist.
Wenn die KI die Probierunde besteht, aber die echte Runde (in der Geheimnisse verborgen sind) scheitert, wird der Test beibehalten. Dies beweist, dass die KI aufgrund mangelnder Teamarbeit gescheitert ist und nicht, weil sie den Gegenstand nicht finden konnte.

4. Die Ergebnisse: Die „Sagen-Tun"-Lücke

Die Forscher testeten sieben der intelligentesten KI-Modelle, die heute verfügbar sind. Die Ergebnisse waren drastisch:

Reden: Wenn sie gebeten wurden, einfach nur zu berichten, was ihr Partner wusste, waren die KIs passabel und lagen bei etwa 45 % richtigen Antworten.
Tun: Wenn sie gebeten wurden, tatsächlich zusammenzuarbeiten, um die Aufgabe zu erledigen, erreichte jedes einzelne Modell 0 % bei der schwierigsten Version des Tests. Sie konnten nicht zuverlässig koordinieren.

Das Urteil: Die KIs sind hervorragende „Zuschauer-Quarterbacks" (sie können das Spiel analysieren), aber terrible „Spieler auf dem Feld" (sie können den Spielzug nicht ausführen).

5. Warum scheitern sie? (Die 5 Zusammenbrüche)

Die Forscher untersuchten die Fehler genau und fanden fünf spezifische Wege, auf denen die KI-Teamarbeit zusammenbricht:

Zurückhalten von Informationen: Eine KI kennt eine entscheidende Tatsache, wartet aber zu lange, um es ihrem Partner zu sagen, was dazu führt, dass der Partner einen Fehler macht.
Unterbrochene Ketten: Eine KI erledigt die physische Aufgabe (öffnet den Kühlschrank), vergisst aber, es dem Partner zu sagen, sodass der Partner nicht weiß, dass die Arbeit erledigt ist.
Sabotage: Bei Aufgaben, bei denen Agenten eigene private Ziele haben, zerstören sie manchmal versehentlich (oder absichtlich) das gemeinsame Ziel, weil sie nicht verstehen, wie ihre Handlungen den Partner beeinflussen.
Falsche Nachrichten: Sie verschwenden ihre begrenzten „Textnachrichten" an die falsche Person oder über unwichtige Details.
Ignorieren von Grenzen: Sie bitten einen Partner, etwas Unmögliches zu tun, wie zum Beispiel einen Raum zu betreten, in den er ausgesperrt ist.

Zusammenfassung

Die Studie stellt EnactToM vor, einen dynamischen, sich entwickelnden Benchmark, der testet, ob KI-Agenten in einer physischen Welt tatsächlich zusammenarbeiten können, statt nur darüber zu sprechen. Die Ergebnisse zeigen eine massive Lücke: Die fortschrittlichsten KI-Modelle von heute können die Gedanken eines Partners beschreiben, können dieses Wissen jedoch nicht zuverlässig nutzen, um Handlungen zu koordinieren. Die Studie legt nahe, dass KI, um wirklich mit Menschen zusammenzuarbeiten, über das bloße „Berichten" von Überzeugungen hinausgehen und auf diese „handeln" muss.

Technische Zusammenfassung: EnactToM

Problemstellung

Aktuelle Benchmarks für Theory of Mind (ToM) bei Large Language Models (LLMs) bewerten primär literale ToM: die Fähigkeit, auf Aufforderung hin explizit die Überzeugungen, Wünsche oder Absichten eines anderen Agenten zu berichten. Diese Evaluierungen messen jedoch keine funktionale ToM, definiert als die Kapazität, in verankerten Multi-Agenten-Umgebungen basierend auf inferierten mentalen Zuständen optimal zu handeln. Bestehende Benchmarks fehlen drei kritische Eigenschaften:

Funktional: Sie messen das Berichten von Überzeugungen statt die Ausführung von Aktionen basierend auf diesen Überzeugungen.
Verankert: Sie operieren in rein textbasierten oder vollständig beobachtbaren Settings und fehlen die räumlichen Einschränkungen und Informationsasymmetrien, die für verkörperte Zusammenarbeit inhärent sind.
Sättigungsresistent: Statische Benchmarks werden mit fortschreitender Verbesserung der Modelle trivial, und ihnen fehlen Mechanismen, um die Aufgabenschwierigkeit basierend auf spezifischen Fehlermodi der Modelle anzupassen.

Folglich zeigen Frontier-Modelle oft hohe Genauigkeit bei Überzeugungs-Tests, versagen jedoch bei der effektiven Koordination in geteilten physischen Umgebungen, was zu redundanten Aktionen, ignorierten Einschränkungen und Sicherheitsrisiken führt.

Methodik: Das EnactToM-Framework

Die Autoren stellen EnactToM vor, einen sich entwickelnden Benchmark, der aus 300 verkörperten Multi-Agenten-Aufgaben besteht, die in einer 3D-Haushaltsumgebung (HSSD) angesiedelt sind. Das Framework ist darauf ausgelegt, funktionale ToM durch partielle Beobachtbarkeit, private Informationen und eingeschränkte Kommunikation zu isolieren.

1. Aufgabenrepräsentation und epistemische Tiefe

Aufgaben werden als Tupel $T = (S, A, \phi, \delta, M, \Sigma, C)$ formalisiert, wobei:

$S$ : Eine 3D-Szene.
$A$ : Eine Menge von Agenten mit Spawn-Positionen.
$\phi$ : Eine PDDL-Zielformel, die physikalische Prädikate (z. B. is_on_top) mit epistemischen Operatoren ( $K$ ) kombiniert.
$\delta$ : Eine natürliche Sprach-Aufgabenbeschreibung, die von allen Agenten geteilt wird.
$M$ : Mechaniken, die reale Welt-Einschränkungen modellieren (z. B. Raumrestriktionen, begrenzte Bandbreite, eingeschränkte Kommunikationsgraphen).
$\Sigma$ : Private Geheimnisse, die jedem Agenten zugewiesen werden (z. B. spezifische Objekt-IDs, Raumzugangsbeschränkungen), die Informationsasymmetrie erzeugen.
$C$ : Aufgabenkategorie (Kooperativ oder gemischte Motive).

Der Benchmark nutzt die epistemische Tiefe ( $d$ ), um die ToM-Komplexität zu quantifizieren:

Tiefe 1 (Selbstbewusst): Ein Agent erkennt seine eigene Informationslücke.
Tiefe 2 (Andere-bewusst): Ein Agent handelt basierend darauf, was ein Partner weiß.
Tiefe 3 (Rekursiv): Ein Agent schlussfolgert darüber, was ein Partner weiß, den ein anderer Agent weiß.
Der Benchmark begrenzt die Generierung auf Tiefe 3, da tiefere Rekursion selbst für Menschen brüchig ist.

2. Pipeline zur agenticen Aufgabengenerierung

Um eine Benchmark-Sättigung zu adressieren, setzt EnactToM einen autonomen Coding-Agenten zur Aufgabengenerierung ein. Die Pipeline umfasst:

Verfassen: Der Agent schreibt zuerst die formale PDDL-Zielformel, leitet daraus dann die Erzählung und Geheimnisse ab und stellt sicher, dass das Ziel die Quelle der Wahrheit ist.
Verifizierung:
- PDDL-Parsing: Prüft die syntaktische Validität und die Ausrichtung der K-Tiefe.
- LLM-Richter-Rat: Zwei Modelle (Kimi-K2.5 und GPT-5.2) bewerten Aufgaben unabhängig voneinander nach Kriterien wie Agentennotwendigkeit, Geheimnisqualität (keine Strategie-Lecks) und Mechanik-Nutzung.
- Struktureller Kalibrator: Führt eine Baseline-Simulation durch, bei der alle Geheimnisse allen Agenten offengelegt werden. Wenn die Aufgabe selbst bei vollständiger Information scheitert, wird sie als physikalisch unlösbar abgelehnt. Dies stellt sicher, dass Erfolg im Standard-Setting von epistemischem Schlussfolgern abhängt und nicht nur von verkörperter Navigation.
Evolution: Der Generierungs-Agent verwendet „Seed-Aufgaben", die zu den Fehlermodi aktueller Frontier-Modelle (z. B. GPT-5.4, O3) hin verzerrt sind. Mit der Verbesserung der Modelle verschiebt sich der Seed-Pool zu schwierigeren Fehlermustern, wodurch die Benchmark-Schwierigkeit evolves, ohne die Generator-Infrastruktur zu modifizieren.

3. Evaluierungsprotokoll

Der Benchmark bewertet sieben Frontier-Modelle auf zwei Aufteilungen: Standard ( $\rho=0,8$ Seed-Fehlerrate) und Hard ( $\rho=0,9$ ).

Funktionaler Metrik: Erfolg wird durch das Abschließen der physikalischen Prädikate in $\phi$ definiert. Die primäre Metrik ist Pass^3, die Erfolg in allen drei unabhängigen Durchläufen erfordert, um Glück auszuschließen.
Literale Metrik: Am Ende jedes Episoden werden Agenten nach spezifischen Überzeugungen befragt (z. B. „Was glaubt agent_0 über den Zustand des Kühlschranks?"). Dies misst die Genauigkeit der literalen ToM unabhängig von der Handlung.

Wichtige Ergebnisse

Die Evaluierung zeigt eine deutliche Handeln-Berichten-Lücke zwischen literalen und funktionaler ToM:

Funktionaler Misserfolg: Auf dem Hard-Split erreichten alle sieben bewerteten Frontier-Modelle 0,0 % Pass^3 beim funktionalen Aufgabenabschluss. Kein Modell konnte über drei Durchläufe hinweg reproduzierbar koordinieren.
Literaler Erfolg: Dieselben Modelle erzielten im Durchschnitt 45,0 % bei literalen Überzeugungs-Tests für dieselben Aufgaben. Beispielsweise erreichte Gemini-Pro eine literalen Genauigkeit von 63,3 %, aber nur eine funktionale Genauigkeit von 6,7 % auf dem Hard-Split.
Fehleranalyse: Eine manuelle Prüfung von 40 Fehlern identifizierte, dass 93 % auf epistemische Koordinationszusammenbrüche zurückzuführen waren, kategorisiert in fünf Muster:
1. Zurückhalten kritischer Informationen: Agenten besitzen entscheidende Fakten, kommunizieren sie aber zu spät.
2. Zusammenbruch der epistemischen Kette: Agenten führen physikalische Aktionen aus, stellen aber nicht sicher, dass Partner das Ergebnis wissen.
3. Sabotage/Offenlegung privater Ziele: In Aufgaben mit gemischten Motiven offenbaren Agenten private Ziele vorzeitig oder sabotieren gemeinsame Ziele.
4. Fehlallokation knapper Nachrichten: Agenten verschwenden begrenzte Bandbreite an unerreichbare Partner oder Inhalte mit niedriger Priorität.
5. Ignorieren von Partner-Einschränkungen: Agenten delegieren Aufgaben an Partner, denen der notwendige Raumzugang oder die Ressourcen fehlen.

Bedeutung und Behauptungen

Die Autoren behaupten, dass EnactToM die erste rigorose, sich entwickelnde Messung funktionaler ToM in verkörperten Settings bietet. Ihre Bedeutung liegt in:

Aufdecken einer kritischen Lücke: Demonstration, dass hohe Leistung bei textbasierten Überzeugungsfragen nicht auf die Fähigkeit übertragbar ist, diese Überzeugungen zur Koordination in eingeschränkten Umgebungen zu nutzen.
Definition eines neuen Benchmark-Standards: Etablierung eines Rahmens, der verkörpert (3D-Umgebung), funktional (erfolgsbasiert auf Aktionen) und sich entwickelnd (sättigungsresistent durch fehlergetriebene Generierung) ist.
Bereitstellung konkreter Ziele: Durch die Zerlegung von Fehlern in spezifische epistemische Koordinationszusammenbrüche bietet der Benchmark klare, umsetzbare Ziele für zukünftige Forschung in Multi-Agenten-Ausrichtung und Schlussfolgern.

Die Autoren schließen, dass Frontier-Modelle zwar oft angeben können, was Partner wissen, ihnen derzeit jedoch die Strategie fehlt, dieses Wissen zu nutzen, um unter Kommunikations- und Informationsbeschränkungen zuverlässig zu handeln. Der Benchmark dient als Messinstrument, um Fortschritte beim Schließen dieser Lücke zu verfolgen.