🤖 AI

Engagement Process: Rethinking the Temporal Interface of Action and Observation

Dieser Beitrag stellt den Engagement Process (EP) vor, ein neues Interaktionsformalismus, der Aktionen und Beobachtungen in kontinuierliche Ereignisströme entkoppelt, um komplexe zeitliche Dynamiken wie Deliberationsverzögerungen und verzögertes Feedback explizit zu modellieren, und damit die Einschränkungen traditioneller festschrittiger Schnittstellen sowohl in Einzelagenten- als auch in Multi-System-Szenarien überwindet.

Ursprüngliche Autoren: Jialian Li, Yuchen Cao, Junhong Liu, Weiran Guo, Xutao Wang, Jiaming Song, Jiahao Zhang, Jie Chen

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jialian Li, Yuchen Cao, Junhong Liu, Weiran Guo, Xutao Wang, Jiaming Song, Jiahao Zhang, Jie Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine geschäftige Küche zu managen und gleichzeitig einen Schüler über einen Videoanruf zu unterrichten. In der alten Denkweise darüber, wie Computer (oder „Agenten") funktionieren, gleicht der Prozess einem strengen, starren Spiel des „Wechselns der Turns".

Der alte Weg: Das „Stop-and-Go"-Spiel
Im traditionellen Modell (einem POMDP) muss der Agent alles stoppen, um zu denken, einen Zug zu machen, auf das Ergebnis zu warten und dann erneut zu denken.

Das Problem: Das echte Leben ist nicht so. Während Sie einen Eintopf kochen (eine Aktion, die Zeit braucht), könnte der Timer klingeln (eine Beobachtung). Während Sie eine lange E-Mail schreiben (Denken), könnte eine neue dringende Nachricht aufpoppen.
Der Fehler: Wenn der Computer gezwungen wird, zu warten, bis die E-Mail vollständig geschrieben ist, bevor er die neue Nachricht „sehen" kann, könnte die Nachricht veraltet sein oder eine Frist verpassen. Es ist, als würde man versuchen, ein Auto zu fahren, bei dem man nur auf die Straße schauen kann, wenn das Auto vollständig steht.

Die neue Idee: Der „Engagement-Prozess" (EP)
Die Autoren dieses Papiers schlagen eine neue Art vor, zu beschreiben, wie ein Agent mit der Welt interagiert, die sie Engagement-Prozess (EP) nennen.

Denken Sie an den EP nicht als ein Spiel mit Turns, sondern als zwei separate Radiokanäle, die auf derselben Zeitachse fließen:

Der Aktionskanal: Dies ist der Agent, der Befehle sendet (wie „Kochen starten", „dieses Werkzeug aufrufen" oder „diesen Satz schreiben"). Diese Aktionen brauchen Zeit, um zu geschehen.
Der Beobachtungskanal: Dies ist die Welt, die Informationen zurücksendet (wie „der Timer hat geklingelt", „das Werkzeug ist fertig" oder „eine neue E-Mail ist eingetroffen"). Diese Nachrichten können zu jedem Zeitpunkt eintreffen, sogar während der Agent noch mit der ersten Aktion beschäftigt ist.

Kreative Analogien zur Erklärung des Konzepts

Der Orchesterdirigent vs. Der Solist:
- Alter Weg: Der Dirigent (der Agent) hebt seinen Taktstock, wartet, bis das gesamte Orchester einen Ton spielt, stoppt, hört zu, und hebt dann den Taktstock für den nächsten Ton. Wenn ein Violinist während des Tons plötzlich hustet (eine Beobachtung), hört der Dirigent es erst beim nächsten „Turn".
- EP-Weg: Der Dirigent dirigiert ein fließendes Musikstück. Der Violinist hustet während die Musik spielt. Der Dirigent hört es sofort und kann das Tempo oder die Lautstärke sofort anpassen, ohne die Musik zu stoppen. Die „Aktion" (Dirigieren) und die „Beobachtung" (das Husten hören) geschehen gleichzeitig auf derselben Zeitachse.
Der beschäftigte Koch:
- Alter Weg: Ein Koch stellt einen Topf auf den Herd und setzt sich dann in einen Stuhl, starrt an die Wand und wartet, bis der Topf kocht, bevor er etwas anderes tun kann. Wenn das Telefon klingelt, kann er es nicht beantworten, bis der Topf kocht.
- EP-Weg: Der Koch stellt den Topf auf den Herd (eine Aktion, die Zeit braucht). Während das Wasser erhitzt wird, klingelt das Telefon (eine Beobachtung). Der Koch hört es, geht ran und geht dann zurück, um den Topf zu kontrollieren. Das „Kochen" und das „Telefonat" überlappen sich.

Was das Papier tatsächlich herausfand

Die Autoren testeten diese Idee auf drei verschiedene Arten, um zu sehen, ob sie tatsächlich hilft:

Der „Denkzeit"-Test (Spiel-Experimente):
Sie erstellten ein Spiel, bei dem ein Agent entscheiden musste, wie lange er denken sollte, bevor er antwortete.
- Ergebnis: Die alten „Stop-and-Go"-Agenten steckten fest. Sie dachten zu lange, weil das Denken in ihrem Training keine Zeit kostete. Sie wählten ständig die „langsamste, genaueste" Option und hatten am Ende keine Zeit mehr.
- EP-Ergebnis: Die EP-Agenten lernten, dass Denken Zeit kostet. Sie lernten, früher mit dem Denken aufzuhören, wenn die Frist knapp war, und balancierten Geschwindigkeit und Genauigkeit viel besser aus.
Der „beschäftigte Assistent"-Test (LLM-Experimente):
Sie simulierten einen digitalen Assistenten, der versuchte, einen langen Bericht zu schreiben, während ständig E-Mails eingingen.
- Ergebnis: Die alten Agenten (die nur am Ende eines Absatzes nach E-Mails suchten) verpassten viele dringende E-Mails oder antworteten zu spät.
- EP-Ergebnis: Die EP-Agenten konnten ihr Schreiben pausieren, die dringende E-Mail bearbeiten und dann genau dort weitermachen, wo sie aufgehört hatten. Sie verpassten weit weniger Fristen und antworteten schneller.
Der „Roboter in der Küche"-Test (Embodied-Experimente):
Sie simulierten einen Roboter, der versuchte, einen Schüler zu unterrichten, während er mehrere Gerichte zubereitete, die zu unterschiedlichen Zeiten Aufmerksamkeit benötigten.
- Ergebnis: Die alten Agenten waren zu starr. Wenn ein Gericht aus dem Ofen genommen werden musste, ignorierte der Roboter dies, bis er den aktuellen Satz der Nachhilfe beendet hatte.
- EP-Ergebnis: Der EP-Agent konnte das „Ofentimer"-Signal sehen, während er sprach, beschloss, die Nachhilfe zu pausieren, das Gericht herauszunehmen und dann den Unterricht fortzusetzen. Dies rettete das Essen und hielt die Nachhilfe am Laufen.
Der „Lernen, Zeit zu sparen"-Test:
Sie trainierten eine KI, Matheprobleme zu lösen, mit einer strikten Begrenzung der Anzahl der Wörter (Tokens), die sie verwenden durfte.
- Ergebnis: Das Standardtraining machte die KI besser in Mathe, aber sie lernte nicht, prägnant zu sein. Sie verwendete zu viele Wörter, selbst wenn ihr gesagt wurde, schnell zu sein.
- EP-Ergebnis: Die EP-trainierte KI lernte, je nach Zeitlimit „anders zu sprechen". Wenn sie wenig Zeit hatte, gab sie kurze, direkte Antworten. Wenn sie mehr Zeit hatte, erklärte sie mehr. Sie lernte, ihre „Denkgeschwindigkeit" an die Situation anzupassen.

Das Fazit

Das Papier argumentiert, dass wir aufhören müssen, Zeit als versteckte Details bei der Entwicklung von KI zu behandeln. Stattdessen sollten wir ein System bauen, bei dem Aktionen und Beobachtungen separate Ereignisströme sind, die gleichzeitig geschehen können.

Indem wir dies tun, werden KI-Agenten menschlicher: Sie können Multitasking betreiben, Unterbrechungen bewältigen und bessere Entscheidungen treffen, wenn die Zeit knapp wird, anstatt in einem starren Zyklus von „denken, handeln, warten, denken, handeln, warten" stecken zu bleiben.

Technische Zusammenfassung: Engagement-Prozess (EP)

Problemstellung

Neueste Fortschritte bei Large Language Models (LLMs), verkörpertem Intelligenzverhalten und durch Werkzeuge erweiterten Agenten haben den Betrieb in zunehmend realistischen digitalen und physischen Umgebungen ermöglicht. Es besteht jedoch eine grundlegende Diskrepanz zwischen der zeitlichen Struktur von Aktionen und Beobachtungen in diesen Settings. Traditionelle Interaktionsformalismen, wie Partially Observable Markov Decision Processes (POMDPs), beruhen auf festen Entscheidungszeitpunkten, bei denen eine Beobachtung mit einer einzigen instantanen Aktion gepaart wird. In der Realität sehen sich Agenten häufig folgenden Herausforderungen gegenüber:

Zeitprobleme auf der Aktionsseite: Verzögerungen bei der Überlegung (z. B. LLM-Reasoning-Zeit), persistente Aktionen (z. B. Navigationsbefehle) und Werkzeugaufrufe mit verzögerten Ergebnissen.
Zeitprobleme auf der Beobachtungsseite: Asynchrone oder sparse Ankünfte von Nachrichten, Alarmen und Werkzeugantworten sowie kontinuierliches oder mehrstufiges Sensorfeedback.

Gängige Ansätze behandeln diese zeitlichen Phänomene oft als Implementierungsdetails oder handhaben sie durch externe Patches (z. B. feste Polling-Intervalle oder manuell erstellte Unterbrechungsregeln). Dies verschleiert die zeitliche Struktur, die Agenten benötigen, um ihr Verhalten an explizite Zeitkosten anzupassen, und führt zu suboptimalen Strategien, die möglicherweise zu lange überlegen, dringende Ereignisse verpassen oder laufende Prozesse nicht effektiv unterbrechen können.

Methodik: Der Engagement-Prozess (EP)

Die Autoren schlagen den Engagement-Prozess (EP) vor, einen neuen Interaktionsformalismus, der die entscheidungstheoretische Struktur von POMDPs übernimmt, aber die zeitliche Schnittstelle grundlegend neu denkt.

Kerndefinition

Ein EP wird über eine diskrete Folge von Ticks $T = \{0, 1, 2, \dots\}$ definiert (erweiterbar auf kontinuierliche Zeit) und spezifiziert durch $E = (S, A, Y, F, O, U)$ :

Zustand ( $S$ ): Fasst die Umgebung, laufende Prozesse und Schnittstellenbedingungen zusammen. Er kann persistente Aktionseffekte und zustandsabhängigen Beobachtungszugriff kodieren.
Aktionen als Interventionen: Im Gegensatz zu Standard-POMDPs, bei denen eine Aktion ein Standard-Steuerungsbefehl bei jedem Tick ist, behandelt EP Aktionen als zeitgesteuerte Interventionen. Der Agent wählt eine Menge von Interventionen $A_t \subseteq A$ aus (die leer sein kann oder mehrere simultane atomare Aktionen enthalten kann).
Beobachtungen als Ereignisse: Beobachtungen werden aus dem Zustandsprozess als Informationsevents $Y_t \subseteq Y$ generiert, unabhängig von Entscheidungsschritten. Sie können asynchron ankommen, leer sein oder mehrere Ereignisse enthalten.
Dynamik: Der Zustand entwickelt sich gemäß $s_{t+1} \sim F(\cdot | s_t, A_t)$ . Entscheidend ist, dass sich das System weiterentwickelt, selbst wenn $A_t = \emptyset$ , was die Modellierung persistenter Prozesse ermöglicht.
Nutzen: Der instantane Nutzen $u_t$ kann Aufgabenbelohnungen sowie Kosten für die Ausführung von Aktionen, Sensorik, Unterbrechungen und Überlegungszeit repräsentieren.

Wichtige Unterscheidungen

Entkopplung: EP trennt den internen Entscheidungsprozess des Agenten von der externen Timing-Struktur von Beobachtungen und Interventionen. Der Agent hält einen Informationszustand $w_t$ basierend auf der Historie von Interventionsmengen und Beobachtungsereignismengen, was ihm ermöglicht, ausstehende Berechnungen, Werkzeugaufrufe und Fristen zu verfolgen.
Kompositionelle Wiederverwendung: Die Schnittstelle unterstützt eine hierarchische Organisation. Subsysteme innerhalb eines Agenten können selbst als EP-ähnliche Prozesse modelliert werden, wobei Modulaufrufe Interventionen und zurückgegebene Nachrichten Beobachtungen sind, die alle dieselbe abstrakte Schnittstelle teilen.
Beziehung zu bestehenden Modellen:
- POMDPs: Werden als synchronisierter Spezialfall wiederhergestellt, bei dem jeder Tick genau eine Aktion und eine Beobachtung hat.
- SMDPs/Options: Werden als eingeschränkte EPs dargestellt, bei denen Interventionen „aktive" Komponenten im Zustand erzeugen, aber EP erlaubt, dass Beobachtungen während der Ausführung dieser Optionen in die Schnittstelle eintreten, nicht nur bei deren Beendigung.

Hauptbeiträge

Explizite zeitliche Schnittstelle: EP bietet eine einheitliche Sprache für zeitliche Phänomene (Überlegungsverzögerung, verzögertes Feedback, persistente Aktionen, Unterbrechungen, mehrstufige Beobachtungen), die oft separat behandelt oder im Zustandsdesign versteckt werden.
Trennung der Verantwortlichkeiten: Es entkoppelt die externe Aktions-Beobachtungs-Schnittstelle von der internen Organisation des Agenten und ermöglicht es Komponenten, die mit unterschiedlichen Frequenzen arbeiten (z. B. hochrangige Planer vs. niedrigrangige Regler), auf einer gemeinsamen Zeitachse zu koordinieren.
Einheitlicher Formalismus: Es bietet eine homogene Schnittstelle sowohl für die Agent-Umgebung-Interaktion als auch für die interne Modul-zu-Modul-Interaktion, was ein kompositionelles Design ermöglicht, ohne separate Schnittstellen für jede Grenze zu erfordern.

Experimentelle Ergebnisse

Die Autoren bewerten EP in drei Settings:

1. Toy-Experimente

Dringlichkeitsbewusste Überlegung: In Aufgaben, bei denen sich die Genauigkeit der Reasoning-Leistung mit der Zeit verbessert, aber eine Frist verbraucht, lernen EP-trainierte Strategien, die Berechnungstiefe gegen die Dringlichkeit abzuwägen. Im Gegensatz dazu nutzen schrittweise trainierte Strategien (die Überlegung als instantan behandeln) den langsamsten, genauesten Modus übermäßig, was zu hohen Timeout-Raten führt (79,0 % vs. 0,0 % für EP in Single-Task-Settings).
Hierarchische Patrouille mit Unterbrechungen: In einer Patrouillenaufgabe mit asynchronen Alarmen ermöglicht EP dem Agenten, laufende Navigations- oder Handhabungsroutinen sofort bei Alarmeintritt zu unterbrechen.
- Modul-Ebene: EP löst 90,9 % der Alarme im Vergleich zu 51,5 % für eine Baseline, die nur an Modulgrenzen entscheidet.
- Zustandsebene: EP übertrifft handgeschriebene Patches und grenzbasierte Baselines, indem es Kompromisse zwischen Dringlichkeit, Distanz, Phasenfortschritt und Unterbrechungskosten lernt, und erzielt signifikant höhere Erträge sowie niedrigere Verfallsraten.

2. LLM-basierte Experimente

Digitaler Assistent (Asynchrone E-Mails): Ein Agent muss eine Hauptaufgabe erledigen und dabei zeitkritische E-Mails bearbeiten.
- EP behandelt die Generierung der Hauptaufgabe als unterbrechbare Aktion, wodurch der Agent eingehende E-Mails triagieren kann.
- Baselines: AgentLoop (synchronisiert) verpasst viele Fristen; Periodic Poll verbessert dies, ist jedoch durch feste Intervalle begrenzt.
- Ergebnis: EP erzielt den höchsten Nutzen und ausgeglichene Scores, reduziert die E-Mail-Timeout-Raten um ca. 40 % relativ zu AgentLoop und senkt die Latenz der ersten Antwort um fast die Hälfte.
Embodied Scheduling: Ein Agent koordiniert Tutoring- und Kochprozesse.
- EP macht Kochsignale sofort während des Tutorings sichtbar, sodass der Agent entscheiden kann, ob er unterbricht, verschiebt oder fortfährt.
- Ergebnis: EP erzielt den höchsten Nutzen und die höchste Erfolgsrate bei kritischen Gerichten und übertrifft polling-basierte und engine-seitige Reflex-Baselines, insbesondere in Szenarien mit mehreren Gerichten und überlappenden Fristen.

3. Zeitbewusstes LLM-Training

Die Autoren trainierten Reasoning-Modelle (Qwen3-8B) an mathematischen Problemen mit expliziten Token-Budgets und Dringlichkeitsanweisungen.
EP-bewusstes Training: Belohnungen werden nur gegeben, wenn die Antwort korrekt ist und innerhalb des Token-Budgets liegt.
Ergebnis: EP-bewusste Modelle lernen, die Generierungslänge an das Budget anzupassen (z. B. ca. 420 Token für ein 1k-Budget vs. ca. 1400 für ein 8k-Budget). Im Gegensatz dazu verbessern RL-Modelle nur auf Korrektheit (RLVR) die Genauigkeit, respektieren jedoch keine Budgets und generieren oft weit mehr Token als erlaubt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass der Engagement-Prozess nicht nach einer größeren Ausdruckskraft des Zustandsraums als bei erweiterten POMDPs strebt. Stattdessen besteht sein Hauptbeitrag in einer expliziten zeitlichen Schnittstelle, die Aktionen und Beobachtungen auf einer gemeinsamen Zeitachse entkoppelt.

Bescheidener Umfang: EP wird als Interaktionsformalismus präsentiert, nicht als spezifische Agentenarchitektur oder Lernalgorithmus. Er überlässt das Speichermanagement, die Planung und das Policy-Learning den darauf aufbauenden Systemen.
Kernwert: Indem EP Zeit explizit an der Schnittstelle macht, legt es zeitliche Strukturen (wie Überlegungsverzögerung und asynchrones Feedback) offen, die in standardmäßigen schrittweisen Formulierungen oft verborgen sind. Dies ermöglicht es Agenten, sich an explizite Zeitkosten anzupassen, Unterbrechungen flexibler zu handhaben und Subsysteme mit heterogenen zeitlichen Dynamiken zu komponieren, ohne sich auf externe Patches oder starre Polling-Pläne zu verlassen.
Zukünftige Arbeit: Die Autoren schlagen zukünftige Richtungen vor, darunter EP-bewusste Architekturen, reichhaltigere Formulierungen für kontinuierliche Zeit und groß angelegte Evaluierungen in embodied, hierarchischen und Multi-Agenten-Settings.