🤖 AI

Executable Agentic Memory for GUI Agent

Dieser Beitrag stellt Executable Agentic Memory (EAM) vor, ein strukturiertes, auf Wissensgraphen basierendes Framework, das fragile, schrittweise LLM-Interaktionen durch einen robusten Abruf- und Ausführungsprozess mittels wertgesteuerter Graphensuche ersetzt und dadurch überlegene Leistung, geringere Kosten sowie reduzierte Latenz bei GUI-Automatisierungsaufgaben mit langem Horizont erzielt.

Ursprüngliche Autoren: Zerui Qin, Sheng Yue, Xingyuan Hua, Yongjian Fu, Ju Ren

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zerui Qin, Sheng Yue, Xingyuan Hua, Yongjian Fu, Ju Ren

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „amnesische" Roboter

Stellen Sie sich vor, Sie stellen einen Roboter ein, der Ihnen hilft, Ihr Smartphone zu bedienen. Jedes Mal, wenn der Roboter einen neuen Bildschirm betrachtet (z. B. beim Öffnen eines Einstellungsmenüs), muss er alles, was er gerade getan hat, vergessen, den Bildschirm von vorne lesen und raten, was als Nächstes zu tun ist.

So funktionieren die meisten aktuellen KI-Agenten. Sie sind wie amnesische Touristen in einer riesigen, verwirrenden Stadt.

Sie sehen ein Straßenschild (den Bildschirm).
Sie raten, in welche Richtung sie gehen sollen.
Sie machen einen Schritt.
Dann sehen sie ein neues Straßenschild, vergessen das vorherige und raten erneut.

Wenn sie früh einen kleinen Fehler machen, verirren sie sich. Sie könnten in eine Sackgasse (einen falschen App-Bildschirm) wandern und weiter raten, wodurch Zeit und Geld verschwendet werden. Dies wird als „fragiles" System bezeichnet, insbesondere für lange Aufgaben wie „Bluetooth einschalten, dann ein bestimmtes Foto finden und es per E-Mail senden".

Die Lösung: EAM (Die „lebende Karte")

Die Autoren schlagen ein neues System vor, das Executable Agentic Memory (EAM) heißt. Anstatt jeden Schritt zu raten, baut der Roboter eine strukturierte, lebende Karte der Benutzeroberfläche des Telefons.

Stellen Sie sich EAM nicht als Liste von Textnotizen vor, sondern als eine riesige, interaktive U-Bahn-Karte.

Die Stationen: Dies sind die verschiedenen Bildschirme auf Ihrem Telefon.
Die Gleise: Dies sind die Tasten und Aktionen, auf die Sie klicken können.
Die Verbindungen: Die Karte weiß genau, welche Taste zu welchem Bildschirm führt.

Sobald diese Karte erstellt ist, muss der Roboter nicht mehr „raten", was passiert, wenn er auf eine Taste klickt. Er schaut einfach auf die Karte, sieht das Gleis und folgt ihm.

Wie sie die Karte erstellen (Offline-Phase)

Bevor der Roboter die Karte nutzen kann, muss jemand sie zeichnen. Das Papier beschreibt einen intelligenten Weg, dies ohne Zeitverschwendung zu tun:

Der Entdecker (DFS): Stellen Sie sich einen sehr organisierten Entdecker vor, der in die Apps des Telefons geschickt wird. Anstatt ziellos herumzuirren, verwenden sie eine „Depth-First Search"-Strategie (Tiefensuche). Sie gehen einen Pfad so weit wie möglich hinunter, markieren Sackgassen und gehen dann zurück, um den nächsten Pfad zu versuchen. Dies stellt sicher, dass sie jeden möglichen Weg finden, ohne in Schleifen stecken zu bleiben.
Der Kondensator (Action Group Mining): Manchmal erfordert eine Aufgabe, fünf Tasten nacheinander zu drücken (z. B. „Einstellungen öffnen" -> „Netzwerk" -> „WLAN" -> „Scannen"). Dies einzeln zu tun, ist langsam. Das System sucht nach diesen häufigen Mustern und klebt sie zu einer einzigen „Super-Taste" zusammen (wie einen U-Bahn-Expresszug). Dies macht die Karte viel kleiner und schneller zu navigieren.

Wie der Roboter die Karte nutzt (Online-Phase)

Wenn Sie dem Roboter eine Aufgabe geben (z. B. „WLAN einschalten"), rät er nicht einfach. Er verwendet einen GPS-Navigator, um die beste Route auf der Karte zu finden.

Das GPS (Q-Modell): Der Roboter hat ein kleines, intelligentes Gehirn (ein leichtgewichtiges KI-Modell), das wie ein GPS funktioniert. Es schaut auf die Karte und sagt: „Wenn ich dieses Gleis nehme, besteht eine 90%ige Wahrscheinlichkeit, dass ich das Ziel erreiche. Wenn ich jenes nehme, gibt es nur eine 10%ige Chance."
Die Suche (MCTS): Der Roboter simuliert einige mögliche Routen in seinem Kopf (wie das Überprüfen von Google Maps auf Staus), um den absolut besten Pfad auszuwählen.
Die Ausführung: Sobald der Pfad gewählt ist, führt der Roboter die Schritte aus. Da der Pfad von einer verifizierten Karte stammt, ist garantiert, dass er gültig ist. Er klickt nicht versehentlich auf eine Taste, die nicht existiert oder zu einem defekten Bildschirm führt.

Warum das eine große Sache ist

Das Papier behauptet, dass dieser Ansatz drei Hauptprobleme löst:

Zuverlässigkeit: Da der Roboter einer vorab verifizierten Karte folgt, verirrt er sich nicht oder halluziniert (erfindet Dinge). Es ist wie das Befolgen einer U-Bahn-Karte im Vergleich zum Fragen eines Fremden nach dem Weg, der vielleicht nur rät.
Geschwindigkeit: Der Roboter ist viel schneller. Anstatt einen riesigen, langsamen KI (wie GPT-4) zu bitten, über jeden einzelnen Schritt nachzudenken, verwendet er eine kleine, schnelle KI, um die Karte zu lesen. Das Papier besagt, dass es 6-mal günstiger in Bezug auf Rechenkosten ist und nur 2,8 Sekunden pro Schritt benötigt.
Lange Aufgaben: Es kann lange, komplizierte Aufgaben bewältigen, ohne zu vergessen, wo es begonnen hat. Die Karte hält die gesamte Reise im Blick.

Die Ergebnisse

Die Forscher testeten dies an realen Android-Telefon-Aufgaben.

Erfolgsrate: Ihr System übertraf die derzeit besten KI-Modelle (wie UI-TARS-7B) mit einem signifikanten Vorsprung (bis zu 19,6 % besser).
Effizienz: Es verwendete weit weniger Computerressourcen (Tokens) als die großen Cloud-basierten Modelle.

Zusammenfassende Analogie

Alter Weg: Ein Tourist, der versucht, eine Stadt zu durchqueren, indem er an jeder einzelnen Kreuzung einen anderen Fremden nach dem Weg fragt. Er wird müde, verwirrt und landet oft im falschen Viertel.
EAM-Weg: Ein Tourist mit einer perfekten, vorgezeichneten U-Bahn-Karte und einem intelligenten GPS. Er weiß genau, welchen Zug er nehmen muss, an welcher Haltestelle er aussteigen muss, und er verirrt sich nie. Er kommt schnell, günstig und zuverlässig an sein Ziel.

Das Papier kommt zu dem Schluss, dass wir KI-Agenten für die Langzeitautomatisierung viel zuverlässiger und effizienter machen können, indem wir die Benutzeroberfläche des Telefons als strukturierte Maschine (die Karte) behandeln und nicht als eine Reihe zufälliger Bilder, die erraten werden müssen.

Technische Zusammenfassung: Ausführbare Agenten-Memory für GUI-Agenten

1. Problemstellung

Moderne GUI-Agenten, die typischerweise von Large Language Models (LLMs) angetrieben werden, operieren unter einem modellzentrierten, schrittweisen Interaktionsparadigma. In diesem Paradigma muss ein LLM die Benutzeroberfläche (UI) bei jedem Bildschirm neu interpretieren und Aktionen neu entscheiden. Dieser Ansatz ist für Aufgaben mit langem Horizont inhärent fragil, da kleine wahrnehmungs- oder schlussfolgerungsbedingte Fehler sich aufsummieren und zu halluzinierten Aktionen und falschen Umwegen führen. Darüber hinaus ist die Aufrechterhaltung des Aufgabenfortschritts innerhalb des Kontextfensters ineffizient, und die Abhängigkeit von wiederholter Generierung führt zu hohen Latenzen und Token-Kosten.

Bestehende Versuche, die Robustheit durch Einbringen externen Wissens (z. B. Arbeitsablaufmuster oder Vektordatenbanken) zu verbessern, bleiben oft unzuverlässig. Diese Methoden verlassen sich typischerweise auf das kontextuelle Verständnis des LLMs, um über abgerufenen Text zu reasoning, und versäumen es, die inhärente strukturierte Information historischer Trajektorien zu nutzen. Folglich haben sie Schwierigkeiten, ausführbare Pfade zuverlässig zu reproduzieren und verursachen erhebliche Kosten durch wiederholte schrittweise Generierung und Abruf.

2. Methodik

Die Arbeit schlägt Executable Agentic Memory (EAM) vor, ein Framework, das die GUI-Planung von einer freien Generierung auf einen robusten Abruf- und Ausführungsprozess verschiebt, der auf einem strukturierten Wissensgraphen (Knowledge Graph, KG) basiert. Das System umfasst zwei Hauptphasen:

A. Offline-Konstruktion des Wissensgraphen

Das Ziel ist der Aufbau einer persistenten, strukturierten Darstellung der Interaktionslogik der Umgebung ( $G = (S, A, E)$ ), wobei $S$ die GUI-Zustände, $A$ die Aktionen und $E$ die Übergänge repräsentiert.

Autonome Exploration: Das System setzt eine aufgabenorientierte, zustandsbewusste Tiefensuche (Depth-First Search, DFS) ein. Ein MLLM generiert Kandidaten-Teilziele basierend auf interaktiven Elementen (Ankern) und bewertet den Fortschritt (Weiter, Zurück oder Abgeschlossen). Dies gewährleistet eine umfassende Abdeckung aufgabenrelevanter Übergänge und bildet dabei natürlich eine Präfixbaumstruktur.
Übergangsbewusstes Wissens-Mining: Gesammelte Trajektorien werden zu einem gerichteten azyklischen Graphen (Directed Acyclic Graph, DAG) zusammengeführt. Ein zweischichtiges Filtermechanismus (Embedding-Ähnlichkeit gefolgt von einer Verifikation durch ein Vision-Language Model) behandelt die Zustands-Deduplizierung. Semantische Attribute (Seitenbeschreibungen und Aktionsfunktionen) werden aus Zustandsübergängen extrahiert, um den Graphen anzureichern.
Mining von Aktionsgruppen: Um mehrstufige Routinen zu komprimieren, schlagen die Autoren einen statistischen Ansatz vor, der von Byte Pair Encoding (BPE) inspiriert ist. Häufige benachbarte Aktionspaare werden iterativ zu neuen Knoten „Aktionsgruppen" zusammengeführt, wodurch der KG von atomaren Operationen in eine Hierarchie wiederverwendbarer hochrangiger Fähigkeiten transformiert wird.

B. Online-wissensgestützte Reasoning

Gegeben eine Benutzeranweisung extrahiert der Agent einen ausführbaren Pfad aus dem KG unter Verwendung einer wertgesteuerten Monte-Carlo-Baumsuche (Value-Guided Monte Carlo Tree Search, MCTS).

Q-Modell-gesteuerte MCTS: Im Gegensatz zu generativen Agenten, die Tokens auf den Graphen abbilden, operiert dieser Agent direkt auf der Graph-Topologie. Ein leichtgewichtiges Q-Funktionsmodell ( $Q_\theta$ ) sagt die Wahrscheinlichkeit des Aufgabenerfolgs für Zustands-Aktions-Paare voraus. Der MCTS-Algorithmus nutzt dieses Q-Modell, um Knotenwerte zu initialisieren und die Suche über das UCT-Kriterium zu steuern, indem er hochbelohnte Pfade aus dem eingeschränkten Aktionsraum auswählt.
Self-Training-Pipeline: Das Q-Modell wird durch einen iterativen Prozess verfeinert:
- Initialisierung: Trainiert durch Präferenzlernen an Expertentrajektorien unter Verwendung eines Bradley-Terry-Ranking-Verlusts, um initiale Aktionsrankings zu etablieren.
- Iterative Verfeinerung: Der Agent führt MCTS aus, gesteuert durch das aktuelle Q-Modell, um Suchbäume zu generieren. Ziel-Q-Werte werden durch bottom-up Bellman-Rückwärtsrechnungen berechnet (Mittelung über uniforme zufällige Richtlinien). Das Modell wird dann mit diesen weichen Labels unter Verwendung des binären Kreuzentropieverlusts aktualisiert, wodurch seine Fähigkeit, vielversprechende Pfade zu unterscheiden, schrittweise verbessert wird.

3. Theoretische Beiträge

Die Arbeit liefert theoretische Garantien für das vorgeschlagene Framework:

Bias-Konsistenz: Die Autoren zeigen, dass das gelernte Q-Modell auf der kritischen Menge der für die optimale Pfadwiederherstellung erforderlichen Zustands-Aktionen bias-konsistent mit der Referenzwertfunktion ( $Q_{\pi_u}$ ) ist. Die Fehlergrenze nimmt mit der Anzahl der Trainingsstichproben ab.
Stichprobenkomplexität: Eine endliche Stichprobenkomplexitätsgrenze wird für den MCTS-Prozess hergeleitet. Die Analyse zeigt, dass die Anzahl der Simulationen, die zur Wiederherstellung des optimalen Pfads erforderlich ist, polynomial mit dem Horizont und dem Verzweigungsfaktor skaliert und umgekehrt proportional zum quadrierten effektiven Aktionsabstand ist. Entscheidend ist, dass mit der Verbesserung des Q-Modells (Reduzierung des Bias) weniger MCTS-Simulationen benötigt werden.

4. Experimentelle Ergebnisse

Die Methode wurde an drei Benchmarks evaluiert: AndroidWorld, MobileMiniWob++ und DroidTask.

Leistung: EAM übertrifft State-of-the-Art-Baselines signifikant. Auf AndroidWorld erreicht es eine Erfolgsrate von 52,6 % und übertrifft SOTA UI-TARS-7B (33,0 %) um 19,6 %. Es übertrifft auch GPT-4o-basierte Frameworks wie M3A (40,5 %) und erzielt vergleichbare Ergebnisse mit größeren, wissensgestärkten Agenten wie AppAgentX und GUI-Explorer, obwohl es für die Pfadextraktion ein kleineres 3B-Parameter-Modell verwendet.
Effizienz: EAM reduziert die Token-Kosten um etwa das 6-fache im Vergleich zu GPT-4o (8,3K Tokens vs. 50,8K pro Schritt) und erreicht eine durchschnittliche Latenz von 2,8 Sekunden. Diese Effizienz resultiert aus dem „Plan-then-Execute"-Framework, das nur einen einzigen Cloud-Aufruf erfordert, um den abgerufenen Pfad zu filtern, anstatt iterative API-Aufrufe für jeden Schritt.
Ablationsstudien:
- Self-Training: Iteratives Self-Training verbessert die Erfolgsraten konsistent über verschiedene Modellgrößen hinweg (0,5B bis 3B).
- Aktionsgruppen: Das Zusammenführen häufiger Sequenzen zu Aktionsgruppen reduziert die Suchkomplexität und Latenz signifikant.
- Generalisierung: Ein Q-Modell, das auf einer Umgebung (AndroidWorld) trainiert wurde, verbessert die Leistung in nicht gesehenen Umgebungen (DroidTask, MobileMiniWob++), was darauf hindeutet, dass das Modell übertragbare GUI-Navigationsmuster erfasst.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass EAM einen Paradigmenwechsel für GUI-Agenten darstellt, indem der Wissensgraph nicht lediglich als Abrufquelle für In-Context-Injektion behandelt wird, sondern als ausführbarer Zustandsautomat.

Zuverlässigkeit: Durch die Verankerung der Entscheidungsfindung in einem strukturierten Graphen gültiger Übergänge garantiert EAM, dass der Agent auf ausführbaren Pfaden bleibt, was die bei freier Generierung üblichen Halluzinationen mindert.
Effizienz: Die Kombination aus Kompression durch Aktionsgruppen und wertgesteuerter Suche ermöglicht es kleinen Modellen, Aufgaben mit langem Horizont mit niedriger Latenz und geringen Kosten auszuführen und schließt die Reasoning-Lücke zwischen kleinen Sprachmodellen und Frontier-LLMs.
Skalierbarkeit: Die theoretischen Garantien und empirischen Ergebnisse deuten darauf hin, dass dieser Ansatz skalierbar und robust ist und einen gangbaren Weg hin zu zuverlässiger, Echtzeit-GUI-Automatisierung ohne die prohibitiven Kosten aktueller cloud-basierter, schrittweiser Generierungsmethoden bietet.

Die Autoren räumen Einschränkungen bezüglich der Annahme einer relativ statischen UI-Umgebung ein und stellen fest, dass signifikante App-Updates Mechanismen für eine inkrementelle Graphenentwicklung erfordern könnten, was ein Richtungsziel für zukünftige Arbeiten bleibt.