Training High-Level Schedulers with Execution-Feedback Reinforcement Learning for Long-Horizon GUI Automation

Die Arbeit stellt das CES-Framework vor, das durch den Einsatz eines Koordinators und eines Status-Trackers in einem mehrstufigen Reinforcement-Learning-Ansatz die Planung und Zustandsverwaltung von GUI-Agenten bei langfristigen Aufgaben verbessert.

Das Wesentliche

Stell dir vor, du möchtest einen sehr komplexen Auftrag erledigen: Du sollst eine Reise planen, ein Hotel buchen, ein Flugticket kaufen und dann noch eine Einladung an Freunde senden.

Ein herkömmlicher KI-Agent (ein digitales Assistenten-Programm) ist wie ein einzelner, überarbeiteter Mitarbeiter, der versucht, alles gleichzeitig zu tun. Er muss die große Strategie entwickeln („Wo wollen wir hin?"), aber gleichzeitig auch die kleinen Details erledigen („Klicke hier, tippe dort"). Das Problem: Dieser Mitarbeiter wird schnell verwirrt. Er vergisst, wo er gerade steht, verwechselt die Schritte und scheitert, weil er zu viel auf einmal im Kopf behalten muss.

Die Forscher in diesem Papier haben eine brillante Lösung gefunden. Sie nennen ihr System CES (Coordinator-Executor-State Tracker). Um es einfach zu erklären, vergleichen wir es mit einem modernen Büro oder einem Orchester.

Das Problem: Der verwirrte Einzelkämpfer

Bisherige KI-Systeme waren wie ein Ein-Mann-Betrieb. Sie mussten:

1. Planen: Was ist das große Ziel?
2. Erinnern: Was haben wir schon gemacht?
3. Ausführen: Auf welchen Button klicken?

Wenn die Aufgabe lang war (z. B. 15 Schritte über verschiedene Apps hinweg), verlor dieser Einzelkämpfer den Faden. Er sah nur den aktuellen Bildschirm (ein Foto) und wusste nicht mehr, wo er in der Geschichte war. Das ist, als würdest du mitten in einem Buch ein Blatt herausreißen und versuchen, die Handlung zu erraten, ohne den vorherigen Text zu kennen.

Die Lösung: Das CES-Team

Die Autoren haben dieses „Ein-Mann-Problem" gelöst, indem sie das Team in drei spezialisierte Rollen aufgeteilt haben, ähnlich wie in einem gut organisierten Unternehmen:

1. Der Koordinator (Der Chef / Der Dirigent)

• Was er macht: Er denkt nur über das „Große Ganze" nach. Er liest die Aufgabe des Benutzers und zerlegt sie in kleine, klare Schritte. Er sagt nicht „Klicke auf den blauen Button", sondern „Öffne die Zoom-App".
• Die Analogie: Er ist wie ein Orchesterleiter. Er gibt den Takt an und sagt den Musikern, was als Nächstes kommt, aber er spielt selbst kein Instrument. Er muss nicht wissen, wie man die Tasten drückt, er weiß nur, was getan werden muss.

2. Der Executor (Der Handwerker / Der Musiker)

• Was er macht: Er ist derjenige, der tatsächlich die Maus bewegt und auf die Bildschirme klickt. Er ist extrem gut darin, genau zu sehen, wo ein Button ist, und ihn zu drücken.
• Die Analogie: Er ist wie ein hochqualifizierter Handwerker oder ein Musiker im Orchester. Er führt die Anweisungen des Leiters präzise aus. Er muss nicht über die Strategie nachdenken; er führt einfach den Befehl aus. In diesem System ist er fest verankert und wird nicht neu trainiert, damit er sich nicht verwirrt.

3. Der State Tracker (Das Gedächtnis / Der Notar)

• Das ist der wichtigste Neuentwurf!
• Was er macht: Er fasst zusammen, was bisher passiert ist. Anstatt dass der Koordinator tausende von Screenshots (Bildschirmfotos) durchwühlen muss, schreibt der State Tracker eine kurze, klare Zusammenfassung auf Deutsch: „Wir haben das Hotel gebucht, aber das Flugticket fehlt noch."
• Die Analogie: Er ist wie ein Notar oder ein persönlicher Assistent mit einem perfekten Gedächtnis. Wenn du in ein neues Zimmer kommst, sagt er dir nicht: „Hier ist ein roter Stuhl und ein blauer Vorhang", sondern: „Du bist gerade im Hotelzimmer angekommen, das Bett ist bezogen, aber du hast noch nicht dein Koffer ausgepackt." Er hält den Kontext lebendig, damit der Chef (Koordinator) nie den Faden verliert.

Wie lernen sie das? (Der Trainings-Trick)

Normalerweise lernt eine KI, indem sie Millionen von Beispielen nachahmt (wie ein Schüler, der eine Lösung abschreibt). Das ist teuer und funktioniert bei langen Aufgaben oft schlecht.

Diese Forscher nutzen eine Methode namens „Bestätigungs-basiertes Lernen" (Execution-Feedback RL):
Stell dir vor, der Chef (Koordinator) gibt einen Befehl, und der Handwerker (Executor) führt ihn aus.

• Wenn der Handwerker erfolgreich klickt und die Aufgabe einen Schritt näher bringt, gibt es einen positiven Feedback-Signal (wie ein „Gut gemacht!").
• Wenn er scheitert, gibt es ein negatives Signal.

Das Geniale daran: Der Chef und das Gedächtnis (Koordinator & State Tracker) lernen aus den Erfolgen und Fehlern des Handwerkers. Sie müssen nicht selbst klicken lernen; sie lernen nur, welche Befehle dazu führen, dass der Handwerker erfolgreich ist. Das ist wie ein Trainer, der einem Sportler sagt: „Wenn du diesen Takt gibst, trifft der Spieler das Tor. Also gib diesen Takt öfter."

Das Ergebnis

Durch diese Aufteilung erreichen sie zwei Dinge:

1. Kein Gedächtnisverlust: Der State Tracker sorgt dafür, dass die KI nie vergisst, wo sie steht, selbst wenn sie 20 Schritte weit ist.
2. Spezialisierte Stärke: Der Chef plant gut, der Handwerker klickt präzise. Sie stören sich nicht gegenseitig.

Zusammenfassend:
Statt einen überforderten Alleskönner zu trainieren, haben die Forscher ein Team aus Spezialisten gebaut, das wie ein gut geöltes Uhrwerk zusammenarbeitet. Der Chef plant, das Gedächtnis erinnert sich, und der Handwerker führt aus. Dank dieser Methode können KIs nun komplexe, lange Aufgaben erledigen, bei denen sie vorher immer den Faden verloren hätten.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die erheblichen Herausforderungen, denen GUI-Agenten (Graphical User Interface) bei der Automatisierung von langfristigen Aufgaben (Long-Horizon Tasks) gegenüberstehen. Während Vision-Language-Modelle (VLMs) Fortschritte bei einfachen Aufgaben zeigen, scheitern sie oft bei komplexen, mehrstufigen Szenarien. Die Autoren identifizieren zwei fundamentale Probleme bestehender Ansätze:

• Kopplung von Verantwortlichkeiten und Fähigkeitenskonflikte (Responsibility Coupling & Capability Conflict): Herkömmliche End-to-End-Modelle versuchen, hochrangige Fähigkeiten (strategische Planung, Aufgabenzerlegung) und niedrigrangige Fähigkeiten (visuelle Verankerung, präzise Ausführung) in einem einzigen Policy-Netzwerk zu vereinen. Dies führt zu Optimierungskonflikten, da ein Modell mit begrenzten Parametern Schwierigkeiten hat, beide Kompetenzbereiche gleichzeitig zu meistern.
• Mangelndes Bewusstsein für den Aufgabenstatus (Lack of Task State Awareness): Bei langen Aufgabenketten verlieren Agenten oft den Kontext. Sie verlassen sich primär auf Screenshots und historische Aktionen (z. B. Klick-Koordinaten), die jedoch keine semantischen Informationen über den Fortschritt liefern. Dies führt dazu, dass der Agent nicht weiß, wo er sich in der Aufgabenkette befindet, besonders bei wiederkehrenden Bildschirmen (z. B. Home-Screen) oder Out-of-Distribution-Szenarien.

2. Methodik: Das CES-Framework und Staged Execution-Feedback RL

Um diese Probleme zu lösen, schlagen die Autoren das CES-Framework (Coordinator-Executor-State Tracker) vor, das durch eine staged execution-feedback Reinforcement Learning (RL) Strategie trainiert wird.

A. Das CES-Architektur-Design

Das Framework entkoppelt die komplexe Automatisierung in drei spezialisierte Agenten, inspiriert von einem modernen Betriebssystem:

1. Coordinator (CPU): Verantwortlich für strategische Planung und Aufgabenzerlegung. Er nimmt die hochrangige Benutzeranweisung und den aktuellen Aufgabenstatus entgegen und generiert klare, atomare Anweisungen für den Executor.
2. Executor (I/O-Gerät): Ein festes, vortrainiertes Modell (z. B. GUI-R1), das die atomaren Anweisungen in physische Aktionen auf der GUI umsetzt. Es wird nicht trainiert, sondern dient als verifizierbare Komponente.
3. State Tracker (Dynamischer Speicher): Verantwortlich für die dynamische Kontextkomprimierung. Anstatt lange Historien von Screenshots zu speichern, fasst er den Fortschritt in einer hochsemantischen, natürlichen Sprache zusammen. Dies löst das Problem des Kontextverlusts.

B. Staged Execution-Feedback Reinforcement Learning

Statt ein einheitliches Modell zu trainieren, optimieren die Autoren die hochrangigen Komponenten (Coordinator und State Tracker) in zwei separaten Phasen unter Verwendung von GRPO (Group Relative Policy Optimization):

• Warm-up SFT: Beide Agenten werden zunächst durch Supervised Fine-Tuning auf Basis annotierter Daten trainiert, um ihre Rollen und Ausgabeformate zu erlernen.
• Phase 1 (Optimierung des Coordinators): Der Executor wird eingefroren. Der Coordinator lernt, optimale atomare Anweisungen zu generieren, basierend auf den Belohnungssignalen, die aus der erfolgreichen Ausführung durch den Executor resultieren. Der State-Input stammt hier noch aus Ground-Truth-Daten.
• Phase 2 (Optimierung des State Trackers): Der Coordinator wird eingefroren. Der State Tracker wird trainiert, um Zustandszusammenfassungen zu generieren, die dem Coordinator helfen, die besten Entscheidungen zu treffen.
• Belohnungsfunktion (Execution-Feedback Reward): Anstatt die Qualität der Zwischenergebnisse (Planung oder Zusammenfassung) direkt zu bewerten, wird eine verifizierbare Belohnung verwendet. Die Anweisungen des Coordinators und die Zustände des Trackers werden durch den Executor geführt. Die Belohnung basiert darauf, ob der Executor die korrekte Aktion ausführt (Format, Aktionstyp, Parameter). Dieses Signal wird zurückpropagiert, um die hochrangigen Agenten zu optimieren.

3. Hauptbeiträge

1. CES-Multi-Agent-Framework: Ein plug-and-play-System mit spezialisierten, trainierten Komponenten (Coordinator und State Tracker), die mit beliebigen Executors kombiniert werden können.
2. State Tracker: Eine neue Komponente, die dynamische Kontextkomprimierung durchführt und das Problem des fehlenden Aufgabenstatus-Bewusstseins durch semantische Zusammenfassungen löst.
3. Staged Execution-Feedback RL: Eine Trainingsstrategie, die hochrangige Planung und niedrigrangige Ausführung entkoppelt, indem sie einen gefrorenen Executor nutzt, um Belohnungssignale für die Optimierung der Planungsebene zu generieren.
4. Generalisierbarkeit: Die trainierten Module sind universell einsetzbar und verbessern die Leistung verschiedener Executor-Modelle signifikant.

4. Ergebnisse

Die Autoren evaluieren ihre Methode auf drei Benchmarks für langfristige Aufgaben: AITZ, AMEX und GUI-Odyssey.

• Leistungssteigerung: CES übertrifft bestehende Baselines (einschließlich SFT- und RL-basierter Single-Agent-Modelle wie GUI-R1) signifikant. Auf dem GUI-Odyssey-Datensatz erreichte CES beispielsweise eine Success Rate (SR) von 53,69 % im Vergleich zu 38,79 % bei GUI-R1-7B.
• Generalisierung: Das Framework verbessert die Leistung verschiedener Executor-Modelle (von 3B bis 32B Parametern). Besonders wichtig ist, dass das Training spezifischer Komponenten (CES) deutlich besser funktioniert als das bloße Prompting desselben Modells für alle Rollen (CES-P), was die Hypothese der Fähigkeitenkonflikte in Single-Agent-Modellen bestätigt.
• Fehleranalyse: Die Analyse zeigt, dass CES fast vollständig Fehler durch „State Loss" (Verlust des Kontexts) und „Planning Errors" eliminiert. Die verbleibenden Fehler liegen hauptsächlich bei der Wahrnehmung (Perception Errors) des Executors, was den Engpass nun dorthin verlagert, wo er technisch begründet ist.

5. Bedeutung und Fazit

Das Paper stellt einen Paradigmenwechsel in der Entwicklung von GUI-Agenten dar. Anstatt zu versuchen, ein „All-in-One"-Modell zu trainieren, das sowohl planen als auch ausführen muss, schlägt es eine modulare Architektur vor, die durch spezialisierte Division der Arbeit und zielgerichtete RL-Optimierung funktioniert.

Die Bedeutung liegt darin, dass:

• Langfristige Aufgaben zuverlässiger automatisiert werden können, da der Kontext durch den State Tracker erhalten bleibt.
• Die Trainingskosten und -schwierigkeiten reduziert werden, da nur die hochrangigen Planer trainiert werden müssen, während leistungsfähige Executors als feste Komponenten dienen.
• Das System eine robuste, generalisierbare Lösung bietet, die auf verschiedenen Basis-Modellen aufbauen kann, ohne diese neu trainieren zu müssen.

Zusammenfassend demonstriert CES, dass die Entkopplung von Planung und Ausführung durch Reinforcement Learning mit verifizierbarem Feedback der Schlüssel zur Bewältigung komplexer, langfristiger GUI-Automatisierungsaufgaben ist.