Training High-Level Schedulers with Execution-Feedback Reinforcement Learning for Long-Horizon GUI Automation

Dit paper introduceert het CES-framework, dat gebruikmaakt van een gefaseerde uitvoeringsfeedback-versterkingsleer-algoritme om gespecialiseerde hoog-niveau agents (een Coördinator en een Statusvolger) te trainen die, als plug-and-play-module, bestaande uitvoerders aanzienlijk verbeteren bij het aanpakken van complexe GUI-taken met een lange doorlooptijd.

De kern

Stel je voor dat je een robot wilt programmeren om een complexe taak uit te voeren op je telefoon of computer, zoals: "Zoek een foto van een cactus, download hem, en stuur hem via een app naar een vriend."

Voor een mens is dit makkelijk. Maar voor een kunstmatige intelligentie (AI) die alleen naar schermen kijkt, is dit een nachtmerrie. Waarom? Omdat de AI vaak de draad kwijtraakt na een paar stappen, of vergeten is wat hij precies moet doen.

De onderzoekers van dit papier hebben een slimme oplossing bedacht. Ze noemen hun systeem CES. Om het simpel uit te leggen, vergelijken we dit met een hoogwaardig bouwproject.

Het Probleem: De "Superheld" die faalt

Vroeger probeerden onderzoekers één enkele AI te maken die alles kon:

1. De grote plannen maken (Strategie).
2. De knoppen op het scherm vinden en indrukken (Uitvoering).
3. Onthouden waar ze waren gebleven (Geheugen).

Dit is als proberen één persoon te zijn die tegelijkertijd de architect, de bouwer en de secretaris is. Die persoon raakt overbelast. Hij vergeet de bouwtekening, drukt op de verkeerde knop, of weet niet meer of hij de muur al heeft gemetseld. Dit noemen de auteurs "verantwoordelijkheidskoppeling": te veel taken in één hoofd.

De Oplossing: CES (De Bouwteam)

In plaats van één overbelaste AI, hebben ze een team van drie gespecialiseerde robots gemaakt die perfect samenwerken, net als in een goed georganiseerd bedrijf:

1. De Coördinator (De Architect)

• Rol: Hij kijkt naar de grote opdracht van de gebruiker en de huidige situatie.
• Taak: Hij breekt de grote taak op in kleine, duidelijke instructies. Hij zegt niet "Ga die cactus zoeken", maar "Open nu de Wikipedia-app".
• Analogie: Hij is de hoofdingenieur die de blauwdrukken tekent, maar hij bouwt zelf niets. Hij houdt zich bezig met de strategie.

2. De Executor (De Bouwer)

• Rol: Dit is de robot die daadwerkelijk op het scherm klikt, typt of scrollt.
• Taak: Hij doet alleen wat de Coördinator zegt. Hij hoeft niet na te denken over de grote plannen of wat er gisteren is gebeurd. Hij is een "slimme hand" die precies doet wat er gevraagd wordt.
• Analogie: Hij is de bouwvakker die de hamer vasthoudt. Hij kijkt niet naar de hele wolkenkrabber, maar alleen naar de baksteen die hij nu moet leggen.

3. De State Tracker (De Secretaris / Het Geheugen)

• Rol: Dit is het meest nieuwe en belangrijke deel. Hij houdt een dagboek bij.
• Taak: Hij vat samen wat er is gebeurd in menselijke taal. In plaats van dat de AI duizenden oude screenshots moet onthouden (wat verwarrend is), zegt de Secretaris: "We hebben de cactus gevonden, de link gekopieerd en staan nu klaar om naar Tumblr te gaan."
• Analogie: Hij is de projectmanager die een kort verslag schrijft na elke stap. Als de bouwvakker (Executor) even weg is, kan de architect (Coördinator) altijd bij de secretaris kijken om te zien waar ze precies zijn gebleven.

Hoe leren ze dit? (De "Leerling" Methode)

Hoe leer je deze robots? Ze gebruiken een slimme leermethode met beloningen, vergelijkbaar met het trainen van een hond.

1. De "Vaste" Executor: De bouwvakker (Executor) is al goed getraind en wordt niet meer aangepast. Hij is de "referentie".
2. Feedback: Als de Coördinator een slechte instructie geeft, faalt de bouwvakker. De AI krijgt dan een "straf" (geen beloning). Als de instructie goed is en de bouwvakker slaagt, krijgen ze een "koekje" (beloning).
3. Stapsgewijs leren:
   • Eerst leren ze de Coördinator om betere instructies te geven, zodat de bouwvakker succesvol is.
   • Daarna leren ze de Secretaris om betere samenvattingen te maken, zodat de Coördinator precies weet wat er aan de hand is.

Waarom is dit zo goed?

De resultaten tonen aan dat dit team veel beter werkt dan eerdere systemen, vooral bij lange en moeilijke taken.

• Geen vergeten: Door de "Secretaris" (State Tracker) raakt de AI nooit meer de draad kwijt, zelfs niet als het 20 stappen duurt.
• Flexibel: Je kunt deze "Coördinator" en "Secretaris" koppelen aan elke goede "Bouwer" (Executor). Het is een plug-and-play systeem.
• Betrouwbaarder: De AI maakt veel minder fouten omdat de taken zijn verdeeld. De architect hoeft niet te hameren, en de bouwvakker hoeft niet te plannen.

Kortom: In plaats van één genie dat alles probeert te doen en faalt, hebben ze een perfect georganiseerd team gemaakt waar elke robot zijn eigen specialiteit heeft. Hierdoor kunnen ze complexe taken op je telefoon of computer veel slimmer en betrouwbaarder uitvoeren.

Technische samenvatting

Probleemstelling

Hoewel grote vision-language modellen (VLM's) de ontwikkeling van GUI-agenten hebben gestimuleerd, worstelen deze agenten nog steeds met lange-horizon taken (taken die veel stappen en complexe logica vereisen). De auteurs identificeren twee fundamentele beperkingen in bestaande methoden:

1. Koppeling van verantwoordelijkheden en conflicterende capaciteiten: Bestaande end-to-end modellen proberen hoge-level taken (zoals strategische planning en taakdecompositie) en lage-level uitvoering (zoals visuele grounding en precieze klikacties) te combineren in één enkel beleidsmodel. Dit leidt tot optimalisatieconflicten; het model kan niet tegelijkertijd excelleren in abstract redeneren en precieze uitvoering, wat resulteert in een "catastrophal collapse" van capaciteiten naarmate de taakcomplexiteit toeneemt.
2. Gebrek aan bewustzijn van de taakstatus (State Awareness): In lange taken verliezen agenten vaak de context. Ze vertrouwen voornamelijk op screenshots om hun voortgang te bepalen. Screenshots zijn echter een onvoldoende en onbetrouwbare weergave van de taakstatus, vooral bij herhalende schermen (zoals het startscherm) of bij het navigeren naar ongebruikelijke interfaces. Dit leidt tot "progress loss" (verlies van voortgang) en fouten.

Methodologie: Het CES Framework

Om deze uitdagingen aan te pakken, stellen de auteurs een nieuw raamwerk voor: Coordinator-Executor-State Tracker (CES). Dit is een multi-agent systeem dat de complexe automatiseringsprocessen structureel ontkoppelt in drie gespecialiseerde agenten, geïnspireerd op de architectuur van een modern besturingssysteem:

1. Coordinator (De CPU):
   • Rol: Strategische planning en taakdecompositie.
   • Functie: Vertaalt hoge-level gebruikersinstructies en de huidige taakstatus (van de State Tracker) naar duidelijke, uitvoerbare atomaire instructies. Het ontkoppelt het cognitieve last van planning van de directe uitvoering.
2. Executor (De I/O-apparaat):
   • Rol: Uitvoering van acties.
   • Functie: Een "bevroren" (niet-getraind), plug-and-play component (bijv. een bestaand VLM zoals GUI-R1). Het voert strikt de atomaire instructies uit die door de Coordinator worden gegeven. Het hoeft geen lange-termijn intenties te begrijpen of complexe context te behouden.
3. State Tracker (Het Dynamisch Geheugen):
   • Rol: Contextcompressie en statusbeheer.
   • Functie: Dit is een taalmodel dat de output van de Executor observeert en deze omzet in een hoog-semantische, natuurlijke taakstatussamenvatting. In plaats van alle historische screenshots te onthouden, comprimeert het de informatie tot een coherent verhaal over de voortgang. Dit lost het probleem van statusbewustzijn op.

Trainingsstrategie: Gefaseerde Reinforcement Learning (RL)
In plaats van één groot model te trainen, gebruiken de auteurs een gefaseerde execution-feedback RL-strategie:

• Warm-up SFT: Eerst worden de Coordinator en State Tracker voorvertrouwd met Supervised Fine-Tuning (SFT) om basisrollen en outputformaten te leren.
• Rule-based RL (GRPO): Vervolgens wordt Group Relative Policy Optimization (GRPO) gebruikt.
  • Stap 1: De Coordinator wordt geoptimaliseerd. De Executor is bevroren en levert feedback via een verifieerbare beloning (Execution-Feedback Reward) op basis van of de uitgevoerde actie correct was.
  • Stap 2: De Coordinator wordt bevroren en de State Tracker wordt geoptimaliseerd. De State Tracker leert statussamenvattingen te genereren die de Coordinator helpen de beste beslissingen te nemen, waarbij de uiteindelijke succesbeloning van de Executor als signaal dient.

De beloningsfunctie is gebaseerd op de daadwerkelijke uitvoering (of de atomaire instructie leidde tot de juiste actie), wat een objectief signaal biedt voor het trainen van de abstracte planners.

Belangrijkste Bijdragen

1. CES Multi-Agent Framework: Een plug-and-play architectuur met gespecialiseerde hoge-level componenten (Coordinator en State Tracker) die kunnen worden geïntegreerd met diverse bestaande Executor-modellen.
2. De State Tracker: Een innovatieve module voor dynamische contextcompressie die het probleem van statusbewustzijn oplost door een hoog-semantische taakstatus in natuurlijke taal bij te houden.
3. Gefaseerde Execution-Feedback RL: Een trainingsparadigma dat hoge-level capaciteiten volledig ontkoppelt van lage-level uitvoering, waardoor elk onderdeel specifiek en effectief kan worden geoptimaliseerd zonder conflicterende doelen.
4. Generaliseerbaarheid: Het bewijs dat dit raamwerk als een modulaire oplossing werkt die de prestaties van verschillende onderliggende Executor-modellen significant verbetert.

Resultaten

Experimenten op drie benchmarks voor lange-horizon taken (AITZ, AMEX, en GUI-Odyssey) tonen aan:

• Significante Prestatieverbetering: CES verbetert de Type-accuraatheid met gemiddeld 10,38% ten opzichte van de beste baselines (zoals GUI-R1).
• Superioriteit ten opzichte van Prompting: Het gebruik van een gespecialiseerd getraind CES-framework presteert aanzienlijk beter dan het gebruik van dezelfde modellen via "prompting" (CES-P), wat aantoont dat diepgaande training noodzakelijk is voor deze rollen.
• Ablatie-studies: Het verwijderen van de Coordinator of State Tracker leidt tot een drastische daling in succes, wat de noodzaak van ontkoppeling en statusbeheer bevestigt.
• Foutanalyse: CES elimineert bijna volledig fouten gerelateerd aan "State Loss" (verlies van context) en "Planning Errors". De resterende fouten komen voornamelijk van de perceptiecapaciteiten van de Executor zelf, wat aangeeft dat de planning- en statuscomponenten hun werk goed doen.

Betekenis en Impact

Dit paper biedt een fundamentele verschuiving in hoe GUI-agenten voor complexe taken worden ontworpen. Het toont aan dat het proberen om één model te laten doen wat een heel team moet doen (planning én uitvoering) suboptimaal is. Door de rollen te ontkoppelen en specifieke modules te trainen met feedback van de daadwerkelijke uitvoering, creëren de auteurs een robuust, schaalbaar en plug-and-play systeem. Dit maakt het mogelijk om bestaande, krachtige uitvoeringsmodellen (Executors) direct te versterken met geavanceerde plannings- en geheugencapaciteiten, wat een grote stap voorwaarts is voor de automatisering van complexe, langdurige digitale taken.