Technische Samenvatting: Uitvoerbare Agentgeheugen voor GUI-Agent

1. Probleemstelling

Moderne GUI-agenten, doorgaans aangedreven door Large Language Models (LLM's), opereren binnen een modelcentrisch, stapsgewijs interactieparadigma. In dit paradigma moet een LLM bij elk scherm de gebruikersinterface (UI) opnieuw interpreteren en opnieuw beslissingen over acties nemen. Deze aanpak is inherent kwetsbaar voor taken met een lange horizon, omdat kleine perceptuele of redeneerfouten zich ophopen, wat leidt tot gehallucineerde acties en onjuiste omwegen. Bovendien is het handhaven van de taakvoortgang binnen het contextvenster inefficiënt, en leidt de afhankelijkheid van herhaalde generatie tot hoge latentie en tokenkosten.

Bestaande pogingen om de robuustheid te verbeteren door externe kennis in te brengen (bijvoorbeeld werkstroompatronen of vector-databases) blijken vaak onbetrouwbaar. Deze methoden vertrouwen doorgaans op het contextuele begrip van de LLM om te redeneren over opgehaalde tekst, zonder gebruik te maken van de inherente gestructureerde informatie van historische trajecten. Bijgevolg worstelen ze om uitvoerbare paden betrouwbaar te reproduceren en lopen ze hoge kosten op door herhaalde stapsgewijze generatie en ophaling.

2. Methodologie

Het artikel stelt Uitvoerable Agentgeheugen (EAM) voor, een raamwerk dat GUI-planning verschuift van vrije generatie naar een robuust ophaal- en uitvoeringsproces gebaseerd op een gestructureerd Kennisgrafiek (KG). Het systeem bestaat uit twee hoofdfasen:

A. Offline Constructie van de Kennisgrafiek

Het doel is het bouwen van een persistente, gestructureerde representatie van de interactielogica van de omgeving ($G = (S, A, E)$), waarbij $S$ GUI-staten voorstelt, $A$ acties en $E$ overgangen.

1. Autonome Verkenning: Het systeem hanteert een taakgerichte, staatbewuste Depth-First Search (DFS)-strategie. Een MLLM genereert kandidaat-subdoelen op basis van interactieve elementen (ankers) en evalueert de voortgang (Doorgaan, Terugkeren of Voltooid). Dit zorgt voor een uitgebreide dekking van taakrelevante overgangen, terwijl er van nature een prefixboomstructuur ontstaat.
2. Overgangsgevoelige Kennisontginning: Verzamelde trajecten worden samengevoegd tot een Gerichte Acyclische Grafiek (DAG). Een dubbellagig filtermechanisme (inbeddingssimilariteit gevolgd door verificatie door een Vision-Language Model) behandelt staatdeduplicatie. Semantische attributen (paginabeschrijvingen en actiefuncties) worden uit staatsovergangen gehaald om de grafiek te verrijken.
3. Ontginning van Actiegroepen: Om meerstapsroutines te comprimeren, stellen de auteurs een statistische aanpak voor die is geïnspireerd op Byte Pair Encoding (BPE). Frequent voorkomende aangrenzende actieparen worden iteratief samengevoegd tot nieuwe knooppunten van "actiegroepen", waardoor de KG wordt getransformeerd van atomaire bewerkingen naar een hiërarchie van herbruikbare hoog-niveau vaardigheden.

B. Online Kennisverrijkte Redenering

Gegeven een gebruikersinstructie, haalt de agent een uitvoerbaar pad uit de KG met behulp van een Waardegeleide Monte Carlo Tree Search (MCTS).

1. Q-Model Geleide MCTS: In tegenstelling tot generatieve agenten die tokens afbeelden op de grafiek, opereert deze agent direct op de grafiektopologie. Een lichtgewicht Q-functiemodel ($Q_\theta$) voorspelt de waarschijnlijkheid van taaksucces voor staat-actieparen. Het MCTS-algoritme gebruikt dit Q-model om knooppuntwaarden te initialiseren en de zoektocht te sturen via het UCT-criterium, waarbij hoog-beloonde paden worden geselecteerd uit de beperkte actieruimte.
2. Zelftrainingspijplijn: Het Q-model wordt verfijnd via een iteratief proces:
   • Initialisatie: Getraind via voorkeursleren op experttrajecten met behulp van een Bradley-Terry rangschikkingsverlies om initiële actierangschikkingen vast te stellen.
   • Iteratieve Verfijning: De agent voert MCTS uit, geleid door het huidige Q-model, om zoekbomen te genereren. Doel-Q-waarden worden berekend via bottom-up Bellman-backups (gemiddeld over uniforme willekeurige beleidslijnen). Het model wordt vervolgens bijgewerkt met behulp van een binaire cross-entropy-verliesfunctie met deze zachte labels, waardoor het vermogen om veelbelovende paden te onderscheiden geleidelijk verbetert.

3. Theoretische Bijdragen

Het artikel biedt theoretische garanties voor het voorgestelde raamwerk:

• Bias-consistentie: De auteurs stellen vast dat het geleerde Q-model bias-consistent is met de referentiewaardefunctie ($Q_{\pi_u}$) op de kritieke set van staat-acties die nodig zijn voor het herstel van het optimale pad. De foutmarge neemt af naarmate het aantal trainingsstalen toeneemt.
• Stalencomplexiteit: Een limiet voor de complexiteit met een eindig aantal stalen wordt afgeleid voor het MCTS-proces. De analyse toont aan dat het aantal simulaties dat nodig is om het optimale pad te herstellen, polynomieel schaalt met de horizon en de vertakkingsfactor, en omgekeerd evenredig is met het kwadraat van het effectieve actieverschil. Cruciaal: naarmate het Q-model verbetert (wat de bias vermindert), zijn minder MCTS-simulaties nodig.

4. Experimentele Resultaten

De methode werd geëvalueerd op drie benchmarks: AndroidWorld, MobileMiniWob++ en DroidTask.

• Prestaties: EAM presteert aanzienlijk beter dan state-of-the-art baselines. Op AndroidWorld bereikt het een 52,6% succespercentage, wat 19,6% meer is dan de SOTA UI-TARS-7B (33,0%). Het presteert ook beter dan GPT-4o-gebaseerde raamwerken zoals M3A (40,5%) en bereikt vergelijkbare resultaten als grotere, kennisverrijkte agenten zoals AppAgentX en GUI-Explorer, ondanks het gebruik van een kleiner model met 3B parameters voor padextractie.
• Efficiëntie: EAM verlaagt de tokenkosten met ongeveer 6× ten opzichte van GPT-4o (8,3K tokens versus 50,8K per stap) en bereikt een gemiddelde latentie van 2,8 seconden. Deze efficiëntie vloeit voort uit het "plannen-volgens-uitvoeren"-raamwerk, dat slechts één cloudoproep vereist om het opgehaalde pad te filteren, in plaats van iteratieve API-oproepen voor elke stap.
• Ablatiestudies:
  • Zelftraining: Iteratieve zelftraining verbetert consistent de succespercentages over verschillende modelgroottes (0,5B tot 3B).
  • Actiegroepen: Het samenvoegen van frequente sequenties tot actiegroepen vermindert de zoekcomplexiteit en latentie aanzienlijk.
  • Generalisatie: Een Q-model dat is getraind op één omgeving (AndroidWorld) verbetert de prestaties op onbekende omgevingen (DroidTask, MobileMiniWob++), wat suggereert dat het model overdraagbare GUI-navigatiepatronen vastlegt.

5. Betekenis en Claims

Het artikel beweert dat EAM een paradigmaverschuiving voorstelt voor GUI-agenten door de Kennisgrafiek niet louter te behandelen als een ophaalbron voor injectie in de context, maar als een uitvoerbare toestandsmachine.

• Betrouwbaarheid: Door besluitvorming te verankeren in een gestructureerde grafiek van geldige overgangen, garandeert EAM dat de agent op uitvoerbare paden blijft, wat de hallucinaties die gebruikelijk zijn bij vrije generatie, mitigeert.
• Efficiëntie: De combinatie van compressie van actiegroepen en waardegeleide zoektocht stelt kleine modellen in staat om taken met een lange horizon uit te voeren met lage latentie en kosten, waardoor de redeneergap tussen kleine taalmodellen en frontier-LLM's wordt overbrugd.
• Schaalbaarheid: De theoretische garanties en empirische resultaten suggereren dat deze aanpak schaalbaar en robuust is, en een haalbare weg biedt naar betrouwbare, realtime GUI-automatisering zonder de prohibitive kosten van huidige cloudgebaseerde, stapsgewijze generatiemethoden.

De auteurs erkennen beperkingen met betrekking tot de aanname van een relatief statische UI-omgeving, en merken op dat aanzienlijke app-updates mechanismen kunnen vereisen voor incrementele grafiek-evolutie, wat een richting blijft voor toekomstig werk.