AndroTMem: From Interaction Trajectories to Anchored Memory in Long-Horizon GUI Agents

1. Het Probleem

Langdurige GUI-agenten (Graphical User Interface agents) zijn essentieel voor het uitvoeren van complexe taken in de echte wereld, zoals het vergelijken van prijzen over meerdere apps en het afronden van een aankoop. Echter, huidige paradigma's worstelen met langdurige interacties (long-horizon tasks), vaak bestaande uit tientallen stappen over verschillende applicaties heen.

De kernproblemen die door de auteurs worden geïdentificeerd zijn:

• Inefficiënt geheugenbeheer: Bestaande methoden vertrouwen vaak op het herhalen van volledige interactiegeschiedenissen (wat redundant is en ruis versterkt) of op samenvattingen (coarse summaries). Samenvattingen verliezen vaak kritieke, fijnmazige informatie en afhankelijkheden die later in de taak essentieel zijn.
• Ontbrekende causaliteit: Veel bestaande benchmarks bevatten losgekoppelde stappen. In werkelijke scenario's zijn tussenstappen echter vaak causaal afhankelijk van eerdere resultaten (bijv. een geprijsde waarde die later moet worden vergeleken).
• Diagnostische blindheid: Bestaande evaluaties meten vaak alleen of de taak is voltooid, maar niet waarom een agent faalt. Het is onduidelijk of fouten ontstaan door perceptieproblemen, lokale actie-fouten of het verlies van kritieke tussenstaten (geheugenfouten).

2. Methodologie

De auteurs introduceren AndroTMem, een diagnostisch framework dat bestaat uit een benchmark en een nieuw geheugenmechanisme.

A. AndroTMem-Bench (De Benchmark)

Dit is een dataset specifiek ontworpen om het geheugenvermogen van GUI-agenten te testen.

• Opbouw: Bestaat uit 1.069 realistische taken met in totaal 34.473 interactiestappen (gemiddeld 32,1 stappen per taak, maximaal 65).
• Domein: 50 populaire Android-apps, waaronder e-commerce, sociale media, reizen en productiviteit.
• Ontwerpprincipe: Taken zijn opzettelijk ontworpen met sterke causale afhankelijkheden tussen stappen. Een tussenstap (bijv. het extraheren van een prijs) is vaak een "State Anchor" die noodzakelijk is voor een beslissing die pas 10 stappen later wordt genomen.
• Evaluatiemetrics:
  • TCR (Task Complete Rate): De belangrijkste metric. Een taak wordt alleen als geslaagd beschouwd als de agent de einddoel bereikt en de causale afhankelijkheden van eerdere tussenstaten correct heeft behouden en hergebruikt.
  • AMS (Action Matching Score): Meet de nauwkeurigheid van individuele acties.

B. Diagnostische Analyse

De auteurs hebben bestaande agents (zowel open-source als gesloten, zoals GPT-4o, Gemini, Qwen) getest op deze benchmark.

• Vinding: De prestaties dalen drastisch naarmate het aantal stappen toeneemt.
• Oorzaak: De daling wordt voornamelijk veroorzaakt door geheugenfouten binnen de taak (het vergeten of verkeerd toewijzen van eerdere staten), niet door fouten in het waarnemen van de huidige interface of het uitvoeren van een lokale actie.

C. Anchored State Memory (ASM)

Om dit probleem op te lossen, stellen de auteurs Anchored State Memory (ASM) voor. In plaats van de volledige geschiedenis of een vage samenvatting te gebruiken, organiseert ASM de interactiegeschiedenis in een compacte set van causaal gekoppelde tussenstaten (anchors).

• Structuur: Een anchor is een object dat bestaat uit:
  • type: De rol van de staat (bijv. subdoel, state change, afhankelijkheid, uitzondering).
  • content: De semantische informatie.
  • evidence: De bron (screenshot/UI-element).
  • links: Causale relaties met andere anchors (bijv. "Prijs_A" is afhankelijk van "Zoekopdracht_A").
• Werkingsprincipe: De agent haalt tijdens elke stap alleen de relevante anchors op die nodig zijn voor de huidige beslissing, in plaats van de hele trajectgeschiedenis te verwerken. Dit maakt "subdoel-gestuurde ophaling" en "toewijzingsbewuste besluitvorming" mogelijk.

3. Belangrijkste Bijdragen

1. AndroTMem-Bench: Een nieuwe benchmark die de focus legt op langdurige, cross-app taken met sterke causale afhankelijkheden, wat een kritiek gat in de huidige literatuur opvult.
2. Diagnostisch Inzicht: Het aantonen dat geheugenverlies de primaire bottleneck is voor langdurige GUI-taken, en niet perceptie of lokale actieplanning.
3. Anchored State Memory (ASM): Een gestructureerd geheugenmechanisme dat geschiedenis omzet in een graf van causaal verbonden staten, wat de efficiëntie en nauwkeurigheid aanzienlijk verbetert.
4. Uitgebreide Evaluatie: Een uitgebreide analyse van 12 verschillende GUI-agents, inclusief de identificatie van specifieke faalpatronen zoals "State Loss" (verlies van staten), "State Mis-binding" (verkeerde toewijzing) en "Context Drift".

4. Resultaten

De experimenten tonen aan dat ASM consistent beter presteert dan bestaande methoden (Raw History en Coarse Summary) over een breed scala aan modellen:

• Prestatieverbetering: ASM verbetert de Task Complete Rate (TCR) met 5% tot 30,16% en de Action Matching Score (AMS) met 4,93% tot 24,66% ten opzichte van de basismethoden.
• Robuustheid: Terwijl de prestaties van agents met "Raw History" of "Summary" sterk dalen naarmate het aantal stappen toeneemt (bijv. boven de 40 stappen), behoudt ASM een hoge prestatie over de hele lengte van de taak.
• Efficiëntie: ASM verbruikt minder tokens en tijd dan het herhalen van de volledige geschiedenis, terwijl het effectiever is dan samenvattingen. Het biedt dus een betere trade-off tussen kosten en prestaties.
• Voorbeeld: Op de benchmark presteerde Gemini-3-Flash (de beste gesloten model) met ASM een TCR van 65,05%, vergeleken met 55,21% met ruwe geschiedenis.

5. Betekenis en Impact

Dit paper is significant voor de ontwikkeling van autonome AI-agenten in de echte wereld:

• Verschuiving in focus: Het bewijst dat voor langdurige taken het vermogen om kernstaten te onthouden en te koppelen belangrijker is dan het simpelweg meer contextinformatie toevoegen.
• Schaalbaarheid: ASM biedt een schaalbare oplossing voor het geheugenprobleem, waardoor agents betrouwbaarder kunnen worden ingezet voor complexe workflows (zoals e-commerce, administratie en reizen) die momenteel te foutgevoelig zijn.
• Toekomstige Research: De benchmark en het framework bieden een standaard om toekomstige geheugenmechanismen te testen en te verbeteren, en benadrukt de noodzaak van gestructureerde, causale representaties in multimodale agenten.

Kortom, AndroTMem toont aan dat het oplossen van het geheugenprobleem via gestructureerde "anchors" de sleutel is tot het realiseren van robuuste, langdurige GUI-agenten.