CoAdapt-GUI: Joint Workflow Context and Policy Adaptation for Unseen GUI Applications

Technische Samenvatting: CoAdapt-GUI

Probleemstelling
Mobiele GUI-agenten vertonen momenteel een zekere broosheid wanneer ze worden ingezet in applicaties die ontbreken in hun bron-trainingsdata. Hoewel recente vooruitgang de prestaties op gevestigde benchmarks heeft verbeterd, gaan deze evaluaties vaak uit van een vooraf gedefinieerde collectie applicaties en workflows. In real-world scenario's krijgen agenten te maken met "onbekende" applicaties waarbij zowel de interface-elementen als de taakprocedures nieuw zijn. Bestaande benaderingen voor generalisatie, zoals online reinforcement learning (RL) op doel-interacties, richten zich vaak uitsluitend op beleidsadaptatie (policy adaptation). Succes op nieuwe taken binnen een bekende interface garandeert echter geen effectief gedrag in een onbekende applicatie. Agenten kunnen falen door app-specifieke grounding-problemen of een gebrek aan procedurele workflowkennis (bijv. voltooiingscondities, herstel bij fouten). Het bijwerken van enkel het beleid of enkel de workflow-context laat kritieke bronnen van falen onopgelost, met name onder cross-applicatie verschuivingen waarbij ervaring uit de bron potentieel negatieve transfer bevat (app-specifieke details) die adaptatie hindert.

Methodologie: CoAdapt-GUI
Het artikel introduceert CoAdapt-GUI, een Test-Time Adaptation (TTA) framework ontworpen om gezamenlijk een gestructureerde workflow-context en een beleid (policy) aan te passen met behulp van enkel de eigen rollouts van de doel-app en taak-niveau beloningen, zonder toegang tot doel-demonstraties of uitgesloten evaluatiesignalen.

Het framework werkt op twee complementaire adaptieve staten:

1. Transfer-beperkte Workflow-context ($M_t$):

   • Scheiding van Belangen: Het systeem maakt onderscheid tussen de app-gebonden bronstaat (schermen, coördinaten, specifieke identifiers) en overdraagbare procedurele kennis (abstracte procedures, foutmodi, verificatieregels).
   • FSM-Gegronde Representatie: Bron-workflows worden gerepresenteerd als Finite-State Machines (FSMs). Een "bevroren synthesizer" construeert een overdraagbare staat ($M_{tr}$) door app-gebonden details te filteren via eligibility predicates en schema-validators.
   • Doel-gegronde Revisie: Tijdens adaptatie onderhoudt de agent een aparte doel-gegronde staat ($M_{t}^{tgt}$). Een "bevroren reflector" contrasteert succesvolle en gefaalde traces van gematchte rollouts om revisies voor te stellen aan de workflow-context. Deze revisies worden gevalideerd tegen een getypeerd schema (waarbij app-namen, package ID's, etc. worden uitgesloten) voordat ze de populatie ingaan.
   • Retrieval: Voor een doel-taak wordt een beperkte, eligibility-geconstraineerde bron workflow-context ($M_0$) opgehaald en gecombineerd met de evoluerende doel-gegronde staat.

2. Taak–Context-Gematchte Beleidsadaptatie:

   • Architectuur: Het beleid is een Vision-Language Model (VLM) met een bevroren backbone en een trainbare LoRA-adapter ($\theta_t$).
   • Groep-Relatieve Optimalisatie: Om interferentie door contextvariaties te voorkomen, worden beleidsupdates alleen berekend onder rollouts die dezelfde taak en dezelfde contextconditie delen ($G(q, \kappa)$).
   • Doelstelling: Het framework gebruikt een groep-relatieve doelstelling (Shao et al., 2024) om de LoRA-parameters bij te werken op basis van voordelen ($A_j$) berekend binnen deze gematchte groepen. Dit zorgt ervoor dat credit assignment reflecteert op beleidsverbeteringen in plaats van op verschillen in taakmoeilijkheid of contextbegeleiding.

3. Gezamenlijke Adaptatielus:

   • Het framework voert gematchte rollouts uit onder gecontroleerde reset-condities.
   • Dezelfde rollout-stroom drijft twee kanalen aan:
     • Context Kanaal: Actualiseert de ratings van context-varianten en stelt gevalideerde kind-revisies voor.
     • Beleids Kanaal: Actualiseert de LoRA-adapter met behulp van de geaccumuleerde trajecten, maar alleen wanneer er geldige taak–context vergelijkingsgroepen bestaan.
   • Updates zijn interactie-gekoppeld maar niet gezamenlijk differentieerbaar; de huidige context vormt de trajecten voor beleidsleren, terwijl het huidige beleid de succes/fout-signalen genereert die worden gebruikt om de workflow te reviseren.

Kernbijdragen

1. Gezamenlijke Doel-zijde Adaptatie: Een TTA-framework dat aparte workflow-context en beleidsstaten bijwerkt met behulp van enkel autonome doel-interacties en beloningen, waardoor de noodzaak voor doel-demonstraties wordt geëlimineerd.
2. Transfer-beperkte Adaptatie: Een mechanisme dat overdraagbare workflow-kennis scheidt van app-gebonden bronstaat. Het coördineert beloning-gestuurde updates waarbij context-revisies worden gevalideerd door schema-checks, en beleids-credit strikt wordt berekend binnen gematchte taak–context groepen.
3. Uitgebreide Evaluatie: Het framework wordt geëvalueerd over twee niveaus van generalisatie:
   • Instantie Generalisatie: Nieuwe instanties van bekende taak-templates (AndroidWorld-Generalization).
   • Taak-type Generalisatie: Volledig nieuwe taak-templates binnen onbekende applicaties (AndroidWorld Plus).

Experimentele Resultaten
De auteurs evalueerden CoAdapt-GUI tegen baselines inclusief een Base Policy, Static Context Transfer, Policy-Only TTA, en Context-Only TTA.

• AndroidWorld-Generalization (Nieuwe Taak-instanties):

  • CoAdapt-GUI behaalde een succespercentage van 45,0%.
  • Dit presteerde beter dan de gerapporteerde Policy-Only TTA baseline (37,5%) met 7,5 procentpunt en de Context-Only TTA (35,0%) met 10,0 procentpunt.
  • Static Context Transfer behaalde 28,75%.

• AndroidWorld Plus (Nieuwe Taak-templates):

  • Deze setting testte transfer naar taaktypes die niet gezien zijn tijdens adaptatie.
  • CoAdapt-GUI verhoogde het algemene succespercentage van een Base Policy van 38,6% naar 52,9%.
  • Context-Only TTA verbeterde de basis naar 48,1%, terwijl Policy-Only TTA slechts 40,0% bereikte.
  • In Category-Shared Apps (waar bron-workflows konden worden opgehaald), bereikte CoAdapt-GUI 70,4%.
  • In Category-Novel Apps (geen bron-workflows beschikbaar), verbeterde CoAdapt-GUI nog steeds het succes van 29,4% (Base) naar 34,3%, wat de effectiviteit van doel-gegronde adaptatie aantoont, zelfs zonder bron-priors.

Significantie en Claims
Het artikel claimt dat transfer-beperkte workflow-context substantiële winst oplevert voor generalisatie naar nieuwe applicaties, en dat het gezamenlijk aanpassen van het beleid de gehouden prestaties verder verbetert. De resultaten suggereren dat:

1. Workflow Adaptatie Cruciaal is: Alleen de workflow-context aanpassen (Context-Only TTA) levert significante verbeteringen op ten opzichte van statische transfer of beleids-only updates, met name in scenario's met nieuwe taaktypes.
2. Synergie van Gezamenlijke Adaptatie: De combinatie van context- en beleidsadaptatie (CoAdapt-GUI) bereikt de beste algemene prestaties, wat aangeeft dat de twee staten onderscheidend maar complementair zijn voor generalisatie.
3. Robuustheid tegen Bron-verschuiving: Het framework gaat effectief om met scenario's waarin bron-workflows niet beschikbaar zijn (Category-Novel Apps) door doel-gegronde kennis vanaf nul op te bouwen.

De auteurs benadrukken dat hun aanpak informatie-lekkage voorkomt door disjuncte bron- en doel-pools te gebruiken, updates te beperken tot de adaptatie-split, en staten te bevriezen vóór de evaluatie. Ze concluderen dat CoAdapt-GUI een levensvatbaar pad biedt voor het inzetten van GUI-agenten die autonoom kunnen adapteren aan onbekende applicaties met een beperkt interactiebudget.