Autonomous Continual Learning of Computer-Use Agents for Environment Adaptation

Technische Samenvatting: ACuRL

1. Het Probleem: De Dynamiek van Digitale Werelden

Huidige Computer-Use Agents (CUA's), zoals LLM-gebaseerde assistenten die browsers of desktopapplicaties bedienen, presteren uitstekend op statische benchmarks (zoals OSWorld). Echter, in de echte wereld stuiten zij op twee fundamentele problemen:

• Diversiteit en Onbekende Omgevingen: De digitale wereld bevat miljoenen verschillende applicaties. Een agent kan niet tijdens de training alle mogelijke interfaces en functionaliteiten leren kennen.
• Dynamische Omgevingen (Distribution Shift): Software-interfaces en functies veranderen continu door updates. Een agent die getraind is op een statische versie van een programma, verliest zijn effectiviteit zodra de interface wijzigt.

Het kernprobleem is het gebrek aan methoden voor continual learning (voortdurend leren) die kunnen adapteren aan nieuwe of veranderende omgevingen zonder dat er dure, handmatige menselijke annotaties nodig zijn om nieuwe data te genereren.

2. Methodologie: Het ACuRL-framework

De auteurs introduceren ACuRL (Autonomous Curriculum Reinforcement Learning), een raamwerk dat agenten in staat stelt om autonoom te leren in specifieke doelomgevingen met nul menselijke data. Het proces bestaat uit drie hoofdfasen:

A. Omgevingsverkenning en Context-review (Task Generation):
Om te voorkomen dat gegenereerde taken abstract of onrealistisch zijn, voert de agent eerst een verkenning uit.

• Exploratie: De agent interageert vrij met de software om de interface en functies te begrijpen.
• Context-review: Via web-crawling worden realistische contexten verzameld (bijv. bestaande documenten, e-mails of spreadsheets). De agent bestudeert deze om taken te genereren die geworteld zijn in echte gebruikersscenario's.

B. Iteratieve Curriculum Reinforcement Learning:
In plaats van een vaste set taken, gebruikt ACuRL een dynamische leercurve:

• Capability Evaluation: Aan het einde van elke trainingsiteratie wordt de prestatie van de agent gemeten.
• Curriculum Generator: Op basis van de prestaties (Success Rate) genereert een model (GPT-5) nieuwe taken met aangepaste moeilijkheidsgraad:
  • Makkelijk (SR > 70%): De generator maakt de taken complexer (meer stappen, meer restricties).
  • Gemiddeld (30% < SR < 70%): De generator varieert de scenario's en contexten om de vaardigheden te consolideren.
  • Moeilijk (SR < 30%): De generator breekt de taak af in kleinere, hanteerbare subtaken (hierarchical decomposition).

C. CUAJudge (Automatische Evaluatie):
Reinforcement Learning vereist een betrouwbaar beloningssignaal (reward signal). Omdat computergebruik niet simpelweg te controleren is met een "juist antwoord" (zoals bij wiskunde), introduceerden de auteurs CUAJudge. Deze evaluator:

• Voert een state-difference analyse uit (vergelijkt de begin- en eindstatus van de software).
• Verifieert key points op basis van bewijsmateriaal uit screenshots en actiegeschiedenissen.
• Bereikt een overeenstemming van 93% met menselijke beoordelingen.

3. Belangrijkste Bijdragen

• ACuRL Framework: Het eerste raamwerk voor autonoom, curriculum-gebaseerd continu leren voor CUA's zonder menselijke supervisie.
• CUAJudge: Een robuuste, automatische evaluator die complexe, langdurige interacties in software kan beoordelen.
• Infrastructuur-optimalisatie: Een protocol voor het batchgewijs aanmaken en verwijderen van Linux-omgevingen, wat de training 3 tot 5 keer versnelt.

4. Resultaten

De experimenten werden uitgevoerd in zes omgevingen (o.a. LibreOffice, Thunderbird en wetenschappelijke software zoals KAlgebra).

• Prestatiewinst: De agent vertoonde een verbetering van 4% tot 22% in de doelomgevingen over opeenvolgende iteraties.
• Geen Catastrofale Vergetelheid: Het vermogen om in nieuwe omgevingen te leren, ging niet ten koste van oude kennis. De algemene prestaties verbeterden zelfs licht (2-6%) door positieve kennisoverdracht tussen gerelateerde software.
• Sparsity (Sparsity van updates): Een diepgaande analyse toonde aan dat slechts ongeveer 20% van de parameters substantieel wordt bijgewerkt tijdens het leren. Dit verklaart waarom de agent nieuwe taken kan leren zonder de fundamentele kennis (de rest van de 80%) te overschrijven.

5. Betekenis en Impact

Dit onderzoek is cruciaal voor de ontwikkeling van algemene assistenten die niet alleen werken in een gecontroleerde testomgeving, maar die daadwerkelijk bruikbaar zijn in de chaotische, veranderlijke digitale wereld. Het biedt een schaalbaar pad naar agenten die zichzelf kunnen verbeteren en aanpassen aan elke nieuwe softwareapplicatie die een gebruiker installeert, zonder dat menselijke programmeurs of annotatoren handmatig nieuwe trainingsdata hoeven te maken.