Technische Samenvatting: LEARNWEAK – Leren van Zwaktes voor Geautomatiseerde Domeinspecialisatie

Probleemstelling

Computer-use agents (CUA's) hebben aanzienlijke vooruitgang geboekt, maar er blijft een aanzienlijke prestatiekloof bestaan tussen grote propriëtaire modellen en kleine, open-source modellen die zijn fijngefineerd voor computer-use taken. Hoewel kleine modellen voordelen bieden op het gebied van kosten, latentie en privacy voor randdeployments, kampen ze met problemen in domeinspecifieke softwareomgevingen (bijv. LibreOffice, VSCode) vanwege unieke conventies en workflows.

Bestaande benaderingen om deze kloof te overbruggen staan voor twee hoofduitdagingen:

1. Datageneratie: Het verzamelen van menselijke trajecten is kostbaar. Geautomatiseerde methoden voor trajectgeneratie produceren vaak data die "zwaktes-agnostisch" is, waardoor ze niet gericht zijn op de specifieke tekortkomingen van het studentmodel, wat leidt tot inefficiënt trainen.
2. Trainingsdoelen: Naïef fijnfineeren op brede datasets kan catastrofaal vergeten veroorzaken of de native redeneerpatronen van de agent verstoren. Bovendien behandelt standaardtraining vaak alle fouten uniform, zonder onderscheid te maken tussen planningsfouten (onjuiste actiekeuze) en uitvoeringsfouten (onjuiste parameters of coördinaten), die verschillende corrigerende signalen vereisen.

Methodologie: LEARNWEAK

De auteurs stellen LEARNWEAK voor, een volledig geautomatiseerd, annotatievrij kader voor domeinspecialisatie dat werkt in twee gekoppelde fasen: Zwaktesbewuste Datageneratie (LEARNWEAK-GEN) en Foutbewuste Agenttraining (LEARNWEAK-DPO).

1. Zwaktesbewuste Datageneratie (LEARNWEAK-GEN)

Deze fase bouwt een gerichte trainingsdataset op door iteratief de specifieke mislukkingen van het studentmodel te identificeren en aan te pakken zonder menselijke annotatie.

• Leraar-Student Vergelijking: Een sterkere "leraar"-beleid ($\pi_T$) en het "student"-beleid ($\pi_S$) voeren taken uit in dezelfde omgeving. Een verificateur identificeert taken waarbij de leraar slaagt maar de student faalt ($v_T=1, v_S=0$).
• Zwaktes Samenvatting: De diagnostiek van de verificateur voor studentmislukkingen worden samengevat in een zwaktesrapport ($R_d$), dat terugkerende mislukkingspatronen vastlegt (bijv. onjuiste elementlokaliseren, ongeldige argumenten).
• Schermopname-geleide Query Synthese: Een taakgenerator synthetiseert nieuwe queries voor de volgende iteratie op basis van:
  • Zwaktes-gerichte synthese: Taken die zijn geconditioneerd op het zwaktesrapport om geïdentificeerde tekortkomingen aan te pakken.
  • Exploratie-gerichte synthese: Taken die uitsluitend zijn geconditioneerd op representatieve schermopnames om dekking van niet-onderzochte functionaliteiten te waarborgen.
• Iteratief Proces: Deze cyclus wordt $N$ keer herhaald, waarbij de taakverdeling verschuift naar onopgeloste zwaktes terwijl diversiteit behouden blijft.

2. Foutbewuste Agenttraining (LEARNWEAK-DPO)

Deze fase specialiseert de student met Direct Preference Optimization (DPO) met een nieuwe foutbewuste masking-strategie.

• Stap-voor-stap Voorkeursconstructie: In plaats van hele trajecten als enkele eenheden te behandelen, speelt de methode het succesvolle traject van de leraar stap voor stap na. Bij elke stap wordt het studentbeleid bevraagd met de context van de leraar. Voorkeursparen worden uitsluitend geconstrueerd voor stappen waarbij de tool-uitvoering van de student verschilt van die van de leraar.
• Ontkoppeling van Fouttypes: Mislukkingen worden geclassificeerd in twee types:
  • Planningsfouten ($\epsilon_{PLAN}$): De student kiest een ander functietype ($f_t$) dan de leraar.
  • Uitvoeringsfouten ($\epsilon_{EXEC}$): De student kiest hetzelfde functietype maar met onjuiste parameters ($p_t$).
• Gemaskerde DPO-doelfunctie: De trainingsverlies past een binaire masker toe op de tokenposities. Cruciaal wordt bij planningsfouten het verlies toegepast op zowel redenerings- als actietokens; bij uitvoeringsfouten richt het zich op de actieparameters. Dit zorgt ervoor dat updates gedragsmatig precies zijn en gericht zijn op het specifieke fouttype in plaats van het opnieuw leren van het hele sequentie.
• Modulaire Schaalbaarheid: Domeinspecialisatie wordt bereikt door het basale studentmodel te bevriezen en lichtgewicht LoRA-adapters ($\Delta_d$) te trainen voor elk domein, waardoor één basismodel meerdere gespecialiseerde agents kan bedienen.

Belangrijkste Bijdragen

1. Annotatievrij Specialisatiekader: LEARNWEAK elimineert de behoefte aan menselijke trajectannotatie door een leraar-studentlus te gebruiken om gerichte trainingsdata automatisch te synthetiseren.
2. Studentbewuste Datageneratie: In tegenstelling tot eerdere methoden voor autonome generatie die zich richten op volume of diversiteit, conditioneert LEARNWEAK querygeneratie expliciet op de waargenomen mislukkingspatronen van de student, wat zorgt voor een hoge informatiewaarde per steekproef.
3. Foutbewust Trainingsdoel: Het artikel introduceert een DPO-variant die plannings- en uitvoeringsfouten ontkoppelt en selectieve supervisiemaskers toepast om alleen de relevante gedragssegmenten bij te werken.
4. Modulaire Domeinadaptatie: Het kader demonstreert een schaalbare aanpak voor het hanteren van meerdere domeinen via LoRA-adapters, waardoor de noodzaak van aparte volledige model-fijnfineringen wordt vermeden.

Experimentele Resultaten

Het kader werd geëvalueerd op 8 domeinen binnen de OSWorld-benchmark met EvoCUA-8B en OpenCUA-7B als basale studentmodellen.

• Prestatiewinst: LEARNWEAK bereikte gemiddelde verbeteringen in slagingspercentages van 11,6% (EvoCUA-8B) en 11,1% (OpenCUA-7B) over alle domeinen.
• De Leraar Voorbijstrijden: In verschillende domeinen (Gimp, Thunderbird, VSCode) presteerde de gespecialiseerde kleine student beter dan het 32B leraarmodel, wat suggereert dat gerichte corrigerende supervisie effectiever kan zijn dan eenvoudige imitatie van een groter model.
• Vergelijking met Baselines:
  • LEARNWEAK presteerde beter dan bestaande menselijk gevalideerde datasets (AgentNet) en zero-shot baselines.
  • Het presteerde aanzienlijk beter dan andere zero-annotatie generatiepijplijnen (AgentSynth, OS-Genesis, ZeroGUI) en filtermethoden (WebSTAR), wat bevestigt dat het richten op zwaktes superieur is aan generieke datadilatatie.
  • Ablatiestudies toonden aan dat het verwijderen van het zwaktesrapport of het iteratieve generatieproces resulteerde in lagere prestaties, wat de noodzaak van studentbewuste begeleiding valideert.
  • De foutbewuste DPO-doelfunctie presteerde met een aanzienlijke marge (gemiddeld 9,62 procentpunten) beter dan standaard SFT en standaard DPO.

Betekenis en Beweringen

Het artikel betoogt dat efficiënte domeinspecialisatie voor kleine CUA's niet afhankelijk is van het schalen van synthetische datavolume, maar van het identificeren en repareren van student-specifieke zwaktes. Door de focus te verschuiven van brede generalisatie naar gerichte correctie, biedt LEARNWEAK een principiële weg om de prestatiekloof tussen kleine open modellen en grote propriëtaire agents te verkleinen.

De auteurs beweren dat deze aanpak kleine, gespecialiseerde agents een meer praktische deployoptie maakt voor real-world softwareomgevingen, vooral waar privacy en kosten beperkingen zijn. Het werk benadrukt het belang van "studentbewustzijn" in zowel datasynthese als trainingsdoelen, wat suggereert dat toekomstig onderzoek prioriteit moet geven aan adaptief, falingsgedreven leren boven statische datasetschaling.

Beperkingen Erkend door de Auteurs:

• Het kader gaat uit van de beschikbaarheid van een redelijk betrouwbaar leraarmodel; als de leraar instabiel of bevooroordeeld is, kan de supervisie deze fouten erven.
• Het gaat ervan uit dat het basale studentmodel al beschikt over fundamentele computer-use vaardigheden (visuele grounding, actiegeneratie). Het is niet ontworpen om deze capaciteiten van scratch aan te leren aan modellen die ze missen.