🤖 AI

IntentCUA: Learning Intent-level Representations for Skill Abstraction and Multi-Agent Planning in Computer-Use Agents

Het paper introduceert IntentCUA, een multi-agent framework dat door intent-georiënteerde representaties en gedeeld plangeheugen de stabiliteit en efficiëntie van computergebruiksagenten bij complexe, langdurige taken aanzienlijk verbetert.

Oorspronkelijke auteurs: Seoyoung Lee, Seobin Yoon, Seongbeen Lee, Yoojung Chun, Dayoung Park, Doyeon Kim, Joo Yong Sim

Gepubliceerd 2026-03-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Seoyoung Lee, Seobin Yoon, Seongbeen Lee, Yoojung Chun, Dayoung Park, Doyeon Kim, Joo Yong Sim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms wat vergetelijke assistent hebt die voor je op de computer werkt. Je vraagt hem: "Zoek die video over kunstmatige intelligentie, vat hem samen en sla het op in mijn werkmap."

Voor een mens is dit makkelijk. Maar voor een computerprogramma is dit een enorme uitdaging. De computer moet tien verschillende vensters openen, klikken op knoppen, tekst typen en zich herinneren wat hij al heeft gedaan. Als hij ergens een foutje maakt (bijvoorbeeld een venstertje dat hij niet ziet), begint hij vaak in een cirkel te draaien: hij probeert het opnieuw, faalt weer, probeert het opnieuw... en raakt uiteindelijk de hoofddoel uit het oog.

IntentCUA is de oplossing die de auteurs van dit paper hebben bedacht. Het is als het geven van een slim dagboek en een gereedschapskist aan die computerassistent.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Vergeten" Assistent

Huidige computersystemen kijken vaak alleen naar wat er nu op het scherm staat. Ze hebben geen goed geheugen voor wat ze eerder hebben gedaan of waarom ze het deden.

Vergelijking: Het is alsof je iemand vraagt om een huis te bouwen, maar je geeft hem elke dag een nieuwe tekening zonder te zeggen wat de vorige dag al is gebouwd. Hij begint steeds opnieuw met de fundering, of hij bouwt een muur die er al was.

2. De Oplossing: IntentCUA (De Slimme Assistent)

IntentCUA werkt met drie slimme trucs om die assistent slimmer te maken:

A. De "Dagboeken" (Intent Representaties)

In plaats van alleen te kijken naar de pixels op het scherm, leert het systeem de intentie (het doel) achter elke actie.

Vergelijking: Stel je voor dat je niet alleen onthoudt "ik klikte op de blauwe knop", maar "ik klikte op de blauwe knop om een nieuwe pagina te openen". Het systeem groepeert duizenden eerdere taken in categorieën, zoals "openen", "zoeken" of "opslaan". Het leert dat "klikken op 'Nieuw'" en "klikken op 'Openen'" eigenlijk hetzelfde doel hebben.

B. De "Gereedschapskist" (Skill Abstraction)

Het systeem haalt niet elke keer dezelfde stappen uit het hoofd. Het maakt samenvattingen van succesvolle taken.

Vergelijking: In plaats van te zeggen "klik links, klik rechts, typ 'a', typ 'b'", zegt het systeem: "Gebruik het 'Zoek- en Opslaan'-pakketje". Dit pakketje is een kant-en-klaar recept dat het systeem al eerder heeft gebruikt en dat altijd werkt. Als het systeem een taak moet doen, pakt het het juiste recept uit de kast in plaats van alles opnieuw te verzinnen.

C. Het "Geheugen" (Plan Memory)

Het systeem heeft een centrale database waar het zijn plannen en ervaringen opslaat.

Vergelijking: Als je assistent een taak moet doen, kijkt hij eerst in zijn dagboek: "Heb ik dit al eens gedaan?"
- Ja? Dan pakt hij het oude plan en past het alleen een beetje aan.
- Nee? Dan kijkt hij naar vergelijkbare taken en bouwt een nieuw plan op basis van die ervaring.
- Foutje gemaakt? Dan kijkt hij in zijn dagboek hoe hij dat probleem eerder heeft opgelost, in plaats van in paniek te raken.

3. Het Teamwerk: De Drie Agenten

Het systeem bestaat uit drie personages die samenwerken:

De Planner: De chef-kok die het recept (het plan) uitschrijft.
De Optimizer: De sous-chef die de ingrediënten (de acties) precies doet, en als iets niet lukt, direct een ander recept uit de kast haalt.
De Critic: De proever die kijkt of het eten (de taak) goed is. Als het niet smaakt, zegt hij: "Probeer het opnieuw" of "Dit is goed, ga door".

Wat levert dit op?

De testresultaten zijn indrukwekkend:

Meer succes: Het systeem slaagt in 75% van de complexe taken, terwijl andere systemen vaak al na een paar stappen vastlopen.
Minder tijd: Het werkt 4,5 keer sneller dan de concurrenten.
Stabiliteit: Zelfs als de taak heel lang duurt (bijvoorbeeld 30 stappen of meer), raakt het systeem niet in de war. Het blijft zijn doel in het oog houden.

Samenvatting

IntentCUA is als het geven van een intelligent geheugen en een verzameling bewezen recepten aan een computer. In plaats van elke taak vanaf nul te proberen te begrijpen, leert het systeem van zijn verleden, herkent het patronen en gebruikt slimme shortcuts. Hierdoor wordt het een betrouwbare partner die complexe klusjes op je computer kan afhandelen zonder steeds vast te lopen.

Probleemstelling

Computer-use agents (agents die desktop-omgevingen bedienen) moeten vaak complexe taken uitvoeren over lange tijdsperiodes ("long-horizon"). Huidige benaderingen, variërend van Reinforcement Learning (RL)-gebaseerde planners tot trajectherhaling, kampen met twee fundamentele beperkingen in dynamische, ruisgevoelige omgevingen:

Intentie-afwijking (Intent Drift): Plannen die uit meerdere sub-stappen bestaan, wijken vaak af van de oorspronkelijke gebruikersintentie. Agents herhalen routinematige subproblemen die al zijn opgelost, wat leidt tot inefficiëntie.
Cumulatieve Fouten: Lokale perceptie-fouten (bijv. het verkeerd interpreteren van een GUI-element) stapelen zich op, wat leidt tot cascaderende retry-cycli en instabiele uitvoering.

Bestaande systemen missen vaak een mechanisme om interactietraces te abstraheren naar herbruikbare vaardigheden die de intentie van de gebruiker behouden, waardoor ze vastlopen in inefficiënte herplanning.

Methodologie: IntentCUA

IntentCUA is een multi-agent framework dat langdurige uitvoering stabiliseert door middel van intentie-gealigneerde plan-memory en gecoördineerde planning. Het systeem bestaat uit drie hoofdcomponenten: een Planner, een Plan-Optimizer en een Critic, die samenwerken via een gedeeld geheugen.

1. Intentie-niveau Representatie en Vaardigheidsabstractie (Offline)

Het systeem transformeert ruwe gebruikersinteracties naar gestructureerde, herbruikbare kennis:

Multi-view Intent Representatie: Elke gebruikerstrace wordt gelabeld in vier perspectieven: Environment (E), Action (A), Keyword (K) en Description (D). Een multi-view encoder leert een gedeelde embedding ( $z_i$ ) die deze verschillende views consistent houdt door middel van contrastief leren, voorspelling en reconstructie.
Hiërarchische Clustering: De embeddings worden hiërarchisch georganiseerd:
- Intent Groups (IG): Hoog niveau, gedreven door de omgeving/context.
- Subgroups (SG): Fijnere indeling binnen IG, gebaseerd op acties en beschrijvingen.
Skill Abstractie: Binnen elke Subgroup (SG) worden lage-niveau actie-traces geconsolideerd tot een Skill Hint. Dit is een geparametriseerde schema (werkwoord-predicaat + getypeerde argumenten) die de kern van de handeling vastlegt zonder specifieke waarden, waardoor het overdraagbaar is naar nieuwe contexten.

2. Planning en Feedback-loop (Online)

Tijdens de uitvoering werkt het systeem als volgt:

Cache-first Planning: De Planner zoekt in de gedeelde memory naar bestaande plannen.
- Geen match: Synthese van een nieuw plan op basis van opgehaalde skill templates.
- Exacte match: Direct hergebruik van het opgeslagen plan.
- Gedeeltelijke match: Het dichtstbijzijnde plan wordt aangepast door "gap filling" met relevante skill hints uit de juiste SG.
Coöperatieve Uitvoering:
- De Plan-Optimizer verfijnt de uitvoering van plan-eenheden door hints uit het geheugen te gebruiken en zich aan te passen aan de huidige schermcontext.
- De Critic bewaakt de uitvoering en geeft feedback (succes, retry, geblokkeerd). Bij fouten wordt de optimizer opnieuw ingeschakeld om het sub-plan aan te passen, zonder het hele plan te herstarten.

Belangrijkste Bijdragen

IntentCUA Framework: Een nieuw multi-agent systeem dat langdurige automatisering stabiliseert via intentie-gealigneerde plan-memory.
Trace-naar-Skill Pipeline: Een methode om multi-view intentie-representaties te leren en hiërarchische, herbruikbare vaardigheden af te leiden uit ruwe interactietraces.
Planning-time Memory Mechanisme: Een systeem dat vaardigheden uit subgroepen ophaalt om plannen aan te vullen, wat intentie-afwijking en redundante herplanning in dynamische desktop-omgevingen reduceert.
Empirische Validatie: Uitgebreide ablatiestudies en end-to-end evaluaties die aantonen dat deze architectuur significante verbeteringen biedt in stabiliteit, efficiëntie en succespercentage.

Resultaten

IntentCUA werd geëvalueerd op 286 real-world GUI-taken (lokaal, web en cross-application) en vergeleken met state-of-the-art baselines zoals UI-TARS-1.5 (RL-gebaseerd) en UFO2 (traject-gecentreerd).

Succespercentage: IntentCUA bereikte een 74,83% taaksucces, vergeleken met 51,2% voor UFO2 en 38,8% voor UI-TARS-1.5.
Stap-efficiëntie (Step Efficiency Ratio - SER): Een score van 0,91, wat aangeeft dat 91% van de uitgevoerde stappen bijdroeg aan het succes (hoger dan 0,85 voor UI-TARS en 0,82 voor UFO2).
Latenheid: De gemiddelde uitvoeringstijd was 1,46 minuten, ongeveer 4,5 keer sneller dan de baselines (6,63 min en 9,82 min).
Lange-termijn Stabiliteit: IntentCUA behield een hoog succespercentage zelfs bij taken van meer dan 30 stappen (42,9%), terwijl de baselines na 20 stappen sterk daalden tot onder de 20%.
Ablatiestudies: De studies bevestigden dat de combinatie van multi-view intentie-abstractie, gedeelde plan-memory en coöperatieve agenten de grootste bijdrage levert aan de stabiliteit, vooral bij complexe, lange taken.

Betekenis

Deze studie onderstreept dat systeem-niveau intentie-abstractie en geheugen-gedreven coördinatie cruciaal zijn voor betrouwbare desktop-automatisering. In plaats van alleen te vertrouwen op perceptie of het opnieuw genereren van acties, stelt IntentCUA agents in staat om te "leren van ervaring" door interacties te vertalen naar gestructureerde vaardigheden. Dit lost het probleem van foutaccumulatie en inefficiëntie op in lange workflows en biedt een schaalbare oplossing voor de automatisering van complexe, dynamische desktop-omgevingen. Het bewijst dat het combineren van representatie-lering met multi-agent planning de sleutel is tot robuuste AI-assistenten voor computergebruik.