💬 NLP

CoAct-1: Computer-using Multi-Agent System with Coding Actions

Dit paper introduceert CoAct-1, een innovatief multi-agent systeem dat GUI-bediening combineert met directe code-uitvoering om complexere computerautomatiseringstaken efficiënter en robuuster uit te voeren, wat resulteert in een nieuw state-of-the-art succespercentage van 60,76% op de OSWorld-benchmark.

Oorspronkelijke auteurs: Linxin Song, Yutong Dai, Viraj Prabhu, Jieyu Zhang, Taiwei Shi, Li Li, Junnan Li, Silvio Savarese, Zeyuan Chen, Jieyu Zhao, Ran Xu, Caiming Xiong

Gepubliceerd 2026-02-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Linxin Song, Yutong Dai, Viraj Prabhu, Jieyu Zhang, Taiwei Shi, Li Li, Junnan Li, Silvio Savarese, Zeyuan Chen, Jieyu Zhao, Ran Xu, Caiming Xiong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een computerbesturingssysteem moet gebruiken om een complexe klus te klaren, zoals alle foto's in een ingewikkelde mapstructuur vinden, hun formaat aanpassen en ze vervolgens in één archiefbestand stoppen.

Voor een traditionele computer-agent (een slimme software die een computer bedient) is dit alsof je die klus moet doen door alleen maar met je muis te klikken en te slepen. Je moet elke map openen, op elk bestand klikken, het formaat wijzigen in een menu en dan op 'opslaan' drukken. Als je één keer op het verkeerde icoontje klikt of een menu-item mist, gaat de hele boel in de war en moet je opnieuw beginnen. Het is traag, kwetsbaar en vaak frustrerend.

CoAct-1 is een nieuwe, slimme oplossing die dit probleem oplost door een heel andere aanpak te introduceren. Hier is hoe het werkt, vertaald naar alledaagse taal:

De "Super-Team" Aanpak

In plaats van één robot die alles met de muis doet, heeft CoAct-1 een drie-koppig team dat samenwerkt, net als een goed georganiseerd bouwbedrijf:

De Chef (De Orchestrator):
Dit is de projectmanager. Hij kijkt naar de opdracht en denkt na: "Moeten we dit met de muis doen, of kunnen we het sneller en slimmer met code doen?" Hij verdeelt het werk en stuurt de juiste persoon naar het juiste vak.
De Schrijver (De Programmer):
Als de Chef ziet dat een taak veel klikken vereist (zoals bestanden verplaatsen of data verwerken), roept hij de Schrijver. De Schrijver schrijft in plaats van te klikken een korte computercode (een script).
- De analogie: In plaats van één voor één 100 dozen te verplaatsen met je handen (klikken), schrijft de Schrijver een instructie: "Verplaats alle dozen naar kamer 3." De computer voert dit in één seconde uit. Het is als het verschil tussen een handwerkman die stenen legt en een kraan die een hele muur in één keer zet.
De Visuele Werknemer (De GUI Operator):
Soms is code niet genoeg. Je moet misschien op een knop klikken die alleen zichtbaar is op het scherm, of een venster openen dat nog niet bestaat. Dan neemt de Visuele Werknemer het over. Hij kijkt naar het scherm (zoals een mens) en klikt waar nodig. Hij is de specialist voor het "zichtbare" werk.

Waarom is dit zo'n revolutie?

Tot nu toe moesten slimme agents alles doen via het scherm (klikken, typen, slepen). Dat is als proberen een auto te repareren door alleen met je vingers aan de bouten te draaien, zonder gereedschap.

CoAct-1 geeft de agent gereedschap in de vorm van code.

Snelheid: Waar een oude agent 15 klikken nodig had om een taak te doen, doet CoAct-1 het vaak in 10 stappen of minder, omdat hij de saaie, lange reeks klikken vervangt door één slimme code-opdracht.
Betrouwbaarheid: Als je 50 keer moet klikken, is de kans groot dat je ergens een fout maakt. Als je één stukje code schrijft dat de computer uitvoert, is dat veel nauwkeuriger. Het is het verschil tussen het proberen te tellen van een miljoen zandkorrels met je vingers (klikken) versus ze door een machine te laten tellen (code).

De Resultaten

In strenge tests (waar agents echte computers moeten bedienen) heeft CoAct-1 laten zien dat deze aanpak veel beter werkt dan de huidige beste methoden:

Het slaagt vaker (ongeveer 60% van de tijd in moeilijke tests, tegenover 55% voor de beste concurrenten).
Het is veel sneller en maakt minder fouten, vooral bij taken die veel met bestanden, mappen en verschillende programma's te maken hebben.

Kortom: CoAct-1 is de eerste agent die leert dat je niet altijd met je muis hoeft te werken. Het weet wanneer het slim is om een "toverformule" (code) te gebruiken om de zware klus te doen, en wanneer het gewoon even moet klikken. Hierdoor wordt het niet alleen slimmer, maar ook veel sneller en betrouwbaarder in het bedienen van onze computers.

Probleemstelling

Autonome agenten die computers bedienen via Graphical User Interfaces (GUI's) kampen vaak met inefficiëntie en onbetrouwbaarheid bij complexe taken met een lange horizon. Hoewel het toevoegen van planners de taakdecompositie verbetert, blijven deze systemen beperkt door de inherente kwetsbaarheid van het uitvoeren van alle acties via GUI-manipulatie (klikken, slepen, typen).

Kwetsbaarheid: Lange reeksen GUI-bewegingen zijn gevoelig voor cumulatieve fouten; één verkeerde klik of misinterpretatie van een visueel element kan de hele taak doen mislukken.
Inefficiëntie: Taken zoals bestandsbeheer, data-verwerking of het manipuleren van spreadsheets vereisen vaak tientallen klikken via de GUI, terwijl deze operationeel veel directer en robuuster via code kunnen worden uitgevoerd.
Visuele ambiguïteit: Agenten worstelen met visuele gronding (bijv. het verwarren van iconen) in omgevingen met dichte GUI-elementen.

Methodologie: CoAct-1

De auteurs introduceren CoAct-1, een hybride multi-agent systeem dat GUI-bediening combineert met directe programmatieke uitvoering (coderen) als een verrijkt actie-ruimte. Het systeem bestaat uit drie gespecialiseerde agenten die samenwerken onder leiding van een hiërarchisch beleid:

Orchestrator (De Planner):
- Functie: Dit is de centrale meta-beleidspolicy ( $\pi_{Orch}$ ). Het analyseert de gebruikersdoelstelling en de huidige staat van het systeem.
- Besluitvorming: Het delegeert subtaken dynamisch aan de meest geschikte uitvoerder: ofwel de Programmer (voor backend-taken) of de GUI Operator (voor visuele interacties).
- Geheugen: Houdt een lange-termijn geheugen bij van de taakgeschiedenis en samenvattingen van uitgevoerde subtaken.
Programmer (De Coder):
- Functie: Implementeert het beleid $\pi_{Code}$ . Deze agent schrijft en voert Python- of Bash-scripts uit die direct met het besturingssysteem (OS) communiceren.
- Werkwijze: Het werkt in een meer-ronde conversatie met een code-interpreter. Het genereert code, voert deze uit, analyseert de feedback en verfijnt de code totdat de subtaak is opgelost.
- Voordeel: Kan complexe taken (zoals bestandsmanipulatie of data-verwerking) in één robuuste stap uitvoeren, waardoor lange GUI-reeksen worden omzeild.
GUI Operator (De Visuele Agent):
- Functie: Implementeert het beleid $\pi_{GUI}$ . Dit is een Vision-Language Model (VLM) dat specifiek is getraind voor computergebruik.
- Werkwijze: Het voert visuele interacties uit (klikken, typen, navigeren) op basis van screenshots en instructies. Het is essentieel voor taken die visuele gronding vereisen of waar geen API/script voor beschikbaar is.

Workflow en Geheugen:
Het systeem gebruikt een hiërarchische en geïsoleerde geheugenstructuur. De Orchestrator behoudt de globale context, terwijl de uitvoerende agenten (Programmer en GUI Operator) slechts een kortetermijn-werkgeheugen hebben voor hun specifieke subtaak. Na voltooiing wordt de interactiegeschiedenis samengevat en teruggegeven aan de Orchestrator, waarna het werkgeheugen van de uitvoerder wordt gewist. Dit zorgt voor modulariteit en voorkomt dat irrelevante details de volgende stappen beïnvloeden.

Belangrijkste Bijdragen

Hybride Actie-ruimte: Het introduceren van "coderen" als een kernactie naast GUI-manipulatie, waardoor agenten kunnen kiezen voor de meest efficiënte methode per subtaak.
Dynamische Delegatie: Een architectuur waarbij een Orchestrator intelligent bepaalt wanneer een taak via code (Programmer) of visueel (GUI Operator) moet worden opgelost.
Nieuwe State-of-the-Art: Het bereiken van recordprestaties op twee van de meest uitdagende benchmarks voor computergebruik.

Resultaten

CoAct-1 is geëvalueerd op de OSWorld en WindowsAgentArena benchmarks en presteert aanzienlijk beter dan bestaande methoden (zoals Agent S2.5, GTA-1 en UI-TARS).

Succespercentages:
- OSWorld: 60,76% succes (nieuw state-of-the-art), vergeleken met 55,98% voor de beste concurrent (Agent S2.5).
- WindowsAgentArena: 52,5% succes, een grote verbetering ten opzichte van eerdere methoden (bijv. Agent S2 met 29,8%).
- De prestaties zijn vooral sterk in categorieën die programmatieke controle vereisen, zoals Calc (70,21%), VS Code (78,26%) en OS-taken.
Efficiëntie:
- CoAct-1 voltooit taken gemiddeld in 10,15 stappen op OSWorld, vergeleken met 15 stappen voor leidende GUI-agenten.
- Door lange, foutgevoelige klik-reeksen te vervangen door compacte scripts, wordt de kans op fouten verminderd en de snelheid verhoogd.
Ablatie-studies:
- Een "Pure Programmer" (alleen code) bereikte 35,73% succes (te weinig visuele interactie).
- Een "Pure GUI Operator" (alleen klikken) bereikte 50,68% succes maar vereiste 11,20 stappen per taak.
- De hybride CoAct-1 combineerde het beste van beide: 60,76% succes met slechts 10,15 stappen, wat de synergie van de architectuur bevestigt.
Modelkeuze:
- De keuze van het taalmodel voor de Orchestrator en Programmer is cruciaal. Het gebruik van een krachtig model (OpenAI o3) voor de Orchestrator leverde de grootste prestatieverbeteringen op.

Betekenis en Impact

De paper demonstreert dat het integreren van codering als een fundamentele actie voor computeragenten een krachtigere, efficiëntere en schaalbaarder pad biedt naar gegeneraliseerde computerautomatisering.

Robuustheid: Het verminderen van afhankelijkheid van pure GUI-interactie maakt systemen minder gevoelig voor visuele ambiguïteit en cumulatieve fouten.
Schalbaarheid: De hybride aanpak stelt agenten in staat om complexe, langdurige taken aan te pakken die voorheen onhaalbaar of te traag waren voor puur visuele agenten.
Toekomstvisie: CoAct-1 biedt een blauwdruk voor de volgende generatie autonome agenten die niet alleen "kijken en klikken", maar ook "denken en coderen" om taken op het besturingssysteemniveau op te lossen.