💬 NLP

CoAct-1: Computer-using Multi-Agent System with Coding Actions

Il paper introduce CoAct-1, un sistema multi-agente innovativo che combina il controllo delle interfacce grafiche con l'esecuzione diretta di script di codice, ottenendo risultati record di successo (60,76%) ed efficienza nel benchmark OSWorld.

Autori originali: Linxin Song, Yutong Dai, Viraj Prabhu, Jieyu Zhang, Taiwei Shi, Li Li, Junnan Li, Silvio Savarese, Zeyuan Chen, Jieyu Zhao, Ran Xu, Caiming Xiong

Pubblicato 2026-02-23

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Linxin Song, Yutong Dai, Viraj Prabhu, Jieyu Zhang, Taiwei Shi, Li Li, Junnan Li, Silvio Savarese, Zeyuan Chen, Jieyu Zhao, Ran Xu, Caiming Xiong

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover organizzare una festa complessa. Hai due modi per farlo:

Il metodo "Fai-da-te" (I vecchi Agenti GUI): Tu stesso devi camminare per la casa, aprire ogni armadio, prendere i piatti, lavarli uno per uno, spostare i mobili e accendere le luci. Se sbagli a prendere un piatto o inciampi, la festa va a rotoli. È lento, faticoso e soggetto a errori.
Il metodo CoAct-1 (Il nuovo sistema): Tu sei il Capo Cantiere. Non fai nulla di fisico. Hai due assistenti speciali:
- L'Architetto (Orchestrator): Decide chi fa cosa.
- Il Mago del Codice (Programmer): Può dire una parola magica (uno script) e far apparire 100 piatti lavati in un secondo, o spostare un intero armadio con un comando.
- Il Cameriere (GUI Operator): È bravo a camminare, aprire le porte e sistemare i fiori, ma solo quando serve un tocco umano.

Cos'è CoAct-1?

Fino a poco tempo fa, i computer che "usano" altri computer (come se fossero umani) dovevano fare tutto cliccando su schermi, muovendo il mouse e premendo tasti, esattamente come faremmo noi.
Il problema? Se devi spostare 1.000 file da una cartella all'altra, cliccare 1.000 volte è un incubo: ci metti ore e rischi di sbagliare un click.

CoAct-1 cambia le regole del gioco. È un sistema a tre voci che ha capito una cosa fondamentale: a volte è meglio scrivere una riga di codice che cliccare 100 volte.

Come funziona la magia?

Immagina che il tuo computer sia una grande cucina.

Il Capo (Orchestrator): È il cervello del sistema. Quando gli dai un compito (es. "Prepara il report e invialo"), lui analizza la situazione.
- Pensa: "Devo aprire Excel, cliccare qui, copiare quel dato... no, aspetta! Posso usare un comando veloce per copiare tutto in un secondo."
- Decide: Chiama il Mago del Codice per la parte noiosa e veloce.
- Pensa: "Ora devo cambiare il colore del font e salvare il file."
- Decide: Chiama il Cameriere (l'agente visivo) perché deve vedere lo schermo e cliccare sul pulsante giusto.
Il Mago del Codice (Programmer): Questo agente non guarda lo schermo. Parla direttamente con il "motore" del computer. Se gli chiedi di trovare tutti i file JPG in una cartella e comprimerli, invece di aprirli uno a uno, scrive un piccolo programma che lo fa tutto in un attimo. È come se avesse un telecomando universale che fa tutto in un secondo.
Il Cameriere (GUI Operator): È un'intelligenza artificiale che guarda lo schermo come farebbe un umano. È perfetto per cose che richiedono vista, come "clicca sul pulsante rosso che ha la forma di un cerchio". Ma è lento se deve fare cose ripetitive.

Perché è così potente? (I Risultati)

I ricercatori hanno messo alla prova questo sistema su due "palestre" molto difficili (chiamate OSWorld e WindowsAgentArena), dove gli agenti dovevano risolvere compiti reali e complessi.

Ecco cosa è successo:

Velocità: Gli altri agenti (che fanno solo clic) impiegavano in media 15 passi per finire un compito. CoAct-1 ne ha usati solo 10. Ha saltato i passaggi inutili usando la magia del codice.
Successo: Gli altri agenti fallivano spesso perché si perdevano in lunghi percorsi di clic. CoAct-1 ha avuto un tasso di successo del 60,8% (su OSWorld) e 52,5% (su Windows), battendo tutti i record precedenti.
Affidabilità: Quando un compito richiede di gestire file o dati (come in Excel o nei gestori di file), CoAct-1 è quasi imbattibile perché usa il Mago del Codice. Quando serve interagire con un'interfaccia grafica strana, usa il Cameriere.

L'analogia finale

Immagina di dover spostare un mobile pesante.

I vecchi agenti provano a spingerlo con le mani, passo dopo passo, rischiando di farsi male e di non spostarlo mai.
CoAct-1 guarda il mobile, dice: "Ok, usiamo un carrello elevatore (il codice) per spostarlo in un secondo, e poi usiamo le mani (l'agente visivo) solo per sistemarlo nell'angolo".

In sintesi: CoAct-1 non è solo un computer che clicca come un umano. È un team intelligente che sa quando "pensare" come un umano e quando "pensare" come un programmatore, rendendo tutto più veloce, sicuro e intelligente. È il futuro dell'automazione dei computer.

1. Il Problema: Inefficienza e Fragilità degli Agenti GUI

Gli agenti autonomi che operano tramite interfacce utente grafiche (GUI) hanno mostrato progressi significativi, ma incontrano ostacoli fondamentali quando affrontano compiti complessi a lungo raggio (long-horizon tasks).

Limitazioni delle azioni GUI: Le operazioni basate esclusivamente su click, trascinamento e digitazione visiva sono intrinsecamente fragili. Un singolo errore di visualizzazione (es. confondere un'icona simile) o un click errato può far fallire l'intera sequenza di compiti.
Inefficienza: Compiti come la gestione di file annidati, l'elaborazione di dati in fogli di calcolo o la compressione di directory richiedono lunghe sequenze di azioni GUI che sono lente e soggette a errori cumulativi.
Limiti della pianificazione pura: Anche se si utilizzano planner avanzati per decomporre i compiti, l'esecuzione rimane vincolata alla manipolazione visiva, senza poter sfruttare metodi più diretti e robusti per operazioni di backend.

2. Metodologia: CoAct-1 e l'Approccio Ibrido

Il paper introduce CoAct-1, un sistema multi-agente innovativo che supera i limiti degli agenti puramente GUI integrando il codice come azione primaria. L'idea centrale è creare uno spazio di azioni ibrido: $A = A_{GUI} \cup A_{Code}$ .

L'architettura si basa su tre agenti specializzati che collaborano in modo gerarchico:

Orchestrator (Il Pianificatore):
- Agisce come policy meta-alta livello ( $\pi_{orch}$ ).
- Analizza il compito globale e il contesto storico.
- Decide dinamicamente se delegare un sottocompito all'agente Programmer o all'agente GUI Operator.
- Non interagisce direttamente con il sistema operativo, ma gestisce il flusso di lavoro e la memoria a lungo termine.
Programmer (L'Esecutore di Codice):
- Implementa la policy $\pi_{Code}$ .
- Scrive ed esegue script Python o Bash direttamente sul sistema operativo.
- È ideale per operazioni di backend: gestione file, elaborazione dati, configurazione dell'ambiente.
- Opera in un ciclo di conversazione multi-turno con un interprete di codice, riflettendo sugli output per correggere e perfezionare lo script fino al completamento del sottocompito.
GUI Operator (L'Interattore Visivo):
- Implementa la policy $\pi_{GUI}$ basata su modelli Vision-Language (VLM).
- Esegue azioni front-end: click, digitazione, navigazione visiva.
- Utilizzato quando l'interazione visiva è necessaria (es. interagire con finestre non accessibili via API o compiti che richiedono percezione visiva fine).

Design della Memoria e del Flusso:
Il sistema utilizza una memoria gerarchica e isolata. L'Orchestrator mantiene la memoria a lungo termine (stato globale), mentre Programmer e GUI Operator hanno una memoria a breve termine attiva solo durante il loro sottocompito. Una volta completato un sottocompito, la storia dettagliata viene riassunta da un modello dedicato e passata all'Orchestrator, che decide il passo successivo. Questo evita di sovraccaricare gli agenti con dettagli irrilevanti.

3. Contributi Chiave

Paradigma Ibrido: Introduzione di un nuovo spazio di azioni che combina la flessibilità della manipolazione GUI con la precisione e l'efficienza dell'esecuzione programmatica.
Architettura Multi-Agente Dinamica: Un sistema in cui un orchestratore intelligente seleziona il modulo di esecuzione ottimale (codice vs. GUI) per ogni sottocompito, massimizzando l'efficienza.
Superamento della Fragilità: Sostituzione di lunghe sequenze di click error-prone con script robusti ed eseguibili in un singolo passaggio per compiti ripetitivi o strutturati.
Scalabilità: Dimostrazione che l'approccio è scalabile su diversi sistemi operativi (Windows e Linux/Ubuntu) e ambienti eterogenei.

4. Risultati Sperimentali

CoAct-1 è stato valutato su due benchmark reali e complessi: OSWorld e WindowsAgentArena.

Performance su OSWorld:

Success Rate: CoAct-1 ha raggiunto un tasso di successo del 60.76% (entro 150 passaggi), superando lo stato dell'arte (SOTA) precedente come Agent S2.5 (55.98%) e GTA-1 (53.07%).
Efficienza: Il sistema ha completato i compiti con una media di soli 10.15 passaggi, contro i 15.22 di GTA-1 e i 14.90 di UI-TARS.
Dominio Specifico: I miglioramenti sono stati particolarmente evidenti in categorie dove il controllo programmatico è vantaggioso:
- Calc: 70.21%
- VS Code: 78.26%
- OS (Gestione Sistema): 75.00%

Performance su WindowsAgentArena:

Success Rate: CoAct-1 ha ottenuto un 52.50% di successo, superando nettamente Agent S2 (29.8%) e NAVI (19.5%).
Robustezza: Ha mostrato una forza dominante nei compiti di sistema e utility (83.3% in Windows System, 77.7% in Windows Utils), confermando l'efficacia degli script per la gestione del sistema operativo.

Analisi di Ablazione:

Un agente puramente basato su codice (Programmer) ha ottenuto solo il 35.73% di successo (troppo rigido per compiti visivi).
Un agente puramente GUI ha ottenuto il 50.68% ma richiedeva 11.20 passaggi per compito.
L'approccio ibrido CoAct-1 ha combinato i vantaggi, ottenendo il 60.76% con una media di 10.15 passaggi, dimostrando la sinergia tra i due moduli.

5. Significato e Impatto

Il lavoro di CoAct-1 segna un punto di svolta verso l'automazione computerizzata generalizzata.

Efficienza Operativa: Dimostra che l'integrazione del codice come azione primaria riduce drasticamente la complessità e il numero di passaggi necessari, minimizzando la probabilità di errore cumulativo.
Affidabilità: Sposta il paradigma da una dipendenza fragile dalla percezione visiva per ogni singola azione a un modello che utilizza il codice per le operazioni strutturate, riservando la GUI solo dove è strettamente necessaria.
Scalabilità Futura: L'architettura proposta offre una via più robusta e scalabile per creare agenti autonomi capaci di gestire compiti complessi a lungo raggio in ambienti reali, superando i limiti attuali degli agenti puramente basati su GUI.

In sintesi, CoAct-1 non è solo un miglioramento incrementale, ma un cambio di paradigma che dimostra come l'ibridazione tra interazione visiva e esecuzione programmatica sia la chiave per agenti computer-using realmente efficaci.