💬 NLP

Multi-Agent Computer Use

Questo articolo propone il Multi-Agent Computer Use (MACU), un sistema in cui un modello manager orchestra sub-agenti paralleli attraverso un grafo aciclico diretto (DAG) dinamico per gestire efficacemente compiti complessi e a lungo termine, dimostrando miglioramenti significativi delle prestazioni rispetto ai baseline a singolo agente in benchmark di navigazione desktop e web.

Autori originali: Jing Yu Koh, Ruslan Salakhutdinov, Daniel Fried

Pubblicato 2026-06-02

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jing Yu Koh, Ruslan Salakhutdinov, Daniel Fried

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover organizzare un evento massiccio e complesso, come pianificare un matrimonio o un ritiro aziendale.

Il Vecchio Modo (Agente Singolo):
In passato, cercavamo di farlo assumendo un unico assistente incredibilmente intelligente ma molto impegnato. Questo assistente doveva fare tutto da solo: chiamare il catering, prenotare la location, controllare il meteo e comprare i fiori. Se il catering diceva: "Siamo già occupati in quella data", l'assistente doveva fermarsi, chiamare la location per verificare se quella data fosse libera, chiamare il fiorista per vedere se fosse disponibile e poi provare a chiamare di nuovo il catering con una nuova data. Se l'assistente rimaneva bloccato su una singola telefonata, l'intera pianificazione dell'evento si interrompeva. Lavorava in linea retta, un passo dopo l'altro, e se incontrava un muro, doveva tornare indietro fino all'inizio per provare un percorso diverso.

Il Nuovo Modo (Multi-Agent Computer Use - MACU):
Questo articolo propone un modo più intelligente: assumere un Project Manager e un team di Assistenti Specializzati.

Ecco come funziona il nuovo sistema, usando l'analogia della pianificazione di un matrimonio:

1. Il Project Manager (Il "Manager")

Invece di fare il lavoro, l'unico compito del Manager è guardare il quadro generale e disegnare una mappa (chiamata Grafo Aciclico Diretto, o DAG).

Scomposizione: Il Manager guarda il compito "Pianificare un matrimonio" e lo suddivide in pezzi più piccoli: "Trovare una location", "Prenotare un catering", "Scegliere i fiori" e "Inviare gli inviti".
La Mappa: Il Manager disegna una mappa che mostra quali compiti possono avvenire contemporaneamente. Ad esempio, "Trovare una location" e "Prenotare un catering" non dipendono l'uno dall'altro, quindi possono avvenire simultaneamente.
Il Cervello: Il Manager è l'unico che vede l'intera mappa. Se arriva una nuova informazione (ad esempio, "La location è troppo costosa"), il Manager può ridisegnare istantaneamente la mappa, cancellare la ricerca della location costosa e inviare un nuovo assistente a trovarne una più economica, il tutto senza fermare gli altri assistenti.

2. Il Team di Assistenti (I "Subagent")

Il Manager invia un team di assistenti identici (subagent) a svolgere il lavoro effettivo.

Potenza in Parallelo: Invece di aspettare che una persona finisca, il Manager invia quattro assistenti contemporaneamente. Uno va a controllare gli hotel, un altro controlla i voli, un terzo controlla i ristoranti e un quarto controlla il meteo. Lavorano in parallelo, come un pit crew che cambia le gomme su un'auto da corsa.
Isolamento: Ogni assistente lavora nel proprio "sandbox" privato (un computer virtuale). Se un assistente va in crash o si confonde, non rompe il lavoro degli altri. Sono isolati dai propri errori.

3. La Mappa "Live" (Riprogrammazione)

Questa è la parte più importante. Nel vecchio sistema, se facevi un piano, ti attenevi ad esso anche se le cose cambiavano.
In questo nuovo sistema, la mappa è viva.

Il Ciclo di Feedback: Non appena un assistente termina un compito (ad esempio, "Ho trovato un hotel, ma è pieno"), riferisce al Manager.
La Virata: Il Manager guarda la nuova informazione e aggiorna immediatamente la mappa. Magari l'hotel è pieno, quindi il Manager aggiunge un nuovo compito per "Trovare un hotel di riserva" e invia un nuovo assistente a farlo. Se un assistente rimane bloccato in un loop (come cercare di cliccare un pulsante che non funziona), il Manager può dire: "Fermati, prova un approccio diverso", e inviare una nuova persona con una strategia differente.
Ricordare il Passato: A volte, un assistente trova un file o un pezzo di informazione di cui la persona successiva ha bisogno. Il Manager agisce come un bibliotecario, salvando quel file e consegnandolo al prossimo assistente in modo che non debba ricominciare da capo.

Perché è meglio?

L'articolo ha testato questo sistema su quattro diversi tipi di "compiti informatici", che spaziavano da semplici attività desktop (come cambiare un font) a complessi viaggi di pianificazione su più giorni sul web.

Velocità: Per i compiti complessi, il team ha terminato circa 1,5 volte più velocemente rispetto al singolo assistente perché stavano facendo le cose contemporaneamente.
Tasso di Successo: Il team è stato molto più bravo a risolvere problemi difficili. Nei test di pianificazione dei viaggi più ardui, il singolo assistente falliva il 90% delle volte, ma il team aveva successo nel 34% dei casi. È un salto enorme.
Sbloccarsi: Quando il singolo assistente rimaneva bloccato in un vicolo cieco, l'intero processo si fermava. Il team, invece, poteva inviare una persona diversa per provare una porta diversa. Se un percorso era bloccato, un altro percorso era già aperto.

In sintamente

L'articolo sostiene che, per compiti informatici complessi e a lungo termine, non dovremmo fare affidamento su un singolo "super-bot" che cerca di fare tutto in linea retta. Inveve, dovremmo usare un Manager che disegni una mappa flessibile e un Team di lavoratori che possano operare in parallelo, fermarsi, ricominciare e cambiare direzione istantaneamente in base a ciò che trovano.

È la differenza tra un esploratore solitario che cerca di attraversare una giungla da solo e una spedizione guidata con un leader, una mappa e un team che può dividersi, coprire più terreno e adattarsi agli ostacoli istantaneamente.

Sintesi Tecnica: Multi-Agent Computer Use (MACU)

Problematica

Gli attuali Agenti per l'Uso del Computer (CUA - Computer Use Agents) sono prevalentemente implementati come agenti singoli e seriali. Sebbene efficaci per compiti semplici, questo paradigma è subottimale per compiti complessi a lungo orizzonte. Gli agenti singoli faticano a causa di:

Mancanza di Decomposizione: Incapacità di suddividere obiettivi complessi in sottotatili gestibili.
Colli di Bottiglia Sequenziali: Incapacità di eseguire sottotask indipendenti in parallelo.
Riprogrammazione Rigida: Difficoltà nel rivedere costantemente i piani sulla base di nuove informazioni, in particolare in ambienti parzialmente osservabili.
Perdita di Stato: Nell'uso del computer, l'ambiente (filesystem, schede aperte, cookie, processi in background) è osservabile solo parzialmente in ogni istante. Una volta terminato un sottotask, lo stato specifico rilevante per un sottotask a valle spesso non può più essere ri-osservato, portando a una perdita di informazioni che gli agenti singoli non possono recuperare.

Metodologia: Il Framework MACU

Gli autori propongono il Multi-Agent Computer Use (MACU), un framework che coordina un pool di subagenti CUA identici tramite un Manager centrale. Il sistema opera su un Grafo Aciclico Diretto (DAG) di sottotask.

Componenti Core

Modello Manager:
- Ruolo: Orchestra il flusso di lavoro, decompone il task iniziale in un DAG e riprogramma continuamente in base al feedback.
- Meccanismo: Il manager riceve l'istruzione del task, lo stato corrente del DAG e le osservazioni (screenshot, risposte, diff dei file) dai subagenti completati.
- Azioni: Può aggiungere nodi (nuovi sottotask), rimuovere nodi, modificare istruzioni/dipendenze o cancellare nodi in esecuzione. Opera sotto un budget di riprogrammazione finito ( $B$ ) per limitare il costo computazionale.
- Gestione dei File: Il manager traccia i diff del filesystem per identificare e archiviare i file rilevanti creati dai subagenti, passandoli come input ai sottotask successivi (ad esempio, passando un documento dal Sottotask A al Sottotask B).
Subagenti CUA:
- Ruolo: Eseguono nodi specifici sul DAG.
- Ambiente: Ogni subagente opera in una Macchina Virtuale (VM) isolata per mantenere l'indipendenza dello stato e consentire l'esecuzione in parallelo.
- Comportamento: Seguono un ciclo standard ReAct (Osserva $\rightarrow$ Ragiona $\rightarrow$ Agisci) utilizzando un modello CUA di base (es. Qwen3.6-27B). Sono trattati come "black box" dal manager, rendendo il framework agnostico rispetto al backbone CUA specifico utilizzato.
Flusso di Esecuzione:
- Inizializzazione: Il manager genera un DAG iniziale basato sul task dell'utente.
- Distribuzione in Parallelo: I subagenti vengono lanciati in parallelo per affrontare i nodi sulla "frontiera pronta" (nodi le cui dipendenze sono soddisfatte).
- Riprogrammazione Iterativa: Man mano che i subagenti completano i compiti, il manager esamina i loro output. Se nuove informazioni suggeriscono un percorso diverso (ad esempio, una ricerca è fallita, un file è mancante), il manager modifica il DAG (aggiungendo rami di riprova, strategie alternative o cancellando nodi bloccati).
- Aggregazione: Un nodo finale aggrega i risultati dei nodi genitori per produrre il deliverable dell'utente.

Gestione della Parzialità dell'Osservazione

Una scelta progettuale chiave è trattare la parzialità dell'osservazione come una sfida di prima classe. La struttura del DAG e il Manager mantengono esplicitamente informazioni (screenshot, stati dei file, tracce di ragionamento) che i downstream agent non possono ri-osservare. Ciò assicura che il contesto perso durante l'esecuzione di un determinato sottotask sia preservato e trasmesso in avanti attraverso la struttura del grafo.

Contributi Chiave

Setup Multi-Agente Generale: Un framework flessibile in cui un manager decompone i task in un DAG di subagenti paralleli, capace di riprogrammazione dinamica e modifica strutturale.
Meccanismo di Preservazione dello Stato: Gestione esplicita della gestione dei file e del trasferimento dello stato tra VM isolate, risolvendo il problema della "perdita di informazioni" inerente all'uso del computer seriale.
Agnosticismo del Modello: Il sistema utilizza subagenti identici per l'esecuzione, permettendogli di sfruttare i miglioramenti dei modelli CUA di base senza modifiche architettoniche.
Validazione Empirica: Valutazione completa attraverso quattro diversi benchmark (OSWorld, Online-Mind2Web, WebTailBench-v2, Odysseys).

Risultati

Il paper riporta miglioramenti costanti di MACU rispetto a forti baseline a singolo agente in tutti i benchmark testati:

Miglioramenti del Tasso di Successo:
- OSWorld: +4.7% (43.8% $\rightarrow$ 48.5%) con un manager Opus 4.6.
- Online-Mind2Web: +3.4% (52.2% $\rightarrow$ 55.6%).
- WebTailBench-v2: +8.7% (20.8% $\rightarrow$ 29.5%).
- Odysseys (Lungo Orizzonte): +25.5% (8.5% $\rightarrow$ 34.0%).
Efficienza e Scalabilità:
- Tempo di Wall-Clock: MACU ha ridotto il tempo di completamento del task di circa $\sim$ 1.5 $\times$ su Odysseys (162 min $\rightarrow$ 110 min) grazie all'esecuzione parallela. Al contrario, su compiti altamente seriali (Online-Mind2Web), il tempo di wall-clock è aumentato leggermente a causa dell'overhead del manager, sebbene i tassi di successo siano comunque migliorati.
- Scaling del Tempo di Inferenza: MACU dimostra trend di scaling superiori con l'aumento del budget di inferenza (più azioni eseguite) rispetto ai singoli agenti, che raggiungono il plateau prima. Risolve compiti a lungo orizzonte su cui i singoli agenti si bloccano.
Insight dalle Ablation:
- La Riprogrammazione è Critica: Permettere al manager di modificare il grafo durante l'esecuzione ( $B > 1$ ) aumenta significativamente le prestazioni (ad esempio, dal 25% al 58.3% di tasso di successo su un subset), mentre la decomposizione statica offre guadagni minimi.
- Forza del Manager: Modelli manager più forti (es. Opus 4.6) producono tassi di successo sostanzialmente più alti, anche con lo stesso backbone del subagente.
- Parallelismo: Aumentare il numero di subagenti paralleli ( $N$ ) da 1 a 4 su Odysseys ha ridotto il tempo di wall-clock di circa $\sim$ 3.2 $\times$ migliorando al contempo i tassi di successo.

Significato e Claim

Gli autori sostengono che la coordinazione multi-agente è un asse promettente per scalare gli agenti per l'uso del computer. Il paper afferma che:

Decomposizione e Parallelismo sono essenziali per affrontare compiti complessi a lungo orizzonte dove i singoli agent falliscono.
La Riprogrammazione Continua è necessaria per gestire la natura dinamica e parzialmente osservabile dei veri ambienti informatici.
MACU è una Soluzione Generale: Non è limitata a domini specifici ma si applica al controllo del desktop, alla navigazione web e a workflow complessi a più fasi.
Potenziale Futuro: Il framework è progettato per integrare senza problemi futuri modelli CUA più capaci. Gli autori suggeriscono che un ulteriore fine-tuning o l'apprendimento per rinforzo specificamente per la coordinazione multi-agente potrebbe migliorare ulteriormente le prestazioni del sistema.

Il paper conclude che, sebbene i singoli CUA abbiano raggiunto alte prestazioni in molti benchmark, il passaggio a sistemi multi-agente come MACU è necessario per sbloccare la produttività per compiti di uso del computer più lunghi, complessi e robusti.