💻 computer science

AutoRPA: Efficient GUI Automation through LLM-Driven Code Synthesis from Interactions

AutoRPA è un framework che colma il divario tra gli agenti ReAct basati su LLM inefficienti e l'RPA tradizionale distillando automaticamente le traiettorie di interazione in funzioni RPA robuste e riutilizzabili, ottenendo così riduzioni significative dei costi di utilizzo dei token e di esecuzione mantenendo al contempo le capacità di risoluzione dei compiti.

Autori originali: Minghao Chen, Xinyi Hu, Zhou Yu, Yufei Yin

Pubblicato 2026-05-21

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Minghao Chen, Xinyi Hu, Zhou Yu, Yufei Yin

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente personale molto intelligente, ma leggermente costoso, chiamato "LLM" (Large Language Model). Questo assistente è brillante nel capire come utilizzare uno schermo di computer o telefono per la prima volta. Se gli chiedi di "prenotare un volo" o "eliminare una nota", può guardare lo schermo, pensare a cosa fare, cliccare sui pulsanti giusti e portare a termine il compito.

Tuttavia, c'è un inconveniente: Sono lenti e costosi da utilizzare per compiti ripetitivi.

Ogni volta che chiedi loro di prenotare un volo, devono "pensare" da zero. Leggono lo schermo, pianificano i passaggi e cliccano. Se devi farlo 100 volte al giorno, stai pagando per 100 ore di "pensiero", il che è uno spreco di denaro e tempo.

D'altra parte, prima dell'esistenza di questi assistenti intelligenti, le persone utilizzavano la "Robotic Process Automation" (RPA). Pensa alla RPA come a uno script preregistrato. È come un robot che clicca ciecamente "Pulsante 3, poi scrivi 'Ciao', poi clicca 'Salva'". È incredibilmente veloce ed economico da eseguire. Ma è anche fragile. Se il progettista dell'app sposta il "Pulsante 3" in un punto diverso, il robot si blocca perché non sa come adattarsi. Ha bisogno di un umano per riscrivere manualmente lo script ogni volta che lo schermo cambia.

Il Problema

Vogliamo la velocità e l'economicità del robot (RPA) ma l'intelligente adattabilità dell'assistente (LLM). Vogliamo una soluzione che funzioni per compiti ripetitivi (come prenotare voli ogni giorno) senza bisogno che un umano riscriva il codice ogni volta che l'app si aggiorna.

La Soluzione: AutoRPA

Il documento introduce AutoRPA, un sistema che agisce come un capo cuoco che trasforma una dimostrazione culinaria disordinata in una ricetta perfetta e riutilizzabile.

Ecco come funziona, passo dopo passo:

1. La "Esplorazione" (Il Capo Cuoco che Osserva)

Innanzitutto, AutoRPA utilizza il brillante assistente LLM per eseguire il compito (ad esempio, prenotare un volo) una sola volta o poche volte. L'assistente guarda lo schermo, pensa e clicca. Questa è la fase "ReAct".

Analogia: Il capo cuoco osserva uno chef sottoposto cucinare un piatto per la prima volta, annotando ogni movimento.

2. La "Traduzione" (Trasformare gli Appunti in una Ricetta)

Le azioni dell'assistente sono solitamente "hard-coded" (ad esempio, "Clicca il pulsante alle coordinate pixel 144, 278"). Questo è negativo perché se lo schermo si sposta, le coordinate sono sbagliate.
AutoRPA ha un Agente Traduttore speciale che riscrive queste azioni. Invece di dire "Clicca a 144, 278", dice "Clicca il pulsante che dice 'Prenota Volo'".

Analogia: Il capo cuoco prende gli appunti disordinati dello chef sottoposto ("Colpisci il punto rosso in alto a destra") e li riscrive come un'istruzione chiara ("Premi il pulsante rosso 'Start'"). Questo rende la ricetta funzionante anche se la disposizione della cucina cambia leggermente.

3. La "Costruzione" (Creare lo Script Maestro)

Un Agente Costruttore prende queste istruzioni tradotte e flessibili e le combina in un singolo programma informatico robusto (una funzione RPA). Esamina molti tentativi diversi (traiettorie) per capire il modo migliore per gestire le variazioni.

Analogia: Il capo cuoco scrive la scheda di ricetta finale e professionale che può essere utilizzata da chiunque, ovunque, per preparare quel piatto perfettamente.

4. La "Riparazione Ibrida" (La Rete di Sicurezza)

A volte, la nuova ricetta potrebbe avere un bug. Se il robot prova a eseguire il codice e fallisce, AutoRPA non si arrende semplicemente. Ha una Strategia di Riparazione Ibrida:

Mette in pausa il robot.
Richiama il brillante assistente LLM per capire perché ha fallito e come risolverlo da quel punto esatto.
Utilizza la correzione dell'assistente per aggiornare la ricetta.

Analogia: Se il robot brucia il toast, il capo cuoco interviene, sistema il toast e poi aggiorna la scheda di ricetta in modo che il robot non lo bruci di nuovo la prossima volta.

I Risultati

Il documento ha testato questo sistema su tre ambienti diversi (app Android, siti web e compiti web simulati).

Efficienza: Il nuovo codice AutoRPA è costoso dall'82% al 96% in meno da eseguire rispetto a chiedere all'assistente intelligente di eseguire il compito ogni volta. Risparmia una quantità enorme di utilizzo di "token" (la valuta del pensiero dell'IA).
Tasso di Successo: Risolve i compiti tanto bene quanto, o talvolta meglio di, l'assistente intelligente da solo, perché il codice generato è stabile e non si confonde per piccoli cambiamenti dello schermo.
Riutilizzabilità: Una volta che il codice è stato costruito per un "tipo" di compito (come "prenotare un volo"), può essere riutilizzato per centinaia di istanze specifiche (prenotare per New York, prenotare per Londra) senza bisogno di pensare di nuovo.

Riepilogo

AutoRPA è un sistema che osserva un'IA intelligente imparare un compito, traduce quell'apprendimento in uno script flessibile e riutilizzabile, e poi perfeziona quello script fino a renderlo perfetto. Ci offre il meglio di due mondi: l'intelligenza per gestire nuove situazioni e l'efficienza di un robot per gestire il lavoro ripetitivo.

Riepilogo Tecnico: AutoRPA

Enunciato del Problema

Sebbene gli agenti basati su Modelli Linguistici di Grandi Dimensioni (LLM) abbiano dimostrato competenza nell'interazione con le Interfacce Grafiche Utente (GUI) tramite il paradigma ReAct (Reasoning and Acting), incontrano inefficienze significative nel deployment pratico. La maggior parte della ricerca esistente ottimizza le prestazioni per singoli compiti su istanze nuove, invocando spesso un ragionamento costoso dell'LLM per ogni interazione. Tuttavia, gli scenari del mondo reale coinvolgono frequentemente tipi di compiti ripetitivi (ad esempio, invio di rapporti giornalieri, prenotazione di voli) in cui invocare il ragionamento dell'LLM per ogni istanza è computazionalmente sprecone e costoso.

Al contrario, l'automazione tradizionale dei processi robotici (RPA) offre un'elevata efficienza di esecuzione per i compiti ripetitivi, ma soffre di fragilità. L'RPA tradizionale si basa su script creati manualmente che sono rigidi; falliscono quando i layout delle GUI cambiano e richiedono un notevole sforzo umano per essere sviluppati e mantenuti. La sfida centrale affrontata da questo articolo è come sintetizzare automaticamente funzioni RPA robuste ed efficienti in termini di token per specifici tipi di compiti utilizzando l'assistenza degli LLM, colmando il divario tra la flessibilità degli agenti LLM e l'efficienza dell'RPA tradizionale.

Metodologia: Il Framework AutoRPA

AutoRPA è un framework progettato per "distillare" la logica decisionale degli agenti in stile ReAct in codice RPA eseguibile e riutilizzabile. Il processo è suddiviso in tre fasi principali:

1. Fase di Esplorazione

Generazione di Traiettorie ReAct: Un agente in stile ReAct interagisce con l'ambiente GUI per risolvere un'istanza di compito. Osserva screenshot e strutture UI (DOM/alberi di accessibilità), ragiona attraverso i passaggi ed esegue azioni.
Riflessione: Se una traiettoria fallisce, un meccanismo di riflessione permette all'agente di analizzare il fallimento e riprovare (fino a $N_{ref}$ volte) per garantire che vengano raccolte traiettorie di successo.
Traduzione (Codifica da Rigida a Flessibile): Un Agente Traduttore dedicato converte le azioni "codificate rigidamente" dell'agente (ad esempio, click(index=2)) in procedure "codificate in modo flessibile". Invece di affidarsi a indici o coordinate fissi, il traduttore genera codice che individua gli elementi in base ad attributi semantici (ad esempio, contenuto testuale, tipo di elemento, descrizioni di destinazione) utilizzando una funzione find_element. Ciò garantisce che la logica risultante sia robusta rispetto a lievi modifiche del layout.

2. Fase di Generazione RPA

Agente Builder con RAG: Un Agente Builder sintetizza la funzione RPA finale ( $F_k$ ) per un tipo di compito specifico ( $G_k$ ).
Generazione Aumentata dal Recupero (RAG): Per impedire al builder di fare assunzioni errate sullo stato dell'interfaccia a causa di contesti mancanti, il framework impiega un meccanismo di recupero organizzato ad albero. Il builder può interrogare un database di traiettorie per recuperare blocchi di interazione specifici (osservazioni, azioni, riepiloghi) da esplorazioni passate di successo.
Sintesi del Codice: Il builder genera una funzione Python che include strutture logiche (cicli, condizioni) per gestire le variazioni del compito. Elimina i passaggi ridondanti dalla traiettoria tradotta e incorpora la gestione degli errori necessaria. Il codice può anche includere chiamate a LLM Multi-Modali (ask_mllm) per compiti di ragionamento complessi che non possono essere risolti tramite regole statiche.

3. Fase di Verifica con Riparazione Ibrida

Esecuzione e Analisi: Il codice RPA generato viene eseguito su istanze di compiti già visti. Se l'esecuzione fallisce, un Agente Analizzatore identifica il punto di arresto, analizza la causa del fallimento e determina se il compito può essere ripreso o deve essere riavviato.
Strategia di Riparazione Ibrida: Piuttosto che affidarsi esclusivamente al raffinamento del codice, il sistema impiega un approccio ibrido. Se il codice fallisce, l'agente ReAct riprende l'esecuzione dal punto di arresto (o riavvia) per produrre una dimostrazione correttiva. Questa "traiettoria ibrida" (esecuzione del codice + riparazione ReAct) viene reimmessa all'Agente Builder per rifinire il codice in modo iterativo.
Terminazione: Il processo continua finché il codice non supera tutti i compiti di validazione o non viene raggiunto un numero massimo di tentativi di raffinamento ( $M$ ). Se il compito rimane non automatizzabile, il sistema ricorre all'uso dell'agente ReAct per quella specifica istanza.

Contributi Chiave

Framework AutoRPA: Un sistema innovativo che genera automaticamente funzioni RPA robuste per tipi di compiti, mirando a scenari di automazione GUI ripetitivi dove l'RPA tradizionale è troppo fragile e gli agenti ReAct sono troppo costosi.
Pipeline Traduttore-Builder: Un processo in due fasi in cui un traduttore converte le azioni ReAct codificate rigidamente in procedure basate su attributi e codificate in modo flessibile, e un builder sintetizza funzioni RPA robuste utilizzando il recupero di traiettorie strutturate ad albero (RAG).
Strategia di Riparazione Ibrida: Un meccanismo di verifica che combina l'esecuzione diretta del codice con un fallback basato su ReAct. Ciò permette al sistema di rifinire iterativamente il codice incorporando dimostrazioni correttive dall'agente ReAct quando il codice sintetizzato fallisce.
Efficienza e Robustezza: Il framework riduce con successo il consumo di token in modo significativo, mantenendo o migliorando i tassi di successo rispetto agli agenti basati puramente su LLM.

Risultati Sperimentali

Gli autori hanno valutato AutoRPA su tre benchmark: AndroidWorld (app Android reali), WebArena (compiti web realistici) e MiniWoB++ (compiti web simulati).

Efficienza dei Token: AutoRPA ha ridotto l'uso dei token dal 82% al 96% rispetto agli agenti in stile ReAct. Ad esempio, su AndroidWorld con GPT-4o, AutoRPA ha consumato solo 14.7k token contro i 79.9k di ReAct.
Tassi di Successo:
- Su AndroidWorld, AutoRPA ha raggiunto un tasso di successo del 37.0% (GPT-4o), superando ReAct (35.2%) e SeeAct (15.3%), utilizzando contemporaneamente significativamente meno token.
- Su MiniWoB++, AutoRPA ha raggiunto il 91.1% di successo su compiti "difficili" e il 95.4% su tutti i compiti, superando metodi all'avanguardia come AdaPlanner e AutoManual, consumando meno del 10% dei token richiesti da ReAct.
- Su WebArena, AutoRPA ha eguagliato le prestazioni dei metodi precedenti ma con una drastica riduzione del consumo di token.
Studi di Ablazione: Gli esperimenti hanno confermato che la rimozione della fase di esplorazione ReAct, dell'agente traduttore, del meccanismo RAG o della strategia di riparazione ibrida ha portato a cali significativi nei tassi di successo, validando la necessità di ciascun componente.

Significato e Affermazioni

L'articolo afferma che AutoRPA affronta un problema pratico critico: l'alto costo e l'inefficienza dell'esecuzione di agenti LLM su compiti ripetitivi rispetto all'alto costo di manutenzione dell'RPA tradizionale. Distillando la logica decisionale degli agenti LLM in codice verificato e riutilizzabile, AutoRPA permette:

Automazione Efficiente in termini di Token: Riduzione drastica del costo computazionale dell'automazione GUI per tipi di compiti ricorrenti.
Robustezza: Generazione di codice che gestisce le variazioni nell'ambiente e nelle istruzioni del compito meglio degli script statici o della generazione singola di LLM.
Scalabilità: Fornitura di un percorso per automatizzare compiti GUI diversificati senza richiedere script manuali estesi o conoscenza esperta curata per ogni nuovo tipo di compito.

Gli autori sottolineano che il loro metodo non si basa su agenti ReAct specifici e può essere adattato a vari backbones LLM, rendendolo una soluzione generalizzabile per un'automazione GUI efficiente.