I computer sono diventati strumenti potenti per la gestione di informazioni complesse, eppure chiedere a una macchina di eseguire un lavoro d'ufficio multi-fase spesso sembra come cercare di insegnare a un bambino a guidare descrivendo solo la destinazione. Per anni, i ricercatori hanno cercato di costruire agenti di intelligenza artificiale in grado di guardare uno schermo, capire cosa sia necessario fare e cliccare sui pulsanti corretti per arrivarci. Questi sistemi, noti come agenti GUI, hanno fatto progressi, ma combattono con due problemi persistenti. Primo, mancano di dati di pratica di alta qualità per apprendere le regole sottili e non scritte su come le persone utilizzano effettivamente il software. Secondo, sono spesso troppo rigidi; se un essere umano fornisce un'istruzione vaga, la macchina potrebbe riuscire una volta per fortuna, ma fallire la volta successiva perché non è in grado di adattarsi ai piccoli cambiamenti sullo schermo o alle abitudini specifiche dell'utente. L'obiettivo è stato quello di creare un lavoratore digitale che non sia solo abbastanza intelligente da seguire uno script, ma abbastanza affidabile da gestire la realtà disordinata di un desktop reale.

Un team di Tencent ha presentato un nuovo sistema chiamato UI-Mate che affronta questi problemi cambiando il modo in cui l'agente apprende e il modo in cui riceve aiuto. Invece di limitarsi a memorizzare un elenco di clic, il sistema viene addestrato in un ambiente simulato dove può praticare migliaia di compiti, dall'organizzare fogli di calcolo alla gestione delle email, mentre un motore specializzato controlla il suo lavoro in tempo reale. Questo processo permette al sistema di apprendere non solo quale debba essere il risultato finale, ma anche come recuperare quando commette un errore. I ricercatori hanno scoperto che, addestrando l'agente in questo modo rigoroso a ciclo chiuso, potevano creare un modello che performa significativamente meglio dei precedenti sistemi open-source, eguagliando persino le capacità di modelli proprietari molto più grandi.

Il nucleo di questo miglioramento risiede in un metodo che i ricercatori chiamano "addestramento ancorato all'ambiente" (environment-grounded training). Immaginate uno studente che impara a cucinare non solo leggendo una ricetta, ma stando effettivamente in cucina, tagliando verdure e avendo un insegnante che indica immediatamente se il coltello è scivolato o se il calore era troppo alto. Allo stesso modo, UI-Mate è addestrato in un ambiente digitale in cui ogni azione intrapresa è testata contro uno schermo di un computer funzionante e reale. Se l'agente prova a salvare un file nel posto sbagliato, il sistema lo sa immediatamente e registra quel fallimento. Questo ciclo di tentativi, fallimenti e correzioni avviene milioni di volte attraverso diverse applicazioni, permettendo all'agente di costruire una comprensione profonda di come si comporta il software. I ricercatori hanno costruito una vasta libreria di questi compiti di pratica, coprendo tutto dalla semplice gestione dei file a flussi di lavoro complessi che richiedono lo spostamento di informazioni tra un calendario, un client di posta elettronica e uno strumento di gestione dei progetti. Bilanciando attentamente i tipi di compiti che l'agente vede, si sono assicurati che imparasse a gestire sia lavori brevi e semplici che sequenze lunghe e complicate senza confondersi.

Tuttavia, anche un agente ben addestrato può avere difficoltà quando un essere umano fornisce un'istruzione vaga, come "elabora l'offerta di questo candidato". L'agente potrebbe non sapere quali file specifici aprire o quali pulsanti esatti cliccare perché l'istruzione manca del dettaglio necessario. Per risolvere questo problema, i ricercatori hanno sviluppato un nuovo modo per far apprendere all'agente una dimostrazione. Invece di costringere l'agente a copiare ciecamente una sequenza registrata di clic del mouse, il sistema scompone la dimostrazione in un piano flessibile di sottotass (subtasks). Osserva un video di un essere umano o di un'IA più forte che completa un lavoro simile ed estrae gli obiettivi: "trova l'offerta", "verifica lo stipendio", "invia l'email". Durante il lavoro effettivo, l'agente usa questo piano come guida, ma guarda comunque lo schermo live per decidere esattamente come muovere il mouse o digitare il testo. Ciò significa che se lo schermo appare leggermente diverso rispetto al video, l'agente può regolare le proprie azioni invece di bloccarsi.

I risultati di questo approccio sono sorprendenti. Quando testato su un set standard di sfide di utilizzo del computer, il nuovo sistema, specificamente la versione da 27 miliardi di parametri, ha raggiunto un tasso di successo del 77,0 percento, superando altri modelli open-source e avvicinandosi molto ai migliori sistemi closed-source disponibili. Più importante ancora, i ricercatori hanno creato un nuovo test chiamato OSWorkerBench, che simula il lavoro d'ufficio realistico attraverso decine di applicazioni diverse. Su questo test, il sistema ha migliorato le sue prestazioni di quasi 18 punti percentuali rispetto al suo modello base. Il risultato più significativo, tuttavia, è emerso quando hanno aggiunto una singola dimostrazione alle istruzioni dell'agente. Per un set di 33 compiti lunghi e complessi, fornire un solo esempio di come svolgere il lavoro ha elevato il tasso di successo dell'agente dal 17,2 percento al 35,4 percento. Ciò dimostra che il sistema non si limita a memorizzare l'esempio, ma comprende la logica sottostante e può applicarla a nuove situazioni, rendendolo molto più affidabile per l'uso nel mondo reale.

I ricercatori hanno anche scoperto che la capacità dell'agente di gestire compiti lunghi non dipende solo dalla potenza di calcolo bruta. Hanno testato modelli di diverse dimensioni e hanno scoperto che, sebbene i modelli più grandi generalmente performino meglio, il metodo di addestramento specifico conta più della dimensione in sé. Un modello più piccolo addestrato con il loro rigoroso approccio ancorato all'ambiente ha superato un modello molto più grande che non aveva ricevuto lo stesso addestramento. Ciò suggerisce che la qualità dei dati di pratica e il ciclo di feedback siano più critici rispetto al semplice aumento delle dimensioni del "cervello" dell'agente. Il sistema si è anche dimostrato capace di gestire compiti che richiedono di ricordare informazioni dall'inizio di un flusso di lavoro e usarle alla fine dello stesso, un punto di fallimento comune per i precedenti agenti IA.

Per garantire che questi risultati non fossero un colpo di fortuna, il team ha costruito un benchmark che includeva 100 compiti d'ufficio distinti, che spaziano dalle risorse umane alle vendite e all'ingegneria. Hanno valutato il sistema sulla sua capacità di completare questi compiti senza alcun aiuto, e poi di nuovo con una dimostrazione. I dati hanno mostrato che l'agente migliorava costantemente le sue prestazioni quando riceveva una guida visiva, ma non ne diventava dipendente. Rimaneva capace di lavorare partendo dalle sole istruzioni, provando che la dimostrazione fungeva da mappa utile piuttosto che da insieme rigido di regole. Questo equilibrio è fondamentale per l'implementazione pratica, poiché significa che il sistema può essere utilizzato in situazioni in cui non esiste un esempio precedente, pur essendo in grado di apprendere rapidamente quando un utente ne fornisce uno.

Le implicazioni di questo lavoro vanno oltre il semplice miglioramento dei punteggi nei test. Dimostrando che un agente può apprendere la navigazione di flussi di lavoro complessi e multi-applicazione con un'alta affidabilità, i ricercatori hanno compiuto un passo significativo verso la resa pratica dell'automazione digitale per il lavoro d'ufficio quotidiano. Il sistema non richiede che un essere umano microgestisca ogni singolo clic; invece, può prendere un obiettivo di alto livello e determinare i passaggi necessari, correggendo la propria rotta quando incontra layout di schermata inaspettati o informazioni mancanti. La capacità di apprendere da una singola dimostrazione suggerisce che questi agenti potrebbero eventualmente essere istruiti su procedure aziendali specifiche in minuti anziché in mesi.

Lo studio evidenzia anche l'importanza di come valutiamo questi sistemi. I ricercatori hanno scoperto che il semplice conteggio del fatto che un compito sia stato completato o meno spesso nasconde il fatto che un agente potrebbe aver compiuto progressi significativi prima di fallire proprio nell'ultimo passaggio. Misurando il progresso parziale, sono stati in grado di vedere che l'agente era spesso all'80 percento di un compito complesso, anche se non lo terminava. Questa sfumatura è importante per comprendere dove si colloca la tecnologia oggi e dove deve migliorare. Il team ha identificato che i fallimenti più comuni non riguardavano le fasi iniziali di un compito, ma gli ultimi passaggi, come dimenticare di inviare un'email di conferma o mancare un campo specifico in un modulo.

In definitiva, il lavoro presenta una strada chiara da seguire per costruire agenti informatici più capaci. Dimostra che la combinazione di un addestramento rigoroso e simulato e la capacità di apprendere da esempi visivi crea un sistema che è sia potente che adattabile. I ricercatori hanno messo i loro dati di addestramento e i loro benchmark a disposizione della comunità, permettendo ad altri di costruire sulle loro scoperte. Mentre questi sistemi continuano a evolversi, si avvicinano a un futuro in cui l'intelligenza artificiale potrà gestire i compiti digitali routinari, ripetitivi e complessi che attualmente consumano la giornata lavorativa umana, lasciando alle persone la libertà di concentrarsi sulle decisioni che richiedono davvero il giudizio umano.