cotomi Act: Learning to Automate Work by Watching You
Il documento introduce cotomi Act, un agente basato su browser che raggiunge l'esecuzione autonoma di compiti all'avanguardia attraverso l'osservazione adattiva e la selezione best-of-N, mentre apprende simultaneamente conoscenze organizzative persistenti osservando passivamente il comportamento dell'utente e astraendolo in artefatti modificabili.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di avere un nuovo stagista incredibilmente intelligente di nome cotomi Act. A differenza di altri stagisti che si limitano ad aspettare che tu gli dia una lista di istruzioni e poi dimenticano tutto una volta terminato il lavoro, cotomi Act possiede un superpotere: impara osservandoti.
Ecco come questo documento spiega quel superpotere, scomposto in concetti semplici:
1. Il Problema: Lo Stagista "Amnesico"
La maggior parte dei programmi informatici che cercano di eseguire compiti web per te sono come quello stagista dimenticabond. Sono molto bravi a seguire un'unica istruzione chiara (come "Trova il prezzo di questa scarpa"), ma non conoscono i segreti della tua azienda. Non sanno:
- Chi approva solitamente queste richieste?
- Quale gergo specifico usa il tuo team?
- Quali compiti sono già a metà strada?
Poiché mancano di questa "conoscenza interna", o fanno troppe domande (rallentandoti) o indovinano male (causando errori).
2. La Soluzione: Due Superpoteri
Gli autori hanno costruito cotomi Act con due "muscoli" distinti per risolvere il problema:
Muscolo A: Il "Super-Corridore" (Esecuzione)
Questa parte del sistema è progettata per eseguire effettivamente il lavoro sul web senza confondersi.
- L'Analogia: Immagina di correre una maratona. Se cerchi di ricordare ogni singolo passo fatto dalla linea di partenza, il tuo cervello esploderà. Devi solo ricordare il cambiamento di scenario (ad esempio, "Ho appena superato il punto di ristoro").
- Come funziona: Invece di fornire all'IA una storia enorme e noiosa di ogni singolo clic mai fatto, cotomi Act utilizza una strategia "pigra". Esamina attentamente solo ciò che è sullo schermo in quel momento e riassume i cambiamenti rispetto all'ultimo passaggio. Questo mantiene il cervello dell'IA leggero e veloce.
- Il Risultato: In un test difficile chiamato "WebArena" (che è come un videogioco di compiti web reali), questo "Super-Corridore" ha completato correttamente l'80,4% dei compiti. Questo è in realtà meglio della media umana (che ha ottenuto il 78,2% di risposte corrette nello stesso test).
Muscolo B: Lo "Scrivano Ombra" (Apprendimento)
Questa è la parte che ti osserva lavorare in background.
- L'Analogia: Immagina uno scrivano seduto silenziosamente dietro di te mentre navighi sul web. Invece di registrare semplicemente un video grezzo del tuo schermo (che è disordinato e enorme), lo scrivano prende appunti e li trasforma in strumenti utili:
- Bacheche Attività: Un elenco di ciò su cui stai lavorando.
- Wiki: Un manuale di regole su come il tuo team fa le cose (ad esempio, "Usiamo sempre il Fornitore X per la stampa").
- Cronologie: Un calendario delle tue attività recenti.
- La Svolta: Non è un diario segreto. È uno Spazio di Lavoro Condiviso. Puoi vedere cosa ha scritto lo scrivano, correggerlo se è sbagliato o aggiungere note. L'IA legge questi appunti per comprendere il tuo mondo.
3. Come Lavorano Insieme
Il documento descrive un ciclo chiamato "Osserva → Estrai → Agisci."
- Osserva: Navighi sul web normalmente. Lo "Scrivano Ombra" osserva.
- Estrai: Il sistema trasforma la tua navigazione disordinata in appunti puliti e organizzati (come una guida "Come ordinare l'hardware").
- Agisci: In seguito, quando chiedi all'IA di "Ordinare dell'hardware", non indovina. Guarda la nota "Come ordinare" che ha imparato da te, segue quei passaggi e lo fa.
4. La Prova
I ricercatori hanno testato questo con un esperimento "proxy" (una simulazione di lavoro reale).
- La Scoperta: Quando l'IA non aveva nessuna nota sul tuo comportamento, falliva spesso.
- Il Miglioramento: Man mano che l'IA raccoglieva più note (conoscenza comportamentale) su come lavori, il suo tasso di successo aumentava significativamente.
- Il Limite: Curiosamente, se l'IA cercava semplicemente di memorizzare registrazioni video grezze e disordinate del tuo schermo, inizialmente otteneva risultati peggiori. Aveva bisogno dello "Scrivano Ombra" per riassumere e pulire le informazioni prima.
5. La Demo dal Vivo
Il documento menziona una demo dal vivo dove le persone possono provarlo. Possono:
- Chiedere all'IA di eseguire un compito (come trovare le scadenze delle conferenze).
- Guardare lo "Spazio di Lavoro Condiviso" per vedere cosa l'IA ha imparato sulle loro abitudini.
- Modificare un compito sulla bacheca e osservare l'IA utilizzare immediatamente quelle nuove informazioni per iniziare a lavorare sulla cosa giusta.
Riepilogo
cotomi Act è un assistente del browser che non si limita a seguire ordini; ti osserva lavorare, trasforma le tue abitudini in un manuale di regole condiviso e utilizza quel manuale per diventare un collega migliore e più affidabile. Ha dimostrato che combinando esecuzione veloce e intelligente con l'apprendimento dal tuo comportamento quotidiano, un'IA può effettivamente superare gli umani in compiti web complessi.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.