💬 NLP

Scalable Behaviour Cloning on Browser Using via Skill Distillation

Questo articolo propone un approccio scalabile per l'addestramento di agenti per browser attraverso la distillazione di traiettorie di interazione umana in abilità in linguaggio naturale compatte e recuperabili, organizzate all'interno di un grafo di abilità, sfruttando così i dati utente esistenti per superare i colli di bottiglia decisionali anziché fare affidamento su compiti progettati manualmente.

Autori originali: Kaisen Yang, Zheng Jiang, Yuzhao Peng, Houde Qian, Boshi Zhang, Youjie Zheng, Shijin Hong, Qingle Liu, Ruoyu Han, Bohan Lyu, Bingxiang He, Eren Cai, Calvin Xiao, Qinhuai Na

Pubblicato 2026-07-01

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Kaisen Yang, Zheng Jiang, Yuzhao Peng, Houde Qian, Boshi Zhang, Youjie Zheng, Shijin Hong, Qingle Liu, Ruoyu Han, Bohan Lyu, Bingxiang He, Eren Cai, Calvin Xiao, Qinhuai Na

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come usare un browser web. Potresti mostrare al robot un video di un essere umano che clicca su "Invia" in un modulo specifico, e il robot potrebbe imparare a cliccare esattamente in quel punto. Ma nel momento in cui il layout del sito web cambia, o il pulsante si sposta di due centimetri a sinistra, il robot fallisce. È come insegnare a qualcuno a guidare memorizzando la posizione esatta del volante in una specifica auto; se sale in un'auto diversa, si schianta.

Questo articolo, BrowserBC, sostiene che il problema non è che i robot non sappiano cliccare sui pulsanti o digitare lettere. Il problema è che non sanno cosa fare dopo quando si perdono. Gli mancano i "prior decisionali" (decision priors): quel senso di intuizione o di buon senso che gli esseri umani hanno per navigare in un sito web.

Ecco come gli autori risolvono questo problema, usando semplici analogie:

1. Il Problema: Il Robot è un "Amnesiaco"

Gli attuali agenti IA sono come turisti che non sono mai stati in una città prima d'ora. Possono vedere i cartelli stradali (la pagina web) e possono camminare (cliccare e digitare), ma non sanno le scorciatoie, i vicoli ciechi o come riconoscere quando sono effettivamente arrivati a destinazione. Finiscono per vagare in cerchio, provando cose a caso finché non vengono fortunati.

Gli autori affermano che abbiamo una risorsa enorme e inesplorata per risolvere questo problema: le miliardi di ore che gli esseri umani hanno già trascorso navigando su internet. Ogni volta che un essere umano compila con successo un modulo o trova un prodotto, lascia dietro di sé una "traccia" del suo percorso.

2. La Soluzione: Trasformare le "Impronte" in "Manuali di Istruzioni"

Il documento propone un sistema chiamato Skill Distillation (Distillazione delle Competenze). Invece di salvare il video grezzo di un essere umano che clicca sui pulsanti (che è disordinato e specifico per un singolo momento), il sistema converte quelle azioni in Competenze in Linguaggio Naturale.

Pensatelo in questo modo:

Traccia Grezza: Un video di una persona che cammina da casa sua al negozio di alimentari, si ferma a un semaforo rosso, inciampa in una crepa e compra il latte. Questo è troppo specifico. Se la strada è chiusa domani, il video è inutile.
Competenza BrowserBC: Una scheda ricetta scritta che dice: "Per compraare il latte: Vai al negozio, trova il reparto latticini, prendi un cartone e controlla la data di scadenza. Se il negozio è chiuso, vai in quello successivo."

Questa "scheda ricetta" è una Skill Card (Scheda di Competenza). Non le importa dei nomi delle strade specifiche o del colore del semaforo. Le importa della logica del compito.

3. La Biblioteca: Un "Grafo di Competenze"

Se raccogliessi semplicemente migliaia di queste schede ricetta, ti ritroveresti con un mucchio disordinato dove alcune dicono "Compra il latte" e altre dicono "Vai al reparto latticini", causando confusione.

Gli autori organizzano queste schede in un Skill Graph (Grafo di Competenze). Immaginate una biblioteca ben organizzata o un diagramma di flusso:

Se devi "Compilare un Modulo", il sistema cerca nel grafo e trova la scheda generale "Compila Modulo".
Se quel modulo è per un "Pagamento", esso si collega a una scheda più specifica "Modulo di Pagamento".
Se il modulo fallisce, si collega a una scheda di "Recupero" che dice: "Se ricevi un errore, controlla il tuo indirless email".

Questo permette al sistema di diventare intelligente senza diventare caotico. Consolida la conoscenza invece di limitarsi ad accumularla.

4. Il Trucco Magico: "Distilla una volta, usa con poco sforzo"

Questa è la parte più potente del documento.

Il Distillatore: Un'IA molto intelligente ed costosa (come un dottorando) osserva un essere umano navigare su un sito web. Scrive la "Scheda di Competenza" (la ricetta) perfetta.
L'Esecutore: Un'IA più piccola, economica e veloce (come un tirocinante delle superiori) riceve poi quella scheda per svolgere il lavoro effettivo.

Il "dottorando" fa il lavoro difficile una sola volta per creare il regolamento. L'"impiegato" deve solo seguire il regolamento. Questo significa che non serve un supercomputer per ogni singolo compito. Puoi registrare l'esperienza umana una volta e lasciare che migliaia di robot più piccoli e meno costosi utilizzino quella conoscenza per sempre.

5. I Risultati: Meno Vagabondaggio, Più Successo

Gli autori hanno testato questo sistema su siti web reali e hanno scoperto che gli agenti che utilizzano queste "Schede di Competenza":

Risolvono più compiti: Hanno avuto successo circa il 20% - 35% in più rispetto agli agenti senza le schede.
Compiere meno passaggi: Non vagano troppo a vuoto. Sanno dove andare.
Si riprendono dagli errori: Quando le cose vanno male, sanno come sistemarle perché la parte di "Recupero" della scheda di competenza dice loro cosa fare.
Funzionano su nuovi siti web: Poiché le competenze sono scritte in linguaggio generale (non in coordinate specifiche), funzionano anche quando i siti web cambiano il loro design.

Riassunto

Il documento sostiene che il futuro degli agenti web intelligenti non consiste nel renderli più veloci nel cliccare o migliori nel vedere. Si tratta di dare loro una biblioteca di saggezza umana. Trasformando la disordinata cronologia di navigazione umana in "manuali di istruzioni" puliti e riutilizzabili, possiamo insegnare ai robot come navigare in internet con lo stesso buon senso che usano gli esseri umani, senza dover riimparare tutto da zero ogni volta.

Riepilogo Tecnico: Apprendimento per Imitazione Scalabile sul Browser tramite Distillazione di Skill

1. Definizione del Problema

Il paper identifica un collo di bottiglia critico negli agenti web contemporanei: sebbene i modelli moderni abbiano ampiamente risolto le operazioni di basso livello nel browser (parsing dei DOM, esecuzione di click e tasti), rimangono inefficienti sui siti web reali a causa del processo decisionale sotto informazione incompleta. Gli agenti osservano solo lo stato attuale della pagina, mancando di una conoscenza globale della struttura del sito, di punti di ingresso affidabili, costi dei percorsi e segnali di completamento. Di conseguenza, gli agenti capaci ricorrono spesso a una costosa esplorazione per tentativi ed errori.

Gli autori sostengono che i necessari priori decisionali sono abbondanti nel comportamento umano, ma sono attualmente sottoutilizzati. Le tracce grezze di navigazione umana sono unità scarse per la supervisione diretta perché sono lunghe, rumorose, ridondanti e strettamente accoppiate a stati di pagina volatili (ad esempio, coordinate specifiche, ID DOM transitori, stati di login). Clonare direttamente queste azioni di basso livello produce comportamenti fragili e specifici per ogni pagina, che non riescono a trasferirsi. Il problema centrale è dunque come convertire questi massicci e rumorosi log di interazione umana in conoscenza procedurale riutilizzabile e trasferibile che gli agenti possano applicare su siti web sconosciuti.

2. Metodologia: BrowserBC

Gli autori propongono BrowserBC, un framework scalabile che converte le tracce di interazione del browser in una libreria di skill in linguaggio naturale, recuperabile, composibile ed eseguibile tramite distillazione di skill. Il framework opera attraverso quattro fasi distinte:

3.1 Astrazione dell'Evidenza Comportamentale

Le traiettorie grezze ( $\tau$ ) vengono prima pulite e segmentate semanticamente. Il sistema filtra le interazioni non contributive (errori di click, attese improduttive) e gli artefatti volatili (coordinate, selettori specifici). I dati rimanenti vengono convertiti in unità di evidenza ( $u$ ) strutturate, che catturano:

L'istruzione del task ( $x$ ).
Riassunti del contesto prima e dopo il segmento ( $c_{pre}, c_{post}$ ).
Un riassunto del comportamento dimostrato ( $b$ ).
Feedback osservato ( $f$ ) e risultati ( $y$ ).
Questa fase eleva i dati dalle tracie di azione specifiche della pagina a evidenze procedurali generalizzabili.

3.2 Distillazione delle Skill Procedurali

Le unità di evidenza vengono distillate in skill card in linguaggio naturale strutturato ( $\hat{s}$ ). Una skill non è definita come uno script di riproduzione, ma come una procedura trasferibile contenente campi specifici:

Intento: Cosa realizza la skill.
Applicabilità: Quando e dove si applica (precondizioni).
Step di Esecuzione: Procedure generalizzate (ad esempio, "identificare i campi tramite etichette semantiche" invece di "cliccare coordinata X,Y").
Milestone di Progresso e Terminazione: Come verificare il progresso e quando fermarsi.
Recupero dai Fallimenti: Strategie per gestire errori comuni.
Vincoli Negativi: Cosa non fare.

Fondamentalmente, il processo di distillazione rimuove esplicitamente i dettagli specifici della sessione (coordinate, stati di login) per garantire che la skill sia agnostica rispetto al modello e trasferibile.

3.3 Costruzione della Libreria di Skill (Skill Graph)

Per prevenire l'accumulo illimitato e la ridondanza, il sistema organizza le skill in un Skill Graph ( $G$ ). Quando viene generata una nuova skill, il sistema decide se:

Aggiungerla come nuova voce.
Fondere la skill con una skill esistente compatibile.
Registrarla come specializzazione di una skill generale.
Gli archi nel grafo codificano relazioni come dipendenza temporale, specializzazione, procedure alternative o incompatibilità. Ciò consente alla libreria di crescere attraverso la consolidazione piuttosto che attraverso la semplice accumulazione, mantenendo il recupero e gli aggiornamenti localizzati.

3.4 Esecuzione Condizionata dalla Skill

Al momento dell'inferenza, un recuperatore leggero seleziona un sottoinsieme compatto di skill rilevanti ( $R_t$ ) basandosi sul task corrente e sul contesto del browser. Queste skill vengono inserite nel contesto dell'agente come guida in linguaggio naturale. L'agente procede poi a radicare queste istruzioni di alto livello in azioni eseguibili sulla pagina live. Le skill agiscono come priori calibrati che influenzano il processo decisionale dell'agente, ma non ne sovrascrivono la capacità di adattarsi allo stato corrente.

3. Contributi Chiave

Riformulazione del Collo di Bottiglia: Il paper ridefinisce l'inefficienza degli agenti web come un problema decisionale sotto informazione incompleta, identificando le tracce umane come una fonte di dati decisionali su larga scala dove l'unità riutilizzabile è una skill in linguaggio naturale trasferibile, non un click o un'intera traiettoria.
Framework BrowserBC: Un sistema scalabile che distilla le tracce in skill card strutturate, le consolida in un grafo di skill e decouple la provenienza della skill dall'esecuzione. Ciò consente all'esperienza registrata una sola volta (da un modello capace o da un umano) di essere riutilizzata da modelli più piccoli e meno costosi.
Valutazione Comprensiva: Gli autori valutano BrowserBC attraverso tre benchmark (WebArena-Hard, ClawBench e task desktop stile OSWorld), misurando tassi di successo, efficienza di interazione, recupero dai fallimenti e generalizzazione tra diversi substrati.

4. Risultati Sperimentali

Il framework è stato valutato su tre benchmark:

WebArena-Hard (Controllato): BrowserBC ha migliorato il successo complessivo del task dal 60,5% all'81,4% (+20,9 punti). I guadagni sono stati più significativi nei task multi-sito e di shopping (+31,2% e +28,6% rispettivamente), dove l'incertezza procedurale è alta. Gli step di interazione sono stati ridotti in media del 27,3%.
ClawBench (Produzione Live): Su siti web live con layout volatili, il baseline ha risolto il 32,9% dei task, mentre BrowserBC ha risolto il 68,4% (+35,5 punti). Questo significativo guadagno in ambienti dinamici e non saturi dimostra che le skill codificano conoscenze procedurali trasferibili piuttosto che stati di pagina memorizzati.
OSWorld (Cross-Substrate): In uno studio diagnostico su task desktop, le skill hanno permesso all'agente di risolvere 6 casi aggiuntivi precedentemente irrisolvibili, principalmente fornendo schemi di task mancanti ed evidenza terminale.

Decoupling di Distillazione ed Esecuzione:
Gli esperimenti hanno mostrato che le skill distillate da un modello più forte (Claude-Sonnet-4.6) hanno migliorato significativamente le prestazioni di agenti esecutori più deboli. Un agente più piccolo equipaggiato con skill distillate da Sonnet ha raggiunto il 77% di successo, avvicinandosi all'80% raggiunto dal grande agente stesso, validando la premessa "distilla una volta, riutilizza a basso costo".

5. Significato e Rivendicazioni

Il paper sostiene che la scalabilità degli agenti browser potrebbe dipendere meno dalla progettazione manuale di task o dal potenziamento dei singoli modelli di agente, e più dal sfruttamento delle skill collettive già espresse dagli utenti di internet.

Convertendo le tracce grezze e rumorose in skill card in linguaggio naturale verificabili, BrowserBC offre una via per accumulare e riutilizzare l'esperienza attraverso diversi agenti e ambienti. Gli autori sottolineano che il loro approccio è ortogonale ai miglioramenti negli ambienti o nelle ricompense; invece, tratta i dati di interazione umana esistenti come un segnale di supervisione scalabile. Il lavoro suggerisce che i priori procedurali (sapere cosa fare e come verificarlo) sono più preziosi delle capacità di grounding di basso livello per risolvere complessi task web a lungo termine.

Il paper conclude con modestia, notando che sebbene le skill migliorino il successo e l'efficienza, non sono un sostituto per un'esecuzione di basso livello perfetta o per policy a percorso minimo, e il loro beneficio è limitato dall'affidabilità dell'esecuzione e dalla correttezza del recupero.