CRAFT-GUI: Curriculum-Reinforced Agent For GUI Tasks

Il paper presenta CRAFT-GUI, un framework di apprendimento curricolare basato su GRPO che supera i limiti degli approcci RL esistenti per le interfacce grafiche, integrando una valutazione della difficoltà delle attività e un segnale di ricompensa più granulare per ottenere risultati significativamente superiori sui benchmark.

L'essenziale

Immagina di voler insegnare a un robot a usare il tuo smartphone per farti un favore, come ordinare una pizza o prenotare un appuntamento dal medico. Il problema è che il telefono è pieno di app, pulsanti e menu: un vero labirinto!

Fino a poco tempo fa, gli scienziati insegnavano a questi robot mostrandogli tutte le possibili azioni in una volta sola, mescolando compiti facili (come "tocca il pulsante rosso") con compiti impossibili (come "trova l'indirizzo di un ristorante specifico in un edificio di 10 piani e ordina una pizza senza sbagliare"). Era come se un insegnante chiedesse a un bambino di 5 anni di risolvere un'equazione universitaria mentre sta ancora imparando a contare. Il risultato? Il robot si confondeva, imparava male e si bloccava.

CRAFT-GUI è la nuova soluzione proposta dagli autori (un team di Ant Group e dell'Università di Zhejiang) per risolvere questo caos. Ecco come funziona, usando tre metafore semplici:

1. L'Approccio "Scuola a Livelli" (Curriculum Learning)

Invece di buttare il robot nel fuoco, CRAFT-GUI lo fa crescere passo dopo passo, come un bambino che impara a camminare.

• Livello 1 (Asilo): Si inizia con compiti brevissimi e facili, come "tocca qui". Il robot impara a muovere il dito.
• Livello 2 (Scuola Media): Si passa a catene di azioni un po' più lunghe, come "apri l'app, cerca il prodotto, aggiungi al carrello".
• Livello 3 (Università): Solo quando il robot è esperto, gli si assegnano missioni complesse che richiedono di capire il contesto, leggere testi piccoli e prendere decisioni intelligenti.

È come se il robot non studiasse mai la matematica avanzata prima di aver imparato bene le tabelline. Questo metodo rende l'apprendimento molto più stabile e veloce.

2. Il "Giudice Super Attento" (Reward Function)

Quando un robot prova a fare qualcosa, deve sapere se ha fatto bene o male. I metodi precedenti usavano un "giudice" un po' sordo che diceva solo: "Bravo" o "Brutto", senza spiegazioni.
CRAFT-GUI ha un giudice molto più preciso:

• Se premi il tasto sbagliato: Il giudice dice: "No, hai premuto il pulsante 'Cancella' invece di 'Invia'".
• Se scrivi il testo sbagliato: Il giudice controlla se hai scritto esattamente quello che serviva.
• Se parli troppo: Se il robot inizia a "pensare" (scrivere una lunga spiegazione) invece di agire, il giudice lo sgrida gentilmente per fargli risparmiare tempo.

Questo feedback dettagliato aiuta il robot a correggere gli errori specifici, proprio come un allenatore sportivo che ti dice esattamente come migliorare la tua postura, non solo "corri di più".

3. L'Allenamento Misto (Operazione + Comprensione)

Fino a ora, molti robot erano bravi a premere pulsanti ma stupidi nel capire cosa c'è scritto sullo schermo.
CRAFT-GUI allena il robot su due fronti contemporaneamente:

• Le mani: Impara a toccare, scorrere e cliccare con precisione.
• La mente: Impara a leggere, capire le immagini e ragionare su cosa sta succedendo.

È come allenare un calciatore che deve essere veloce a scattare (le mani) ma anche intelligente per capire la tattica del gioco (la mente).

I Risultati: Quanto è bravo?

Grazie a questo metodo, il robot CRAFT-GUI ha battuto tutti i record precedenti:

• Su test pubblici (come AndroidWorld), è migliorato del 7,1% rispetto ai migliori modelli esistenti.
• Su test privati (con app reali di cibo, medicina, finanza), è migliorato del 10,3%.

In pratica, CRAFT-GUI è un assistente digitale che non solo sa premere i tasti, ma capisce davvero cosa stai chiedendo, impara dai suoi errori in modo intelligente e diventa sempre più abile man mano che gli si insegnano compiti più difficili. È un passo enorme verso un futuro in cui i nostri telefoni potranno davvero fare le cose per noi, senza che noi dobbiamo spiegarle mille volte.

Sommario tecnico

, , `) per migliorare l'interpretabilità e la stabilità.
* Penalità per Lunghezza ($P_{length}$): Una penalità adattiva per prevenire l'esplosione dei token di ragionamento ("overthinking"), ispirata a DAPO.

• Per i Task di Comprensione Visiva:
  • Utilizza una ricompensa semantica ($R_{sem}$) basata su un "LLM-as-a-judge" per valutare l'allineamento tra la risposta del modello e la verità fondamentale, integrata con le ricompense di formato e le penalità di lunghezza.

3. Contributi Chiave

1. Strategia RL Curricolare: Un metodo sistematico che progredisce dai task semplici a quelli complessi basandosi sulle caratteristiche della traiettoria, migliorando la stabilità e l'efficienza del campionamento.
2. Meccanismi di Ricompensa Ibridi: Un sistema di ricompensa fine-grained che integra regole verificabili e valutazioni predittive del modello, permettendo un'ottimizzazione della politica più stabile e informata.
3. Addestramento Congiunto: L'integrazione di task di operazione (azione) e di comprensione (ragionamento) permette all'agente di sviluppare simultaneamente competenze di basso livello (azioni precise) e di alto livello (comprensione del task).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli basati su Qwen2.5-VL (7B e 32B parametri) utilizzando benchmark pubblici e dataset interni.

• Benchmark Pubblici (AndroidWorld): CRAFT-GUI ha superato gli approcci state-of-the-art (SOTA) con un miglioramento del 7.1% nel tasso di successo (Success Rate - SR).
• Dataset Privato (Costruito da Ant Group): Su un dataset interno di 80K campioni coprente 6 categorie di app (food delivery, finanza, gaming, ecc.), il modello ha ottenuto un miglioramento del 10.3% rispetto al miglior baseline (inclusi modelli come Claude-3.7-Sonnet e GPT-4.1).
• Risultati Specifici:
  • Il modello CRAFT-GUI-32B ha raggiunto un SR medio del 75.7% (vs 65.4% del miglior baseline).
  • L'ablation study ha dimostrato che l'uso del curriculum RL offre un guadagno del 3.8% rispetto al RL standard e del 14.9% rispetto al solo SFT.
  • L'inclusione di dati di comprensione visiva nel curriculum ha migliorato ulteriormente le prestazioni operative del 2.5%.

5. Significato e Impatto

CRAFT-GUI rappresenta un passo significativo verso agenti GUI più robusti e generalizzabili. Dimostrando empiricamente che l'integrazione tra Reinforcement Learning e Curriculum Learning è cruciale per gestire la complessità eterogenea delle interfacce utente, il lavoro risolve problemi di instabilità e inefficienza tipici degli approcci attuali.
La capacità di gestire sia l'azione che la comprensione semantica in un unico framework apre la strada a sistemi di automazione software che possono operare in scenari reali complessi senza dipendere da API strutturate o prompt manuali, ponendo le basi per futuri agenti intelligenti capaci di gestire anche task desktop e meccanismi di "trial-and-error" con rollback.