MMG2Skill: Can Agents Distill In-the-Wild Guides into Self-Evolving Skills?

Riepilogo Tecnico: MMG2Skill

Problema

Gli agenti basati su modelli visivo-linguistici (VLM) sono sempre più chiamati a svolgere compiti procedurali a lungo termine in ambienti interattivi, come il controllo di interfacce grafiche (GUI) desktop, giochi open-world e giochi di strategia con carte. Un ostacolo primario al successo in questi domini è la debole ancoraggio procedurale (weak procedural grounding): l'incapacità degli agenti di ancorare procedure riutilizzabili al proprio stato di runtime. Sebbene il web contenga abbondante conoscenza procedurale multimodale (guide, tutorial, documentazione), questo materiale è progettato per esecutori umani. È spesso multimodale, eterogeneo, rumoroso e assume implicitamente un contesto umano (ad esempio, procedure sorelle, assunzioni sui prerequisiti, testi di navigazione).

L'uso diretto di guide grezze tramite prompt agli agenti spesso fallisce perché l'agente non riesce a distinguere facilmente i passaggi applicabili dal contenuto irrilevante o ad adattare la guida quando l'agente devia dal percorso nominale. Al contrario, scrivere manualmente le abilità per ogni compito è laborioso, e le abilità scoperte esclusivamente tramite l'esplorazione dell'agente sono limitate dai fallimenti dello stesso. La domanda centrale affrontata da questo lavoro è: gli agenti VLM possono distillare guide multimodali "in-the-wild" in abilità ancorate all'esecuzione che migliorano attraverso i propri rollout?

Metodologia: Framework MMG2Skill

Gli autori propongono MMG2Skill, un framework a ciclo chiuso progettato per convertire guide multimodali in abilità modificabili ed eseguibili e per migliorarle continuamente senza fare affidamento sui punteggi dei benchmark durante il processo di revisione. Il framework opera in tre fasi:

1. Costruzione di Abilità Multimodali (da Tutorial a Skill):
   Il sistema normalizza le guide multimodali grezze (HTML, immagini, screenshot) in una rappresentazione SKILL.md modificabile. Un estrattore di abilità VLM converte la guida in un insieme di abilità strutturate $S = \{z_i\}$, dove ogni abilità $z_i$ contiene:

   • $u_i$: una procedura riutilizzabile.
   • $c_i$: condizioni di applicabilità.
   • $v_i$: segnali dello stato atteso.
   • $q_i$: conoscenze di recupero (recovery knowledge).
     Questo passaggio trasforma artefatti umani non strutturati in un prior procedurale più sicuro.

2. Esecuzione Condizionata all'Abilità:
   Durante un rollout dell'agente (tentativo $k$), l'attuale set di abilità $S_k$ viene iniettato nel contesto dell'agente insieme all'istruzione del compito e alla cronologia recente. La policy dell'agente $\pi_\theta$ rimane fissa; essa condiziona le sue azioni sul compito, sulla cronologia e sulle abilità correnti: $a_t \sim \pi_\theta(a_t | h_t, I, S_k)$. Il set di abilità funge da contesto procedurale senza alterare l'interfaccia di azione specifica del dominio.

3. Revisione delle Abilità Guidata dalla Traiettoria:
   Dopo un tentativo, un Analizzatore legge solo l'istruzione del compito e la traiettoria visibile all'agente (senza punteggi del benchmark o stati nascosti). Esso produce una diagnosi $\rho_k = (e_k, r_k)$, dove $e_k$ è l'evidenza di ciò che ha funzionato o fallito, e $r_k$ è una valutazione dell'esito (ad es., likely_success).
   Un Raffinatore utilizza quindi la guida originale, le abilità correnti e le diagnosi accumulate per aggiornare il set di abilità: $S_{k+1} = \text{REFINE}(G, I, S_k, \rho_{1:k})$. Il raffinatore modifica i file SKILL.md aggiungendo controlli mancanti, affinando i segnali di stato o rimuovendo consigli fuorvianti, preservando i comportamenti validati dai tentativi precedenti.

Il framework include un meccanismo di early-stopping basato sul segnale likely_success dell'analizzatore, che interrompe il ciclo quando la traiettoria sembra soddisfare il compito, prevenendo regressioni delle prestazioni nelle fasi avanzate.

Benchmark: MMG2Skill-Bench

Per valutare questa capacità, gli autori introducono MMG2Skill-Bench, il primo benchmark specificamente progettato per l'apprendimento da guida ad abilità.

• Ambito: Copre tre regimi di interazione: GUI (OSWorld), Gioco (OpenHA Minecraft) e Strategia (Doudizhu e Mahjong tramite RLCard).
• Composizione: Contiene 130 compiti in cui il successo è inferibile, accoppiati con guide multimodali pubbliche pertinenti al compito.
• Vincoli: I compiti sono selezionati in modo che gli esiti possano essere inferiti dalla traiettoria visibile all'agente o dallo stato finale pubblico. Il benchmark esclude compiti in cui le risposte possono essere copiate direttamente dalle guide, garantendo che la valutazione misuri l'ancoraggio procedurale piuttosto che il recupero di informazioni.

Risultati Chiave

Il framework è stato valutato su sei backbone VLM (tra cui Claude-Opus, GPT-5.5, Kimi, Gemini e Qwen) su MMG2Skill-Bench.

• Prestazioni Complessive: MMG2Skill ha costantemente superato gli agenti baseline vanilla (senza abilità) e le baseline "Raw Guide" (iniezione diretta della guida) in ogni configurazione modello-dominio. I guadagni medi macro variano da +12,8 a +25,3 punti percentuali tra i diversi backbone.
• Ablazione dei Meccanismi:
  • Iniezione di Guida Grezza (Raw Guide Injection): L'uso di prompt diretti con guide grezze era inaffidabile e spesso degradava le prestazioni (ad es., -1,67 pp su Game) a causa di discrepanze tra la guida e l'ambiente di runtime.
  • Estrazione Strutturata: Convertire le guide in abilità strutturate (senza revisione) ha fornito un prior procedurale più sicuro, migliorando le prestazioni rispetto agli agenti vanilla.
  • Revisione Guidata dalla Traiettoria: La componente di revisione ha contribuito alla maggior parte dei guadagni nei domini Game e Strategy (oltre il 90% del guadagno totale), riparando le lacune tra la guida e l'esecuzione a runtime.
• Efficienza: MMG2Skill ha migliorato i punteggi riducendo al contempo il numero medio di step dei tentativi visualizzati, indicando meno deviazioni esplorative.
• Early Stopping: L'early stopping basato sull'analizzatore ha prevenuto regressioni delle prestazioni nelle fasi avanzate (non monotonicità) e ha risparmiato dal 25% al 53% dei tentativi nei compiti in cui il successo è inferibile, mantenendo un'alta precisione (>74%) e un alto richiamo (>95% su GUI/Game).

Significato e Rivendicazioni

Il documento rivendica due contributi primari:

1. MMG2Skill-Bench: Un nuovo benchmark che accoppia compiti interattivi in cui il successo è inferibile con guide multimodali "in-the-wild", stabilendo uno standard per valutare l'apprendimento da guida ad abilità.
2. Framework MMG2Skill: Un sistema a ciclo chiuso che dimostra come le guide pubbliche possano essere convertite in abilità modificabili e ancorate all'esecuzione che migliorano attraverso i rollout dell'agente senza richiedere punteggi di benchmark per la revisione.

Gli autori sottolineano che l'accesso alle sole guide è insufficiente. Il prompting con guide grezze può danneggiare le prestazioni, mentre la costruzione di abilità strutturate fornisce un prior più sicuro, e la revisione guidata dalla traiettoria è necessaria per riparare le lacune di ancoramento. Inoltre, evidenziano che i guadagni della revisione sono non monotoni, rendendo essenziale un early stopping calibrato. Il lavoro isola il problema della conversione di materiale procedurale in abilità eseguibili, distinto dal problema a monte della scoperta delle guide.