🤖 AI

ReSkill: Reconciling Skill Creation with Policy Optimization in Agentic RL

ReSkill è un nuovo framework di RL agentico che riconcilia la creazione di abilità con l'ottimizzazione della policy integrando la revisione delle abilità basata su asserzioni, il campionamento di rollout intra-gruppo e il Thompson Sampling all'interno dell'algoritmo GRPO, consentendo la co-evoluzione automatica di strategie riutilizzabili e policy per raggiungere una generalizzazione superiore su task non visti.

Autori originali: Zelin He, Haotian Lin, Boran Han, Wei Zhu, Haoyang Fang, Bernie Wang, Xuan Zhu, Runze Li, Matthew Reimherr

Pubblicato 2026-06-02

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zelin He, Haotian Lin, Boran Han, Wei Zhu, Haoyang Fang, Bernie Wang, Xuan Zhu, Runze Li, Matthew Reimherr

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'Idea Centrale: Insegnare a un Robot a Imparare Mentre Impara

Immagina di insegnare a un robot come giocare a un videogioco complesso.

Il Vecchio Modo: Insegni al robot le regole, lo lasci giocare e, quando fallisce, scrivi manualmente una nuova regola (una "abilità" o skill) da fargli seguire la volta successiva. Ma ecco il problema: il robot sta costantemente cambiando il proprio stile di gioco mentre migliora. Se scrivi una nuova regola basata su come giocava ieri, quella regola potrebbe confonderlo oggi, perché si è già evoluto. È come cercare di insegnare a un bambino come allacciarsi le scarpe usando un manuale scritto per un adulto; il bambino ha superato le vecchie istruzioni, ma quelle nuove non sono ancora state testate.
Il Modo RESKILL: Invece di scrivere regole in un taccuino separato, RESKILL trasforma il processo di scrittura delle regole in parte integrante del gioco stesso. Crea una "fabbrica di creazione di regole" che gira dentro il ciclo di addestramento. Il robot prova nuove regole mentre sta ancora imparando, vede se aiutano, tiene quelle buone e scarta quelle cattive, tutto in tempo reale.

Il Problema Centrale: Il "Mismatch" (Disallineamento)

Il paper sostiene che i metodi attuali soffrono di un Conflitto tra Skill e Policy.

La Policy: Questo è il cervello del robot (la sua strategia di gioco). Cambia costantemente mentre impara.
Le Skill: Queste sono trucchi o scorciatoie riutilizzabili (come "controlla sempre il frigorifero per primo" o "cerca prima di indovinare").
Il Conflitto: I metodi esistenti creano le skill separatamente dall'addestramento del cervello. Potrebbero creare una skill che funzionava per il "vecchio" cervello, ma che entra in conflitto con il "nuovo" cervello. È come un allenatore che dà a un giocatore un nuovo manuale tattico mentre il giocatore è nel mezzo di una partita, senza controllare se il giocatore capisca effettivamente le nuove mosse.

Come Funziona RESKILL: La Cucina del "Test di Assaggio"

RESKILL risolve questo problema integrando la creazione delle skill direttamente nel processo di addestramento attraverso tre meccanismi principali, che gli autori chiamano Riconciliazione della Creazione delle Skill con l'Ottimizzazione della Policy.

1. Il "Test di Assaggio di Gruppo" (Campionamento entro il gruppo)

Immagina una competizione culinaria dove uno chef (l'IA) deve preparare un piatto.

Metodo Standard: Lo chef prepara 10 piatti usando la stessa ricetta. Poi, un critico scrive una nuova ricetta. Lo chef prova la nuova riczione più tardi.
Metodo RESKILL: Lo chef riceve un gruppo di 10 ordini. Per 5 ordini, usa la Vecchia Ricetta. Per gli altri 5, usa una Nuova Ricetta (creata sul momento).
Perché funziona: Poiché lo chef è nello stesso identico stato mentale e fisico per tutti i 10 ordini, l'unica differenza è la ricetta. Il sistema può vedere istantaneamente: "La Nuova Ricetta ha aiutato lo chef a ottenere un punteggio più alto proprio ora?". Questo permette un confronto equo e controllato senza bisogno di tempo o risorse extra.

2. Il Libro delle Regole "Auto-Riparante" (Creatore guidato da Assertion)

Quando uno chef sbaglia un piatto, di solito interviene un essere umano per dire: "Hai dimenticato di salare la zuppa". RESKILL automatizza questo processo.

Mantiene un Reservoir (un secchio) di ogni volta in cui lo chef ha avuto successo e di ogni volta in cui ha fallito.
Utilizza un "detective" (un LLM) per guardare nel secchio e chiedere: "Cosa è andato storto? Abbiamo dimenticato di controllare il forno? Abbiamo cercato l'ingrediente sbagliato?".
Basandosi su questi schemi, il sistema scrive automaticamente una nuova "Skill" (una regola come: Se vedi una pentola, controlla la temperatura prima di mescolare).
Fondamentale: Non si limita a indovinare. Testa questa nuova regola immediatamente contro la vecchia usando il "Test di Assaggio di Gruppo" descritto sopra.

3. Il "Giocatore d'Azzardo Intelligente" (Thompson Sampling)

Come decide il sistema quante volte provare la Nuova Ricetta rispetto alla Vecchia Ricetta?

Se la Nuova Ricetta sembra promettente, il sistema la prova più spesso.
Se la Nuova Ricetta sembra scadente, la prova meno spesso.
Il Colpo di Scena: Il cervello del robot evolve ogni secondo. Una regola che funzionava 10 minuti fa potrebbe essere obsoleta ora. RESKILL utilizza un trucco matematico chiamato Thompson Sampling con Sconto Adattivo.
- Immagina un giocatore d'azzardo che sa che i numeri vincenti di ieri sono inutili oggi.
- Se il robot ha provato la Nuova Ricetta molte volte di recente, il sistema si fida dei dati più recenti e dimentica i dati vecchi (sconto/discounting).
- Se il robot non l'ha provata molto, conserva i dati vecchi per evitare di prendere una decisione affrettata basata su un solo tentativo negativo.
- Questo assicura che il sistema stia sempre scommettendo sulla skill che funziona meglio per il cervello attuale del robot, non per il suo passato cervello.

I Risultati: Perché è Importante

Il paper ha testato RESKILL su diversi "giochi" (compiti):

Faccende Domestiche (ALFWorld): Spostare oggetti in una casa virtuale.
Motori di Ricerca: Rispondere a domande complesse cercando sul web.
Scienza e Codice: Risolvere problemi di fisica e scrivere codice SQL.

Le Conclusioni:

Migliore nei compiti difficili: RESKILL non è stato solo leggermente migliore; ha dominato la concorrenza sui compiti mai visti prima (task inediti). Questo perché le skill apprese erano flessibili e generali, non semplici risposte memorizzate.
Nessun costo extra: Non ha richiesto al robot di giocare il doppio del tempo. Ha eseguito il test delle skill durante i normali passaggi di addestramento.
Auto-correzione: Il sistema ha automaticamente "potato" (eliminato) le skill che hanno smesso di funzionare man mano che il robot diventava più intelligente. È una biblioteca vivente di skill che cresce e si restringe a seconda delle necessità.

Riassunto con Analogia

Immagina una Squadra di Calcio:

Vecchio Metodo: L'allenatore guarda la partita, scrive una nuova giocata su una lavagna e dice alla squadra di provarla la prossima settimana. Nel frattempo, i giocatori hanno cambiato formazione, quindi la nuova giocata non si adatta più.
RESKILL: L'allenatore è in campo durante la partita. Ogni volta che la squadra attacca, metà dei giocatori prova la vecchia giocata e l'altra metà prova una nuova giocata inventata sul momento basata sull'ultimo errore commesso. L'allenatore vede istantaneamente quale delle due segna un gol e dice alla squadra di continuare con quella. La squadra evolve la sua strategia e il suo libro delle giocate simultaneamente, in perfetta armonia.

In breve, RESKILL smette di trattare "imparare a giocare" e "imparare le regole" come due lavori separati. Li fonde, permettendo all'IA di costruire un cervello migliore e un miglior libro delle regole contemporaneamente.

Sintesi Tecnica: RESKILL – Riconciliare la Creazione di Skill con l'Ottimizzazione della Policy nell'RL Agente

Definizione del Problema

L'Apprendimento per Rinforzo (RL) Agente permette ai modelli linguistici di grandi dimensioni (LLM) di migliorare continuamente attraverso le ricompense dell'ambiente. Tuttavia, esiste un limite critico: le policy risultanti spesso non riescono ad accumulare sistematicamente strategie riutilizzabili e trasferibili che si generalizzano tra i task. Sebbene le skill modulari (snippet riutilizzabili che codificano strategie specifiche per il task) offrano una soluzione, i metodi esistenti di RL potenziati da skill tipicamente deccoppiano la creazione della skill dall'ottimizzazione della policy.

Questo disaccoppiamento crea un "conflitto skill-policy". I metodi che evolvono le skill esternamente (ad esempio, tramite test human-in-the-loop o distillazione statica) rischiano di adottare skill che non sono allineate con la policy in evoluzione dell'agente. Al contrario, i metodi che apprendono le skill senza un testing principato possono accumulare conoscenze inefficaci. La sfida centrale è creare un framework in cui l'evoluzione delle skill e l'apprendimento della policy siano riconciliati, garantendo che le skill siano create, testate e perfezionate dinamicamente in risposta diretta allo stato di apprendimento attuale della policy.

Metodologia: Il Framework RESKILL

RESKILL (Reconciling Skill Creation with Policy Optimization) affronta questo problema integrando il ciclo di creazione delle skill direttamente nel loop di addestramento dell'RL, sfruttando specificamente la struttura per gruppi di Group Relative Policy Optimization (GRPO). Il framework opera attraverso tre meccanismi integrati:

1. Test delle Skill Intra-Gruppo

Invece di utilizzare rollout di test dedicati e costosi, RESKILL sfrutta il fatto che GRPO campiona un gruppo di $G$ traiettorie per lo stesso task sotto la stessa policy.

Meccanismo: All'interno di un singolo step di addestramento, diverse versioni delle skill (ad esempio, un archivio esistente $S_{old}$ rispetto a un candidato $S_{new}$ ) vengono assegnate a diversi rollout nello stesso gruppo tramite Thompson Sampling.
Vantaggio: Ciò consente un confronto controllato e privo di costi tra le versioni delle skill. Poiché il task e la policy sono identici in tutto il gruppo, l'unica variabile è la versione della skill, consentendo l'attribuzione diretta delle differenze di performance alle skill stesse.
Rollout a Triplice Funzione: Ogni rollout serve simultaneamente a: (i) l'ottimizzazione della policy tramite gradienti GRPO, (ii) la diagnosi dei fallimenti per il creatore di skill, e (iii) l'valutazione bandit per la selezione della versione della skill.

2. Creazione di Skill in-the-Loop con l'RL

RESKILL adatta la pipeline "Skill Creator" di Anthropic ma sostituisce il feedback umano con segnali automatizzati guidati dal reward dell'anello RL.

Reservoir di Esperienza: Un reservoir continuamente aggiornato $R$ raccoglie coppie di traiettorie successo-fallimento annotate con la versione della skill e il relativo reward.
Diagnosi Basata su Asserzioni: Invece di analizzare singole traiettorie, il sistema applica un set dinamico di asserzioni (predicati) basate su regole all'intero reservoir per identificare modalità di fallimento prevalenti.
Revisione Condizionale: Un agente basato su LLM propone versioni candidate delle skill (operazioni ADD, MODIFY, DELETE) basandosi su questi profili di fallimento. Fondamentalmente, i trigger proposti vengono validati contro il reservoir per garantire che abbiano una copertura di attivazione sufficiente prima di entrare nella fase di testing.

3. Thompson Sampling Adattivo per l'Evoluzione delle Skill

Per gestire il compromesso tra l'esplorazione di nuove versioni delle skill e lo sfruttamento di quelle note come efficaci mentre la policy evolve, RESKILL impiega il Thompson Sampling con sconto adattivo.

Allocazione: Ad ogni step, la probabilità di assegnare un rollout a una nuova versione della skill è determinata dalla probabilità a posteriori che la nuova versione sia superiore ( $Pr(p_{new} > p_{old})$ ).
Sconto Adattivo: Poiché la policy evolve durante la finestra di valutazione, le osservazioni più vecchie diventano obsolete. RESKILL introduce un parametro di memoria $M$ per scontare l'evidenza precedente. Il fattore di sconto $w_t$ viene regolato in base al numero di nuovi episodi $n_t$ : se $n_t$ è piccolo, l'evidenza passata viene mantenuta; se $n_t$ è grande, l'evidenza passata viene scontata aggressivamente per riflettere le capacità attuali della policy.
Accetta/Rifiuta: Al termine di un ciclo di evoluzione, una nuova versione della skill viene accettata solo se la sua performance attesa sotto la distribuzione a posteriori scontata supera quella della vecchia versione.

Contributi Chiave

Co-Evoluzione Riconciliata: RESKILL è il primo framework che integra la creazione delle skill direttamente nel loop di ottimizzazione della policy, eliminando il rischio di disallineamento skill-policy presente negli approcci disaccoppiati.
Testing a Zero Overhead: Utilizzando la struttura di gruppo di GRPO, RESKILL consente il confronto controllato delle versioni delle skill senza richiedere budget di rollout aggiuntivi o fasi di testing dedicate.
Ciclo di Vita delle Skill Adattivo: Il framework automatizza l'intero ciclo di vita delle skill — creazione, testing, raffinamento e pruning — basandosi sulle performance della policy in tempo reale e sui segnali di reward.
Robustezza alla Deriva della Policy: L'introduzione dello sconto adattivo nel Thompson Sampling permette al sistema di gestire la non-stazionarietà della policy in evoluzione, garantendo che le valutazioni delle skill rimangano rilevanti.

Risultati Sperimentali

RESKILL è stato valutato in cinque domini: ragionamento incarnato (ALFWorld), ricerca agente (NQ, HotpotQA e cinque dataset non visti), scoperta scientifica (ScienceWorld), coding (InterCode-SQL) e shopping sul web (WANDS).

Guadagni di Performance: RESKL ha superato costantemente i baseline, inclusi GRPO vanilla, RL basato su memoria (MEMRL) e i metodi esistenti basati su skill (SKILLRL, INSPO).
- Su ALFWorld, RESKILL ha raggiunto un tasso di successo del 90,0% (modello 4B) e del 92,7% (modello 8B), superando significativamente il baseline più forte (SKILLRL).
- Sulla Ricerca Agente, RESKILL ha migliorato le performance del 2,5–2,3% rispetto a SKILLRL sugli split visti e ha ottenuto guadagni ancora maggiori sugli split non visti.
Generalizzazione a Task Non Visti: I miglioramenti più sostanziali sono stati osservati sui task non visti e difficili. Ad esempio, sui task non visti di ALFWorld, RESKILL (8B) ha raggiunto il 95,3%, un gap del 12,7% rispetto a SKILLRL (82,6%). Ciò suggerisce che l'evoluzione riconciliata mantiene solo le versioni delle skill che generalizzano meglio.
Adattamento Cross-Domain: In un esperimento di adattamento al tempo di test, una policy addestrata su ALFWorld è stata congelata e applicata a ScienceWorld. RESKILL ha adattato rapidamente il suo archivio di skill al nuovo dominio senza aggiornamenti della policy, mentre i modelli baseline non sono riusciti a evolvere.
Efficienza: RESKILL ha mantenuto velocità di addestramento e inferenza competitive rispetto a GRPO. Il suo meccanismo di trigger condizionale ha garantito che solo le skill rilevanti venissero caricate, mantenendo i context length compatti rispetto ai metodi che caricano tutte le skill in modo incondizionato.

Significato e Rivendicazioni

Il paper sostiene che RESKILL dimostra che la creazione delle skill e l'apprendimento della policy non devono essere trattati come processi separati. Riconciliando questi due processi, il sistema sviluppa una capacità generale di seguire e beneficiare di nuove skill, portando a una performance superiore in task complessi, non visti e fuori dominio.

Gli autori sottolineano che i guadagni derivano principalmente dal meccanismo di co-evoluzione riconciliata piuttosto che dallo specifico LLM usato per la creazione delle skill (gli studi di ablazione hanno mostrato che le performance rimanevano elevate anche quando il creatore di skill era il modello base stesso). Il framework stabilisce un nuovo paradigma per l'RL agente in cui le skill non sono istruzioni statiche, ma componenti dinamiche ed evolutive che si co-adattano con la policy dell'agente.