💻 computer science

Training One Model to Master Cross-Level Agentic Actions via Reinforcement Learning

Il documento introduce CrossHA, un modello agente unificato addestrato tramite una nuova pipeline che combina il fine-tuning supervisionato e la Multi-Turn Group Relative Policy Optimization per selezionare e passare autonomamente tra spazi di azione eterogenei, raggiungendo così prestazioni e adattabilità allo stato dell'arte in compiti dinamici a lungo termine all'interno dell'ambiente Minecraft.

Autori originali: Kaichen He, Zihao Wang, Muyao Li, Anji Liu, Yitao Liang

Pubblicato 2026-06-05

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Kaichen He, Zihao Wang, Muyao Li, Anji Liu, Yitao Liang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot come giocare al videogioco Minecraft. In passato, i ricercatori dovevano costruire "cervelli" separati per diverse parti del gioco. Un cervello era bravo a camminare (usando comandi semplici, passo dopo passo), un altro era bravo a cliccare sui menu (usando movimenti precisi del mouse) e un terzo era bravo a usare scorciatoie di alto livello (come "vai all'albero più vicino").

Il problema era che questi robot erano rigidi. Se un compito richiedeva di camminare e poi cliccare su un menu, il robot si confondeva o rimaneva bloccato perché era stato addestrato a usare solo un tipo di "linguaggio" alla volta.

La Grande Idea: L'Agente "Coltellino Svizzero"
Questo articolo presenta CrossHA, un nuovo tipo di agente IA che agisce come uno chef esperto con una cucina completa. Invece di essere costretto a usare solo un cucchiaio o solo un coltello, CrossHA impara a guardare l'ingrediente (il compito) e decide istantaneamente: "Ho bisogno di un taglio grossolano (un movimento semplice) o di una fetta sottile (un clic preciso) proprio ora?"

È il primo modello capace di passare fluidamente tra diversi "linguaggi di azione" al volo, senza che un essere umano debba indicargli quale usare ad ogni singolo passaggio.

Come lo hanno insegnato (La Ricetta dell'Addestramento)

I ricercatori non si sono limitati a versare dati sul modello; hanno utilizzato una pipeline di addestramento in tre fasi, simile a come un essere umano apprende una competenza complessa:

La Fase del "Assaggio" (Fine-Tuning Supervisionato):
Per prima cosa, hanno mostrato al modello migliaia di esempi di persone che giocavano usando metodi diversi (alcuni camminavano, altri cliccavano, altri usavano scorciatoie). L'obiettivo qui era solo insegnare al modello il "vocabolario" di tutti questi diversi metodi, affinché potesse comprenderli tutti. Era come insegnare a uno studente a leggere l'inglese, lo spagnolo e il francese, ma senza chiedergli ancora di scrivere una storia.
La Fase dello "Sprint" (RL a Turno Singolo):
Successivamente, hanno dato al modello brevi sfide di un solo passaggio. Se il modello cercava di risolvere un problema usando il "linguaggio" sbagliato (ad esempio, cercando di attraversare una porta chiusa invece di cliccare sulla maniglia), riceveva un punteggio basso. Se sceglieva lo strumento giusto per il lavoro, riceveva un premio. Questo ha insegnato al modello a fare scelte rapide e intelligenti su quale strumento scegliere per un singolo momento.
La Fase della "Maratona" (RL a Multi-Turno):
Infine, hanno lasciato che il modello giocasse partite intere e lunghe. L'obiettivo non era solo fare un passaggio corretto, ma completare l'intera missione in modo efficiente. Il modello ha imparato che a volte usare un metodo "veloce ma grossolano" è meglio per attraversare un campo, ma passare a un metodo "lento ma preciso" è necessario per creare un oggetto delicato. Ha imparato a bilanciare velocità e precisione durante un lungo viaggio.

I Risultati: Perché è Importante

I ricercatori hanno testato questo modello su oltre 800 compiti diversi in Minecraft, che spaziavano dal tagliare alberi al creare oggetti complessi e combattere mostri.

Il Vecchio Modo: I robot addestrati per usare un solo metodo (come solo camminare) erano bravissimi a camminare ma terribili nel crafting. Erano come una persona che sa solo correre ma non sa come aprire una porta.
Il Modo CrossHA: Il nuovo modello è stato il migliore in tutto. Non si è limitato a mediare i punteggi; eccelleva perché sapeva esattamente quando cambiare marcia.

L'Analogia del "Pilota Esperto":
Immagina di guidare un'auto.

Un robot a azione fissa è come un conducente che conosce solo la guida in autostrada. Se incontra una strada sterrata, si schianta. Se entra in un parcheggio, si perde.
CrossHA è come un pilota esperto che sa quando cambiare marcia alta per l'autostrada (efficienza) e quando cambiare marcia bassa e sterzare con cura per un parcheggio stretto (precisione). Non ha bisogno di un copilota che gli dica quando cambiare marcia; lui sente semplicemente la strada e si adatta.

In sintesi

L'articolo afferma che, addestrando un unico modello a padroneggiare tutti questi diversi "spazi di azione" e lasciandolo imparare attraverso l'apprendimento per rinforzo (tentativi ed errori con premi), hanno creato un agente significativamente più intelligente, flessibile ed efficiente rispetto ai modelli precedenti che erano limitati all'uso di un solo tipo di azione.

Lo hanno dimostrato mostrando che il modello poteva gestire oltre 800 sfide diverse in un gioco complesso a mondo aperto, superando tutti gli altri metodi esistenti. Il codice e i modelli sono ora a disposizione di tutti.

Riepilogo Tecnico: CrossHA – Addestrare un unico modello per padroneggiare azioni agentiche cross-level tramite Reinforcement Learning

1. Definizione del Problema

Il paradigma degli agenti IA si sta spostando da workflow ingegnerizzati attorno a modelli linguistici (LLM) e visivo-linguistici (VLM) pre-addestrati verso modelli agentici nativi sviluppati attraverso il post-training. Tuttavia, gli agenti esistenti sono tipicamente confinati in spazi di azione statici e predefiniti (ad esempio, l'uso esclusivo di API, eventi GUI o comandi robotici). Questa rigidità crea due limitazioni fondamentali:

Fragilità: Le specifiche policy di azione o i livelli di traduzione spesso falliscono in ambienti dinamici (ad esempio, funzioni API bloccate da CAPTCHA, o policy robotiche prive di precisione).
Inflessibilità: L'assegnazione manuale degli spazi di azione ai compiti limita l'adattabilità. Fondamentalmente, l'ottimale spazio di azione può variare non solo tra i compiti, ma anche all'interno di un singolo compito al livello del passo (step). Ad esempio, un agente di "Ricerca Approfondita" potrebbe utilizzare efficientemente API di ricerca per la raccolta di informazioni, ma richiedere una manipolazione precisa a livello di GUI per superare un CAPTCHA.

Gli approcci attuali spesso si affidano a pipeline complesse e fragili per orchestrare le transizioni tra spazi di azione disgiunti o per fondere traiettorie eterogenee senza ottimizzare esplicitamente il meccanismo di selezione. Vi è una mancanza di modelli unificati in grado di selezionare autonomamente l'interfaccia più efficace (che spazia da API di alto livello a primitive di basso livello) per ogni passo di una traiettoria in base al contesto.

2. Metodologia: Il Framework CrossHA

Per affrontare queste limitazioni, gli autori propongono CrossHA, un modello agentico unificato addestrato per padroneggiare molteplici spazi di azione eterogenei e selezionare autonomamente l'interfaccia appropriata per ogni passo. Il modello è addestrato tramite una pipeline completa in tre fasi che integra il cold-start supervised fine-tuning (SFT) con un algoritmo di Multi-Turn Group Relative Policy Optimization (GRPO).

2.1 Formulazione del Problema

Il compito è modellato come un processo decisionale di Markov (MDP) con uno spazio di azione composito $\mathcal{A} = \bigcup_{x=1}^{N} \mathcal{A}_x$ , dove ogni sottospazio $\mathcal{A}_x$ corrisponde a una distinta classe di azioni (ad esempio, controlli motori di basso livello rispetto a primitive di movimento di alto livello). L'obiettivo è massimizzare il reward atteso penalizzando i costi computazionali o operativi associati alle diverse granularità di azione:
$J = \mathbb{E}\left[\sum_{t} (r_t - \lambda_x \text{cost}(a_t))\right]$

2.2 Pipeline di Addestramento

Il processo di addestramento consiste in tre fasi progressive:

Fase 1: Mixed-Space Supervised Fine-Tuning (SFT)
Il modello viene inizializzato su un dataset bilanciato composto da traiettorie provenienti da molteplici sottospazi di azione. L'obiettivo è costruire un modello base robusto ( $M_{mix}$ ) capace di decodificare e generare azioni valide attraverso diverse modalità senza interferenza modale. In questa fase, il modello apprende la sintassi e la semantica, ma non è ancora in grado di selezionare autonomamente l'ottimale spazio di azione.
Fase 2: Single-Turn Reinforcement Learning (STRL)
Questa fase abilita il modello a selezionare autonomamente lo spazio di azione appropriato per i contesti di compito immediati.
- Warm-up: Una fase di SFT potenziata dalla diversità genera azioni candidate attraverso tutti gli spazi, filtrando per esecuzioni di successo per creare annotazioni ground-truth.
- Ottimizzazione: Il modello viene perfezionato utilizzando la Group Relative Policy Optimization (GRPO). A differenza di PPO, GRPO stima l'advantage basandosi sulle prestazioni relative di un gruppo di output campionati piuttosto che su una funzione di valore appresa. Il reward è agnostico rispetto allo spazio di azione: il credito viene concesso se l'azione grezza analizzata corrisponde al ground truth, indipendentemente dalla forma superficiale utilizzata. Ciò incoraggia il modello a selezionare lo spazio di azione più affidabile per un dato input.
Fase 3: Multi-Turn Reinforcement Learning (MTRL)
Per ottimizzare il ragionamento a lungo termine (long-horizon) e l'efficienza della traiettoria, il modello viene sottoposto a MTRL.
- Inizializzazione: Un passaggio di auto-addestramento (self-training) rintraccia il dataset basandosi sulle preferenze del modello STRL, creando un forte prior per la selezione dell'appropriato spazio di azione ( $M_{cs2}$ ).
- Ottimizzazione della Traiettoria: Il modello viene perfezionato su un set di compiti curati utilizzando un reward episodico binario (successo/fallimento) combinato con una penalità per la lunghezza dei token. Questo incoraggia l'agente a bilanciare il successo del compito con l'efficienza di esecuzione, preferendo azioni di alto livello concise quando possibile e passando ad azioni atomiche fini quando necessario.

3. Contributi Chiave

Modello CrossHA: Un modello agentico unificato capace di padroneggiare spazi di azione eterogenei e selezionare autonomamente l'interfaccia appropriata al contesto senza fare affidamento su euristiche definite dall'uomo.
Pipeline di RL Completa: L'introduzione di un framework di addestramento che utilizza il Multi-Turn GRPO, consentendo all'agente di apprendere l'adattamento dello switch tra spazi di azione all'interno di una singola traiettoria per massimizzare sia il successo del compito che l'efficienza di esecuzione.
Prestazioni allo Stato dell'Arte: Dimostrazione di una superiore generalizzazione e robustezza nei compiti di ragionamento a lungo termine rispetto ai baseline statici.

4. Risultati Sperimentali

Gli autori hanno valutato CrossHA nell'ambiente open-world di Minecraft (versione 1.16.5), utilizzando la suite di benchmark OpenHA che contiene oltre 800 compiti progettati manualmente categorizzati in:

Mine Blocks: Navigazione e interazione fisica.
Craft Items: Interazioni GUI complesse.
Kill Entities: Sopravvivenza e combattimento.

Risultati Chiave:

Performance: CrossHA ha raggiunto prestazioni state-of-the-art in tutte le categorie. In particolare, ha raggiunto un tasso di compiti completati (Finished Tasks - FT) del 94,7% in "Mine Blocks" e dell'83,3% in "Craft Items", superando significativamente i baseline a azione fissa.
Generalizzazione: Nonostante l'addestramento su soli 30 compiti (10 per ciascuna categoria), CrossHA si è generalizzato con successo a oltre 800 compiti di valutazione.
Studi di Ablazione:
- Spazi di Azione Misti: CrossHA è convergente più rapidamente e raggiunge prestazioni asintotiche superiori rispetto ai baseline a spazio singolo (ad esempio, GroundingHA, MotionHA) durante il MTRL, dimostrando una migliore efficienza dei dati.
- Necessità di STRL: L'inclusione della fase STRL ha migliorato significatamente l'efficienza dell'addestramento e le prestazioni finali, particolarmente nei compiti Out-of-Distribution (OOD).
- Robustezza: Mentre gli agenti a spazio singolo mostravano alte prestazioni sui compiti In-Distribution (ID) ma subivano un calo drastico sui compiti OOD, CrossHA ha mantenuto un gap di generalizzazione minore, suggerendo che la selezione dinamica dello spazio di azione mitiga l'overfitting.

5. Significato e Rivendicazioni

Il paper sostiene che CrossHA rappresenti un passo significativo verso agenti veramente generalisti. Trattando la selezione dello spazio di azione come una componente apprendibile ottimizzata tramite reinforcement learning, il modello supera la rigidità dei design statici. I risultati dimostrano che la selezione adattiva dello spazio di azione produce una generalizzazione e una robustezza superiori rispetto ai baseline statici.

Gli autori sottolineano che il modello impara a bilanciare i trade-off dinamicamente: dando priorità alle azioni di alto livello per l'efficienza quando applicabile, e impiegando azioni atomiche fini per il controllo preciso quando necessario. Questa capacità permette all'agente di gestire scenari complessi che richiedono interazioni multi-modali senza intervento manuale.

Il lavoro futuro, come notato dagli autori, include il miglioramento dell'efficienza del multi-turn RL e l'estensione del framework a contesti robotici reali, dove sorgono sfide quali sicurezza e latenza.