🤖 machine learning

HERAKLES: Hierarchical Skill Compilation for Open-ended LLM Agents

HERAKLES è un agente gerarchico che combina una politica LLM di alto livello per la selezione di sottogiobi realizzabili con un controllore di basso livello che compila i comportamenti di successo in abilità riutilizzabili, consentendo un'esplorazione aperta ed efficiente e la composizione di abilità in ambienti parzialmente osservabili con ricompense scarse.

Autori originali: Thomas Carta, Clément Romac, Loris Gaven, Pierre-Yves Oudeyer, Olivier Sigaud, Sylvain Lamprier

Pubblicato 2026-07-22

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Thomas Carta, Clément Romac, Loris Gaven, Pierre-Yves Oudeyer, Olivier Sigaud, Sylvain Lamprier

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

La ricerca del robot auto-didatta

Immaginate un mondo in cui i computer non si limitino a seguire una ricetta rigida scritta da un essere umano, ma imparino invece a cucinare, costruire ed esplorare da soli, diventando più intelligenti ogni giorno. Questo è il sogno dell'apprendimento "open-ended" (a fine aperto) nell'intelligenza artificiale. Per molto tempo, l'IA è stata come uno studente che memorizza un enorme libro di testo ma si blocca quando gli viene posta una domanda che non è presente nel libro. Gli esseri umani, tuttavia, sono diversi. Noi non ci limitiamo a memorizzare; costruiamo una biblioteca di abilità. Quando impariamo ad andare in bicicletta, non impariamo solo a mantenere l'equilibrio; impariamo a pedalare, sterzare e frenare come strumenti separati che possiamo mescolare e combinare in seguito per imparare ad andare in motocicletta.

Il documento che state per leggere affronta un problema specifico in questo campo: come insegnare a un agente di IA a continuare a imparare per sempre senza bloccarsi? L'idea chiave è l'apprendimento "gerarchico". Pensatelo come un'azienda con un capo e un operaio. Il capo (il cervello di alto livello) non fa il lavoro pesante; invece, suddivide grandi e spaventosi progetti in compiti più piccoli e gestibili per l'operaio (il cervello di basso livello). L'operaio esegue i compiti e, una volta diventato molto bravo in essi, quei compiti diventano "abilità" che il capo può semplicemente ordinare con una singola parola. Il documento esplora come costruire un robot capace di fare questo automaticamente, trasformando un caos di nuove sfide in una cassetta degli attrezzi di abilità ordinata e organizzata.

La storia di HERAKLES: Il robot che costruisce la propria cassetta degli attrezzi

Incontrate HERAKLES, un nuovo tipo di cervello robotico progettato per essere un apprendista a vita. Immaginate di essere un giovane avventuriero che cerca di conquistare una foresta massiccia e misteriosa. All'inizio, sapete solo come fare un passo alla volta. Se volete raggiungere una montagna lontana, dovete capire ogni singolo passo da zero, il che è estenuante e lento. Potreste stancarvi e arrendervi prima ancora di raggiungere la prima collina.

HERAKLES risolve questo problema agendo come una squadra intelligente con due ruoli distinti. Il primo ruolo è il Generale (la politica di alto livello), che è un'IA molto intelligente e capace di usare il linguaggio. Il secondo ruolo è il Soldato (la politica di basso livello), che è un robot veloce ed efficiente che muove effettivamente il corpo e raccoglie gli oggetti.

Ecco dove avviene la magia:

1. Il Generale pianifica, il Soldato esegue
Quando il Generale vede un grande obiettivo come "Costruire un picco di pietra", non cerca di farlo tutto in una volta. Invece, guarda cosa il Soldato sa già fare. Magari il Soldato sa come "tagliare la legna" e "posizionare un tavolo". Il Generale suddivide il grande obiettivo: "Per prima cosa, taglia la legna. Poi, posiziona un tavolo. Infine, crea il picco". Il Generale dà questi ordini più piccoli al Soldato.

2. Il trucco della "Compilazione delle abilità"
È qui che HERAKLES diventa davvero astuto. Ogni volta che il Soldato completa con successo un compito, come "tagliare la legna", il Generale non lo dimentica semplicemente. Prende l'intera sequenza di movimenti e la "compila" in un'abilità singola e riutilizzabile. È come se il Soldato imparasse ad andare in bicicletta e, improvvisamente, il Generale potesse semplicemente dire "Vai alla riva" invece di dire "Pedala, sterza, mantieni l'equilibrio, pedala, sterza...".

Man mano che il robot impara, la sua cassetta degli attrezzi di abilità cresce. Il Generale inizia ad avere accesso a "opzioni" sempre più grandi. Invece di compiere 100 piccoli passi per costruire una casa, il Generale potrebbe semplicemente dire "Costruisci un muro" (un'abilità che il Soldato ha già padroneggiato) e "Costruisci un tetto" (un'altra abilità padroneggiata). Questo rende il robot molto più veloce ed efficiente.

3. Il Filtro di Sicurezza
Il Generale è abbastanza intelligente da sapere cosa il Soldato non può ancora fare. Se il Soldato non ha ancora imparato a "fare il fuoco", il Generale non gli chiederà di farlo, perché ciò porterebbe solo a fallimenti e confusione. Il sistema utilizza un particolare "controllore di competenza" per offrire al Generale solo obiettivi che il Soldato ha buone probabilità di portare a termine con successo. Questo mantiene fluido il processo di apprendimento e impedisce al robot di bloccarsi su compiti impossibili.

Cosa hanno scoperto

I ricercatori hanno testato HERAKLES in un mondo digitale chiamato Crafter, che è una versione 2D di Minecraft dove bisogna raccogliere risorse e creare oggetti per sopravvivere. L'obiettivo era vedere se HERAKLES potesse imparare compiti sempre più difficili nel tempo senza che un essere umano dovesse insegnargli ogni singolo passaggio.

Hanno confrontato HERAKLES con altri metodi di IA:

Il Robot "Fai-tutto": Un robot che cerca di imparare ogni piccolo passaggio da zero ogni volta. Questo robot si è bloccato rapidamente perché i compiti complessi richiedevano troppo tempo per essere appresi.
Il Robot "Cervello Congelato": Un robot che usa un cervello intelligente ma mantiene le abilità del proprio corpo fisse, senza mai imparare nuovi trucchi fisici.
Il Robot "Codice Nascosto": Un robot che cerca di imparare le abilità ma usa un codice segreto invece di un linguaggio chiaro, rendendo difficile combinare le abilità in modo logico.

I Risultati:
HERAKLES è stato il vincitore netto nel lungo periodo. Mentre gli altri robot si sono bloccati dopo aver imparato alcuni compiti facili (come camminare verso un albero), HERAKLES ha continuato a migliorare. Alla fine dell'addestramento (dopo 250.000 step nel gioco), HERAKLES aveva imparato a creare oggetti complessi come un picco di pietra, mentre gli altri stavano ancora lottando con compiti basilari.

Il documento suggerisce che HERAKLES è molto migliore nella "efficienza campionaria" (sample efficiency), il che significa che impara di più con meno tentativi. Ha anche mostrato un'incredibile flessibilità. Quando i ricercatori hanno chiesto a HERAKLES di fare cose che non aveva mai visto prima, come "raccogli 4 legni" invece di solo "raccogli legno", o usare un sinonimo come "acquisisci legno" invece di "raccogli legno", ha avuto successo quasi ogni volta. È riuscito persino a capire come creare una "spada di legno" semplicemente realizzando che era molto simile al "picco di legno" che aveva già imparato a creare.

Perché questo è importante

Gli autori suggeriscono che questo metodo sia un grande passo verso la creazione di un'IA che possa davvero crescere e adattarsi da sola. Permettendo all'IA di costruire la propria libreria di abilità e poi usare queste abilità per affrontare sfide ancora più difficili, HERAKLES evita quella sensazione di "blocco" che affligge molti altri sistemi di apprendimento.

Tuttavia, il documento ammette anche che esistono dei limiti. Al momento, il Generale comprende solo il testo, non le immagini, quindi non può vedere il mondo direttamente. Inoltre, il sistema ha bisogno di un elenco di obiettivi per iniziare; non inventa gli obiettivi da solo, per ora. Ma l'idea di un robot che può "compilare" le proprie esperienze in nuove abilità riutilizzabili è un concetto potente. Suggerisce un futuro in cui gli agenti di IA non si limitano a memorizzare il passato, ma costruiscono attivamente le fondamenta per un infinito futuro di apprendimento.

Riassunto Tecnico: HERAKLES – Compilazione Gerarchica di Skill per Agenti LLM Open-ended

Problema

Il paper affronta la sfida dell'apprendimento open-ended in ambienti parzialmente osservabili caratterizzati da ricompense sparse e spazi di obiettivi strutturati e vasti. Sebbene i recenti modelli di fondazione abbiano raggiunto prestazioni di livello umano su compiti statici, essi faticano con la crescita della complessità nel tempo (lifelong growth) perché si basano su dataset fissi. Al contrario, gli esseri umani acquisiscono continuamente abilità diverse scomponendo compiti complessi in sub-abilità più semplici precedentemente internalizzate.

Gli approcci attuali per agenti open-ended (es. Voyager, AutotelicLLM) affrontano spesso un'esplosione combinatoria della complessità degli obiettivi. Man mano che gli agenti incontrano obiettivi sempre più complessi, il tempo necessario per padroneggiare ogni nuovo obiettivo isolatamente cresce rapidamente, causando un arresto del progresso dell'apprendimento. I metodi esistenti di Hierarchical Reinforcement Learning (HRL) si affidano spesso a set di skill predefiniti o policy pre-addestrate, il che è incompatibile con agenti veramente open-ended che devono scoprire e ampliare autonomamente il proprio repertorio di abilità senza l'intervento di esperti.

Il problema centrale è come permettere a un agente di adattarsi continuamente a uno spazio di obiettivi in crescita, componendo efficientemente nuove skill da comportamenti padroneggiati, senza fare affidamento su dataset statici o primitive definite da esperti.

Metodologia: HERAKLES

Gli autori propongono HERAKLES (HiERarchicAl sKill compiLation for open Ended llm agentS), un agente gerarchico che apprende congiuntamente una policy di alto livello e un controllore di basso livello. Il sistema opera sull'assunto che lo spazio degli obiettivi ammetta relazioni di prerequisito, permettendo di scomporre i compiti in sotto-obiettivi.

Architettura

L'agente consiste di due policy addestrate concorrentemente:

High-Level Policy ( $\pi_{HL}$ ): Implementata come un Large Language Model (LLM) (specificamente Mistral 7B con adattatori LoRA). Agisce come pianificatore ed esploratore, selezionando sotto-obiettivi basati su prompt testuali derivati dalle osservazioni e dagli obiettivi del compito. Opera su un set ristretto di "opzioni chiamabili" — sotto-obiettivi che si stima la policy di basso livello possa raggiungere con affidabilità.
Low-Level Policy ( $\pi_{LL}$ ): Una rete neurale leggera e computazionalmente efficiente (basata su ResNet) che esegue azioni primitive. È addestrata per risolvere direttamente gli obiettivi e compilare progressivamente le traiettorie di successo in skill riutilizzabili.

Meccanismi Chiave

Compilazione Gerarchica: Quando l'agente gerarchico risolve con successo un obiettivo $g$ , l'intera traiettoria di azioni primitive viene "compilata" in $\pi_{LL}$ . Una volta padroneggiato, $\pi_{LL}$ può eseguire $g$ direttamente come una singola skill. $\pi_{HL}$ può quindi invocare questa nuova skill come una primitiva per obiettivi più complessi, riducendo efficacementamente il rapporto segnale-rumore per la pianificazione di alto livello.
Filtraggio Adattivo dei Sotto-Obiettivi: Per evitare che $\pi_{HL}$ selezioni sotto-obiettivi irraggiungibili, un estimatore di competenza ( $C_\theta$ ) filtra lo spazio degli obiettivi. Questo estimatore, addestrato su traiettorie di basso livello, predice la probabilità che $\pi_{LL}$ possa raggiungere un obiettivo specifico dallo stato corrente. $\pi_{HL}$ campiona solo da obiettivi con un'alta probabilità stimata di successo, garantendo un apprendimento stabile.
Ottimizzazione Bilevel: Il sistema è inquadrato come un problema bilevel con una struttura di Stackelberg. $\pi_{HL}$ $π_{H L}$ modella la distribuzione degli stati e dei sotto-obiettivi visti da $\pi_{LL}$ $π_{LL}$ , mentre l'esecuzione di $\pi_{LL}$ $π_{LL}$ determina l'ottimalità della scomposizione di alto livello. Le due policy sono addestrate simultaneamente:
- $\pi_{HL}$ è addestrata tramite RL on-policy (POAD) sulle traiettorie decisionali di alto livello.
- $\pi_{LL}$ è addestrata tramite RL off-policy (AWR) utilizzando due tipi di dati: rollout gerarchici completi (per la compilazione delle skill) e segmenti di sotto-obiettivo (per il rinforzo delle skill).

Dinamiche di Addestramento

Il processo di addestramento segue un curriculum automatico. Inizialmente, $\pi_{LL}$ padroneggia solo azioni atomiche. Man mano che padroneggia gli obiettivi, questi vengono aggiunti al suo repertorio. $\pi_{HL}$ utilizza poi questi obiettivi padroneggiati come blocchi costruttivi per affrontare obiettivi più complessi. Ciò crea un ciclo di feedback in cui la crescente competenza della policy di basso livello espande lo spazio delle azioni effettivo della policy di alto livello.

Contributi Chiave

Framework di Apprendimento Congiunto: Un metodo per agenti open-ended che addestra congiuntamente una policy di alto livello basata su LLM e un controllore di basso livello senza richiedere skill specificate dall'esperto o estese pre-addestramenti.
Compilazione Dinamica delle Skill: Un meccanismo in cui i comportamenti di successo vengono automaticamente distillati nella policy di basso livello, consentendo una composizione di skill scalabile man mano che la competenza dell'agente cresce.
Filtraggio Adattivo: Un meccanismo di filtraggio basato sulla competenza che restringe lo spazio di ricerca della policy di alto livello a sotto-obiettivi raggiungibili, stabilizzando l'apprendimento in ambienti complessi e open-ended.
Astrazione Strutturata sul Linguaggio: Sfruttare le proprietà compositive del linguaggio naturale per definire lo spazio degli obiettivi e facilitare la scoperta di catene di prerequisiti tra gli obiettivi.

Risultati Sperimentali

Il metodo è stato valutato nell'ambiente Crafter, un mondo 2D generato proceduralmente con un albero di obiettivi composto da 17 obiettivi che richiedono la raccolta di manufatti e la creazione (crafting).

Efficienza di Campionamento: HERAKLES ha superato i baseline (POAD, FUN, BOSS) nel lungo periodo. Mentre i baseline progredivano inizialmente più velocemente, hanno subito un plateau dopo aver padroneggiato gli obiettivi facili. HERAKLES ha mostrato un miglioramento graduale e sostenuto man mano che più obiettivi venivano compilati in $\pi_{LL}$ , raggiungendo infine obiettivi complessi (es. "make stone pickaxe") che i baseline non sono riusciti a scoprire.
Generalizzazione: HERAKLES ha dimostrato una superiorità nella generalizzazione a obiettivi non visti rispetto ai baseline:
- Generalizzazione Composizionale: Ha mantenuto alti tassi di successo su obiettivi che richiedevano la ripetizione di compiti noti (es. "collect 4 woods" vs "collect wood"), mentre i baseline fallivano significativamente.
- Obiettivi Sinonimi: Ha gestito efficacementamente verbi sinonimi.
- Obiettivi con Traiettorie Simili: Ha trasferito con successo le skill a obiettivi non visti che condividevano strutture di prerequisiti simili (es. "make wood sword" dopo aver appreso "make wood pickaxe").
Espansione delle Skill: Il numero di skill di basso livello chiamabili da $\pi_{HL}$ è aumentato costantemente durante l'addestramento, confermando la capacità del sistema di costruire una libreria di skill riutilizzabili.

Significato e Rivendicazioni

Il paper sostiene che HERAKLES fornisca una via percorribile verso agenti autotelici capaci di apprendimento continuo (lifelong learning). Combinando le capacità di ragionamento e composizione degli LLM con l'efficienza di esecuzione di controllori di basso livello specializzati, il sistema supera la "barriera della complessità" che blocca l'apprendimento open-ended.

Gli autori sottolineano che il loro approccio:

Non dipende da skill definite da esperti o da policy pre-addestrate.
Permette la generalizzazione composizionale trattando le skill padroneggiate come primitive per l'apprendimento futuro.
Migliora l'efficienza di campionamento in contesti open-ended ammortizzando l'apprendimento passato in skill riutilizzabili.

Il lavoro è presentato come un passo verso l'Intelligenza Artificiale Generale (AGI), affrontando specificamente la necessità di agenti che possano autonomamente generare, selezionare e addestrare se stessi su obiettivi propri per espandere continuamente le proprie capacità. Gli autori riconoscono i limiti, come l'attuale dipendenza da obiettivi testuali (suggerendo futuri lavori con Vision-Language Models) e il costo computazionale del retraining periodico, ma posizionano il metodo come un passo fondamentale verso agenti completamente autonomi e open-ended.