🤖 machine learning

HERAKLES: Hierarchical Skill Compilation for Open-ended LLM Agents

HERAKLES é um agente hierárquico que combina uma política de LLM de alto nível para selecionar submetas alcançáveis com um controlador de baixo nível que compila comportamentos bem-sucedidos em habilidades reutilizáveis, permitindo a exploração aberta e eficiente e a composição de habilidades em ambientes parcialmente observáveis com recompensas esparsas.

Autores originais: Thomas Carta, Clément Romac, Loris Gaven, Pierre-Yves Oudeyer, Olivier Sigaud, Sylvain Lamprier

Publicado 2026-07-22

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Thomas Carta, Clément Romac, Loris Gaven, Pierre-Yves Oudeyer, Olivier Sigaud, Sylvain Lamprier

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Busca pelo Robô Autodidata

Imagine um mundo onde os computadores não apenas seguem uma receita rígida escrita por um humano, mas em vez disso aprendem a cozinhar, construir e explorar por conta própria, tornando-se mais inteligentes a cada dia. Este é o sonho do "aprendizado de ponta aberta" (open-ended learning) na inteligência artificial. Por muito tempo, a IA tem sido como um aluno que memoriza um livro didático gigante, mas trava quando recebe uma pergunta que não está no livro. Os seres humanos reais, no entanto, são diferentes. Nós não apenas memorizamos; nós construímos uma biblioteca de habilidades. Quando aprendemos a andar de bicicleta, não aprendemos apenas a equilibrar; aprendemos a pedalar, esterçar e frear como ferramentas separadas que podemos misturar e combinar mais tarde para aprender a andar de motocicleta.

O artigo que você está prestes a ler aborda um problema específico neste campo: como ensinamos um agente de IA a continuar aprendendo para sempre sem ficar estagnado? A ideia central é o "aprendizado hierárquico". Pense nisso como uma empresa com um chefe e um trabalhador. O chefe (o cérebro de alto nível) não faz o trabalho pesado; em vez disso, ele divide grandes e assustadores projetos em tarefas menores e gerenciáveis para o trabalhador (o cérebro de baixo nível). O trabalhador realiza as tarefas e, uma vez que se torne muito bom nelas, essas tarefas tornam-se "habilidades" que o chefe pode simplesmente ordenar com uma única palavra. O artigo explora como construir um robô que possa fazer isso automaticamente, transformando um caos de novos desafios em uma caixa de ferramentas de habilidades organizada e nítida.

A História do HERAKLES: O Robô Que Constrói Sua Própria Caixa de Ferramentas

Conheça o HERAKLES, um novo tipo de cérebro robótico projetado para ser um aprendiz vitalício. Imagine que você é um jovem aventureiro tentando conquistar uma floresta vasta e misteriosa. No início, você só sabe dar um passo de cada vez. Se quiser alcançar uma montanha distante, terá que descobrir cada passo do zero, o que é exaustivo e lento. Você pode se cansar e desistir antes mesmo de chegar à primeira colina.

O HERAKLES resolve isso agindo como uma equipe inteligente com dois papéis distintos. O primeiro papel é o General (a política de alto nível), que é uma IA muito inteligente e versada em linguagem. O segundo papel é o Soldado (a política de baixo nível), que é um robô rápido e eficiente que realmente move o corpo e pega itens.

Aqui está como a mágica acontece:

1. O General Planeja, O Soldado Executa
Quando o General vê um grande objetivo como "Construir uma Picareta de Pedra", ele não tenta fazer tudo de uma vez. Em vez disso, ele observa o que o Soldado já consegue fazer. Talvez o Soldado saiba como "cortar madeira" e "colocar uma mesa". O General divide o grande objetivo: "Primeiro, corte a madeira. Depois, coloque uma mesa. Finalmente, fabrique a picareta". O General dá essas ordens menores ao Soldado.

2. O Truque da "Compilação de Habilidades"
É aqui que o HERAKLES fica realmente esperto. Toda vez que o Soldado termina com sucesso uma tarefa, como "cortar madeira", o General não apenas a esquece. Eles pegam toda essa sequência de movimentos e a "compilam" em uma habilidade única e reutilizável. É como se o Soldado aprendesse a andar de bicicleta e, de repente, o General pudesse apenas dizer "Vá para o rio" em vez de dizer "Pedale, esterce, equilibre, pedale, esterce..."

À medida que o robô aprende mais, sua caixa de ferramentas de habilidades cresce. O General começa a ter acesso a "opções" cada vez maiores. Em vez de dar 100 passos minúsculos para construir uma casa, o General pode apenas dizer "Construir uma parede" (uma habilidade que o Soldado já dominou) e "Construir um telhado" (outra habilidade dominada). Isso torna o robô muito mais rápido e eficiente.

3. O Filtro de Segurança
O General é inteligente o suficiente para saber o que o Soldado ainda não consegue fazer. Se o Soldado ainda não aprendeu a "fazer fogo", o General não pedirá que ele o faça, pois isso levaria apenas ao fracasso e à confusão. O sistema usa um "verificador de competência" especial para oferecer ao General apenas objetivos nos quais o Soldado tenha boas chances de sucesso. Isso mantém o processo de aprendizado fluido e evita que o robô fique travado em tarefas impossíveis.

O Que Eles Descobriram

Os pesquisadores testaram o HERAKLES em um mundo digital chamado Crafter, que é uma versão 2D de Minecraft onde você precisa coletar recursos e fabricar itens para sobreviver. O objetivo era ver se o HERAKLES conseguiria aprender tarefas cada vez mais difíceis ao longo do tempo sem precisar que um humano o ensinasse cada passo.

Eles compararam o HERAKLES com outros métodos de IA:

O Robô "Faz-Tudo": Um robô que tenta aprender cada passo minúsculo do zero todas as vezes. Este robô estagnou rapidamente porque tarefas complexas demoravam muito para serem aprendidas.
O Robô de "Cérebro Congelado": Um robô que usa um cérebro inteligente, mas mantém suas habilidades físicas fixas, nunca aprendendo novos truques físicos.
O Robô de "Código Oculto": Um robô que tenta aprender habilidades, mas usa um código secreto em vez de linguagem clara, tornando difícil combinar habilidades logicamente.

Os Resultados:
O HERAKLES foi o vencedor claro a longo prazo. Enquanto os outros robôs ficaram estagnados após aprender algumas tarefas fáceis (como apenas caminhar até uma árvore), o HERAKLES continuou melhorando. Ao final do treinamento (após 250.000 passos no jogo), o HERAKLES havia aprendido a fabricar itens complexos como uma picareta de pedra, enquanto os outros ainda lutavam com tarefas básicas.

O artigo sugere que o HERAKLES é muito melhor em "eficiência de amostragem", o que significa que aprende mais com menos tentativas. Ele também mostrou uma flexibilidade incrível. Quando os pesquisadores pediram ao HERAKLES para fazer coisas que ele nunca tinha visto antes, como "coletar 4 madeiras" em vez de apenas "coletar madeira", ou usar um sinônimo como "adquirir madeira" em vez de "coletar madeira", ele teve sucesso quase todas as vezes. Ele conseguiu até descobrir como fazer uma "espada de madeira" apenas percebendo que era muito semelhante à "picareta de madeira" que ele já havia aprendido a fazer.

Por Que Isso Importa

Os autores sugerem que este método é um grande passo para a criação de IAs que podem realmente crescer e se adaptar por conta própria. Ao permitir que a IA construa sua própria biblioteca de habilidades e depois use essas habilidades para enfrentar desafios ainda maiores, o HERAKLES evita a sensação de "estar travado" que assola muitos outros sistemas de aprendizado.

No entanto, o artigo também admite que existem limites. No momento, o General entende apenas texto, não imagens, portanto não pode ver o mundo diretamente. Além disso, o sistema precisa de uma lista de objetivos para começar; ele ainda não inventa os próprios objetivos. Mas a ideia de um robô que pode "compilar" suas próprias experiências em novas habilidades reutilizáveis é um conceito poderoso. Sugere um futuro onde agentes de IA não apenas memorizam o passado, mas constroem ativamente uma base para um futuro infinito de aprendizado.

Resumo Técnico: HERAKLES – Compilação Hierárquica de Habilidades para Agentes de LLM de Código Aberto

Declaração do Problema

O artigo aborda o desafio do aprendizado de código aberto (open-ended learning) em ambientes parcialmente observáveis caracterizados por recompensas esparsas e espaços de objetivos estruturados e amplos. Embora os modelos de fundação recentes tenham alcançado desempenho de nível humano em tarefas estáticas, eles enfrentam dificuldades com o crescimento contínuo em complexidade porque dependem de conjuntos de dados fixos. Em contraste, os seres humanos adquirem continuamente habilidades diversas ao decompor tarefas complexas em sub-habilidades mais simples e previamente internalizadas.

Abordagens atuais para agentes de código aberto (ex: Voyager, AutotelicLLM) frequentemente enfrentam uma explosão combinatória na complexidade dos objetivos. À medida que os agentes encontram objetivos cada vez mais complexos, o tempo necessário para dominar cada novo objetivo isoladamente cresce rapidamente, causando a estagnação do progresso do aprendizado. Os métodos existentes de Aprendizado por Reforço Hierárquico (HRL) frequentemente dependem de conjuntos de habilidades predefinidos ou políticas pré-treinadas, o que é incompatível com agentes verdadeiramente de código aberto que devem descobrir e expandir autonomamente seu repertório de habilidades sem intervenção de especialistas.

O problema central é como permitir que um agente se adapte continuamente a um espaço de objetivos crescente, compondo novas habilidades de forma eficiente a partir de comportamentos dominados, sem depender de conjuntos de dados estáticos ou primitivas definidas por especialistas.

Metodologia: HERAKLES

Os autores propõem o HERAKLES (HiERarchicAl sKill compiLation for open Ended llm agentS), um agente hierárquico que aprende conjuntamente uma política de alto nível e um controlador de baixo nível. O sistema opera sob a premissa de que o espaço de objetivos admite relações de pré-requisito, permitindo que tarefas sejam decompostas em subobjetivos.

Arquitetura

O agente consiste em duas políticas treinadas concorrentemente:

Política de Alto Nível ( $\pi_{HL}$ ): Implementada como um Grande Modelo de Linguagem (LLM) (especificamente Mistral 7B com adaptadores LoRA). Ela atua como um planejador e explorador, selecionando subobjetivos baseados em prompts textuais derivados de observações e objetivos da tarefa. Ela opera sobre um conjunto restrito de "opções chamáveis" — subobjetivos que se estima que a política de baixo nível consiga alcançar de forma confiável.
Política de Baixo Nível ( $\pi_{LL}$ ): Uma rede neural leve e computacionalmente eficiente (baseada em ResNet) que executa ações primitivas. Ela é treinada para resolver diretamente objetivos e compilar progressivamente trajetórias bem-sucedidas em habilidades reutilizáveis.

Mecanismos Chave

Compilação Hierárquica: Quando o agente hierárquico resolve um objetivo $g$ com sucesso, a trajetória completa de ações primitivas é "compilada" em $\pi_{LL}$ . Uma vez dominado, $\pi_{LL}$ pode executar $g$ diretamente como uma única habilidade. $\pi_{HL}$ pode então invocar essa nova habilidade como uma primitiva para objetivos mais complexos, reduzindo efetivamente a razão sinal-ruído para o planejamento de alto nível.
Filtragem Adaptativa de Subobjetivos: Para evitar que $\pi_{HL}$ selecione subobjetivos inalcançáveis, um estimador de competência ( $C_\theta$ ) filtra o espaço de objetivos. Este estimador, treinado em trajetórias de baixo nível, prevê a probabilidade de $\pi_{LL}$ alcançar um objetivo específico a partir do estado atual. $\pi_{HL}$ apenas amostra de objetivos com uma alta probabilidade de sucesso estimada, garantindo um aprendizado estável.
Otimização Bilateral: O sistema é enquadrado como um problema bilateral com uma estrutura de Stackelberg. $\pi_{HL}$ $π_{H L}$ molda a distribuição de estados e subobjetivos vistos por $\pi_{LL}$ $π_{LL}$ , enquanto a execução de $\pi_{LL}$ $π_{LL}$ determina a otimalidade da decomposição de alto nível. As duas políticas são treinadas simultaneamente:
- $\pi_{HL}$ é treinada via RL on-policy (POAD) em trajetórias de decisão de alto nível.
- $\pi_{LL}$ é treinada via RL off-policy (AWR) usando dois tipos de dados: rollouts hierárquicos completos (para compilação de habilidades) e segmentos de subobjetivos (para reforço de habilidades).

Dinâmica de Treinamento

O processo de treinamento segue um currículo automático. Inicialmente, $\pi_{LL}$ domina apenas ações atômicas. À medida que domina objetivos, estes são adicionados ao seu repertório. $\pi_{HL}$ então utiliza esses objetivos dominados como blocos de construção para enfrentar objetivos mais complexos. Isso cria um ciclo de feedback onde a competência crescente da política de baixo nível expande o espaço de ação efetivo da política de alto nível.

Contribuições Principais

Estrutura de Aprendizado Conjunto: Um método para agentes de código aberto que treina conjuntamente um LLM para política de alto nível e um controlador de baixo nível sem exigir habilidades pré-especificadas ou pré-treinamento extensivo.
Compilação Dinâmica de Habilidades: Um mecanismo onde comportamentos bem-sucedidos são automaticamente destilados na política de baixo nível, permitindo uma composição de habilidades escalável conforme a competência do agente cresce.
Filtragem Adaptativa: Um mecanismo de filtragem baseado em competência que restringe o espaço de busca da política de alto nível a subobjetivos alcançáveis, estabilizando o aprendizado em ambientes complexos e de código aberto.
Abstração Estruturada em Linguagem: Aproveitando as propriedades composicionais da linguagem natural para definir o espaço de objetivos e facilitar a descoberta de cadeias de pré-requisitos entre objetivos.

Resultados Experimentais

O método foi avaliado no ambiente Crafter, um mundo 2D gerado proceduralmente com uma árvore de conquistas de 17 objetivos que exigem coleta de artefatos e fabricação (crafting).

Eficiência de Amostragem: O HERAKLES superou as linhas de base (POAD, FUN, BOSS) no longo prazo. Embora as linhas de base progredissem inicialmente mais rápido, elas estagnaram após dominarem objetivos fáceis. O HERKALES mostrou um melhoria gradual e sustentada à medida que mais objetivos eram compilados em $\pi_{LL}$ , eventualmente alcançando objetivos complexos (ex: "fazer picareta de pedra") que as linhas de base falharam em descobrir.
Generalização: O HERKLES demonstrou generalização superior a objetivos não vistos em comparação às linhas de base:
- Generalização Composicional: Manteve altas taxas de sucesso em objetivos que exigiam repetição de tarefas conhecidas (ex: "coletar 4 madeiras" vs. "coletar madeira"), enquanto as linhas de base falharam significativamente.
- Objetivos Sinônimos: Lida efetivamente com verbos sinônimos.
- Objetivos Similares em Trajetória: Transferiu com sucesso habilidades para objetivos não vistos que compartilham estruturas de pré-requisitos semelhantes (ex: "fazer espada de madeira" após aprender "fazer picareta de madeira").
Expansão de Habilidades: O número de habilidades de baixo nível chamáveis por $\pi_{HL}$ aumentou constantemente durante o treinamento, confirmando a capacidade do sistema de construir uma biblioteca de habilidades reutilizáveis.

Significância e Alegações

O artigo afirma que o HERKLES fornece um caminho viável para agentes autotélicos capazes de aprendizado contínuo (lifelong learning). Ao combinar as capacidades de raciocínio e composição de LLMs com a eficiência de execução de controladores especializados de baixo nível, o sistema supera a "barreira de complexidade" que interrompe o aprendizado de código aberto.

Os autores enfatizam que sua abordagem:

Não depende de habilidades definidas por especialistas ou políticas pré-treinadas.
Permite a generalização composicional ao tratar objetivos dominados como primitivas para aprendizado futuro.
Melhora a eficiência de amostragem em configurações de código aberto ao amortizar o aprendizado passado em habilidades reutilizáveis.

O trabalho é apresentado como um passo em direção à Inteligência Artificial Geral (AGI), abordando especificamente a necessidade de agentes que possam gerar, selecionar e treinar autonomamente em seus próprios objetivos para expandir continuamente suas capacidades. Os autores reconhecem limitações, como a dependência atual de objetivos textuais (sugerindo trabalhos futuros com Modelos de Linguagem-Visão) e o custo computacional do retreinamento periódico, mas posicionam o método como um passo fundamental para agentes de código aberto totalmente autônomos.