💻 computer science

LEACL: LLM-Enhanced Automatic Curriculum Learning for Reinforcement Learning in Long-Horizon Manipulation Tasks

Este artigo propõe o LEACL, um framework que aproveita modelos de linguagem de grande escala para decompor automaticamente tarefas de manipulação de longo horizonte e gerar especificações necessárias, permitindo que agentes de aprendizado por reforço alcancem um desempenho superior através de aprendizado de currículo automático usando apenas recompensas esparsas, sem a necessidade de funções de recompensa densas projetadas manualmente.

Autores originais: Faraz Heravi, James Ouyang, Zifan Xu, Arjun Kumar, Yoonchang Sung, Peter Stone

Publicado 2026-07-28

📖 9 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Faraz Heravi, James Ouyang, Zifan Xu, Arjun Kumar, Yoonchang Sung, Peter Stone

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a fazer uma refeição complexa, como um sanduíche gourmet. Você não pode apenas dizer ao robô, "Faça um sanduíche", e esperar que ele descubra como fatiar o tomate, passar manteiga no pão e empilhar as camadas perfeitamente. Se você apenas der um sinal de "bom trabalho" ou "mau trabalho" ao final, o robô provavelmente vagará sem rumo por anos, sem conseguir aprender os passos específicos. Este é o mundo do Aprendizado por Reforço (RL), onde agentes de software aprendem por tentativa e erro. A parte complicada é o problema da "recompensa esparsa": se o robô só recebe uma recompensa quando a tarefa está 100% concluída, ele não tem ideia se está chegando mais perto ou se afastando do objetivo. Para resolver isso, cientistas costumam usar o Aprendizado de Currículo (Curriculum Learning), um método onde o robô pratica versões mais fáceis de uma tarefa primeiro (como apenas pegar o pão) antes de passar para tarefas mais difíceis (como fatiar o tomate). Mas aqui está o detalhe: projetar esses passos do fácil para o difícil geralmente exige que um especialista humano escreva manualmente cada regra e configuração de dificuldade, o que é lento, entediante e difícil de fazer para cada nova tarefa.

Apresentamos o LEACL (LLM-Enhanced Automatic Curriculum Learning), uma nova abordagem que faz uma pergunta muito inteligente: "Podemos fazer com que um modelo de linguagem de IA superinteligente faça o trabalho de planejamento chato por nós?" Os pesquisadores por trás deste artigo queriam ver se poderiam usar um Modelo de Linguagem Grande (LLM) — a mesma tecnologia que alimenta os chatbots — para atuar como um mestre professor. Em vez de humanos escreverem manualmente os planos de aula, o LLM leria um objetivo em linguagem natural (como "abrir a gaveta") e automaticamente o decomporia em uma sequência de etapas menores e gerenciáveis. Melhor ainda, o LLM então projetaria as "rodinhas de treinamento" específicas (as configurações de dificuldade e parâmetros) para cada etapa, permitindo que o robô aprenda usando apenas o simples sinal de "sucesso/falha" ao final, sem precisar de instruções de recompensa complexas e escritas à mão para cada pequeno movimento.

O artigo testa essa ideia em cinco tarefas robóticas complicadas, como abrir uma gaveta de armário, colocar uma tigela sobre um prato ou ligar um fogão. Os resultados são bastante promissores. Os pesquisadores descobriram que, quando deixaram o LLM projetar o currículo, o robô aprendeu essas tarefas longas e complexas de forma muito mais rápida e bem-sucedida do que quando tentou aprendê-las todas de uma vez sem ajuda. Na verdade, o sistema projetado pelo LLM teve um desempenho tão bom quanto, e às vezes até melhor que, sistemas onde especialistas humanos passaram horas elaborando manualmente os passos de treinamento e as regras de recompensa. O estudo sugere que, ao deixar a IA lidar com o "planejamento das aulas", podemos ensinar robôs a realizar trabalhos complexos de várias etapas sem a necessidade de um humano microgerenciar cada detalhe do processo de treinamento.

O Dia Escolar do Robô: Como o LEACL Funciona

Pense em um robô tentando aprender uma tarefa de longo horizonte (uma tarefa de "longo horizonte" é apenas uma maneira elegante de dizer um trabalho que leva muitos passos para ser concluído) como um aluno tentando passar em um exame final. Se o professor der apenas uma nota no final, o aluno pode estudar as coisas erradas ou desistir completamente. O Aprendizado de Currículo Automático (ACL) é como um tutor que cria um plano de ensino, começando com perguntas fáceis e tornando-as progressivamente mais difíceis. Mas, geralmente, um humano precisa escrever esse plano de ensino.

O LEACL muda o jogo ao trazer um LLM como o diretor escolar. O processo ocorre em três estágios divertidos:

A Decomposição da Tarefa (Task Decomposition):
Imagine que você diz ao robô: "Abra a gaveta superior do armário". Um humano poderia pensar: "Ok, isso é apenas um trabalho". Mas o LLM olha para isso e diz: "De jeito nenhum! Isso são, na verdade, três trabalhos: Primeiro, alcance a gaveta. Segundo, agarre a maçaneta. Terceiro, puxe-a para abrir". O LLM usa seu vasto conhecimento de como o mundo funciona (como saber que você não pode puxar uma gaveta se não estiver segurando a maçaneta) para decompor o grande objetivo em uma cadeia lógica de subtarefas menores. Ele escreve essas etapas em uma linguagem de "receita" especial chamada PDDL, que o robô consegue entender.
O Plano de Aula (Meta-Task Generation):
Agora que o robô tem os passos, ele precisa saber como praticá-los. Ele deve começar com a gaveta levemente aberta? Ou completamente fechada? A maçaneta deve estar perto ou longe? É aqui que o LLM brilha novamente. Ele atua como um designer criativo de currículo, gerando um "espaço de tarefa" para cada etapa. Ele cria um script em Python que pode gerar milhares de versões ligeiramente diferentes da tarefa "agarrar a maçaneta". Algumas são super fáceis (a maçaneta está bem na frente do robô) e outras são mais difíceis (a maçaneta está um pouco mais longe). O LLM também identifica quais versões são "mais difíceis" do que outras, criando uma escada perfeita de dificuldade para o robô subir.
A Prática (Automatic Curriculum Learning):
Finalmente, o robô começa o treinamento. Ele utiliza um algoritmo que observa o quão bem o robô está se saindo. Se o robô estiver dominando as versões "fáceis" da tarefa, o sistema muda automaticamente para as versões de dificuldade "média". Se o robô estiver com dificuldades, o sistema volta para as versões fáceis. O robô aprende usando apenas um sinal simples de "1" para sucesso e "0" para falha ao final de cada subtarefa. Ele não precisa que um humano diga: "Bom trabalho, você moveu seu braço 2 polegadas para mais perto". O currículo pré-planejado pelo LLM faz todo o trabalho pesado de guiar o robô.

Os Resultados: O Robô Passou no Teste?

Os pesquisadores testaram este sistema em cinco desafios distintos usando uma simulação chamada LIBERO (que eles atualizaram para LIBERO+ para lidar com esses novos tipos de tarefas). As tarefas incluíam:

Abrir uma gaveta inferior.
Colocar uma tigela branca sobre um prato.
Pegar o ketchup e colocá-lo em um cesto.
Ligar um fogão e colocar uma panela sobre ele.
Colocar uma caneca no micro-ondas e fechar a porta.

Eles compararam este sistema movido por LLM contra vários outros métodos:

A abordagem "Não fazer nada": Apenas deixar o robô tentar aprender toda a tarefa com uma recompensa esparsa. (Spoiler: Falhou completamente, obtendo 0% de sucesso na maioria das tarefas).
A abordagem "Sem Currículo": Decompor a tarefa, mas deixar o robô aprender cada etapa sem uma escada de dificuldade inteligente. (Isso também falhou miseravelmente, com taxas de sucesso próximas de 0% ou muito baixas).
A abordagem "Especialista Humano": Onde humanos projetaram manualmente os passos e as funções de recompensa (dando pontos extras ao robô por chegar perto do objetivo). Isso é geralmente considerado o padrão ouro.
A abordagem "LEAGUE": Um método anterior que usa LLMs para escrever funções de recompensa densas (regras de pontuação complexas) para cada etapa.

Aqui está o que aconteceu:
O sistema LEACL, que usou o LLM para planejar o currículo, mas dependeu apenas do simples sinal de "sucesso/falha", superou os sistemas que tentaram aprender sem um currículo. Mais impressionante, ele teve um desempenho melhor que o sistema LEAGUE (que usava regras de recompensa complexas e ajustadas manualmente) em quatro das cinco tarefas.

Em termos de números brutos, o sistema LEACL alcançou taxas de sucesso como 99,8% para abrir a gaveta e 90,7% para colocar a tigela no prato. Esses números foram muito próximos de, e em alguns casos igualaram, o desempenho do "Currículo Humano", onde especialistas projetaram tudo manualmente. Por exemplo, na tarefa "abrir a gaveta inferior", o sistema projetado por humanos obteve 99,8 ± 0,2%, e o LEACL obteu 99,8 ± 0,1%. Na tarefa "colocar a caneca no micro-ondas", o sistema humano obteve 89,0 ± 7,5%, enquanto o LEACL obteve 75,9 ± 3,4%.

Por Que Isso Importa (e O Que Isso Não Faz)

A grande conclusão é que projetar funções de recompensa complexas é difícil e muitas vezes desnecessário. O artigo argumenta que tentar dar ao robô uma recompensa "densa" (como "você ganha 0,5 pontos por mover o braço mais perto") é, na verdade, uma armadilha. Isso pode confundir o robô, fazendo com que ele priorize as coisas erradas ou desenvolva hábitos "desleixados", onde ele chega perto do objetivo, mas nunca termina o trabalho de fato. Ao deixar o LLM lidar com a estrutura do aprendizado (o currículo) e deixar o robô aprender da verdade simples do sucesso ou falha, o robô aprende habilidades mais precisas e confiáveis.

No entanto, o artigo observa cuidadosamente alguns limites. O LLM ainda precisa de um "dicionário" do que é possível (um conjunto predefinido de regras ou predicados) para funcionar. Ele não pode inventar novas leis da física ou objetos do nada; ele tem que trabalhar dentro das regras da simulação (como o ambiente LIBERO+). Além disso, embora o LLM tenha feito um ótimo trabalho, o currículo projetado por humanos ainda superou-o ligeiramente em três das cinco tarefas, sugerindo que a intuição humana ainda tem um papel a desempenhar, mesmo que o LLM esteja ficando muito bom nisso.

Em resumo, o LEACL sugere que não precisamos mais ser nós a escrever os manuais de instrução detalhados para os robôs. Podemos apenas dar ao robô um objetivo, deixar um modelo de linguagem de IA descobrir a melhor maneira de ensiná-lo e observar o robô aprender a realizar trabalhos complexos de várias etapas por conta própria.

Resumo Técnico: LEACL - Aprendizado de Currículo Automático Potencializado por LLM para Tarefas de Manipulação de Longo Horizonte em Aprendizado por Reforço

Declaração do Problema

Tarefas de manipulação de longo horizonte apresentam desafios significativos para o Aprendizado por Reforço (RL) devido aos sinais de recompensa esparsos e à complexidade da exploração de espaços de estados contínuos e de alta dimensão ao longo de horizontes temporais estendidos. Embora o Aprendizado de Currículo Automático (ACL) tenha surgido como uma solução para melhorar a eficiência de amostragem — treinando agentes em uma sequência de tarefas do fácil para o difícil —, seu sucesso depende fortemente de especificações dependentes da tarefa. Essas especificações incluem espaços de parâmetros de tarefas bem definidos e medidas de dificuldade, que são tradicionalmente criados manualmente. Esse esforço manual limita a generalização entre diversas tarefas.

Além disso, métodos existentes que tentam automatizar o design de currículo frequentemente dependem de Modelos de Linguagem de Grande Escala (LLMs) para gerar funções de recompensa densas para subtareas. No entanto, o design de recompensas densas é propenso a vieses, exige supervisão humana significativa e pode não se alinhar com os objetivos esparsos reais, potencialmente levando à falha da tarefa ou a comportamentos "desleixados" que falham em satisfazer predicados precisos de tarefas.

Metodologia: Estrutura LEACL

Os autores propõem o LEACL (LLM-Enhanced Automatic Curriculum Learning), uma estrutura que integra LLMs com ACL para eliminar a necessidade de funções de recompensa densas projetadas manualmente. O LEACL opera em três estágios sequenciais:

1. Decomposição de Tarefas Baseada em LLM

Em vez de treinar diretamente na tarefa alvo, a estrutura primeiro decompõe uma tarefa complexa de longo horizonte (descrita em linguagem natural) em uma sequência de subtarefas semanticamente significativas.

Processo: Um LLM gera uma sequência de subtarefas em linguagem natural. Estas são então convertidas em especificações de Linguagem de Definição de Domínio de Planejamento (PDDL).
Mecanismo: O sistema utiliza uma estratégia de prompting de nível duplo com mecanismos de reflexão (validação de sintaxe e refinamento iterativo) para garantir que as especificações PDDL geradas sejam sintaticamente válidas e executáveis.
Saída: Uma sequência de subtarefas, cada uma definida por um conjunto de literais iniciais ( $I_i$ ) e literais de objetivo ( $G_i$ ), formando uma sequência de MDPs.

2. Geração de Meta-Tarefa Baseada em LLM

Para facilitar o ACL sem recompensas densas, o LLM gera especificações dependentes da tarefa para cada subtarefa.

Espaço de Parâmetros da Tarefa: O LLM identifica um vetor de parâmetros (ex: posições iniciais de objetos, distâncias de abertura de alvos) que define um espaço de controle. Ele gera uma função Python para mapear esses parâmetros para especificações PDDL válidas, criando efetivamente um espaço de tarefas parametrizado.
Medida de Dificuldade: O LLM gera uma sequência de vetores de parâmetros explicitamente ordenados por dificuldade. Isso permite que o currículo progrida de instâncias mais fáceis (ex: uma gaveta aberta em 25%) para mais difíceis (ex: 100%).
Distinção Chave: Diferente de trabalhos anteriores, o LLM não gera funções de recompensa; ele gera as especificações estruturais necessárias para que o algoritmo de ACL funcione.

3. Aprendizado de Currículo Automático (ACL)

A estrutura utiliza algoritmos de ACL estabelecidos (especificamente Randomização de Domínio Ativa nos experimentos) para treinar o agente.

Processo: O algoritmo de ACL seleciona adaptativamente tarefas de treinamento a partir do espaço de parâmetros gerado pelo LLM com base nas capacidades atuais do agente (ex: recompensas episódicas passadas ou erros de diferença temporal).
Sinal de Recompensa: O agente aprende usando apenas recompensas esparsas de conclusão de tarefa (recompensa = 1 após a satisfação do objetivo, 0 caso contrário). Nenhuma recompensa de modelagem densa é utilizada.
Agregação: Uma vez que o agente domina a sequência de subtarefas, as políticas são agregadas para resolver a tarefa alvo original.

Principais Contribuições

Estrutura Inovadora: A introdução do LEACL, que integra a decomposição de currículo via LLM com métodos de ACL, permitindo que agentes de RL resolvam tarefas de manipulação de longo horizonte usando apenas recompensas esparsas.
Eliminação de Recompensas Densas: A estrutura remove a dependência de engenharia de recompensas densas manuais ou geradas por LLM, que são difíceis de generalizar e podem introduzir viés.
LLM como Gerador de Meta-Tarefa: O artigo demonstra o uso de LLMs para gerar especificações dependentes da tarefa (espaços de parâmetros e medidas de dificuldade) em vez de currículos ou recompensas diretas, simplificando o design de prompts e reduzindo o overhead de consultas ao LLM durante o treinamento.
Validação Empírica: Avaliação extensiva no benchmark LIBERO+ (uma extensão do benchmark LIBERO com predicados parametrizados) através de cinco tarefas de manipulação diversas.

Resultados Experimentais

Os autores avaliaram o LEACL contra várias linhas de base (baselines) em cinco tarefas de longo horizonte (ex: "abrir a gaveta inferior", "colocar a caneca na micro-ondas"):

vs. RL de Recompensa Esparsa: O LEACL superou significativamente o RL padrão treinado apenas com recompensas esparsas (que obteve 0% de sucesso na maioria das tarefas).
vs. LEACL sem ACL: O LEACL superou uma versão que utilizava a decomposição por LLM, mas sem o aprendizado de currículo, demonstrando que a decomposição sozinha é insuficiente para o aprendizado de recompensa esparsa.
vs. LEAGUE (Recompensas Densas): O LEACL alcançou desempenho superior ou competitivo em comparação ao LEAGUE, uma linha de base que utiliza funções de recompensa densas projetadas por especialistas. Notavelmente, o LEACL superou o LEAGUE em 4 de 5 tarefas, sugerindo que recompensas densas podem, às vezes, dificultar o aprendizado de comportamentos precisos necessários para conjunções complexas de predicados.
vs. Currículo Humano: O LEACL alcançou desempenho competitivo contra uma linha de base de "Currículo Humano" (onde especialistas projetaram tanto a decomposição quanto os espaços de tarefas). Embora a linha de base humana tenha tido um desempenho ligeiramente superior em 3 tarefas, os autores observam que a linha de base humana exigiu um esforço iterativo significativo, enquanto o LEACL opera de maneira zero-shot.

Significância e Alegações

O artigo afirma que o LEACL oferece uma abordagem escalável e adaptável para a aquisição de habilidades robóticas, aproveitando o conhecimento de senso comum dos LLMs para estruturar o processo de aprendizado sem intervenção humana no design de recompensas.

Eficiência: O método atinge um desempenho assintótico superior (taxas de sucesso) comparado a linhas de base sem ACL e um desempenho competitivo contra soluções projetadas por humanos.
Generalização: Ao evitar a engenharia de recompensas densas específicas para cada tarefa, a estrutura visa ser mais generalizável para diversas tarefas de manipulação.
Limitações: Os autores reconhecem que o LEACL atualmente depende de uma gramática pré-definida (um conjunto de predicados disponíveis fornecidos a priori, como no LIBERO+). Um trabalho futuro é sugerido para explorar métodos onde os LLMs possam propor automaticamente gramáticas específicas de tarefas para reduzir ainda mais a dependência humana.

Em resumo, o LEACL postula que a combinação de decomposição estrutural impulsionada por LLM e ACL, operando com recompensas esparsas, é um caminho mais robusto e menos trabalhoso para resolver tarefas de manipulação de longo horizonte do que as abordagens tradicionais de recompensa densa.