RAMP: Hybrid DRL for Online Learning of Numeric Action Models

O artigo propõe o RAMP, uma estratégia híbrida que integra aprendizado por reforço profundo e planejamento para aprender online modelos de ação numéricos através de um ciclo de feedback positivo, demonstrando desempenho superior ao algoritmo PPO em domínios padrão.

O essencial

Imagine que você está tentando ensinar um robô a cozinhar um prato complexo, como um bolo, mas você não tem o livro de receitas. O robô precisa aprender sozinho, tentando, errando e acertando, enquanto você o observa.

Este artigo apresenta uma nova estratégia chamada RAMP (que significa Reinforcement learning, Action Model learning, and Planning - Aprendizado por Reforço, Aprendizado de Modelo de Ação e Planejamento). O objetivo é fazer com que robôs aprendam a resolver problemas numéricos (como quanto combustível usar, quanto tempo levar, quanto peso carregar) de forma muito mais inteligente e rápida do que os métodos atuais.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: O Robô Cego

Normalmente, para um robô planejar uma ação, ele precisa de um "manual de instruções" perfeito que diga: "Se você estiver com fome e tiver ovos, você pode fazer um omelete".

• O problema: Criar esses manuais à mão é difícil e caro, especialmente quando envolve números (ex: "se o tanque tiver menos de 10 litros, não vá para a cidade").
• O jeito antigo: Os robôs aprendiam apenas assistindo a um humano fazer tudo perfeitamente antes de começar (aprendizado "offline").
• O desafio atual: E se o robô tiver que aprender sozinho, interagindo com o mundo em tempo real, sem um manual e sem um mestre? É aí que entra o RAMP.

2. A Solução: O Trio de Ouro (RAMP)

O RAMP não é apenas um robô tentando coisas aleatórias. Ele é uma equipe de três especialistas trabalhando juntos em um ciclo de feedback positivo:

• O Explorador (Aprendizado por Reforço - RL): Imagine um criança curiosa que tenta fazer tudo. Ela anda pelo mundo, tenta abrir portas, empurrar caixas e vê o que acontece. Ela coleta dados, mas às vezes se perde ou gasta muita energia.
• O Cartógrafo (Aprendizado de Modelo de Ação - AML): Enquanto a criança explora, um cartógrafo observa e começa a desenhar um mapa. Ele anota: "Ah, quando a criança tentou abrir a porta com a chave errada, nada aconteceu. Quando usou a certa, abriu." Ele está criando as regras do jogo (o modelo de ação) baseado no que viu.
• O Estrategista (Planejador): Assim que o cartógrafo tem um esboço do mapa, o estrategista entra. Ele olha para o mapa e diz: "Olha, se seguirmos este caminho, chegamos ao objetivo em 5 passos, não em 50!" Ele cria um plano perfeito.

O Segredo Mágico (O Ciclo de Feedback):

1. O Explorador tenta coisas e coleta dados.
2. O Cartógrafo usa esses dados para melhorar o mapa (o modelo).
3. O Estrategista usa o mapa melhorado para criar um plano eficiente.
4. O Explorador segue esse plano eficiente, o que gera dados de alta qualidade para o Cartógrafo melhorar ainda mais o mapa.

É como se a criança aprendesse a andar de bicicleta: ela cai (explora), o pai ajusta o equilíbrio (modelo), e então o pai mostra o caminho mais rápido (planejamento), fazendo a criança andar melhor e cair menos.

3. A Ferramenta Secreta: Numeric PDDLGym

Para que isso funcione, os pesquisadores tiveram que construir uma "ponte".

• Os problemas de planejamento são escritos em uma linguagem de computador muito formal e simbólica (chamada PDDL), que parece um código estranho.
• Os robôs modernos (Redes Neurais) preferem falar a linguagem de jogos (como Gym), que é baseada em números e imagens.
• Eles criaram o Numeric PDDLGym, que é como um tradutor automático. Ele pega o problema complexo do "livro de regras" e o transforma em um jogo onde o robô pode praticar, sem precisar que um humano reescreva tudo manualmente.

4. Os Resultados: Quem Ganhou?

Eles testaram o RAMP contra o método mais famoso de aprendizado de robôs hoje, chamado PPO (que é basicamente o "Explorador" tentando coisas sozinho, sem ajuda do Cartógrafo ou do Estrategista).

• No teste de "Sobrevivência" (Solvability): O RAMP conseguiu resolver muito mais problemas do que o PPO. Em cenários difíceis, onde o PPO desistia ou ficava preso, o RAMP encontrava uma saída.
• Na qualidade do caminho (Plan Quality): O RAMP não só chegava ao destino, mas chegava mais rápido e gastando menos recursos. O PPO muitas vezes fazia caminhos tortos e longos.
• A lição: Ter um "mapa" (modelo de ação) e um "planejador" ajuda o robô a não cometer os mesmos erros repetidamente.

Resumo Final

O RAMP é como ensinar um aluno a dirigir:

1. Em vez de apenas deixá-lo no carro tentando (apenas RL), você observa os erros dele para entender como o carro funciona (Aprendizado de Modelo).
2. Com esse entendimento, você desenha uma rota ideal no GPS (Planejamento).
3. O aluno segue a rota, aprende mais rápido e, ao mesmo tempo, ajuda a melhorar o GPS para as próximas vezes.

O resultado é um robô que aprende mais rápido, comete menos erros e resolve problemas complexos que outros métodos não conseguem nem começar a entender.

Resumo técnico

Título: RAMP: Aprendizado Híbrido de DRL para Modelos de Ação Numérica Online

1. O Problema

O planejamento automatizado é uma abordagem robusta para a tomada de decisões sequenciais, mas depende criticamente da existência de um modelo de ação preciso, que especifique as pré-condições e os efeitos de cada ação.

• Desafio Principal: A obtenção manual desses modelos é notoriamente difícil, especialmente em domínios de planejamento numérico, onde as variáveis de estado envolvem tanto variáveis discretas quanto contínuas (ex: combustível, coordenadas, quantidades).
• Limitação do Estado da Arte:
  • Métodos existentes de Aprendizado de Modelos de Ação (AML) para domínios numéricos são predominantemente offline, exigindo trajetórias de execução fornecidas por especialistas.
  • Algoritmos de Aprendizado por Reforço Profundo (DRL), como PPO, são projetados para aprendizado online (interação com o ambiente), mas frequentemente falham em problemas de planejamento que exigem raciocínio de longo prazo e não aproveitam as vantagens estruturais do planejamento simbólico.
  • Não existiam métodos eficazes para o aprendizado online de modelos de ação numérica que integrassem a coleta de dados orientada a objetivos com a garantia de segurança do modelo.

2. Metodologia: A Estratégia RAMP

Os autores propõem o RAMP (Reinforcement learning, Action Model learning, and Planning), uma estratégia híbrida que integra três componentes em um ciclo de retroalimentação positiva:

1. Aprendizado por Reforço (DRL): Utiliza um algoritmo (PPO - Proximal Policy Optimization) para explorar o ambiente e coletar dados de forma orientada a objetivos. O agente aprende uma política para maximizar a recompensa.
2. Aprendizado de Modelos de Ação (AML): Utiliza o algoritmo NSAM (Numeric Safe Action Model Learning) para aprender o modelo de domínio a partir das trajetórias coletadas pelo agente. O NSAM é escolhido por sua capacidade de fornecer garantias de segurança: qualquer plano gerado pelo modelo aprendido é garantido como executável no modelo real desconhecido.
3. Planejador Numérico: Utiliza o modelo aprendido pelo NSAM para gerar planos de alta qualidade.

O Ciclo de Retroalimentação Positiva:

• A política de RL explora o ambiente e coleta dados para refinar o modelo de ação.
• O modelo refinado é usado pelo planejador para gerar planos eficientes.
• Esses planos são executados pelo agente, fornecendo dados de alta qualidade (trajetórias eficientes) para treinar a política de RL, acelerando seu aprendizado.

Componente de Infraestrutura: Numeric PDDLGym
Para viabilizar essa integração, os autores desenvolveram o Numeric PDDLGym, um framework automatizado que converte problemas de planejamento numérico especificados em PDDL 2.1 para ambientes padrão Gym (usados em RL).

• Desafio Resolvido: Algoritmos de RL esperam espaços de observação e ação de tamanho fixo, enquanto o PDDL é "levantado" (lifted) e paramétrico.
• Solução: O framework "achata" (flattens) os estados e ações simbólicos, instanciando todos os fluentes, funções e ações com base nos objetos do problema, criando vetores de observação e ações de tamanho fixo.

3. Contribuições Principais

1. Primeira Estratégia Online para Modelos Numéricos: O RAMP é a primeira abordagem proposta para o aprendizado online de modelos de ação numérica, superando a limitação de métodos que dependem de dados de especialistas.
2. Integração Híbrida Segura: Combina a flexibilidade do DRL com a garantia de segurança e eficiência do planejamento simbólico, criando um sistema onde o planejamento guia o RL e o RL melhora o modelo de planejamento.
3. Numeric PDDLGym: Uma ferramenta de código aberto que permite a aplicação direta de algoritmos de DRL padrão em domínios de planejamento numérico PDDL, preenchendo uma lacuna técnica significativa.
4. Mecanismos de Máscara (Masking): Adaptação do PPO para lidar com ações inválidas (que violam pré-condições) e para evitar que o agente tente ações que o planejador sabe serem inaplicáveis, melhorando a estabilidade do treinamento.

4. Resultados Experimentais

O RAMP foi avaliado em quatro domínios: três do International Planning Competition (IPC) — Counters, Depot, Sailing — e um domínio inspirado no Minecraft (Pogo Stick).

• Solvabilidade (Taxa de Sucesso):
  • O RAMP superou significativamente o PPO (baseline) em quase todos os casos.
  • Em domínios difíceis como Depot (instâncias grandes), o PPO falhou em resolver qualquer problema, enquanto o RAMP alcançou taxas de sucesso superiores a 90%, graças à capacidade do planejador de encontrar soluções usando o modelo aprendido.
• Qualidade do Plano (Comprimento da Solução):
  • O RAMP encontrou planos significativamente mais curtos (mais eficientes) do que o PPO.
  • O uso do planejador guiou o agente para soluções ótimas, evitando a exploração aleatória excessiva típica do DRL puro.
• Qualidade do Modelo Aprendido:
  • Precisão: O modelo alcançou precisão de 1.0 (100%) para efeitos e pré-condições, devido às garantias de segurança do NSAM.
  • Recall: O recall variou conforme a exploração, mas mostrou-se suficiente para a resolução de problemas. O RAMP prioriza a solvabilidade da tarefa em vez da recuperação exaustiva de todo o modelo, o que é mais eficiente para o objetivo final.
• Eficiência: Em mais de 85-93% dos casos (dependendo do domínio), o agente RAMP utilizou com sucesso os planos gerados pelo planejador, demonstrando a eficácia da integração.

5. Significado e Conclusão

O trabalho demonstra que a integração de Aprendizado por Reforço e Planejamento Simbólico é uma via promissora para resolver problemas complexos de planejamento numérico em cenários onde o modelo do mundo é desconhecido.

• Impacto: O RAMP supera as limitações dos métodos puramente baseados em dados (DRL) e dos métodos puramente baseados em modelos (Planejamento clássico), oferecendo uma solução adaptativa e robusta.
• Futuro: Os autores planejam relaxar a suposição de observabilidade livre de ruído, incorporando representações probabilísticas para lidar com ambientes parcialmente observáveis e reais.

Em resumo, o RAMP estabelece um novo paradigma para o aprendizado online em domínios numéricos, provando que um agente pode aprender a "planejar" enquanto "age", resultando em maior eficiência e capacidade de resolução de problemas complexos.