Novelty Adaptation Through Hybrid Large Language Model (LLM)-Symbolic Planning and LLM-guided Reinforcement Learning

Este artigo propõe uma arquitetura neuro-simbólica que integra planejamento simbólico, aprendizado por reforço e modelos de linguagem grandes (LLMs) para permitir que agentes autônomos identifiquem, planejem e aprendam a interagir com objetos novos em ambientes dinâmicos, superando as limitações dos planejadores simbólicos tradicionais.

O essencial

Imagine que você tem um robô doméstico muito inteligente, mas que só sabe fazer o que foi ensinado explicitamente. Se você pedir para ele pegar uma xícara de café, ele sabe exatamente como fazer. Mas, se você colocar um novidade no cenário — digamos, uma tampa de panela estranha que ele nunca viu antes, ou uma gaveta que nunca existiu na cozinha dele — o robô entra em pânico. Ele para, porque no "manual de instruções" dele (o planejamento simbólico) não existe a ordem "abrir essa gaveta estranha" ou "pegar essa tampa".

É aqui que entra o artigo que você pediu para explicar. Os autores criaram uma solução genial que mistura três coisas: Inteligência Artificial Clássica (o cérebro lógico), Aprendizado por Reforço (o corpo que aprende na prática) e Grandes Modelos de Linguagem (LLMs, como o ChatGPT, que são os "sábios" com conhecimento do mundo real).

Vamos usar uma analogia de uma Cozinha de Restaurante para entender como isso funciona:

1. O Problema: O Chef sem Receita

Imagine que o robô é um Chef de Cozinha (o Planejador Simbólico). Ele tem um livro de receitas (o domínio de planejamento) muito rígido.

• O Cenário: O cliente pede um prato, mas coloca um ingrediente novo na mesa (um objeto novo, como uma "tampa de panela" que o robô não conhece).
• O Erro: O Chef olha no livro, não acha a receita para "usar essa tampa", e diz: "Não consigo fazer, erro no sistema!".
• A Solução Antiga: Tentar milhões de vezes aleatoriamente até o robô, por sorte, empurrar a tampa e descobrir como usá-la. Isso demoraria anos (ou nunca aconteceria).

2. A Solução: O Trio de Especialistas

Os autores propõem um time de três especialistas trabalhando juntos:

A. O Sábio (O LLM - Grande Modelo de Linguagem)

O LLM é como um Sábio com conhecimento de todo o mundo. Ele leu milhões de livros, manuais e conversas.

• Quando o Chef vê a tampa nova, ele pergunta ao Sábio: "O que é isso e como se usa?"
• O Sábio responde: "Ah, isso é uma tampa de panela! Você precisa 'agarrar a alça' e 'girar para abrir'. É assim que funciona no mundo real."
• O Sábio então escreve a nova receita (o novo operador) em um formato que o Chef consegue entender.

B. O Chef (O Planejador Simbólico)

Agora que o Chef tem a nova receita escrita pelo Sábio, ele olha para o livro novamente.

• Ele vê: "Ok, agora eu sei como abrir a tampa. Vou criar um plano: 1. Pegar a tampa, 2. Abrir a tampa, 3. Pegar o café."
• Ele monta a sequência lógica de passos para atingir o objetivo.

C. O Estagiário (O Agente de Aprendizado por Reforço - RL)

Aqui está o pulo do gato. O Chef sabe o que fazer, mas não sabe como fazer fisicamente (como mover o braço robótico para girar a tampa sem derrubar tudo).

• O Chef chama o Estagiário (o Agente de RL) para treinar essa habilidade específica.
• Mas o Estagiário precisa de um guia. Se ele apenas tentar aleatoriamente, vai demorar muito.

3. O Segredo: O Guia de Treino (Funções de Recompensa)

Aqui é onde o LLM brilha de novo. Em vez de deixar o Estagiário tentar adivinhar, o Sábio (LLM) escreve um guia de treino (uma função de recompensa) para o Estagiário.

• A Analogia do "Norte Magnético": Imagine que o Estagiário está no escuro tentando achar a porta. O guia do LLM é como um ímã que fica mais forte quanto mais perto ele está da porta.
• O LLM escreve um código que diz: "Se o braço do robô se aproximar da alça da tampa, dê um pontinho de recompensa. Se girar a tampa, dê mais pontos. Se a tampa abrir, dê muitos pontos!"
• O Filtro de Qualidade: O sistema não confia em apenas um guia. O LLM escreve três guias diferentes (três candidatos). O sistema testa os três. O que funciona melhor fica, e os dois piores são descartados (como um reality show de culinária onde os piores são eliminados).

4. O Processo de "Aprender a Aprender"

O robô não aprende tudo de uma vez. O sistema divide a tarefa em sub-metas:

1. Primeiro, o robô aprende apenas a agarrar a tampa (sub-meta 1).
2. Depois, aprende a girar a tampa (sub-meta 2).
3. Só depois de dominar cada passo, ele junta tudo.

Isso é como aprender a andar de bicicleta: primeiro você aprende a equilibrar, depois a pedalar, e só depois a virar. O LLM ajuda a criar os "treinos" para cada etapa.

O Resultado: Por que isso é incrível?

O artigo testou isso em simulações com tarefas difíceis, como:

• Pegar uma tampa de panela que bloqueava um pote.
• Pegar um parafuso de uma estaca redonda (algo que robôs comuns não sabem fazer).
• Abrir uma gaveta fechada para pegar um objeto.

Os resultados foram impressionantes:

• Os métodos antigos (que tentavam adivinhar aleatoriamente) falhavam quase sempre ou demoravam horas/dias.
• O novo método (LLM + Planejador + RL) conseguiu resolver quase 100% das tarefas em segundos ou minutos.
• O robô conseguiu "inventar" habilidades novas para lidar com objetos que ele nunca viu antes, apenas porque o "Sábio" (LLM) explicou como o mundo funciona.

Resumo em uma frase

Este trabalho cria um robô que, ao encontrar um objeto novo, não entra em pânico; ele pergunta a um "Sábio" (IA de linguagem) como o objeto funciona, pede para um "Chef" (lógica) montar o plano, e usa um "Guia de Treino" (também feito pelo Sábio) para ensinar o "Corpo" do robô a executar a tarefa nova rapidamente e com precisão.

É como dar ao robô não apenas um manual de instruções, mas a capacidade de ler o mundo, entender o novo e aprender a fazer na hora, sem precisar ser reprogramado por um humano.

Resumo técnico

Título: Adaptação a Novidades através de Planejamento Simbólico Híbrido com LLM e Aprendizado por Reforço Guiado por LLM

1. O Problema

Em ambientes abertos e dinâmicos, agentes autônomos frequentemente encontram novidades (objetos ou situações não previstos) que impedem a execução de planos para atingir objetivos.

• Falha dos Planejadores Simbólicos Tradicionais: Quando um robô encontra um objeto novo (ex.: uma gaveta, uma tampa de panela diferente), seu domínio de planejamento (geralmente codificado em PDDL) carece dos operadores necessários para interagir com esse objeto. Isso resulta em falha de planejamento, pois o planejador não consegue gerar uma sequência de ações válida.
• Limitações das Abordagens Atuais: Métodos existentes de "descoberta de operadores" baseados apenas em Aprendizado por Reforço (RL) dependem de exploração aleatória para descobrir estados planejáveis. Em espaços de ação contínuos (robótica), essa exploração é ineficiente e frequentemente falha em encontrar soluções viáveis para objetos complexos.

2. Metodologia Proposta

Os autores propõem uma arquitetura neuro-simbólica que integra três componentes principais:

1. Planejamento Simbólico de Alto Nível: Utiliza PDDL para definir tarefas e estados.
2. Grandes Modelos de Linguagem (LLMs): Atuam como motor de raciocínio de senso comum para identificar lacunas no domínio e gerar código.
3. Aprendizado por Reforço (RL): Aprende as políticas de controle de baixo nível (contínuas) para os novos operadores.

O processo funciona através de um ciclo "Planejar-Aprender-Executar":

A. Identificação de Operadores Faltantes (Planejamento Híbrido)

• Quando o planejador simbólico falha em encontrar um plano, ele aciona o LLM.
• O LLM recebe o estado atual, o objetivo, os objetos novos e os operadores existentes.
• Utilizando técnicas de prompting (como "Chain-of-Thought" e "Self-Consistency" para amostrar múltiplas respostas e escolher a mais frequente), o LLM sugere novos operadores estruturados em PDDL (nome, parâmetros, pré-condições e efeitos).
• Um algoritmo de busca simbólica ("search-ahead") verifica se a adição desses operadores permite encontrar um plano. Se sim, o domínio é atualizado e um plano é gerado.

B. Aprendizado de Políticas Guiado por LLM (Sub-objetivos e Recompensas)

• Para cada novo operador identificado, o sistema precisa aprender a política de controle (como mover o braço robótico).
• Geração de Funções de Recompensa: O LLM escreve automaticamente funções de recompensa densas (código Python) baseadas nas observações numéricas do robô (ex.: distância entre a garra e a alça da gaveta).
• Currículo de Sub-objetivos: Os efeitos de um operador são tratados como uma sequência de sub-objetivos ordenados. O treinamento ocorre em fases:
  1. O agente foca no primeiro efeito (ex.: "agarrar a alça").
  2. Múltiplos agentes de RL são lançados, cada um tentando uma das várias funções de recompensa candidatas geradas pelo LLM.
  3. Um mecanismo de eliminação (inspirado em algoritmos genéticos) descarta periodicamente os candidatos com pior desempenho.
  4. Uma vez que o primeiro sub-objetivo é dominado, a recompensa para o próximo efeito é desbloqueada, criando um currículo progressivo.

3. Principais Contribuições

1. Identificação Estruturada de Operadores: Resolver o problema de identificar operadores faltantes em domínios contínuos, algo intratável para métodos tradicionais de descoberta, utilizando o raciocínio de senso comum do LLM.
2. Aceleração do Aprendizado via Recompensas Densas: Augmentar a arquitetura de planejamento híbrido com funções de recompensa geradas por LLM, substituindo a exploração aleatória por uma busca guiada e eficiente.
3. Validação em Domínios Contínuos: Demonstrar a eficácia do método em ambientes de manipulação robótica contínua (simulação MimicGen), superando a barreira da aleatoriedade em espaços de alta dimensão.

4. Resultados Experimentais

Os experimentos foram realizados em quatro domínios de dificuldade crescente no simulador MimicGen:

• Cozinha (Fácil): Lidar com uma tampa de panela nova.
• Montagem de Porca (Médio): Pegar uma porca quadrada de um pino redondo novo.
• Café - Caixa (Médio): Retirar um cápsula de uma caixa nova.
• Café - Gaveta (Difícil): Abrir uma gaveta fechada e retirar o objeto (desafio máximo para exploração aleatória).

Comparativos:

• Contra Descoberta de Operadores (OD) Pura: O método híbrido identificou corretamente os operadores em 100% dos casos nos domínios fáceis e médios, enquanto o OD falhou completamente (>7 horas sem sucesso) nos domínios difíceis. O OD só funcionou no cenário mais simples.
• Contra Baselines de RL (LEAGUE-Sparse e Reward Machine):
  • O agente guiado por LLM (LG) alcançou taxas de sucesso superiores a 90% na maioria dos operadores.
  • Testes estatísticos (Wilcoxon) confirmaram que o LG superou significativamente as baselines em todas as métricas (sucesso e progresso).
  • A abordagem de múltiplos candidatos de recompensa reduziu o risco de falha devido a códigos de recompensa mal escritos.

5. Significado e Conclusão

O trabalho demonstra que a integração de LLMs com planejamento simbólico e RL oferece um caminho viável para a adaptação a novidades na robótica.

• Robustez: O sistema supera a rigidez dos planejadores manuais e a ineficiência do RL não guiado.
• Generalização: O método consegue generalizar para objetos variados, inferindo não apenas como interagir, mas também como estruturar o aprendizado dessa interação.
• Futuro: Os autores planejam validar o sistema em robôs físicos usando módulos de percepção de vocabulário aberto (como OWLv2) e explorar a invenção automática de predicados visuais para expandir ainda mais o domínio do robô.

Em resumo, o artigo propõe uma solução elegante onde o LLM atua como um "arquiteto de domínio" e "engenheiro de recompensas", permitindo que robôs aprendam rapidamente a manipular objetos do mundo real que nunca viram antes.