Neuro-Symbolic Skill Discovery for Conditional Multi-Level Planning

Este artigo propõe uma arquitetura de aprendizado neuro-simbólica que descobre habilidades simbólicas generalizáveis a partir de poucas demonstrações não rotuladas, integrando modelos de linguagem visual para interpretação e planejamento de alto nível com controladores de baixo nível baseados em gradiente, permitindo a execução eficiente de tarefas de longo alcance em ambientes complexos e não vistos.

O essencial

Imagine que você quer ensinar um robô a cozinhar uma refeição completa, como fazer um café da manhã. O problema é que o robô não sabe nada sobre o mundo: ele não sabe o que é uma torradeira, não sabe onde fica a geladeira e, se você apenas mostrar um vídeo de alguém fazendo café, ele fica confuso com tantos detalhes (movimentos da mão, ângulos, força).

Este artigo apresenta uma solução inteligente chamada "Neuro-Simbolismo", que funciona como uma ponte entre a inteligência humana (que entende o "porquê" das coisas) e a habilidade robótica (que entende o "como" fazer).

Aqui está a explicação passo a passo, usando analogias do dia a dia:

1. O Problema: O Robô Cego e o Mestre Confuso

Geralmente, para ensinar um robô, precisamos de milhares de vídeos perfeitos e rotulados (dizendo: "agora ele está pegando a xícara", "agora ele está virando o leite"). Isso é caro e difícil de conseguir. Além disso, os robôs são ótimos em movimentos precisos, mas péssimos em planejar o futuro (como decidir: "Primeiro pego o pão, depois abro a geladeira").

2. A Solução: O "Tradutor" de Habilidades

Os autores criaram um sistema que ensina o robô a descobrir habilidades sozinho, sem precisar de rótulos humanos.

• A Analogia da "Caixa de Ferramentas Mágica":
  Imagine que você tem uma caixa de ferramentas cheia de peças soltas. O robô olha para um vídeo de alguém abrindo uma gaveta e depois pega uma maçã. Ele percebe que, embora os movimentos sejam ligeiramente diferentes (uma vez a maçã está na esquerda, outra na direita), a essência da ação é a mesma: "Abrir e Pegar".

  O sistema do artigo usa uma rede neural (um tipo de cérebro digital) para agrupar esses movimentos. Ele transforma milhões de vídeos diferentes em símbolos simples, como se fosse criar uma lista de "comandos" na caixa de ferramentas:

  • Símbolo A: "Abrir Gaveta"
  • Símbolo B: "Pegar Objeto"
  • Símbolo C: "Colocar na Mesa"

3. O Processo de Aprendizado (O "Treino")

O sistema funciona em duas etapas principais:

1. Descoberta (O Detetive): O robô assiste a alguns vídeos (demonstrações) sem saber o que está acontecendo. Ele começa a agrupar os movimentos. Se ele vê 10 vídeos de alguém pegando coisas, ele percebe que 8 deles são muito parecidos e cria um "símbolo" para isso. É como se ele dissesse: "Ok, esse movimento aqui é 'Pegar', aquele outro é 'Colocar'".
2. Rótulo Automático (O Tradutor de IA): Como o robô não sabe que "Pegar" significa "Pegar", ele usa uma Inteligência Artificial avançada (como o ChatGPT ou Gemini) para olhar para os vídeos agrupados e dizer: "Ah, isso aqui é 'Abrir a Geladeira'". A IA atua como um professor que dá nome às habilidades que o robô descobriu sozinho.

4. O Planejamento em Duas Camadas (O Chefe e o Operário)

Aqui está a parte mais brilhante: o sistema divide o trabalho em dois níveis, como uma empresa:

• O Nível Alto (O Chefe - IA de Texto): Ele recebe a ordem: "Faça um café". O "Chefe" não sabe mexer nos botões do robô. Ele usa os símbolos que aprendeu e cria um plano lógico: "1. Pegar a xícara. 2. Colocar na máquina. 3. Ligar a máquina. 4. Pegar a xícara de volta". Ele pensa no que fazer.
• O Nível Baixo (O Operário - Controle Robótico): O "Chefe" passa a ordem "Pegar a xícara" para o "Operário". O Operário sabe exatamente como mover os braços para pegar a xícara, mesmo que ela esteja em um lugar novo ou em um ângulo estranho. Ele usa matemática (gradientes) para ajustar o movimento em tempo real para acertar o alvo.

5. O Resultado: Robôs que Aprendem Rápido

O teste mostrou que esse sistema é incrível porque:

• Aprende com pouco: Você só precisa mostrar alguns vídeos (demonstrações) de cada tarefa.
• Generaliza: Se você treinou o robô a pegar uma maçã na mesa da cozinha, ele consegue pegar uma garrafa de óleo no mesmo lugar, mesmo que nunca tenha visto isso antes.
• Funciona em ambientes bagunçados: O robô consegue planejar tarefas longas (como arrumar a louça) mesmo em cozinhas cheias de objetos, algo que robôs antigos teriam muita dificuldade.

Resumo Final

Pense nesse sistema como ensinar uma criança a andar de bicicleta.

• Antes: Você tinha que explicar cada movimento muscular (contrair o músculo X, inclinar Y graus) e a criança nunca aprendia.
• Agora (com este método): Você mostra a criança andando (demonstração). O cérebro da criança (o sistema) descobre o conceito de "equilíbrio" e "pedalar" (símbolos). Você dá um nome a isso ("andar de bicicleta"). Depois, quando a criança quer ir à padaria (planejamento de alto nível), ela sabe quais "habilidades" usar e ajusta o corpo para o terreno (planejamento de baixo nível).

O artigo prova que podemos criar robôs que não apenas repetem movimentos, mas entendem tarefas e conseguem planejar ações complexas no mundo real, aprendendo com poucos exemplos.

Resumo técnico

Título: Descoberta de Habilidades Neuro-Simbólicas para Planejamento Condicional Multi-Nível

1. Problema Abordado

O artigo aborda o desafio de aprender a realizar planos de longo alcance em espaços contínuos de estado-ação, típicos de cenários robóticos do mundo real. Os principais obstáculos identificados são:

• Complexidade e Ruído: Dados robóticos de baixo nível (contínuos) são complexos e ruidosos, dificultando o aprendizado direto.
• Escassez de Dados: Dados reais são limitados e geralmente coletados em ambientes controlados, o que impede o treinamento de grandes modelos de propósito geral (como LLMs) com dados brutos de robótica.
• Abstração: Existe uma lacuna entre agentes virtuais generalistas (que possuem raciocínio de alto nível baseado em texto) e a execução física no ambiente (que requer controle de baixo nível). É necessário um mecanismo de abstração que conecte o raciocínio simbólico ao controle motor contínuo sem exigir que o LLM seja treinado com dados robóticos brutos.

2. Metodologia

Os autores propõem uma arquitetura de aprendizado neuro-simbólico que descobre habilidades de alto nível a partir de demonstrações não rotuladas de baixo nível e utiliza um pipeline de planejamento em dois níveis.

A. Modelo de Descoberta de Habilidades (Nível Inferior)

• Arquitetura: Utiliza um Autoencoder com Quantização Vetorial (VQ-VAE) baseado em Conditional Neural Movement Primitives (CNMP).
• Funcionamento:
  • O modelo recebe trajetórias de dados sensorimotores (ex: pose do efetuador final) como entrada.
  • Através de um gargalo de quantização vetorial, ele aprende a mapear variações contínuas de uma mesma habilidade de alto nível (ex: "pegar um sanduíche" de diferentes locais na geladeira) para vetores discretos únicos.
  • O modelo agrupa demonstrações não rotuladas em clusters (habilidades) de forma não supervisionada.
• Aprendizado Auto-supervisionado: Após a descoberta inicial dos clusters, um novo modelo é treinado do zero usando os rótulos de habilidade descobertos pelo primeiro modelo. Isso substitui a decisão baseada em distância euclidiana por atribuição direta de rótulos, melhorando significativamente a precisão do planejamento de baixo nível.

B. Pipeline de Planejamento Multi-Nível

1. Descoberta: Habilidades de alto nível são extraídas de demonstrações não rotuladas.
2. Rotulagem: Os vetores de habilidade descobertos são interpretados e rotulados automaticamente usando Modelos de Linguagem Visual (VLMs), como GPT-4 e Gemini, que analisam imagens das execuções.
3. Planejamento de Alto Nível: Um agente LLM utiliza os símbolos descobertos e rotulados para gerar um plano de tarefas de longo alcance (o "o que fazer"). O LLM recebe o estado inicial, a imagem do ambiente e a lista de habilidades disponíveis.
4. Planejamento de Baixo Nível (Execução): Para cada passo do plano de alto nível, o sistema utiliza uma abordagem baseada em gradiente.
   • O vetor de habilidade correspondente é ajustado via descida de gradiente para minimizar a diferença entre a posição predita do objeto (pelo decodificador) e a posição real do objeto no ambiente.
   • Isso permite que o sistema generalize para novas posições de objetos e execute variações de baixo nível de uma mesma habilidade de alto nível.

3. Principais Contribuições

• Método de Descoberta de Habilidades: Uma nova arquitetura neural capaz de aprender representações de habilidades de alto nível a partir de poucas demonstrações de trajetórias não rotuladas, agrupando variações contínuas em símbolos discretos.
• Pipeline de Planejamento Bi-Nível: Um sistema integrado onde um LLM gerencia o planejamento de alto nível e um modelo neuro-simbólico gerencia a execução de baixo nível, permitindo tarefas de longo alcance em ambientes complexos.
• Integração com VLMs: Uso de Modelos de Linguagem Visual para rotular automaticamente as habilidades descobertas e gerar planos, eliminando a necessidade de intervenção humana para rotulação manual.
• Generalização Condicional: Capacidade de manipular objetos em locais não vistos e executar sequências de ações longas com base em poucas demonstrações que cobrem apenas pequenas regiões do ambiente.

4. Resultados Experimentais

Os experimentos foram realizados em ambientes simulados (cozinha) e no mundo real (UR-10 e XArm 7).

• Descoberta de Habilidades:
  • O modelo conseguiu agrupar perfeitamente demonstrações de 5 habilidades distintas em 27% dos modelos treinados aleatoriamente.
  • Ajustes no tamanho do espaço vetorial mostraram que espaços maiores tendem a dispersar as demonstrações, mas permitem identificar o número ótimo de habilidades através da análise de perdas.
• Rotulagem por LLM:
  • O uso de VLMs (Gemini e GPT-4) para rotular ações foi eficaz, embora tenha havido uma tendência de confusão entre ações de "pegar" e "colocar" (o modelo tendia a classificar "colocar" como "pegar"). A precisão variou, mas foi suficiente para automatizar o processo.
• Desempenho de Planejamento:
  • Alto Nível: A combinação de LLMs com detecção de objetos (DINO) resultou em taxas de sucesso superiores a 80% para tarefas de média e longa duração. O uso de DINO para anotação de objetos foi crucial para a precisão.
  • Baixo Nível: O modelo treinado com aprendizado auto-supervisionado superou significativamente o modelo puramente não supervisionado. Com apenas 2 ou mais demonstrações por habilidade, o sistema alcançou taxas de sucesso de 100% em tarefas de único objetivo (ex: pegar e colocar) e altas taxas em tarefas multi-objetivo (ex: fazer café, lavar louça, regar plantas).
  • O sistema demonstrou capacidade de generalização, manipulando objetos em locais não vistos durante o treinamento.

5. Significado e Conclusão

O trabalho demonstra que é possível criar agentes robóticos generalistas capazes de raciocínio de alto nível e execução física robusta sem a necessidade de treinar modelos massivos com dados robóticos brutos.

• Ponte entre Simbólico e Contínuo: A arquitetura atua como uma "ponte" onde o LLM fornece o raciocínio lógico e o modelo neuro-simbólico traduz isso em ações motoras precisas.
• Eficiência de Dados: O método aprende habilidades complexas a partir de poucas demonstrações, superando a limitação de dados escassos no mundo real.
• Futuro: Os autores sugerem que a incorporação de predicados de efeito (para detecção de erros) e melhorias na abstração de estado podem aprimorar ainda mais o desempenho em planos de longo alcance.

Em suma, o artigo apresenta uma solução viável para o problema de Task and Motion Planning (TAMP), permitindo que robôs aprendam novas habilidades e executem tarefas complexas em ambientes desordenados com pouca supervisão humana.