Joint Discovery of Object and Action Symbols through Effect Prediction for Robotic Manipulation Planning

Resumo Técnico: Descoberta Conjunta de Símbolos de Objeto e Ação através da Predição de Efeitos para Planejamento de Manipulação Robótica

Definição do Problema
Robôs autônomos enfrentam um desafio fundamental em tarefas de manipulação de longo horizonte: o raciocínio sobre espaços sensoriomotores contínuos e de alta dimensão é computacionalmente incontrolável. O planejamento eficaz exige a abstração de percepções e ações contínuas em representações discretas. Abordagens anteriores apresentam limitações: a categorização baseada em visão falha ao não distinguir objetos que parecem semelhantes, mas se comportam de forma diferente, enquanto métodos baseados em interação frequentemente dependem de ações predefinidas ou ignoram a estrutura temporal das trajetórias. Além disso, os métodos existentes de generalização de poucos disparos (few-shot) tipicamente dependem de similaridade geométrica ou visual estática, falhando em capturar a dinâmica física das interações (affordances) que são críticas para lidar com objetos novos. O problema central abordado é como descobrir autonomamente símbolos de objetos e ações de alto nível a partir de dados de interação aleatórios e contínuos para permitir um planejamento preciso de múltiplos passos e uma generalização robusta para objetos não vistos.

Metodologia
Os autores propõem um framework neuro-simbólico que descobre conjuntamente símbolos de objetos e ações através de um processo de aprendizado em dois estágios, otimizado pela predição de efeitos multimodais.

1. Arquitetura e Descoberta de Símbolos:

   • O sistema emprega uma rede encoder-decoder com uma camada de gargalo binária (binary bottleneck layer).
   • Encoder de Objeto ($\phi_o$): Uma rede neural convolucional mapeia imagens de profundidade do objeto para símbolos binários ($z_o$).
   • Encoder de Ação ($\phi_a$): Uma arquitetura Transformer mapeia trajetórias de ângulos de junta para símbolos binários ($z_a$), capturando a estrutura temporal.
   • Ativação Binária: Ambos os encoders utilizam uma função de ativação Gumbel-Sigmoid (GS) para produzir vetores binários discretos, permitindo que os gradientes fluam durante o treinamento via técnica de reparametrização.
   • Decoder ($\psi$): Prediz a trajetória de efeito multimodal (posição do objeto, vetores de força e feedback de contato) dado o concatenamento dos símbolos de objeto e ação.

2. Procedimento de Treinamento em Dois Estágios:

   • Estágio 1: O modelo prediz apenas efeitos de força e feedback de contato usando bits de objeto completos e um subconjunto de bits de ação. Este estágio aprende a distinguir primitivas de alto nível grosseiras (ex: empurrar vs. pegar-e-lugar) baseadas no feedback tátil, mimetizando o desenvolvimento sensoriomotor infantil inicial.
   • Estágio 2: O modelo utiliza todos os bits de símbolo para predizer a trajetória de efeito completa, incluindo mudanças de posição espacial. Este estágio refina os símbolos de ação para capturar variações direcionais (ex: empurrão à esquerda vs. empurrão à direita).

3. Framework de Planejamento:

   • Uma biblioteca de efeitos discretos é construída a partir do modelo aprendido, mapeando tuplas de (símbolo de objeto, símbolo de ação, passo de tempo) para efeitos de posição preditos.
   • Busca A:* O planejamento é realizado via busca A* sobre esta biblioteca. O algoritmo utiliza execuções parciais de ação, onde passos intermediários na trajetória predita servem como estados alcançáveis distintos, permitindo um controle de baixo nível preciso.
   • Execução: Planos simbólicos são convertidos em trajetórias executáveis de ângulos de junta usando um Controlador de Baixo Nível Condicionado ao Símbolo (Conditional Neural Movement Primitives, CNMP).
   • Validação de Deriva (Drift): Um mecanismo de replanejamento é acionado se a posição real do objeto desviar da posição predita além de um limite, garantindo a integridade da execução.

4. Generalização de Poucos Disparos (Few-Shot Generalization):

   • Objetos novos são categorizados não pela aparência visual, mas pela similaridade comportamental.
   • O sistema coleta um pequeno número de demonstrações aleatórias para um novo objeto, extrai os símbolos de ação e prediz os efeitos para candidatos a símbolos de objeto.
   • O símbolo de objeto com o menor erro médio de predição entre as demonstrações é atribuído ao novo objeto, permitindo o planejamento sem retreinamento.

Principais Contribuições

• Descoberta Conjunta de Símbolos: Uma rede encoder-decoder profunda com um gargalo binário que descobre conjuntamente símbolos de objeto e ação através de um procedimento de aprendizado em dois estágios, otimizado por predições de trajetória de efeito multimodal (espacial-háptico).
• Planejamento Discreto com Execução Parcial: Um framework de planejamento que constrói uma biblioteca de efeitos discretos e realiza busca A* utilizando pontos de trajetória intermediários para controle preciso, combinado com controladores de baixo nível condicionados a símbolos e replanejamento baseado em deriva.
• Generalização de Poucos Disparos Baseada em Efeito: Um método para categorizar objetos novos baseando-se em similaridade comportamental (correspondência de efeito) em vez de similaridade visual, permitindo o planejamento de manipulação em objetos não vistos com demonstrações mínimas.

Resultados Experimentais
Experimentos foram conduzidos em um ambiente de simulação PyBullet usando um manipulador UR10e e cinco tipos de objetos (Bola, Cubo, Bloco X, Y, Z). O framework foi avaliado contra uma baseline de Diffusion Policy em duas tarefas: reposicionamento de mesa (Tarefa 1) e empilhamento (Tarefa 2).

• Predição de Efeito: A arquitetura proposta baseada em Transformer de dois estágios alcançou erros de predição de posição significativamente menores (1,70 cm) em comparação com o aprendizado de estágio único (1,77 cm) e baselines totalmente conectadas (1,82 cm).
• Desempenho de Planejamento (Objetos Vistos): O método proposto superou significativamente a baseline de Diffusion Policy em ambas as tarefas. Na Tarefa 1, alcançou menores erros de distância euclidiana em todos os tipos de objetos (ex: 4,49 cm vs. 5,09 cm para o Cubo). Na Tarefa 2 (empilhamento), alcançou taxas de sucesso significativamente maiores (ex: 69,67% vs. 18,33% para o Bloco Z), atribuído à sua capacidade de aprender affordances de preensão e estados intermediários.
• Generalização de Poucos Disparos (Objetos Novos): Ao serem testados em cinco objetos novos (Toro, Bloco-T, Cilindro, Bloco-U, Bloco Largo) com apenas três demonstrações cada, a abordagem baseada em efeito superou significativamente a Diffusion Policy e uma baseline de codificação visual. Notavelmente, a baseline visual classificou incorretamente os objetos (ex: categorizando um Toro como uma Bola), enquanto o método baseado em efeito identificou corretamente as similaridades comportamentais (ex: o Toro comportando-se como um Cubo em termos de efeitos de empurrão), levando a um sucesso de planejamento superior.

Significância e Alegações
O artigo afirma que agentes autônomos devem descobrir representações através da interação para lidar com cenários novos de forma eficaz. A significância deste trabalho reside em demonstrar que:

1. Interação sobre Aparência: Categorizar objetos e ações baseando-se em efeitos de interação multimodais (força, contato, movimento) é superior aos métodos baseados em visão para o planejamento, particularmente para distinguir objetos que parecem similares, mas possuem dinâmicas físicas diferentes.
2. Estrutura Temporal: Capturar a dinâmica temporal completa das interações, em vez de apenas os resultados finais, permite um planejamento preciso usando pontos de trajetória intermediários.
3. Generalização Eficiente: A correspondência de similaridade comportamental permite uma generalização robusta de poucos disparos para objetos novos, superando métodos dependentes de similaridade geométrica ou visual.

Os autores reconhecem limitações, incluindo o foco em affordances de objeto único, a natureza reativa do replanejamento baseado em deriva (que ocorre pós-execução) e a eficiência computacional do A* comparado a solvers PDDL. Eles sugerem trabalhos futuros em símbolos relacionais entre objetos, verificação pré-execução e geração de operadores simbólicos compatíveis com PDDL.