Resumo Técnico: Manipulação Inversa através de Planejamento Simbólico e Aprendizado de Operador Residual

Declaração do Problema

O artigo aborda o desafio da inversão de habilidades (skill inversion) na manipulação robótica: a capacidade de restaurar um ambiente físico ao seu estado anterior à execução de uma ação direta (forward execution). Os autores argumentam que simplesmente reverter trajetórias motoras é insuficiente para muitas tarefas, particularmente aquelas que envolvem interações não-preensíveis (ex: empurrar), onde o robô não agarra o objeto. Embora o planejamento simbólico possa gerar sequências inversas, ele frequentemente falha em restaurar totalmente os estados físicos contínuos devido a primitivas de ação limitadas e requisitos de precisão. Por outro lado, a reversão pura de trajetória é frequentemente inaplicável fisicamente. O problema central é preencher a lacuna entre os objetivos de restauração simbólica de alto nível e o controle contínuo de baixo nível para alcançar habilidades inversas fisicamente fundamentadas.

Metodologia

O framework proposto é um sistema híbrido que combina planejamento simbólico com Aprendizado por Reforço Residual (RL). O processo opera em três estágios principais:

1. Extração de Operadores Simbólicos

O sistema analisa demonstrações de habilidades diretas para extrair automaticamente operadores simbólicos no formalismo STRIPS (Fikes e Nilsson 1971).

• Predicados Suaves (Soft Predicates): Um repertório predefinido de predicados (ex: AT POSE, GRIPPER OPEN) é fundamentado no grafo da cena através de predicados geométricos suaves e diferenciáveis. Estes geram pontuações contínuas $V_p(s) \in [0, 1]$ baseadas em margens com sinal $m_p(s)$.
• Definição de Operador: Um operador $o = \langle Pre, Add, Del \rangle$ é construído analisando os estados inicial e final das demonstrações. Predicados com altas pontuações iniciais formam o conjunto de precondições ($Pre$), enquanto as mudanças nas pontuações determinam os efeitos de adição ($Add$) e deleção ($Del$).

2. Geração de Alvo Inverso e Planejamento Simbólico

O objetivo inverso é definido não como uma reversão temporal, mas como um problema de restauração. O estado alvo $I(o)$ é construído para satisfazer as precondições originais, restaurar os efeitos deletados e negar os efeitos adicionados:
$$I(o) = Pre \cup Del \cup \neg Add$$
Um planejador de Busca em Largura (BFS) tenta satisfazer $I(o)$ utilizando um conjunto limitado de primitivas de ação roteirizadas (ex: PICK, PLACE).

3. Aprendizado de Operador Residual

Como o planejador simbólico pode satisfazer apenas parcialmente o alvo inverso, o sistema particiona os objetivos restantes:

• Conjunto de Cerca (Fence Set - $F$): Predicados já satisfeitos pelo plano simbólico ($\pi_{sym}$) que devem ser preservados.
• Conjunto Residual Ativo ($A$): Predicados não resolvidos que constituem o objetivo residual.

Uma política de RL Residual ($\pi_{res}$) é treinada para satisfazer o conjunto ativo $A$ enquanto mantém o conjunto de cerca $F$.

• Função de Recompensa: A recompensa é derivada diretamente dos predicados do plano simbólico.
  • Para predicados ativos ($A$): Uma margem normalizada com sinal usando $\tanh$ para fornecer recompensas limitadas para a restauração.
  • Para predicados de cerca ($F$): Uma penalidade unilateral usando $\min(0, \cdot)$ para penalizar violações sem recompensar o comportamento de "não fazer nada".
• Execução: A habilidade inversa final é a concatenação da sequência simbólica $\pi_{sym}$ e da política residual aprendida $\pi_{res}$.

Principais Contribuições

O artigo delineia três contribuições primárias:

1. Formulação Híbrida: Abordar a inversão de habilidade como um problema de restauração híbrido simbólico-contínuo, derivando alvos inversos de operadores simbólicos diretos extraídos de demonstrações, em vez de depender de reversão temporal.
2. Framework de Aprendizado de Operador Residual: Introduzir um mecanismo onde o RL é ativado apenas quando o planejamento simbólico não consegue satisfazer totalmente o objetivo inverso, lidando efetivamente com a parte "residual" da tarefa.
3. Recompensas Derivadas de Predicados: Derivar sinais de recompensa de RL diretamente dos efeitos do operador do plano simbólico, eliminando a necessidade de engenharia manual de recompensa para cada tarefa específica.

Resultados Experimentais

O framework foi avaliado na tarefa ManiSkill3 PushCube utilizando um manipulador Franka Panda. A habilidade direta envolvia empurrar um cubo para uma posição de objetivo. A tarefa inversa exigia restaurar o cubo para sua posição de origem original.

• Desempenho: A abordagem híbrida (Simbólico + RL) alcançou uma taxa de sucesso de 90% dentro de uma tolerância de 1 cm, com uma precisão média de 1,4 mm.
• Comparações:
  • Apenas Prefixo Simbólico: Alcançou apenas 10% de sucesso, deixando uma distância residual média de 16,6 mm.
  • Simbólico + Ação Aleatória: Alcançou 50% de sucesso com alta variância (18,8 mm de média), indicando que a exploração aleatória ocasionalmente tem sucesso por acaso, mas carece de confiabilidade.
  • Inversão de Trajetória Pura: Considerada inaplicável devido à natureza não-preensível do empurrão direto.
• Estudos de Ablação: Experimentos confirmaram que o uso de uma penalidade $\tanh$ unilateral para os predicados de cerca foi crítico. Remover a penalidade levou o agente a permanecer imóvel (recompensas saturadas), enquanto remover a função $\tanh$ inteiramente causou divergência da função de valor e grandes derivações de recompensa.

Significância e Alegações

O artigo afirma que o controle residual derivado de predicados pode transformar um inverso simbólico aproximado em uma habilidade inversa fisicamente fundamentada. Ao tratar as habilidades inversas como operadores simbólicos distintos com seus próprios objetivos de restauração, o sistema evita as limitações da suposição de reversão temporal encontradas em trabalhos anteriores (ex: Nair et al. 2020; Edwards et al. 2018).

Os autores posicionam este trabalho como um passo para permitir a colaboração humano-robô e linhas de montagem-desmontagem onde a capacidade de "desfazer" tarefas é essencial. Eles observam que, embora o sistema atualmente dependa de predicados desenhados manualmente e primitivas de baixo nível roteirizadas, os resultados sugerem que habilidades inversas podem ser resolvidas efetivamente como um problema de planejamento seguido por um problema de RL residual com uma recompensa derivada. O artigo permanece modesto quanto ao seu escopo, reconhecendo limitações no design de predicados e na dependência de primitivas roteirizadas, e sugere trabalhos futuros para aprender esses componentes a partir de demonstrações.