Resumo Técnico: Planejamento Bilevel com Abstrações Simbólicas Aprendidas a partir de Dados de Interação

Definição do Problema

Agentes robóticos operando em ambientes contínuos enfrentam um compromisso fundamental: o raciocínio diretamente em espaços de estado contínuos de alta dimensão é computacionalmente intratável devido ao número infinito ou vasto de soluções possíveis, enquanto o raciocínio puramente simbólico frequentemente falha porque descarta informações geométricas e dinâmicas críticas, levando a falhas de execução. Métodos existentes que aprendem abstrações simbólicas a partir de exploração robótica não supervisionada tipicamente dependem de domínios determinísticos, carecem de mecanismos para verificar se um plano simbólico terá sucesso no mundo contínuo e não oferecem fallback quando a abstração é insuficiente. Este artigo aborda a necessidade de um framework de planejamento que combine a eficiência do raciocínio simbólico de alto nível com a precisão da verificação de dinâmicas contínuas.

Metodologia

Os autores propõem um framework de planejamento neuro-simbólico bilevel que opera através de dois níveis distintos, suportado por uma arquitetura de duplo modelo treinada em dados de interação não supervisionada.

1. Arquitetura de Duplo Modelo

O framework utiliza dois modelos de rede neural especializados derivados de uma arquitetura codificador-decodificador treinada para prever efeitos de ação:

• Modelo Simbólico ($M_{sym}$): Usa uma função de ativação Gumbel-Sigmoid em suas camadas de gargalo. Este modelo é projetado para descobrir símbolos de objetos unários discretos e símbolos relacionais (por exemplo, "sobre", "ao lado") para gerar operadores simbólicos para planejamento de alto nível.
• Modelo de Dinâmica ($M_{dyn}$): Usa uma função de ativação Sigmoid padrão em suas camadas de gargalo. Embora compartilhe a mesma arquitetura, este modelo é otimizado para previsão precisa de efeitos contínuos, servindo como um modelo de dinâmica forward para verificação e busca de baixo nível.

2. Processo de Aprendizado

O sistema aprende a partir de um conjunto de dados de amostras de interação $(X, a, X')$, onde $X$ representa o estado contínuo (posições e tipos de objetos) e $a$ representa habilidades parametrizadas de pegar-e-colocar.

• Descoberta de Símbolos: O Modelo Simbólico mapeia estados contínuos para símbolos discretos. Símbolos relacionais são computados usando um mecanismo de autoatenção adaptado com Gumbel-Sigmoid para permitir aprendizado diferenciável de símbolos discretos.
• Extração de Operadores: Transições contínuas são convertidas em conjuntos de dados simbólicos. Operadores são definidos como conjuntos de pré-condições e efeitos baseados nos estados pós-ação mais frequentes observados nos dados.
• Construção de Domínio Probabilístico: Em vez de operadores determinísticos, o framework constrói um domínio PPDDL (PDDL Probabilístico). Cada operador inclui uma distribuição de probabilidade sobre efeitos simbólicos possíveis baseada em sua frequência empírica, capturando a estocasticidade de interações do mundo real.

3. O Algoritmo de Planejamento Bilevel

O processo de planejamento procede em dois níveis:

• Nível 1: Planejamento Simbólico Probabilístico com Verificação
  • O sistema gera um ensemble de $N$ domínios PDDL amostrando efeitos das distribuições probabilísticas aprendidas.
  • Um planejador de IA clássico (Fast-Downward) busca por planos nesses domínios.
  • Verificação Contínua: Planos simbólicos candidatos são classificados por probabilidade. O Modelo de Dinâmica ($M_{dyn}$) é usado como um simulador forward para prever o resultado contínuo de cada plano candidato. Se o estado final previsto estiver dentro de um limite de tolerância ($\tau_{verify}$) do objetivo, o plano é aceito.
• Nível 2: Fallback de Busca Forward Contínua
  • Se nenhum plano simbólico passar na verificação, o sistema invoca uma busca $A^*$ ponderada no espaço de estado contínuo.
  • Esta busca usa o Modelo de Dinâmica para transições de estado e uma heurística baseada na distância euclidiana até o objetivo.
  • Para garantir tratibilidade, a busca emprega poda heurística de ações, gerando apenas ações orientadas ao objetivo (por exemplo, mover objetos mal posicionados em direção às suas posições-alvo) em vez de explorar todo o espaço de ações.

Contribuições Principais

1. Framework Bilevel: Uma arquitetura inovadora que integra planejamento simbólico probabilístico no alto nível com busca forward contínua como fallback, fechando a lacuna entre raciocínio abstrato e dinâmicas contínuas.
2. Esquema de Duplo Modelo: A introdução de dois modelos especializados — um para descoberta de símbolos discretos e outro para previsão precisa de efeitos contínuos — demonstrando que um único modelo não pode servir otimamente a ambos os propósitos.
3. Mecanismo de Verificação: Um método que utiliza o modelo de dinâmicas contínuas para verificar planos simbólicos antes da execução, filtrando efetivamente planos que são simbolicamente válidos mas dinamicamente inviáveis.
4. Aprendizado de Operadores Probabilísticos: Avançar além de domínios determinísticos para aprender operadores com efeitos estocásticos, permitindo que o planejador explore caminhos menos prováveis, mas potencialmente bem-sucedidos.

Resultados Experimentais

O framework foi avaliado em tarefas de manipulação de múltiplos objetos em um ambiente de mesa simulado com 2 a 4 objetos e sequências de ação de comprimento 1 a 5.

• Validação do Modelo: O Modelo de Dinâmica alcançou um erro médio de previsão de efeito menor (1,96 cm) em comparação com o Modelo Simbólico (3,33 cm), validando a necessidade de modelos separados para previsão contínua.
• Probabilístico vs. Determinístico: O planejador probabilístico superou significativamente a linha de base determinística (por exemplo, 73,0% vs. 64,67% de taxa de sucesso para tarefas de 1 passo), demonstrando que considerar a distribuição completa de resultados melhora a robustez.
• Desempenho de Verificação: O verificador de planos contínuos alcançou uma precisão média de 0,91 e uma pontuação F1 de 0,90. Planos verificados tiveram uma taxa de sucesso de 94,5%, enquanto planos não verificados tiveram uma taxa de falha de 87,3%, confirmando a confiabilidade do mecanismo na filtragem de planos falhos.
• Desempenho Geral: O Planejador Bilevel proposto alcançou taxas de sucesso de planejamento estatisticamente comparáveis à Busca Forward Contínua completa ($p=0,71$). No entanto, resolveu a maioria dos problemas usando raciocínio simbólico eficiente, recorrendo à busca contínua computacionalmente cara apenas quando necessário.

Significado

O artigo afirma que esta abordagem mitiga com sucesso as limitações do planejamento puramente simbólico (perda de detalhe geométrico) e do planejamento puramente contínuo (intratabilidade computacional). Ao combinar a eficiência do raciocínio simbólico com a precisão das dinâmicas contínuas aprendidas, o framework oferece uma solução robusta para manipulação robótica. Demonstra que agentes podem alcançar desempenho de planejamento de alto nível comparável à busca contínua exaustiva enquanto mantêm eficiência computacional, desde que possam verificar planos simbólicos contra dinâmicas físicas aprendidas. O trabalho destaca a importância da modelagem probabilística e da verificação para tornar abstrações simbólicas aprendidas confiáveis para execução no mundo real.