Resumo Técnico: Aprendizado Diferenciável de Esquemas de Ação Elevados para Planejamento Clássico

Formulação do Problema

O artigo aborda o desafio de aprender esquemas de ação elevados para domínios de planejamento clássico a partir de traços observacionais. Especificamente, os autores tratam de um cenário onde os estados são totalmente observados (representados como átomos STRIPS fundamentados), mas os argumentos da ação não são observados. A entrada consiste em tripletos $\langle s, a, s' \rangle$, onde $s$ e $s'$ são estados fundamentados e $a$ é um nome de ação completo, uma ação STRIPS+ (com alguns argumentos observados) ou apenas um nome de ação.

A dificuldade central reside no problema de isomorfismo-difícil de inferir simultaneamente:

1. Argumentos da Ação: Identificar quais objetos no estado se ligam aos parâmetros de uma ação.
2. Esquemas Elevados: Aprender as precondições e efeitos (listas de adição/exclusão) para cada esquema de ação em uma forma elevada e simbólica.

Este problema é enquadrado como uma simplificação da tarefa mais realista de aprender a partir de sequências de imagens e rótulos de ação, visando resolver o passo de abstração simbólica com precisão quase perfeita para permitir a integração em sistemas neuro-simbólicos maiores.

Metodologia: Arquitetura DIAS

Os autores propõem o DIAS (Indução Diferenciável de Esquemas de Ação), uma arquitetura neural que aprende esquemas de ação via descida de gradiente. A abordagem opera em duas etapas principais, utilizando operações suaves e diferenciáveis para permitir treinamento de ponta a ponta.

1. Seleção de Objetos via Redes Neurais de Grafos (GNN)

• Construção do Grafo: O estado $s$ e a transição para $s'$ são codificados como um grafo direcionado $G$. Os nós representam objetos e as arestas representam predicados (átomos) verdadeiros no estado ou adicionados/removidos durante a transição.
• Embedding: Uma Rede de Convolução Gráfica Relacional (R-GCN) processa o grafo para gerar vetores de embedding de $d$ dimensões (chaves $K$) para cada objeto.
• Atribuição de Slots: Para cada nome de ação $a$, o modelo mantém vetores de consulta aprendíveis $Q_a$ correspondentes a um número fixo de "slots" (um limite superior para a aridade da ação).
• Correspondência Suave: Uma matriz de correspondência é computada via atenção de produto escalar escalonada entre as chaves dos objetos e as consultas da ação. Um algoritmo Sinkhorn retangular é então aplicado para produzir uma matriz de atribuição suave $\tilde{S}_a$, mapeando probabilisticamente objetos para slots de argumentos da ação. Pesos de slot aprendíveis $w_a$ determinam a probabilidade de ativação de cada slot, permitindo que o modelo infira a aridade da ação.

2. Aprendizado de Precondições e Efeitos

• Parâmetros Elevados: O modelo mantém tensores de probabilidade aprendíveis para cada átomo elevado $p(x_i, x_j)$ para determinar se é uma precondição positiva/negativa, um efeito de adição ou um efeito de exclusão.
• Fundamentação: A atribuição suave $\tilde{S}_a$ projeta essas probabilidades elevadas no espaço da matriz de adjacência fundamentada, gerando probabilidades para átomos específicos serem precondições ou efeitos no estado atual.
• Previsão de Estado:
  • Verificação de Precondição: O modelo calcula a probabilidade $p_{pre}$ de que todas as precondições sejam atendidas avaliando a conjunção das probabilidades individuais dos átomos. Para evitar gradientes que desaparecem devido à inicialização aleatória, é utilizada uma estratégia de agendamento de média geométrica, transitando gradualmente para o produto verdadeiro.
  • Aplicação de Efeito: O estado sucessor previsto $\hat{A}'$ é computado aplicando as probabilidades fundamentadas de adição/exclusão à matriz de adjacência do estado atual $A$, escalonada por $p_{pre}$.

3. Função de Perda e Otimização

O objetivo de treinamento minimiza uma perda composta:

• Perda Principal ($L_{adj}$): Entropia cruzada binária entre o estado sucessor previsto $\hat{A}'$ e o estado sucessor verdadeiro $A'$. Isso impulsiona o modelo a selecionar corretamente os argumentos e prever mudanças de estado.
• Perda Auxiliar ($L_{aux}$): Incentiva efeitos mínimos e precondições máximas. Isso impede que o modelo aprenda soluções triviais (por exemplo, assumir que todos os átomos são efeitos ou que não existem precondições) penalizando efeitos inativos e precondições inativas.
• Projeção de Gradiente: Para garantir que o objetivo principal de previsão de estado não seja comprometido pelos objetivos auxiliares, os autores empregam PCGrad (Cirurgia de Gradiente). O gradiente auxiliar é projetado no hiperplano ortogonal ao gradiente principal se houver conflito, garantindo que a otimização de $L_{main}$ tenha precedência.

Resultados Chave

Os autores avaliaram o DIAS em 13 domínios de planejamento IPC padrão (por exemplo, Blocos, Logística, Hanoi, Sokoban) usando três variantes de observação: ações STRIPS completas, ações STRIPS+ e apenas nomes de ação.

• Recuperação Perfeita: Em 8 dos 13 domínios, o DIAS aprendeu os esquemas de ação elevados verdadeiros perfeitamente em todas as 10 execuções de treinamento em todas as três variantes de observação.
• Robustez:
  • Ruído: O modelo demonstrou robustez a ruído de observação (átomos invertidos aleatoriamente) de até 2 inversões por transição para a maioria dos domínios. O desempenho degradou significativamente em 8 inversões.
  • Comparação com Métodos Simbólicos: Comparado ao algoritmo L1 (uma abordagem baseada em SAT), o DIAS alcançou desempenho superior ou comparável, particularmente em domínios onde o L1 falhou em recuperar precondições envolvendo variáveis não presentes nos efeitos.
  • Análise de Falhas: As falhas foram principalmente atribuídas a:
    • Pontos mortos: Domínios como Sokoban, onde caminhadas aleatórias falham em explorar regiões críticas do estado.
    • Estrutura do espaço de estados: A estrutura de triângulo de Sierpiński do domínio Hanoi limita a cobertura da caminhada aleatória.
    • Ações redundantes: O domínio Satélite, onde ações como take_image frequentemente resultam em nenhuma mudança de estado, confundindo o aprendizado de efeitos.
• Ablação MLP: Uma ablação substituindo efeitos STRIPS por um Perceptron de Camadas Múltiplas (MLP) mostrou que, embora a arquitetura possa aprender dinâmicas dependentes do estado, ela falha em produzir esquemas simbólicos adequados para planejamento clássico, destacando a necessidade da formulação STRIPS elevada para generalização.

Significado e Alegações

O artigo alega que o DIAS representa um passo significativo em direção ao aprendizado de domínios de planejamento a partir de observações brutas (como imagens) resolvendo o problema intermediário de abstração simbólica com alta fidelidade.

• Diferenciabilidade: A contribuição primária é um componente diferenciável robusto que pode aprender esquemas de ação elevados sem exigir argumentos de ação explícitos, fechando a lacuna entre o processamento neural de observações e o planejamento simbólico.
• Generalização: Ao contrário de modelos dinâmicos baseados em slots (por exemplo, RIMs) que lutam com números variados de objetos, o DIAS aprende representações elevadas que generalizam para números arbitrários de objetos, uma propriedade inerente ao STRIPS, mas difícil de aprender a partir de dados.
• Escopo Modesto: Os autores enquadram explicitamente este trabalho como uma simplificação do desafio mais amplo de aprender a partir de imagens. Eles não alegam resolver diretamente o problema de imagem-para-planejamento, mas argumentam que alcançar desempenho "quase perfeito" no passo de abstração simbólica é um pré-requisito necessário e desafiador para tais sistemas.
• Limitações: A abordagem assume domínios STRIPS puros (sem efeitos condicionais ou características numéricas) e baseia-se na suposição de que os argumentos da ação são ligados injetivamente aos objetos. O método também luta com domínios onde a amostragem de caminhada aleatória fornece cobertura insuficiente do espaço de estados.