Resumo Técnico: Aprendizado de Políticas Bilevel sobre Modelos de Mundo Simbólicos para Planejamento de Longo Horizonte

Declaração do Problema

O artigo aborda o desafio de construir agentes de IA corporificada capazes de resolver com confiabilidade problemas de planejamento de longo horizonte em espaços contínuos de estado e ação com números variados de objetos. Embora a aprendizagem por imitação a partir de demonstrações tenha se mostrado eficaz para controle motor e manipulação de baixo nível (BN), ela luta para gerar planos de longo horizonte eficientes. Por outro lado, planejadores simbólicos de alto nível (AN) são eficazes para raciocínio de longo horizonte, mas frequentemente falham em generalizar para configurações com modalidades sensoriais variadas, observabilidade parcial e dinâmicas de baixo nível complexas.

Os autores formulam o problema como o aprendizado de uma política condicionada a objetivos $\pi(all | s_{ll}, g_{hl})$ que escolhe ações de baixo nível ($a_{ll}$) para alcançar objetivos de alto nível ($g_{hl}$). As entradas de aprendizado consistem em:

1. Demonstrações BN: Trajetórias de estados e ações emparelhadas com objetivos AN.
2. Linguagem de Abstração ($D$): Uma teoria de domínio definindo predicados e esquemas de ação.
3. Função de Rotulagem ($L$): Um mapeamento de observações BN para estados simbólicos AN.

O objetivo é aprender uma política que generalize para estados e objetivos não vistos de maneira zero-shot, lidando com números arbitrários de objetos e condições de mundo aberto.

Metodologia

Os autores propõem o BISON, um sistema que aprende políticas bilevel $(\pi_{hl}, \pi_{ll})$ combinando aprendizagem por imitação neural com abstração simbólica e generalização indutiva.

1. Arquitetura de Política Bilevel

O sistema decompõe o problema em duas políticas distintas:

• Política de Alto Nível (AN) ($\pi_{hl}$): Uma política simbólica que opera sobre estados abstratos ($s_{hl}$) e objetivos ($g_{hl}$) para propor ações AN ($a_{hl}$).
• Política de Baixo Nível (BN) ($\pi_{ll}$): Uma política neural (Rede Neural de Grafos) que recebe o estado BN atual ($s_{ll}$), a ação AN proposta ($a_{hl}$) e o objetivo ($g_{hl}$) para produzir ações contínuas BN ($a_{ll}$).

As políticas são compostas de modo que $\pi(all | s_{ll}, g_{hl}) = \sum_{a_{hl}} \pi_{ll}(all | s_{ll}, a_{hl}, g_{hl}) \cdot \pi_{hl}(a_{hl} | L(s_{ll}), g_{hl})$.

2. Aprendizado da Política de Alto Nível ($\pi_{hl}$)

A política AN é aprendida a partir de demonstrações BN através de um processo de três etapas (ilustrado na Figura 2):

1. Construção de Trajetórias AN: A função de rotulagem $L$ é aplicada às demonstrações BN para extrair trajetórias AN abstratas (sequências de estados e ações AN).
2. Regressão de Objetivos: Os autores aplicam regressão de objetivos (uma técnica de reescrita de pré-imagem) a essas trajetórias. Isso computa as condições mínimas sob as quais uma ação alcança um objetivo. Ao regredir objetivos para trás através das trajetórias de ação, o sistema extrai regras fundamentais de condição-ação.
3. Generalização Indutiva: As regras fundamentais são elevadas à lógica de primeira ordem substituindo objetos específicos por variáveis. Isso resulta em um conjunto compacto de Regras de Condição $\mapsto$ Ação com valores de prioridade baseados na proximidade do objetivo. Essas regras são interpretáveis e podem generalizar para números arbitrários de objetos.

A política AN resultante é um conjunto de regras de primeira ordem. A execução envolve encontrar a regra aplicável com o menor valor de prioridade (maior prioridade) que satisfaça as condições do estado atual e do objetivo não alcançado.

3. Aprendizado da Política de Baixo Nível ($\pi_{ll}$)

A política BN é implementada como uma Rede Neural de Grafos (GNN) com menos de 33.000 parâmetros.

• Codificação de Entrada: A GNN codifica o estado BN (estado do agente e estados dos objetos), o esquema de ação AN e os fatos de objetivo AN.
• Arquitetura: Utiliza passagem de mensagens entre nós de objetos, nós de ação e um nó global para agregar informações.
• Treinamento: A GNN é treinada via aprendizagem por imitação (clonagem de comportamento) no conjunto de dados de tuplas $\langle s_{ll}, a_{hl}, g_{hl}, a_{ll} \rangle$ derivadas das demonstrações, minimizando o Erro Quadrático Médio (MSE) entre as ações previstas e as ações verdadeiras.

4. Garantias Teóricas

O artigo estabelece a Propriedade de Refinamento Descendente Nondeterminista (NDRP), garantindo que qualquer solução para o problema AN possa ser refinada em uma solução para o problema BN. Além disso, o Teorema 1 prova que, sob condições de independência de objetivos C-limitada (onde componentes de objetivos podem ser alcançados independentemente em qualquer ordem com tamanho de política limitado), a política AN aprendida generaliza para problemas com números arbitrários de objetos e horizontes.

Contribuições Principais

1. Sistema BISON: Uma abordagem para aprender políticas bilevel $(\pi_{hl}, \pi_{ll})$ a partir de demonstrações BN emparelhadas com objetivos AN, utilizando uma teoria de domínio e função de rotulagem.
2. Aprendizado Simbólico AN: A aplicação de regressão de objetivos e generalização indutiva para aprender políticas AN compactas e expressivas. Essas políticas são representadas como regras de condição-ação de primeira ordem, permitindo operação em ambientes de mundo aberto e parcialmente observáveis e generalização para contagens arbitrárias de objetos.
3. Aprendizado Eficiente BN: A realização de políticas BN via uma GNN compacta (menos de 33 mil parâmetros) condicionada a ações AN.
4. Validação Empírica: Experimentos extensivos (21.600 episódios) em benchmarks MetaWorld estendidos demonstrando eficiência superior, generalização e capacidades de planejamento de longo horizonte em comparação com modelos Visão-Linguagem-Ação (VLA), métodos end-to-end e baselines de planejamento simbólico.

Resultados Experimentais

Os autores avaliaram o BISON contra 8 baselines (incluindo SmolVLA, PureNN, PddlNN e várias estratégias de replanejamento) em 8 ambientes com incerteza variável (exógena, endógena, incerteza de estado).

• Generalização: O BISON generalizou com sucesso para ambientes com mais objetos (até 10) e horizontes mais longos do que os vistos no treinamento (3 objetos), superando as baselines GNN end-to-end cujo desempenho degradou significativamente além de 6 objetos.
• Robustez: O BISON alcançou as taxas de sucesso médias mais altas na maioria dos ambientes, particularmente em cenários complexos onde as baselines de replanejamento lutaram ou falharam.
• Eficiência: O BISON demonstrou superioridade em eficiência de tempo e memória tanto no treinamento quanto na inferência em comparação com métodos end-to-end e de replanejamento.
• Escalabilidade: Ao ignorar a execução BN, as políticas simbólicas AN do BISON resolveram problemas de planejamento com 10.000 objetos em menos de um minuto, superando significativamente o planejador PDDL de última geração LAMA, que lutou com algumas centenas de objetos.
• Desempenho VLA: Modelos VLA pré-treinados (SmolVLA) falharam em resolver qualquer tarefa nos benchmarks, destacando a dificuldade de aplicá-los diretamente à manipulação de longo horizonte e multi-objeto sem adaptações arquitetônicas específicas.

Significado e Alegações

O artigo alega que o BISON oferece uma solução inovadora para o desafio de longa data do planejamento de longo horizonte, conectando efetivamente a lacuna entre a aprendizagem por imitação neural e o raciocínio simbólico.

• Planejamento Livre de Busca: Diferentemente dos sistemas tradicionais de planejamento bilevel que buscam planos AN sobre abstrações simbólicas antes de refiná-los, o BISON generaliza indutivamente políticas AN diretamente a partir de demonstrações, eliminando a necessidade de busca durante a execução.
• Capacidade de Mundo Aberto: A codificação de políticas como regras de condição-ação de primeira ordem facilita o planejamento em ambientes de mundo aberto e lida com observabilidade parcial, abordando limitações de planejadores puramente simbólicos.
• Eficiência e Escalabilidade: A abordagem produz políticas compactas que são computacionalmente eficientes e capazes de escalar para números massivos de objetos, uma capacidade frequentemente ausente tanto em abordagens puramente neurais quanto puramente simbólicas.

Os autores reconhecem limitações, observando que a abordagem herda a dependência da qualidade da abstração AN (seja aprendida ou fornecida) e não garante otimalidade para as políticas BN. No entanto, afirmam que o método fornece uma estrutura robusta para agentes corporificados resolverem tarefas complexas de longo horizonte com contagens variadas de objetos.