SkillWrapper: Generative Predicate Invention for Task-level Robot Planning

Resumo Técnico: SkillWrapper: Invenção Generativa de Predicados para Planejamento de Tarefas em Robôs

Declaração do Problema

Construir robôs autônomos capazes de planejamento de tarefas de longo horizonte exige a ponte entre o controle sensorial/motor de baixo nível e o raciocínio abstrato de alto nível. Enquanto humanos podem raciocinar sobre tarefas complexas (ex: cozinhar) sem modelar o controle muscular, os robôs tipicamente dependem de modelos de nível de tarefa especificados manualmente (pré-condições e efeitos) definidos por especialistas do domínio. Em cenários do mundo real, adquirir esses modelos é uma tarefa não trivial devido às complexas restrições inter-habilidades e às incorporações (embodiments) específicas do ambiente.

Abordagens existentes para aprender essas abstrações enfrentam uma dicotomia:

1. Métodos bottom-up: Oferecem garantias teóricas (correção e completude), mas frequentemente dependem de espaços de estados estruturados e restritos (ex: espaço de configuração) ou têm dificuldade em escalar a partir de entradas de nível de pixel sem modelos de fundação (foundation models).
2. Métodos impulsionados por Modelos de Fundação (FM): Aproveitam FMs para gerar predicados semanticamente significativos a partir de entradas sensoriais brutas (um processo denominado invenção generativa de predicados). No entanto, esses métodos tipicamente dependem de procedimentos heurísticos ou ad-hoc, carecendo de garantias formais sobre quais propriedades as abstrações aprendidas devem satisfazer ou como garantir que os modelos resultantes sejam corretos para o planejamento.

O desafio central abordado por este artigo é: Como podemos aprender autonomamente representações simbólicas sadias e completas de habilidades de robôs de caixa-preta a partir de observações RGB brutas, usando modelos de fundação, enquanto fornecemos garantias formais para o planejamento de tarefas?

Metodologia: SkillWrapper

Os autores propõem o SkillWrapper, um framework de aprendizado ativo que adquire autonomamente modelos simbólicos sadios e completos para habilidades de caixa-preta. O sistema opera em um domínio definido por um conjunto de habilidades centradas em objetos ($\Omega$) e aprende um modelo de transição abstrato $M = \langle P, A \rangle$, onde $P$ é um conjunto de predicados e $A$ é um conjunto de operadores.

O método itera através de três etapas primárias:

1. Coleta Ativa de Dados

Em vez de exploração aleatória, o SkillWrapper seleciona ativamente sequências de instâncias de habilidades para executar. Ele solicita a um Modelo de Fundação (FM) que gere sequências de habilidades candidatas, que são então pontuadas com base em dois eixos:

• Equilíbrio ($b$): Prioriza sequências onde a razão entre execuções bem-sucedidas e falhas é próxima de um alvo (ex: 0,5). Isso garante a coleta de exemplos positivos e negativos, o que é crítico para o aprendizado contrastivo.
• Cobertura ($c$): Prioriza sequências que maximizam a entropia de pares de habilidades consecutivas observados. Isso garante que o sistema observe dependências inter-habilidades diversas.
  O sistema seleciona o subconjunto de sequências Pareto-otimais e as executa, registrando transições $\langle s, \omega, s' \rangle$ que capturam a executabilidade e os resultados.

2. Invenção Generativa de Predicados

O SkillWrapper começa com um conjunto de predicados vazio ($P = \emptyset$). Ele inventa novos predicados apenas quando o modelo atual falha em explicar as transições observadas. A invenção é disparada por duas condições formais:

• Condição 1 (Inconsistência de Pré-condição): O modelo prevê que uma instância de habilidade terá sucesso, mas ela falha (ou vice-versa), e os predicados atuais não conseguem distinguir o estado de sucesso do estado de falha.
• Condição 2 (Inconsistência de Efeito): O modelo não consegue distinguir entre os efeitos de uma execução bem-sucedida e de uma execução falha da mesma habilidade (mesmo considerando diferentes argumentos de objetos via uma função de levantamento/lifting function).

Quando disparada, o sistema solicita a um FM (especificamente um Modelo de Visão-Linguagem) que gere um predicado candidato que distinga semanticamente os casos conflitantes. O candidato é avaliado verificando se ele melhora a capacidade do modelo de explicar o conjunto de dados (ou seja, se permite a construção de operadores que separem corretamente as transições bem-sucedidas e as falhas).

3. Aprendizado de Operadores

Usando os dados acumulados e o conjunto atual de predicados, o SkillWrapper aprende operadores (ações com pré-condições e efeitos).

• Agrupamento (Clustering): As transições são agrupadas com base em suas "mudanças abstratas levantadas" (diferenças nos estados abstratos).
• Derivação de Pré-condições: Para cada grupo, as pré-condições são derivadas como a interseção dos estados iniciais abstratos das transições naquele grupo.
• Tratamento de Tipos: Para evitar a generalização excessiva em domínios com categorias de objetos sobrepostas, o sistema atribui parâmetros de operador de forma conservadora, utilizando o nível mais baixo da hierarquia de tipos que seja consistente com os dados.

Estrutura Teórica

O artigo estabelece uma teoria formal para a invenção generativa de predicados, fornecendo as primeiras garantias prováveis para esta classe de métodos:

• Correção (Soundness): O modelo aprendido prevê corretamente os efeitos de um plano; se um planejador prevê que uma sequência alcança um estado, a execução verdadeiramente leva até lá.
• Completude (Completeness): O modelo nunca omite soluções reais; se uma solução existe no ambiente, o planejador pode encontrar um plano abstrato.
• Exatidão (Correctness): Os autores provam que o modelo aprendido pelo SkillWrapper é empiricamente correto em relação aos dados observados (Teorema 1) e converge assintoticamente para um modelo correto sob um processo $\beta$-misturado estacionário (Teorema 2).

Resultados Experimentais

Os autores avaliaram o SkillWrapper tanto em simulação quanto em robôs reais.

Simulação (Robotouille)

Em um ambiente de cozinha simulado com seis objetos e cinco habilidades, o SkillWrapper foi comparado contra:

• Operadores Especialistas: Modelos PDDL definidos manualmente.
• Predicados do Sistema: Predicados do simulador de verdade fundamental (ground-truth) (oráculo).
• ViLa: Um baseline que utiliza prompting direto de FM para seleção de ação.
• Ablações: Variantes sem heurísticas de coleta ativa de dados ou sem o algoritmo específico de invenção de predicados.

Descobertas:

• O SkillWrapper superou todos os baselines não privilegiados (incluindo ViLa e exploração aleatória).
• Em problemas "difíceis" (até 15 passos), o Skillwrapper superou o baseline de Predicados do Sistema, demonstrando que abstrações aprendidas podem ser mais eficazes do que os predicados de verdade fundamental do simulador em cenários de planejamento complexos.
• Identificou corretamente 100% das tarefas impossíveis, um requisito para a correção (soundness).

Experimentos com Robôs Reais

Experimentos foram conduzidos em um Franka Emika Panda (mesa) e em um manipulador bimanual Kuka iiwa.

• Generalização: Um modelo aprendido em ambientes de treinamento restritos (subconjuntos de objetos) generalizou-se com sucesso para um ambiente de teste contendo todos os objetos, resolvendo tarefas inéditas de longo horizonte.
• Eficiência de Dados: Em um cenário bimanual com becos sem saída (dead ends), o SkillWrapper melhorou o desempenho ao longo das iterações, superando todos os baselines dentro de cinco iterações. O sistema demonstrou que a coleta de dados ativa guiada é crucial para aprender em ambientes com ações irreversíveis.

Significância e Alegações

O artigo afirma ser o primeiro trabalho sobre invenção generativa de predicados que garante provadamente a correção (soundness) e a completude para o planejamento de nível de tarefa.

Principais contribuições incluem:

1. Teoria Formal: Uma caracterização das condições sob as quais um modelo aprendido é provadamente correto e completo, abordando a falta de rigor teórico em abordagens anteriores baseadas em FM.
2. Sistema SkillWrapper: Um sistema principista que utiliza modelos de fundação para coletar dados interativamente, inventar predicados e aprender representações simbólicas interpretáveis sem especificação manual.
3. Validação Empírica: Evidência extensiva mostrando que essas representações aprendidas permitem que robôs componham habilidades de caixa-preta para resolver tarefas inéditas de longo horizonte no mundo real usando planejadores clássicos prontos para uso.

Os autores concluem que o SkillWrapper oferece um caminho promissor para o aprendizado escalável de modelos simbólicos, permitindo que robôs raciocinem sobre objetivos de alto nível sem exigir abstrações projetadas à mão ou conhecimento privilegiado da dinâmica do ambiente. O trabalho reconhece limitações, como a suposição de dinâmicas determinísticas e a incapacidade de controlar diretamente as saídas dos FMs, sugerindo trabalhos futuros em contextos probabilísticos e tratamento de ruído.