Resumo Técnico: Aprender Predicados e Ações Conjuntamente Habilita Composição de Habilidades Zero-Shot

1. Definição do Problema

A Aprendizagem por Demonstração (LfD) permitiu que robôs adquirissem comportamentos complexos, no entanto, políticas visuomotoras generativas existentes frequentemente falham em generalizar para novas composições de habilidades conhecidas sem retreinamento. Abordagens atuais tipicamente modelam distribuições sobre trajetórias de ação apenas. Embora eficazes para capturar comportamento multimodal, esses modelos carecem da capacidade de raciocinar sobre os resultados simbólicos (mudanças de estado) induzidos por ações. Essa limitação cria uma lacuna em tarefas de longo horizonte, onde o deslocamento de distribuição se compõe e o espaço de variações de tarefa cresce combinatorialmente.

Trabalhos anteriores que tentaram preencher essa lacuna frequentemente desacoplam componentes: treinando um modelo para gerar ações e um modelo separado para classificar predicados a partir de observações. Essa separação ignora o acoplamento estreito entre ações de manipulação e seus efeitos simbólicos. Consequentemente, inconsistências no tempo de inferência podem surgir onde o estado simbólico previsto não se alinha com o modo de ação real, dificultando a composição baseada em planejamento robusto.

2. Metodologia: Habilidades Predicado-Ação (PACTS)

Os autores propõem Habilidades Predicado-Ação (PACTS), uma classe de políticas visuomotoras em malha fechada que modelam habilidades como um processo generativo conjunto sobre trajetórias de ação ($x$) e trajetórias de crença de predicado ($z$).

Formulação Central

Em vez de aprender $p(x|o)$ e $p(z|o)$ separadamente, o PACTS aprende uma distribuição acoplada:
$$(x, z) \sim p_\theta(x, z | o)$$
onde:

• $x$ é a trajetória de ação sobre um horizonte $H$.
• $z$ é uma trajetória de crença de predicado, representando um rastro compacto de valores de verdade suaves (pontuações de confiança em $[0, 1]$) para um conjunto de predicados $J$ ao longo do tempo.
• $o$ é a observação atual.

Ao amostrar dessa distribuição conjunta, o modelo produz pares coerentes onde o compromisso com um modo de ação específico compromete inherentemente o rastro simbólico correspondente.

Implementação Arquitetônica

• Variável Conjunta: O modelo define uma variável de trajetória conjunta $y \triangleq [x | z]$ e aprende um único modelo generativo condicional $p_\theta(y | o)$.
• Objetivos: O framework suporta tanto Modelagem Probabilística de Difusão com Remoção de Ruído (DDPM) quanto Correspondência de Fluxo Condicional (CFM).
  • DDPM: Treina uma rede de previsão de ruído $\epsilon_\theta$ para remover ruído da variável conjunta $y$.
  • CFM: Treina um campo vetorial $v_\theta$ para transportar ruído para dados ao longo de um caminho de transporte ótimo.
• Backbones: O gerador de trajetória pode ser instanciado com uma UNet temporal (convoluções 1D) ou um Transformer (autoatenção sobre passos de tempo).
• Execução: O PACTS opera de maneira de horizonte recuante. Em cada ciclo de controle, condiciona-se na observação atual, amostra um rollout conjunto $(x, z)$, executa um prefixo da ação e re-amostra.

Composição Baseada em Planejamento

A trajetória de crença de predicado gerada $z$ serve como uma interface simbólica online para planejamento.

1. Estimativa de Estado: Os valores de crença contínuos em $z$ são limiares (ex: $>0.5$) para produzir estados de predicado discretos $\hat{p}_t$.
2. Loop de Planejamento: Um planejador PDDL pronto para uso utiliza esses estados previstos para:
   • Verificar pré-condições e efeitos.
   • Sequenciar habilidades para alcançar objetivos.
   • Disparar replanejamento se os efeitos previstos de uma habilidade forem violados (ex: devido a perturbações ambientais).
     Isso habilita composição zero-shot, permitindo que robôs sequenciem habilidades aprendidas para alcançar objetivos novos sem retreinamento.

Ferramentas de Dados

Para facilitar a implantação no mundo real, os autores introduzem um kit de ferramentas de segmentação e rotulagem de habilidades. Esta ferramenta converte conjuntos de dados de demonstração monolíticos (ex: formato LeRobot) em conjuntos de dados centrados em habilidades através de:

• Anotação de quadros-chave esparsos com predicados fundamentados.
• Interpolação destes em rótulos densos por passo de tempo.
• Segmentação de episódios em trajetórias contíguas por habilidade com base em configurações de predicado que alcançam o objetivo.

3. Contribuições Principais

O artigo faz três contribuições primárias:

1. Formulação Generativa Conjunta: Um modelo de habilidade que trata trajetórias de ação e rastros de predicado como um processo generativo acoplado, produzindo rollouts coerentes de ação-resultado dentro de um único modelo.
2. Composição Baseada em Planejamento: Um método para sequenciar e monitorar habilidades usando rastros de crença de predicado como uma interface online, habilitando composição zero-shot com planejadores prontos para uso.
3. Kit de Ferramentas de Código Aberto: Um kit de ferramentas de segmentação e rotulagem que converte demonstrações monolíticas em conjuntos de dados adequados para aprendizado conjunto $(x, z)$.

4. Resultados Experimentais

Os autores avaliaram o PACTS em um benchmark composicional 2D (PushBarrier), duas tarefas 3D do RoboMimic (Cozinha e Preparação de Café) e uma tarefa real de empacotamento de cubos.

Desempenho de Política Única

• Qualidade da Ação: No ambiente 2D PushBarrier, o PACTS alcançou recompensas de tarefa perfeitas ou quase perfeitas (Recompensa Máxima $\approx 1.0$) através de vários backbones (UNet/Transformer) e objetivos (DDPM/CFM), superando ou igualando baselines apenas de ação. Em tarefas 3D, o PACTS permaneceu competitivo com políticas apenas de ação, demonstrando que adicionar modelagem de resultado não degrada o desempenho de controle.
• Previsão de Predicados: O PACTS superou consistentemente as baselines na classificação de predicados (F1, Recall, Precisão, Acurácia). Notavelmente, superou uma baseline multi-tarefa com um codificador compartilhado, mas cabeças separadas, sugerindo que a amostragem conjunta fornece um viés indutivo mais forte do que o simples compartilhamento de parâmetros.

Coerência e Composição

• Coerência Predicado-Ação: Experimentos mostraram que os rollouts de crença previstos do PACTS corresponderam estreitamente aos resultados reais realizados ao executar as ações geradas (baixas pontuações de Cross-Brier e Cross-NLL), confirmando que o rastro simbólico é dependente da ação e não um prior.
• Composição Zero-Shot: Em simulação e cenários do mundo real, o sistema compôs com sucesso sub-habilidades aprendidas para alcançar objetivos novos (ex: empacotar apenas cubos de cores específicas) que não foram demonstrados de ponta a ponta.
• Recuperação Adversarial: O sistema demonstrou a capacidade de detectar quando os efeitos de uma habilidade foram violados (ex: uma porta fechando durante a execução) via a interface de predicado, disparando replanejamento para recuperar e completar a tarefa.

5. Significado e Alegações

O artigo argumenta que a limitação fundamental no aprendizado de habilidades atual é o desacoplamento de ações de seus resultados simbólicos. Ao modelar habilidades como rollouts conjuntos de ação-resultado, o PACTS fornece uma interface "alinhada ao planejador" que é naturalmente consistente com o comportamento da política.

Os autores afirmam que essa abordagem habilita:

• Generalização Robusta: A capacidade de sequenciar habilidades para composições de tarefa não vistas sem retreinamento.
• Monitoramento Confiável: Uma interface simbólica online que permite aos planejadores verificar o progresso da execução e detectar falhas.
• Viés Indutivo: Aprender a distribuição acoplada encoraja a política a representar a relação específica entre modos de ação e transições simbólicas, melhorando tanto o controle quanto a previsão.

O artigo conclui modestamente, reconhecendo que o desempenho depende da qualidade do conjunto de predicados e que a abordagem atual assume um domínio simbólico definido manualmente. No entanto, postula que a modelagem conjunta de ações e resultados é um passo necessário em direção a habilidades robóticas escaláveis, confiáveis e composíveis.