Hybrid Diffusion for Simultaneous Symbolic and Continuous Planning

1. Formulação do Problema

O artigo aborda o desafio do planejamento robótico de longo horizonte usando aprendizado por imitação. Embora os Modelos de Difusão tenham se tornado o estado da arte para modelagem de trajetórias robóticas contínuas (por exemplo, Diffuser), eles enfrentam limitações significativas quando aplicados a tarefas complexas de longo horizonte:

• Confusão de Modos: Modelos de difusão puros lutam para manter a tomada de decisão coerente ao longo de horizontes temporais longos, frequentemente confundindo diferentes modos de comportamento (por exemplo, falhando em classificar blocos em uma ordem específica, apesar de ver demonstrações bem-sucedidas).
• Falta de Transparência: Planejadores contínuos operam como caixas pretas, tornando difícil orientar ou intervir no processo de planejamento em um nível elevado.
• Ineficiência: Métodos existentes de Planejamento de Tarefa e Movimento (TAMP) são eficazes, mas exigem extensa engenharia manual (definição de predicados simbólicos, esquemas de ação e modelos de transição), limitando sua adaptabilidade a novas tarefas apenas através do aprendizado a partir de demonstrações.

O problema central é como combinar a flexibilidade do planejamento contínuo baseado em difusão com o rigor estrutural do planejamento simbólico para alcançar um comportamento de longo horizonte robusto, interpretável e controlável, sem uma sobrecarga pesada de engenharia.

2. Metodologia: Planejador de Difusão Híbrida (HDP)

Os autores propõem o Planejador de Difusão Híbrida (HDP), um framework que gera simultaneamente uma trajetória de ação contínua ($A_c$) e um plano simbólico discreto ($A_d$) usando um processo de difusão acoplado.

Arquitetura Central

• Processos de Difusão Duplos: O HDP emprega dois processos de difusão distintos rodando em paralelo, mas acoplados dentro de uma única rede neural:
  1. Difusão Contínua (DDPM): Modela a trajetória contínua do robô (posições, velocidades, estados da garra) usando Modelos Probabilísticos de Difusão com Remoção de Ruído padrão.
  2. Difusão Discreta (Difusão Mascarada - MD4): Modela o plano simbólico (por exemplo, "Pegar Bloco A", "Colocar na Fenda 1") usando difusão mascarada, onde os tokens são progressivamente desmascarados a partir de um estado totalmente mascarado.
• Modelagem Conjunta: Uma rede de remoção de ruído unificada baseada em Transformer ($D_\theta$) recebe como entrada a trajetória contínua ruidosa, a sequência simbólica parcialmente mascarada e a observação do ambiente ($O$). Ela prevê o ruído para a parte contínua e os logits para a parte discreta simultaneamente.
• Objetivo de Treinamento: O modelo é treinado em uma soma ponderada de perdas:
  • Erro Quadrático Médio (MSE) para a tarefa de remoção de ruído contínua.
  • Perda de Entropia Cruzada para a previsão de tokens mascarados discretos.
  • Níveis de Corrupção Independentes: Crucialmente, durante o treinamento, os níveis de ruído ($k_c$ para contínuo, $k_d$ para discreto) são amostrados independentemente. Isso força o modelo a aprender a remover ruído de uma modalidade usando informações da outra (por exemplo, usar um plano simbólico limpo para guiar a remoção de ruído de uma trajetória ruidosa, e vice-versa).

Inferência e Condicionamento

• Amostragem Conjunta: O modelo gera ambos os planos simultaneamente, removendo ruído iterativamente da trajetória contínua e desmascarando os tokens simbólicos.
• Condicionamento Flexível (Inpainting): Como o plano simbólico é modelado via difusão mascarada, o HDP suporta amostragem condicional. Os usuários podem fixar um plano simbólico parcial ou completo (por exemplo, "O Bloco A deve ser colocado primeiro") e fazer com que o modelo gere uma trajetória contínua que adira estritamente a essas restrições. Isso é alcançado definindo o nível de ruído dos tokens condicionados como zero durante o processo de difusão reversa.

3. Contribuições Principais

1. Novo Benchmark de Aprendizado por Imitação: Os autores introduzem um novo conjunto de tarefas focado em tomada de decisão de longo horizonte e multimodal (classificação, arranjo e uso de ferramentas), onde o agente deve inferir a sequência de subtarefas, em vez de receber uma sequência pré-definida.
2. Planejador de Difusão Híbrida (HDP): Uma arquitetura inovadora que acopla processos de difusão discretos (mascarados) e contínuos (DDPM). Isso permite que o modelo aprenda a correspondência entre lógica simbólica de alto nível e controle motor de baixo nível diretamente a partir dos dados.
3. Controlabilidade Flexível: O método permite planejamento condicional de alta granularidade. Diferentemente do condicionamento por linguagem tradicional que exige frases completas, o HDP permite que os usuários "pintem" (inpaint) partes específicas do plano simbólico, garantindo que a trajetória gerada respeite essas restrições.

4. Resultados Experimentais

Os autores avaliaram o HDP contra baselines incluindo Diffuser padrão, Diffuser Hierárquico e variantes que simplesmente concatenam dados simbólicos ou usam modelos de difusão separados.

• Desempenho em Simulação:
  • Taxa de Sucesso: O HDP superou significativamente todas as baselines. Na tarefa "Classificação X-Arm", o HDP alcançou 86% de sucesso, comparado a 46% para o Diffuser padrão.
  • Escalabilidade: À medida que a complexidade da tarefa aumentava (por exemplo, classificar mais blocos), o desempenho das baselines degradava monotonicamente. O HDP permaneceu robusto, mostrando apenas uma queda marginal no desempenho.
  • Eficiência de Treinamento: O HDP convergiu significativamente mais rápido que o Diffuser padrão.
• Adesão Condicional:
  • Quando condicionado a colocar um bloco específico por último, o HDP aderiu à restrição 93% das vezes. As baselines (Diffuser Conjunto, Diffuser Separado) aderiram apenas ~32%, demonstrando que a concatenação ingênua falha em impor restrições simbólicas.
• Implantação no Mundo Real:
  • Testado em um robô Franka Emika com observações baseadas em imagem. O HDP manteve altas taxas de sucesso (70% para classificação, 60% para uso de ferramentas), enquanto as baselines caíram significativamente (por exemplo, o Diffuser caiu para 20% na classificação).
  • Modos de Falha: As baselines frequentemente falharam devido a "planos inválidos" (erros lógicos na sequência), enquanto as falhas do HDP foram primariamente devido a "movimento impreciso" (erros cinemáticos), indicando que a lógica de alto nível era sólida.

5. Significado e Impacto

• Ponte entre Lacunas: O HDP conecta com sucesso a lacuna entre a flexibilidade de planejadores contínuos baseados em aprendizado e as garantias estruturais do planejamento simbólico, sem exigir a engenharia pesada dos sistemas TAMP tradicionais.
• Interpretabilidade: Ao gerar um plano simbólico junto com a trajetória, a intenção do robô torna-se transparente, permitindo depuração mais fácil e supervisão humana.
• Controlabilidade: A capacidade de condicionar planos simbólicos parciais abre novas vias para interação humano-robô, permitindo que operadores guiem tarefas complexas especificando restrições de alto nível em vez de ações de baixo nível.
• Escalabilidade: O método demonstra que o aprendizado a partir de demonstrações pode escalar para tarefas complexas de longo horizonte se a arquitetura do modelo levar explicitamente em conta a estrutura de tomada de decisão discreta inerente a tais tarefas.

Em conclusão, o artigo estabelece que a geração simultânea de planos simbólicos e contínuos via difusão híbrida é uma abordagem superior para o planejamento robótico de longo horizonte, oferecendo robustez, interpretabilidade e controlabilidade que modelos de difusão contínua puros não possuem.