Resumo Técnico: DiRecT – Planejamento Baseado em Difusão Seguro via Denoising de Horizonte Recedente

Declaração do Problema

Modelos de difusão emergiram como estruturas poderosas para planejamento e controle ao aprender distribuições multimodais sobre ações e trajetórias. No entanto, o uso desses modelos em tarefas críticas de segurança enfrenta uma barreira significativa: a imposição confiável de segurança durante a inferência. As abordagens existentes para amostragem de difusão com restrições tipicamente impõem a viabilidade projetando cada iteração intermediária ruidosa de denoising no conjunto viável. Isso cria um descompasso fundamental: as restrições de planejamento são definidas na trajetória limpa final, mas as amostras intermediárias são inerentemente ruidosas e não precisam ser viáveis. Impor restrições ao longo do processo de amostragem sobreconstrange a dinâmica reversa aprendida, distorcendo o processo generativo e degradando substancialmente a qualidade da amostra. Além disso, métodos baseados em projeção frequentemente carecem de um mecanismo unificado para lidar com restrições rígidas (hard constraints) junto com recompensas ou custos suaves (soft rewards/costs) adicionais.

Metodologia: DiRecT

Para abordar essas limitações, os autores introduzem o DiRecT (Diffusion-based planning via Receding-horizon denoising with Terminal constraints), um algoritmo livre de treinamento para amostragem com restrições.

Formulação Central

O DiRecT reformula a imposição de restrições em tempo de inferência através da lente do Controle Ótimo Estocástico (SOC). O processo de difusão reversa aprendido serve como a dinâmica estocástica nominal, enquanto os controles de entrada direcionam o amostrador para a viabilidade da trajetória limpa final. Crucialmente, as restrições são impostas apenas na amostra limpa terminal, evitando restrições desnecessárias em iterados intermediários ruidosos. O objetivo é encontrar um controle de deriva ótimo $u^*$ que minimize uma função de custo (equilibrando o custo terminal e a energia de controle) sujeito à restrição de que o estado final $X_0$ esteja dentro de um conjunto viável $S$.

Derivação Algorítmica

Resolver o problema completo de SOC com restrição terminal é computacionalmente intratável devido à natureza de alta dimensão e não convexa das dinâmicas neurais e da expectativa sobre todos os caminhos estocásticos. O DiRecT deriva um substituto escalável e tratável usando duas aproximações principais inspiradas em Controle Preditivo por Modelo (MPC):

1. Substituto de Horizonte Recedente: Em vez de resolver um problema de horizonte total, o DiRecT divide o problema em uma sequência de subproblemas de um único passo. Em cada passo de denoising $i$, ele prevê a trajetória limpa final implicada pela iteração ruidosa atual usando a fórmula de Tweedie ($\hat{x}^\theta_0(X_i, t_i)$).
2. Otimização no Domínio dos Dados: Para evitar resolver repetidamente problemas de otimização restrita através do mapa de denoising neural, o algoritmo aproxima a inversão da fórmula de Tweedie via um argumento de ponto fixo. Isso permite que a otimização seja movida do espaço latente para o domínio dos dados. Especificamente, o deslocamento latente é aproximado por uma diferença escalonada entre amostras limpas previstas.

O algoritmo resultante (Algoritmo 1) opera da seguinte forma:

1. Amostra um vetor de ruído a priori.
2. Itera para trás de $t_N$ até $t_0$:
   • Computa uma proposta de denoising não controlada.
   • Estima a amostra limpa correspondente usando o modelo de score.
   • Resolve um problema de otimização restrita no domínio dos dados para encontrar uma amostra limpa refinada que satisfaça as restrições rígidas $S$ e minimize o custo $C$, mantendo-se próxima à previsão não controlada.
   • Traduz este refinamento de volta em uma atualização controlada da iteração ruidosa atual.
3. Retorna a amostra viável final.

Este design separa claramente o denoising estocástico da satisfação de restrições, direcionando progressivamente as amostras para trajetórias finais viáveis sem distorcer as dinâmicas de difusão aprendidas.

Principais Contribuições

1. Identificação de uma Limitação Chave: O artigo identifica que impor a viabilidade em iterados de denoising intermediários ruidosos sobreconstrange a dinâmica de amostragem e degrada a qualidade da amostra. Propõe formular o planejamento de difusão com restrições como um problema de SOC com restrição terminal.
2. Algoritmo DiRecT: Um amostrador de difusão com restrições livre de treinamento que reduz o intratável problema de SOC com restrições a uma sequência de subproblemas tratáveis de otimização de trajetória limpa. Ele direciona as amostras para a satisfação de restrições sem distorcer o processo de denoising aprendido.
3. Flexibilidade: O método suporta otimizadores prontos para uso (off-the-shelf) e específicos de domínio, lida com restrições de igualdade e desigualdade, incorpora priors de dinâmicas específicas do ambiente e otimiza recompensas ou custos suaves adicionais em tempo de inferência.
4. Validação Empírica: Experimentos extensos demonstram que o DiRecT melhora substancialmente a segurança de implantação e o desempenho da tarefa em relação às linhas de base de planejamento baseado em difusão existentes.

Resultados Experimentais

Os autores avaliaram o DiRecT em quatro benchmarks diversos de planejamento robótico:

• Navegação em Labirinto Seguro (Maze2D): Tanto nas variantes de labirinto "amplo" quanto "estreito" com obstáculos em tempo de teste, o DiRecção alcançou uma Taxa de Segurança (SR) de 0.970 e 0.940 respectivamente, com violações quase nulas (0.45 e 0.23). Em contraste, baselines como Diffuser, Gradient Guidance e Projected Diffusion atingiram SRs variando de 0.00 a 0.78, com contagens de violação significativamente maiores. O DiRecT manteve pontuações de tarefa fortes enquanto garantia a segurança.
• Manipulação Robótica Segura (D3IL): Em uma tarefa que exige que um braço robótico alcance um alvo enquanto evita pilares e restrições adicionais, o DiRecT alcançou 100% de Taxa de Segurança e 100% de Sucesso na Tarefa, superando todas as linhas de base que mostraram quedas significativas em segurança (ex: Gradient Guidance com 0.88 SR).
• Planejamento de Movimento Multi-Robô (MRMP): Testado em ambientes com até 20 agentes, o DiRecT superou consistentemente as linhas de base (incluindo MMD-CBS e Projected Coupled Diffusion) em Segurança de Restrição e Taxa de Sucesso, particularmente conforme o número de agentes aumentava. Ele manteve alta adesão aos padrões de movimento esperados enquanto satisfazia restrições complexas de colisão e velocidade.
• Manipulação Rica em Contato (PushT): Em uma tarefa de geração acoplada envolvendo trajetórias diversas e não interceptantes, variantes do DiRecT (DiRecT-LB e DiRecT-DPP) alcançaram 100% de Satisfação de Restrição enquanto melhoravam a diversidade (medida por DTW e DFD) e as pontuações de conclusão de tarefa em comparação com outros amostradores com restrições.

Significância e Alegações

O artigo afirma que o DiRecT oferece uma abordagem fundamentada para o planejamento baseado em difusão seguro ao desacoplar o processo de denoising estocástico da satisfação de restrições. Ao impor restrições apenas na amostra limpa final, ele evita o sobreconstrangimento das dinâmicas intermediárias que aflige os métodos de projeção existentes.

Os autores enfatizam que o DiRecT é livre de treinamento, tornando-o amplamente aplicável a modelos de difusão pré-treinados existentes sem a necessidade de retreinamento ou ajuste fino. Embora essa flexibilidade introduza computação adicional em tempo de inferência (resolvendo subproblemas de otimização), o método fornece garantias mais fortes para o planejamento crítico de segurança, garantindo a satisfação de restrições rígidas enquanto mantém a flexibilidade para incorporar objetivos suaves e dinâmicas específicas de domínio. O trabalho destaca o potencial para implantação confiável de modelos de difusão em tarefas críticas de segurança onde mesmo uma única violação de restrição pode levar a falhas catastróficas.