Resumo Técnico: Refinamento da Difusão Composicional para Planejamento de Longo Horizonte Confiável

1. Declaração do Problema

Os modelos probabilísticos de difusão emergiram como um framework poderoso para planejamento de trajetórias, aprendendo a amostrar diretamente da distribuição de planos viáveis. No entanto, sua eficácia é inerentemente limitada pelo horizonte dos dados de treinamento disponíveis. Coletar demonstrações de longo horizonte cobrindo todas as combinações de início a objetivo é proibitivamente caro. Para abordar isso, abordagens composicionais decompõem trajetórias longas em segmentos de curto horizonte sobrepostos, modelados por modelos de difusão de curto horizonte únicos, e compõem suas funções de pontuação no momento da inferência.

O modo de falha primário dos métodos composicionais existentes (por exemplo, GSC, CompDiffuser) é a média de modos. Quando as distribuições de planos locais são multimodais (por exemplo, um robô pode passar por uma junção de corredor à esquerda ou à direita), segmentos adjacentes podem comprometer-se independentemente com modos incompatíveis. A estratégia de composição padrão, que média as previsões de ruído (pontuações) de segmentos adjacentes em regiões de sobreposição, mistura esses modos incompatíveis. Isso resulta em trajetórias compostas que residem em regiões de baixa densidade da distribuição verdadeira — planos que não são nem localmente viáveis nem globalmente coerentes. Embora métodos de busca baseados em população (por exemplo, CDGS) tentem mitigar isso por meio de poda e reamostragem, eles incorrem em sobrecarga substancial no tempo de inferência e dependem da seleção de candidatos post-hoc em vez de orientar o próprio processo de remoção de ruído.

2. Metodologia: Refinamento da Difusão Composicional (RCD)

Os autores propõem o Refinamento da Difusão Composicional (RCD), um método de orientação sem treinamento que direciona a amostragem composicional para planos de alta densidade e globalmente coerentes, sem exigir treinamento adicional ou alterações arquitetônicas no modelo de difusão local. O RCD opera combinando dois sinais de orientação derivados exclusivamente dos modelos locais pré-treinados:

A. Erro de Auto-Reconstrução como Proxy de Densidade

O RCD aproveita a observação de que amostras em regiões de alta densidade da variedade de dados são fielmente reconstruídas através de um ciclo de ruído-remoção de ruído, enquanto amostras fora da variedade (incluindo artefatos de média de modos) exibem grandes erros de reconstrução.

• Mecanismo: Dada uma trajetória limpa candidata $\hat{\tau}_0$ (obtida via estimativa de Tweedie), o método perturba-a com ruído em um passo de tempo de sonda $s$ e a reconstrói usando os modelos de difusão locais.
• Base Teórica: O erro de auto-reconstrução ($E_{recon}$) é mostrado como um proxy diferenciável para o logaritmo da densidade local. Formalmente, uma soma ponderada dos erros de reconstrução sobre os passos de tempo de sonda fornece um limite superior para o negativo do Limite Inferior da Evidência (ELBO) da distribuição composta. Minimizar esse erro direciona a amostragem para regiões de alta densidade.

B. Termo de Consistência de Sobreposição

Enquanto o erro de reconstrução captura a fidelidade global, ele pode perder inconsistências locais nas fronteiras dos segmentos.

• Mecanismo: O RCD introduz um termo de consistência de sobreposição ($E_{ov}$) que penaliza o desacordo de pontuação entre segmentos adjacentes em suas variáveis de fronteira compartilhadas.
• Base Teórica: No framework de aproximação de Bethe usado para difusão composicional, a consistência marginal exige que segmentos adjacentes produzam pontuações idênticas em suas regiões de sobreposição. $E_{ov}$ mede a diferença quadrada entre as estimativas de Tweedie de segmentos adjacentes restritas à sobreposição. Minimizar esse termo impõe a consistência marginal necessária para um plano global coerente.

C. O Objetivo de Orientação

O objetivo de orientação combinado é definido como:
$$E_{RCD}(\hat{\tau}_0; s) := E_{recon}(\hat{\tau}_0; s) + \lambda_{ov} E_{ov}(\hat{y}_{1:M})$$
onde $\lambda_{ov}$ pondera a consistência de sobreposição. Durante o processo de difusão reversa, o gradiente desse objetivo em relação à amostra ruidosa é computado e aplicado como uma correção ao passo reverso padrão. Isso direciona a amostragem para uma distribuição inclinada que se concentra em planos de alta densidade e globalmente coerentes.

3. Contribuições Principais

1. Análise Teórica: O artigo estabelece uma conexão formal entre o erro de auto-reconstrução de uma trajetória composta e o Limite Inferior da Evidência (ELBO) da difusão, fornecendo uma justificativa principiante para o uso do erro de reconstrução como um proxy de densidade. Também demonstra que o termo de consistência de sobreposição mede o desacordo de pontuação, uma violação direta da consistência marginal de Bethe.
2. Proposta de Algoritmo: Os autores introduzem o RCD, um método de orientação plug-and-play e sem treinamento. Ele utiliza apenas o modelo de difusão local pré-treinado para gerar um sinal combinado (erro de reconstrução + consistência de sobreposição) que orienta a amostragem composicional, mitigando efetivamente a média de modos sem a sobrecarga da busca baseada em população.
3. Validação Empírica: O RCD é avaliado no benchmark OGBench, cobrindo diversas tarefas de longo horizonte, incluindo locomoção (PointMaze, AntMaze, HumanoidMaze), manipulação de objetos (Cube, AntSoccer) e observações baseadas em pixels (Visual AntMaze).

4. Resultados Experimentais

• Viabilidade do Plano: Em análises visuais do ambiente AntMaze-Giant-Stitch, o RCD supera significativamente o CompDiffuser e o CDGS na produção de planos fisicamente viáveis (evitando penetração em paredes). Enquanto o CompDiffuser sofre de média de modos, levando a taxas de validade tão baixas quanto 15%, o RCD mantém taxas de validade acima de 85-100% em todas as tarefas.
• Taxas de Sucesso: O RCD consistentemente alcança as maiores taxas de sucesso em todas as tarefas do OGBench. Notavelmente, nas tarefas de labirinto "Giant" mais desafiadoras, onde o horizonte de planejamento excede amplamente os dados de treinamento, o RCD alcança sucesso quase perfeito (por exemplo, 100% em PointMaze-Giant, 89% em AntMaze-Giant), superando tanto os métodos composicionais padrão quanto alternativas baseadas em busca como o CDGS.
• Eficiência: O RCD é significativamente mais rápido do que as bases de comparação baseadas em busca. Ele executa uma ordem de magnitude mais rápido que o CDGS (que requer reamostragem e poda repetidas) e é mais rápido que a condição bidirecional autoregressiva do CompDiffuser, pois o RCD avalia todos os segmentos em uma única chamada em lote por passo de remoção de ruído.
• Estudos de Ablação: Experimentos confirmam que tanto o erro de auto-reconstrução quanto os termos de consistência de sobreposição são complementares. O erro de auto-reconstrução sozinho proporciona melhoria significativa, enquanto a adição de consistência de sobreposição aprimora ainda mais o desempenho, particularmente em ambientes complexos como AntMaze-Giant.

5. Significado e Alegações

O artigo alega que o RCD aborda o modo de falha dominante do planejamento de difusão composicional — a média de modos — refinando diretamente o processo de remoção de ruído em vez de filtrar candidatos post-hoc. Ao aproveitar o sinal de densidade intrínseco do modelo pré-treinado (via auto-reconstrução) e impor consistência de fronteira, o RCD permite planejamento de longo horizonte confiável sem dados de treinamento adicionais ou retreinamento do modelo.

Os autores posicionam o RCD como um componente universal e plug-and-play para modelos de difusão. O método é particularmente significativo por sua capacidade de manter altas taxas de sucesso e viabilidade física em cenários onde o horizonte de planejamento é arbitrariamente longo e as distribuições locais são multimodais, tudo isso mantendo eficiência computacional superior aos métodos de busca baseados em população. O trabalho sugere que refinar a trajetória de amostragem via sinais intrínsecos do modelo é uma estratégia mais eficaz para planejamento composicional do que depender de busca externa ou pós-processamento.