Adaptive Linear Path Model-Based Diffusion

Resumo Técnico: Difusão Baseada em Modelo de Caminho Linear Adaptativo

Definição do Problema
A integração de modelos de difusão com controle baseado em modelo tem mostrado promessa na resolução de problemas complexos de otimização de trajetória envolvendo dinâmicas não lineares e restrições não convexas. No entanto, o desempenho das abordagens existentes de Difusão Baseada em Modelo (MBD) é altamente sensível ao design dos parâmetros de agendamento de ruído. Nos agendamentos padrão de preservação de variância (VP), parâmetros como os limites de ruído e o número total de passos de difusão estão intrinsecamente acoplados. Esse acoplamento torna difícil isolar o efeito de parâmetros individuais no equilíbrio entre exploração e refinamento, levando frequentemente a escolhas excessivamente conservadoras ou exigindo um ajuste extensivo de tentativa e erro. Além disso, os parâmetros ideais frequentemente variam dependendo do estado do sistema e da complexidade da tarefa, mas as estruturas tradicionais de MBD utilizam agendamentos fixos que não conseguem se adaptar a essas condições mutáveis.

Metodologia
Os autores propõem uma estrutura de dois estágios para abordar essas limitações: Difusão Baseada em Modelo de Caminho Linear (LP-MBD) e LP-MBD Adaptativa (ALP-MBD).

1. Difusão Baseada em Modelo de Caminho Linear (LP-MBD):
   O LP-MBD substitui o agendamento de ruído de preservação de variância padrão por um caminho de probabilidade linear inspirado em Flow Matching. Em vez da interpolação complexa usada no VP-MBD, o LP-MBD define uma interpolação linear entre uma trajetória limpa $Y^{(0)}$ e um ruído Gaussiano padrão $\epsilon$:
   $$Y_t = (1 - t)Y^{(0)} + t\epsilon, \quad t \in [0, 1]$$
   Esta formulação oferece uma parametrização geometricamente interpretável e desacoplada. Ao contrário do VP-MBD, que requer o ajuste de três parâmetros acoplados ($\beta_0, \beta_1, T$), o LP-MBD baseia-se em apenas dois parâmetros independentes: a escala máxima de ruído ($\sigma_{max}$) e o número de passos de difusão ($T$). A escala máxima de ruído é determinada pela faixa admissível de entradas de controle, proporcionando uma maneira direta e interpretável de definir limites de exploração. Para garantir a eficiência, o agendamento é truncado em um valor máximo $t_{max} < 1$ para evitar que a variância da proposta Gaussiana divirja.

2. LP-MBD Adaptativa (ALP-MBD):
   Baseando-se na natureza desacoplada do LP-MBD, os autores introduzem um agendador adaptativo que utiliza Aprendizado por Reforço (RL) para ajustar dinamicamente os passos de difusão ($T$) e os níveis de ruído ($\sigma_{max}$) com base no estado do ambiente.

• Formulação: O agendador adaptativo é tratado como uma política $\pi_\phi$ dentro de um Processo de Decisão de Markov (MDP). O espaço de estados inclui variáveis ambientais (ex: distâncias de obstáculos, erros de trajetória) e o espaço de ações consiste nos parâmetros de agendamento $(T, \sigma_{max})$.
• Treinamento: O sistema é treinado usando Otimização de Política Próxima (PPO). A função de recompensa combina o desempenho da tarefa com uma penalidade para grandes passos de difusão para incentivar a eficiência computacional.
• Mecanismo: Em cenários complexos (ex: desvio de obstáculos), o agente aprende a aumentar $T$ e $\sigma_{max}$ para ampliar a exploração e refinar soluções. Em condições simples ou bem estruturadas, ele reduz esses parâmetros para acelerar a amostragem sem sacrificar a qualidade da solução.

Principais Contribuições

1. LP-MBD: A introdução de um agendador de caminho linear inspirado em flow-matching que fornece uma parametrização geometricamente interpretável e desacoplada. Isso reduz significativamente o fardo de ajuste de hiperparâmetros em comparação com agendamentos de preservação de variância.
2. ALP-MBD: O desenvolvimento de uma extensão adaptativa que utiliza aprendizado por reforço para otimizar os parâmetros de agendamento online. Isso permite que o sistema equilibre robustez e eficiência ao se ajustar à complexidade da tarefa e às condições ambientais.
3. Avaliação Abrangente: Uma validação rigorosa de ambos os métodos através de estudos numéricos, benchmarks Brax (incluindo tarefas de locomoção como Hopper e HalfCheetah) e uma tarefa de rastreamento de trajetória de robô móvel.

Resultos

• Estudos Numéricos: Em tarefas de otimização 1D e 2D, o LP-MBD demonstrou estabilidade de convergência superior ao VP-MBD, particularmente quando os passos de difusão eram variados. Enquanto o VP-MBD frequentemente falhava em convergir ou exigia retreinamento extensivo dos parâmetros $\beta$ quando $T$ mudava, o LP-MBD manteve um desempenho consistente devido aos seus parâmetros desacoplados. Em experimentos adaptativos, o ALP-MBD convergiu mais rápido e encontrou soluções de maior qualidade do que uma linha de base adaptativa VP-MBD (AVP-MBD), que teve dificuldades com o espaço de parâmetros acoplados.
• Benchmarks Brax: O LP-MBD alcançou recompensas por passo competitivas ou superiores na maioria das tarefas de controle contínuo (Ant, Hopper, HalfCheetah, Walker2D, Reacher) em comparação com CEM, MPPI e VP-MBD. Na tarefa Pusher, o VP-MBD superou ligeiramente o LP-MBD, o que os autores atribuem à alta dimensionalidade que potencialmente favorece a capacidade expressiva de agendamentos de preservação de variância.
• Rastreamento de Trajetória de Robô Móvel: Em um ambiente customizado com obstáculos e trajetórias em formato de S/oval, o ALP-MBD alcançou a maior recompensa média entre todas as variantes. O sistema conseguiu adaptar seus parâmetros em tempo real: aumentando os passos de difusão e a variância do ruído ao navegar próximo a obstáculos ou curvas acentuadas, e reduzindo-os durante o cruzeiro reto e livre de obstáculos. Apesar do overhead da passagem direta da política de RL, o ALP-MBD manteve a eficiência em tempo real adequada para aplicações de controle.

Significância
O artigo afirma que o LP-MBD fornece uma base estável e geometricamente interpretável para o controle baseado em difusão, simplificando o notoriamente difícil processo de ajuste de agendamentos de ruído. Ao desacoplar a escala de ruído do horizonte de discretização, o LP-MBD permite a aplicação eficaz de aprendizado por reforço para adaptação. A estrutura proposta de ALP-MBD demonstra que o ajuste dinâmico dos parâmetros de difusão pode aumentar tanto a robustez em ambientes complexos quanto a eficiência computacional em ambientes mais simples, oferecendo uma solução prática para o controle robótico em tempo real onde as condições da tarefa variam significativamente.