Resumo Técnico: Difusão Composicional de Coarse-to-Fine para Planejamento de Longo Horizonte

Definição do Problema

Modelos de difusão são excelentes na geração de dados estruturados, mas são tipicamente treinados em escalas de curto horizonte. Muitas tarefas do mundo real, como navegação robótica em longas distâncias, síntese de imagens panorâmicas ou geração de vídeos longos, exigem saídas que excedem a escala de treinamento desses modelos. Treinar diretamente modelos para tais saídas de longo horizonte é frequentemente impraticável devido à escassez de dados e ao crescimento rápido dos custos de modelagem com o comprimento da sequência ou extensão espacial.

A geração composicional oferece uma solução ao montar planos locais sobrepostos a partir de um prior de curto horizonte pré-treinado em uma única saída de longo horizonte. No entanto, as abordagens composicionais padrão enfatizam primariamente a consistência local (concordância entre planos locais vizinhos em suas sobreposições) sem especificar explicitamente a estrutura global. Consequentemente, planos localmente compatíveis podem falhar em formar uma rota global, sequência de tarefas ou evolução temporal plausível. Métodos existentes tentam melhorar a coerência global propagando repetidamente sinais de consistência local ou adicionando otimização em tempo de inferência (por exemplo, busca iterativa ou poda baseada em população). Embora eficazes, esses procedimentos tornam-se computacionalmente caros conforme o número de planos locais ou sua dimensionalidade aumenta.

Metodologia: Difusão Composicional de Coarse-to-Fine (CoFi)

Os autores propõem o CoFi, um amostrador de tempo de inferência que desacopla a formação da estrutura global do refinamento de detalhes locais. Diferente de métodos que dependem de passagem de mensagens repetida ou otimização de loop interno dispendiosa, o CoFi opera em dois estágios distintos:

1. Construção de Andaime Global Coarse (Coarse Global Scaffold Construction)

O primeiro estágio visa alinhar estimativas locais de denoising em torno de uma estrutura grosseira compartilhada para estabelecer coerência global.

• Alinhamento de Andaime (Scaffold Alignment): Para cada passo de denoising $t$, o método computa uma "estimativa de Tweedie" $\hat{X}^i_{0|t}$ para cada plano local. Para impor o alinhamento global, ele resolve um objetivo de otimização simplificado que equilibra a fidelidade local com um componente global compartilhado. Isso resulta em uma solução de forma fechada onde cada estimativa local é encolhida em direção a uma média de andaime compartilhada $\bar{X}_{0|t}$:
  $$\bar{X}^i_{0|t} = (1 - \lambda_t) \bar{X}_{0|t} + \lambda_t \hat{X}^i_{0|t}$$
  Aqui, $\lambda_t$ é um coeficiente dependente do cronograma (schedule) que controla o equilíbrio. No início do processo de difusão, $\lambda_t$ é pequeno, forçando os planos locais a se alinharem fortemente com o andaime global. À medida que $t$ diminui, $\lambda_t$ aumenta, permitindo que os detalhes locais emerjam.
• Atualização Guiada (Guided Update): O passo de difusão reversa é atualizado usando esta estimativa alinhada, enviesada para um andaime global coerente, porém localmente grosseiro:
  $$X^i_{t-1} = \text{DDIM}_\theta(\bar{X}^i_{0|t}, t) + \sigma_t \nabla \hat{r}_t(X^i_t, X^{i+1}_t)$$
  O primeiro termo impõe o alinhamento global, enquanto o segundo termo (guia local) garante a consistência de fronteira entre segmentos adjacentes.

2. Refinamento de Preservação de Estrutura (Structure-Preserving Refinement)

O segundo estágio restaura os detalhes locais finos suprimidos durante o estágio coarse enquanto preserva a estrutura global estabelecida.

• Re-ruído (Re-noising): O plano global coarse $Y^c_0$ é difundido para frente até um nível de ruído intermediário $t^*$ usando uma realização de ruído compartilhado. Isso é crítico; aplicar ruído independente aos planos locais quebraria o alinhamento alcançado no primeiro estágio.
  $$Y^r_{t^*} = \sqrt{\bar{\alpha}_{t^*}} Y^c_0 + \sqrt{1 - \bar{\alpha}_{t^*}} \epsilon$$
• Refinamento: Partindo de $t^*$, o amostrador realiza uma segunda passagem de difusão reversa usando o mesmo prior local pré-treinado e guia local. Este estágio recupera detalhes locais de alta frequência e textura enquanto o andaime global ancora a estrutura geral.

Principais Contribuições

1. Design Desacoplado: O CoFi separa a formação da estrutura global do refinamento de detalhes locais, evitando a necessidade de passagem de mensagens iterativa dispendiosa ou otimização baseada em busca.
2. Mecanismo de Andaime Compartilhado: Ao introduzir um estágio de alinhamento coarse que projeta estimativas locais em um andaço compartilhado, o método garante coerência de longo alcance sem exigir funções de recompensa complexas que são difíceis de projetar para espaços de alta dimensão.
3. Refinamento de Preservação de Estrutura: O uso de uma realização de ruído compartilhada durante o passo de re-ruído garante que os planos locais refinados permaneçam como visões compatíveis do mesmo objeto global, prevenindo o "desvio" (drift) frequentemente visto em geração de longo horizonte.
4. Eficiência: O método requer significativamente menos avaliações do denoiser (NFE) comparado aos baselines que dependem de iterações internas ou busca de população.

Resultados Experimentais

Os autores avaliaram o CoFi em três domínios: planejamento robótico de longo horizonte, geração de imagens panorâmicas e geração de vídeos longos.

• Planejamento Robótico (OGBench): Nas tarefas desafiadoras "Giant" e "Scene-Play", o CoFi alcançou taxas de sucesso de 96% (PointMaze-Giant) e 63% (Scene-Play), superando o estado da arte anterior, o CDGS (82% e 51%, respectivamente). O estágio de andaime foi considerado crucial para resolver inconsistências de longo alcance em trajetórias tipo labirinto.
• Geração de Imagens Panorâmicas: O CoFi obteve as melhores pontuações em todas as métricas (Intra-LPIPS, Intra-Style loss e CLIP score) comparado a baselines como Multi-Diffusion, SyncDiffusion e CDGS. Produziu panoramas com estilos globais mais estáveis e menos transições abruptas entre as fronteiras dos patches.
• Geração de Vídeos Longos: Na geração de vídeos de 273 quadros a partir de priors de 50 quadros, o CoFi melhorou a consistência do sujeito (94.11 vs. 91.67 para CDGS) e a qualidade estética, aproximando-se da qualidade da geração nativa de curto horizonte. Ele evitou efetivamente o desvio de sujeito ao longo de horizontes temporais longos.
• Eficiência Computacional: O CoFi demonstrou uma redução de 2 a 8 vezes no número de avaliações de função (NFE) em comparação ao CDGS, mantendo ou melhorando a qualidade da amostra. Isso é atribuído à substituição da busca iterativa por uma única passagem de coarse-to-fine.

Significância e Alegações

O artigo afirma que o CoFi fornece um amostrador de tempo de inferência simples e eficaz que satisfaz tanto a consistência local quanto a coerência global sem o overhead computacional dos métodos existentes. Ao separar a construção do andafo global do refinamento local, o CoFi aborda a limitação onde a consistência local sozinha falha em garantir uma estrutura global plausível. Os autores posicionam isso como uma alternativa prática para escalar priors de curto horizonte para tarefas de longo horizonte em robótica, visão e geração de vídeo, oferecendo um equilíbrio favorável entre desempenho e custo computacional.

Os autores notam modestamente as limitações: a qualidade da saída é limitada pela expressividade do prior local pré-treinado, e os hiperparâmetros (cronograma do andafo $\lambda_t$ e profundidade de refinamento $t^*$) requerem seleção por domínio. Adicionalmente, o mecanismo de consenso atual aplica ponderação uniforme a todos os planos locais, o que pode ser subótimo se os segmentos variarem em importância estrutural.