Resumo Técnico: DISK – Dynamic Inference SKipping para Modelos de Mundo

1. Definição do Problema

Modelos de mundo autorregressivos, particularmente aqueles baseados em Diffusion Transformers (DiTs), têm demonstrado fortes capacidades na previsão de conteúdo futuro de cenas e de movimento do ego para condução em malha fechada (closed-loop). No entanto, esses modelos sofrem com latência de inferência significativa e custos computacionais elevados. Em configurações autorregressivas, o custo acumula-se ao longo do tempo porque cada quadro e trajetória previstos condicionam o próximo passo. Rollouts de longo horizonte exigem milhares de avaliações de modelo através de ramos acoplados de visão e trajetória.

Os métodos de aceleração existentes falham em abordar este desafio específico de forma eficaz:

• Aceleração de passos fixos ou redução global de passos degrada a fidelidade e a estabilidade, especialmente quando pequenos erros se acumulam em rollouts de malha fechada.
• Aceleradores de tempo de treinamento (ex: modelos de consistência, destilação progressiva) exigem retreinamento ou destilação caros, quebrando a flexibilidade "plug-and-play" necessária para acelerar modelos de fundação existentes sem alterar seu comportamento aprendido.
• Adaptações de tempo de inferência (ex: formulações determinísticas, solvers de ODE de ordem superior) não se adaptam à dificuldade por passo e falham em coordenar previsões visuais e de trajetória em ramos acoplados.
• Otimizadores de ramo único (ex: saída antecipada/early exiting, cache de características) otimizam a computação dentro de uma única rede, mas não coordenam ramos cross-modais, arriscando a dessincronização entre aparência e movimento.

O desafio central é reduzir o custo de inferência dinamicamente com base na complexidade da cena (ex: cruzeiro em rodovia estática vs. manobras críticas) sem retreinar o modelo ou comprometer a consistência entre o vídeo gerado e a trajetória prevista.

2. Metodologia

Os autores propõem o DISK (Dynamic Inference SKipping), um módulo de inferência adaptativa livre de treinamento que opera puramente em tempo de teste. O DISK coordena dois diffusion transformers acoplados — um para vídeo (Vision DiT) e um para trajetória do ego (Trajectory DiT) — via controladores de dois ramos com decisões de skip cross-modais.

2.1. Skipping Adaptativo por Passo

Para cada passo de difusão $k$ na grade de tempo reversa, o controlador decide se deve computar uma nova previsão ou reutilizar uma armazenada em cache. A decisão é baseada em um teste de suavidade local:

• Proxy de Dificuldade ($d_k$): A mudança média absoluta no estado latente entre passos de difusão consecutivos.
• Verificação de Curvatura ($\Delta_k$): Um critério de diferença finita de segunda ordem que mede a linearidade local da evolução latente. Se as mudanças latentes forem localmente afins (baixa curvatura), o passo é considerado previsível.
• Decisão de Skip: Se $\Delta_k \leq \theta \cdot d_{k+1}$ (onde $\theta$ é um limiar de tolerância), o passo é pulado (skipped) e a previsão em cache é reutilizada. Caso contrário, uma passagem direta (forward pass) completa é computada.

Salvaguardas de Segurança (Safety Guards): Para evitar o acúmulo de erro e comportamentos degenerativos, três salvaguardas são aplicadas:

1. Warm-up ($W$): Computação obrigatória para os primeiros $W$ passos.
2. Limite de Skip Consecutivo ($C_{max}$): Limita o número de skips consecutivos para evitar deriva (drift).
3. Limiar de Estagnação ($\epsilon$): Força a computação se a mudança latente for numericamente ínfima (próxima de zero), evitando skips infinitos em estados estagnados.

2.2. Coordenação Cross-Modal

Pular ramos individualmente pode dessincronizar aparência e movimento. O DISK introduz um portão de segurança unidirecional:

• O Controlador de Trajetória monitora suas próprias salvaguardas de segurança. Se o ramo de trajetória encontrar uma manobra complexa (disparando uma condição de segurança), um sinal $\sigma^{(t)}_k$ é levantado.
• Acoplamento Unidirecional: Se $\sigma^{(t)}_k = 1$, o ramo de Visão é forçado a computar, independentemente de seu próprio teste de suavidade. Isso garante que movimentos complexos do ego sejam renderizados com as mudanças visuais correspondentes.
• Assimetria: A complexidade visual não força a computação da trajetória. Isso prioriza o throughput, já que o ramo de trajetória é tipicamente mais rápido, enquanto garante que o ramo de vídeo, mais lento, não fique atrás de manobras críticas.

2.3. Estabilidade Autorregressiva

Para estabilizar rollouts de longo horizonte, o DISK propaga as estatísticas do controlador através da cadeia autorregressiva. Após cada passo de rollout $s$, resumos (contagens de computação/skip e frações de segurança) são passados para o próximo passo. Um score de dificuldade cross-modal ($\beta_s$) é computado a partir da fração máxima de segurança de ambos os ramos. Este score ajusta dinamicamente a janela de warm-up e o limiar de skip para o passo subsequente, expandindo a janela de computação após manobras difíceis e relaxando-a assim que a cena se estabiliza.

3. Principais Contribuições

1. Estrutura Adaptativa Livre de Treinamento: Um método que orquestra DiTs de visão e trajetória usando decisões de skip adaptativas por passo, reduzindo o custo computacional sem retreinar ou alterar os pesos do modelo.
2. Coordenação de Skip Cross-Modal: Um mecanismo que harmoniza os ramos de visão e trajetória via um portão de segurança unidirecional e a propagação de estatísticas de controlador, garantindo a consistência entre movimento e aparência durante rollouts de longo horizonte.
3. Preservação da Cadeia de Auto-Condicionamento de Forward (Chain-of-Forward Self-Conditioning): O método visa explicitamente os desafios da condução em malha fechada, mantendo a integridade do loop autorregressivo enquanto realiza o skipping de passos.

4. Resultados Experimentais

O método foi avaliado em 1500 amostras dos datasets NuPlan e NuScenes utilizando uma GPU NVIDIA L40S, integrado ao modelo de mundo Epona (um modelo de 2.5 bilhões de parâmetros).

4.1. Velocidade de Inferência

• Ramo de Trajetória (TrajDiT): Alcançou um ganho de velocidade de ~2× (redução de ~20ms para ~10ms por passo).
• Ramo de Visão (VisDiT): Alcançou um ganho de velocidade de ~1.6× (redução de ~244ms para ~155ms por passo).
• Geral: Redução significativa na latência total por passo, mantendo a mesma arquitetura de modelo.

4.2. Desempenho de Planejamento

• Open-Loop: O DISK manteu erros de deslocamento L2 quase idênticos ao baseline (ex: L2@3s: 0.3007 vs. 0.3011).
• Closed-Loop (NAVSIM): O DISK obteve resultados competitivos no Predictive Driver Model Score (PDMS).
  • Baseline PDMS: 85.4
  • DISK PDMS: 83.6
  • Sub-métricas (NC, DAC, TTC, Comf, EP) mostraram apenas quedas modestas, indicando preservação de segurança e dirigibilidade.

4.3. Qualidade Visual

• Métricas: O FID aumentou ligeiramente de 7.5 para 12.5; FVD de 82.8 para 88.1.
• Qualitativo: Apesar do deslocamento nas métricas, as comparações visuais mostraram que os vídeos gerados eram "visualmente indistinguíveis" do baseline, com alta consistência temporal.

4.4. Estudos de Ablação

• Limiar ($\theta$): $\theta=0.01$ foi identificado como o equilíbrio ideal entre ganho de velocidade (~2.03×) e qualidade.
• Máximo de Skips Consecutivos ($C_{max}$): $C_{max}=4$ proporcionou o melhor compromisso. Valores mais altos (ex: 8) aumentaram a velocidade, mas degradaram a estabilidade visual (FID 12.65).
• Warm-up ($W$): $W=3$ foi suficiente; $W=0$ ofereceu métricas semelhantes, mas arriscava instabilidade precoce, enquanto $W=5$ reduzia a eficiência sem ganhos de qualidade.

5. Significância e Alegações

O artigo alega que o DISK demonstra previsão de trajetória e vídeo de longo horizonte prática com custo substancialmente reduzido. Sua principal significância reside em:

• Eficiência Plug-and-Play: Oferece uma forma de acelerar modelos de fundação existentes sem o custo proibitivo de retreinamento ou destilação.
• Adaptação Dinâmica: Ao contrário de métodos de passos fixos, o DISK aloca computação conforme a complexidade da cena, economando recursos em quadros simples enquanto preserva a precisão durante manobras críticas.
• Viabilidade em Malha Fechada (Closed-Loop): Consegue manter a estabilidade necessária para a condução em malha fechada, onde o acúmulo de erro é um modo crítico de falha, ao coordenar ramos cross-modais e propagar estatísticas de dificuldade.

Os autores concluem que, embora haja um pequeno compromisso nas métricas visuais (FID/FVD), o ganho substancial de velocidade e a preservação da precisão de planejamento tornam o DISK uma solução viável para reduzir os orçamentos de energia e latência de simulações de condução autônoma e pipelines de planejamento em tempo real.