ABC: Any-Subset Autoregression via Non-Markovian Diffusion Bridges in Continuous Time and Space

1. Declaração do Problema

O artigo aborda o desafio fundamental de gerar processos estocásticos contínuos no tempo e no espaço (por exemplo, vídeos, previsões meteorológicas, preços de ações) condicionados a observações parciais. Essas observações podem ser:

• Amostradas irregularmente: Pontos de dados não estão uniformemente espaçados no tempo (por exemplo, leituras de GPS esporádicas).
• Não causais: Condicionamento em estados futuros (por exemplo, preenchimento de um vídeo dado o primeiro e o último quadro).
• Subconjuntos arbitrários: O modelo deve lidar com qualquer combinação de observações passadas, presentes e futuras.

Limitações das Abordagens Existentes:

• Difusão de Ruído para Dados: Modelos de difusão padrão (por exemplo, DDPM) mapeiam ruído gaussiano para dados. Isso ignora a continuidade física das séries temporais, onde estados adjacentes são altamente similares. Começar a partir de ruído não informativo leva a uma preservação estrutural pobre e transições fisicamente implausíveis.
• Programações de Volatilidade Fixas: Pontes de difusão existentes frequentemente usam uma variável de tempo auxiliar $\tau \in [0, 1]$ independente do tempo físico. Elas injetam a mesma quantidade de ruído independentemente do tempo físico decorrido entre os estados. Isso falha em capturar a dinâmica correta (por exemplo, uma lacuna de 1 segundo deve ter menos volatilidade do que uma lacuna de 1 hora).
• Pressupostos Markovianos: A maioria dos modelos assume que o próximo estado depende apenas do estado imediatamente anterior, ignorando dependências temporais de longo alcance e o histórico do caminho.
• Tempo Discreto: Muitos modelos autoregressivos operam em grades fixas, tornando-os inadequados para amostragem irregular ou inferência em tempo contínuo.

2. Metodologia: O Framework ABC

Os autores propõem ABC (Modelos Autoregressivos de Qualquer Subconjunto via Pontes de Difusão Não Markovianas), que unifica modelos de difusão e geração autoregressiva em tempo e espaço contínuos.

Insight Central

Em vez de encadear múltiplas pontes curtas ou mapear ruído para dados, o ABC modela todo o processo como uma única Equação Diferencial Estocástica (EDE) contínua, onde a variável de tempo e os estados intermediários correspondem diretamente ao tempo físico e aos estados do processo.

Componentes Técnicos Chave

A. Dinâmicas de Geração de Dados via Mudança de Medida

• Processo Base: Os autores definem um processo base independente dos dados (um processo de Ornstein-Uhlenbeck) $dX_t = -a(t)X_t dt + \sigma(t)dB_t$.
• Transformação $h$ de Doob: Para fazer com que o processo base corresponda à distribuição de dados $p_{data}$ em pontos de tempo específicos, eles aplicam uma mudança de medida (transformação $h$ de Doob). Isso introduz um termo de deriva que "puxa" a EDE em direção a regiões de alta densidade dos dados em tempos prescritos.
• Deriva Não Markoviana: Ao contrário da difusão padrão, a deriva $s(t, X_t; X_{0:i^*})$ é dependente do caminho. Ela condiciona-se a todo o histórico de estados observados $X_{0:i^*}$ (onde $i^*$ é o índice da observação mais recente antes do tempo $t$). Isso permite que o modelo capture correlações complexas e não markovianas.

B. Volatilidade Adaptativa ao Tempo

• A volatilidade $\sigma(t)$ na EDE está ligada ao tempo físico.
• O Teorema 3 prova que encadear pontes de difusão separadas (mesmo que correspondam a distribuições marginais) resulta em medidas de caminho incorretas (variações quadráticas) em comparação com uma única EDE contínua.
• Ao usar uma única EDE com tempo físico, a injeção de ruído escala naturalmente com o tempo decorrido, garantindo dinâmicas fisicamente plausíveis (por exemplo, menos mudança em intervalos curtos, mais em intervalos longos).

C. Correspondência de Pontuação Dependente de Caminho e Tempo

• Objetivo de Treinamento: Os autores derivam uma função de perda que generaliza a Correspondência de Pontuação de Remoção de Ruído (DSM) para o caso não markoviano e dependente do tempo.
• Alvo: A rede aprende a prever a pontuação $\nabla_{x_t} \log p_{base}(x_{t_{i^*+1}} | x_t)$, efetivamente prevendo como o estado atual $x_t$ deve ser ajustado para alinhar com o próximo ponto de passagem observado $x_{t_{i^*+1}}$, condicionado ao histórico completo do caminho.
• Condicionamento de Qualquer Subconjunto: A rede neural (um Transformer com atenção cruzada) recebe como entrada:
  • O estado ruidoso atual $x_t$.
  • O tempo físico atual $t$.
  • O tempo do próximo estado alvo $t_{i^*+1}$.
  • O conjunto de todos os pontos de passagem observados (passado e futuro) $K$.
    Isso permite que o modelo lide com subconjuntos arbitrários de observações, incluindo quadros futuros não causais.

D. Arquitetura

• Baseada no Transformer de Difusão (DiT).
• Estende o DiT com camadas de atenção cruzada para processar os pontos de passagem condicionantes (passado e futuro).
• As entradas incluem o latente ruidoso, o tempo atual, o tempo do próximo ponto de passagem e um conjunto de quadros condicionantes com seus carimbos de tempo.

3. Contribuições Principais

1. Modelo ABC: Um novo modelo generativo baseado em EDE que generaliza a autoregressão para tempo e espaço contínuos, abordando especificamente o caso de Qualquer Subconjunto (amostragem irregular, condicionamento não causal).
2. Garantias Teóricas:
   • Prova que uma única EDE contínua com rastreamento de tempo físico é necessária para capturar medidas de caminho corretas (Teorema 3).
   • Demonstra que a volatilidade adaptativa ao tempo é crucial para a modelagem fiel de processos estocásticos.
3. Objetivo de Treinamento: Deriva um objetivo de treinamento escalável e sem simulação (Correspondência de Pontuação de Ponte Dependente de Caminho) que estende o DSM para cenários não markovianos e dependentes do tempo.
4. Validação Empírica: Mostra desempenho state-of-the-art na geração de vídeos e previsão meteorológica, superando pontes de difusão encadeadas e difusão de ruído para dados.

4. Resultados Experimentais

Os autores avaliaram o ABC no CelebV-HQ (vídeos de rostos), Sky-Timelapse (vídeos meteorológicos) e SEVIR (dados de radar meteorológico).

• Métricas: Utilizou FVD (Distância Fréchet de Vídeo) para consistência temporal e FID para qualidade de quadro. Para meteorologia, utilizou MAE, MSE e CSI (Índice de Sucesso Crítico).
• Desempenho:
  • Geração de Vídeo: O ABC superou significativamente as linhas de base (Pontes de Difusão Condicionais e Difusão de Ruído para Dados) em FVD, especialmente em configurações não causais (preenchimento de quadros ausentes). Alcançou otimalidade de Pareto tanto em FVD quanto em FID.
  • Previsão Meteorológica: O ABC alcançou o melhor desempenho geral no SEVIR, demonstrando precisão superior na previsão de eventos de tempestade em comparação com as linhas de base.
  • Estudos de Ablação:
    • Volatilidade: Modelos com volatilidade adaptativa ao tempo (ABC) consistentemente superaram aqueles com programações de volatilidade fixas.
    • Condicionamento: O condicionamento dependente do caminho (usando o histórico completo) produziu melhores resultados do que o condicionamento markoviano (apenas o último quadro) ou apenas prefixo.
    • Dados para Dados vs. Ruído para Dados: Pontes de dados para dados (ABC) foram superiores à difusão de ruído para dados, que sofreu com rigidez numérica e dinâmicas incoerentes.

5. Significado e Impacto

• Mudança de Paradigma: Vai além do paradigma "ruído para dados" para séries temporais, estabelecendo um framework de ponte "dados para dados" que respeita a continuidade do tempo físico.
• Flexibilidade: Resolve o problema há muito negligenciado da Autoregressão de Qualquer Subconjunto em tempo contínuo, permitindo aplicações como preenchimento de vídeo com taxas de quadros irregulares, imputação de dados de sensores esparsos e previsão não causal.
• Rigor Teórico: Fornece uma derivação matematicamente sólida usando teoria da medida e cálculo estocástico, provando por que as abordagens anteriores de "ponte encadeada" falham em capturar dinâmicas corretas.
• Utilidade Prática: Demonstra que modelar a evolução do tempo físico diretamente leva a gerações mais realistas e coerentes em domínios complexos como meteorologia e vídeo.

Em resumo, o ABC representa um avanço significativo na modelagem generativa para séries temporais ao unificar pontes de difusão, autoregressão e dinâmicas de tempo contínuo em um único framework teoricamente fundamentado que se adapta à realidade física dos dados.