Resumo Técnico: Incorporações Fiéis de Dados Irregulares e Assíncronos para Log-NCDEs Online

Declaração do Problema

Modelos de aprendizado de máquina em tempo contínuo, como Equações Diferenciais Controladas Neurais (NCDEs) e Log-NCDEs, oferecem um framework natural para o processamento de dados de séries temporais irregulares, assíncronos e esparsos. No entanto, permanece um gargalo crítico de design: como incorporar observações discretas em um caminho de tempo contínuo sem introduzir artefatos.

As abordagens padrão dependem de interpolação ou imputação para reconstruir um caminho de observação contínuo antes de alimentá-lo no modelo. Como ilustrado no artigo, esses métodos sofrem de desvantagens significativas:

• A imputação preenche valores ausentes com dados nunca observados na prática.
• A interpolação pode gerar valores fora da faixa observada dos dados ou impor dinâmicas artificiais entre medições.
• Essas etapas de reconstrução introduzem "comportamento não observado" na representação, forçando o modelo a consumir entradas potencialmente irreais.

O artigo argumenta que uma representação de tempo contínuo fiel deve preservar apenas a informação que foi realmente observada, deixando a reconstrução do comportamento não observado para o próprio processo de modelagem, e não para o processo de incorporação.

Metodologia

1. Fundamentação Teórica: Incorporações Fiéis

Os autores formalizam o conceito de uma incorporação fiel. Eles provam um resultado de transferência de universalidade (Lema 1) afirmando que, se o espaço de dados $X$ e o espaço de entrada do modelo $P$ são espaços topológicos de Hausdorff, e a incorporação $\phi: X \to P$ é contínua e injetiva, então a universalidade de um modelo a jusante em subconjuntos compactos de $P$ transfere-se para o espaço de dados original $X$.

Isso implica que, para modelos universais como NCDEs e Log-NCDEs, a incorporação não precisa reconstruir o caminho; ela apenas precisa ser um mapa contínuo e injetivo que preserve a distinguibilidade de fluxos de dados distintos.

2. Incorporação Proposta: Caminho de Controle Log-NCDE

Baseando-se no caminho de controle retilíneo introduzido para NCDEs por Morrill et al. [2022], os autores constroem uma incorporação fiel especificamente para Log-NCDEs. Diferentemente das NCDEs padrão, que usam valores pontuais de um caminho de controle, as Log-NCDEs operam em assinaturas logarítmicas de intervalo.

A incorporação proposta opera da seguinte forma:

• Representação de Entrada: A entrada consiste em um fluxo de observações discretas $x = ((t_0, s_0, x_0), \dots, (t_n, s_n, x_n))$ e variáveis observadas continuamente $C$ (por exemplo, tempo).
• Codificação Incremental: Em vez de interpolar valores, cada observação é convertida em um incremento de álgebra de Lie $\Delta_i$. Este incremento captura:
  • A mudança de valor para cada canal observado desde sua última observação.
  • Um incremento em uma "coordenada de contagem" dedicada para distinguir entre um valor repetido e a ausência de uma nova observação.
  • Opcionalmente, informações locais de ordem superior (por exemplo, áreas assinadas pré-calculadas) se disponíveis.
• Composição de Intervalo: Para qualquer intervalo de consulta $[\alpha, \beta)$, a incorporação constrói um fator de assinatura $G_{\alpha, \beta}$ compondo:
  • Fatores de assinatura das variáveis observadas continuamente (por exemplo, tempo) sobre as lacunas entre eventos.
  • Fatores exponenciais $E_i = \exp(\Delta_i)$ para cada evento discreto ocorrendo dentro do intervalo.
• Extração de Assinatura Logarítmica: A assinatura logarítmica de intervalo $\Phi_{\alpha, \beta}$ é obtida aplicando o logaritmo à assinatura composta $G_{\alpha, \beta}$.

Esta construção permite computação online e processamento paralelo no tempo por meio de varreduras associativas, pois a assinatura logarítmica para um intervalo depende apenas das observações até o final desse intervalo.

3. Arquitetura do Modelo: Log-SLiCE

Os autores implementam essa incorporação dentro de CDEs Lineares Estruturadas (SLiCEs), especificamente a variante Log-SLiCE.

• A evolução do estado oculto em um intervalo é governada por uma atualização Log-ODE impulsionada pela assinatura logarítmica de intervalo.
• Para modelos lineares, o fluxo de intervalo possui uma solução de forma fechada envolvendo exponenciais de matriz da assinatura logarítmica.
• Essa estrutura permite que os estados ocultos em diferentes intervalos sejam computados em paralelo usando uma varredura associativa, reduzindo significativamente a complexidade computacional em comparação com solucionadores de EDO sequenciais.

Contribuições Principais

1. Formalização de Incorporação Fiel: O artigo prova que incorporações contínuas e injetivas transferem a universalidade do espaço de entrada do modelo de volta para o espaço de dados, justificando a remoção de etapas de interpolação.
2. Construção de Incorporação Novel: Uma incorporação contínua e injetiva para fluxos irregulares que registra observações como fatores de álgebra tensorial (incrementos) e os compõe em assinaturas logarítmicas de intervalo sem interpolação.
3. Implementação Eficiente de Log-SLiCE: Um algoritmo paralelo no tempo para Log-NCDEs que aproveita a formulação de assinatura logarítmica de intervalo, permitindo treinamento e inferência eficientes em sequências longas.
4. Validação Empírica: Experimentos abrangentes demonstrando precisão, eficiência e robustez à irregularidade e esparsidade.

Resultados Experimentais

1. Eficiência e Precisão (EigenWorms)

No conjunto de dados EigenWorms (17.984 observações por série), o método Log-ODE combinado com Log-SLiCE (BD-SLiCE) alcançou:

• Precisão: 86,1% de precisão no teste (vs. 75,0% para NCDE padrão), uma melhoria de 11,1 pontos percentuais.
• Velocidade: Redução do tempo de etapa de treinamento por um fator de quase 3.000 (de 26,02s para 0,009s).
• Memória: Manter uso de memória de GPU comparável ao de NCDEs padrão.

2. Generalização para Amostragem Irregular (Dados Acoplados Sintéticos)

Usando um sistema senoidal sintético, os autores testaram a generalização entre regimes.

• Modelos treinados em dados esparsos assíncronos (o regime mais difícil) permaneceram robustos em todos os outros regimes de amostragem (regular síncrona, irregular síncrona, irregular assíncrona).
• Modelos treinados em dados regulares falharam em generalizar para configurações esparsas assíncronas, sugerindo que aprenderam atalhos baseados em grades de amostragem fixas.
• A incorporação fiel permitiu que os modelos aprendessem as dinâmicas subjacentes independentemente da grade de observação.

3. Exploração de Informações de Ordem Superior (Movimento Browniano)

Em um sistema linear impulsionado por movimento browniano onde a solução depende de termos de colchete de Lie de segunda ordem (área de Lévy):

• Modelos utilizando assinaturas logarítmicas de Nível 2 (incluindo informações de área) alcançaram Erro Quadrático Médio (MSE) significativamente menor do que aqueles usando apenas Nível 1 (incrementos).
• A abordagem incorporou com sucesso informações de ordem superior pré-calculadas, demonstrando flexibilidade além dos incrementos de primeira ordem.

4. Robustez à Perda de Entrada (Benchmarks UEA)

Em seis conjuntos de dados de classificação de séries temporais multivariadas da UEA, os autores simularam perda severa de entrada (até 95% das observações removidas).

• O BD-SLiCE com a incorporação proposta manteve alto desempenho, caindo apenas de 64,0% (sem perda) para 62,5% (95% de perda).
• Alcançou a melhor classificação média em todos os níveis de perda, superando baselines recorrentes (S5, LRU, S6, Mamba) e NCDEs padrão, particularmente sob esparcificação severa.

Significado e Alegações

O artigo afirma que representações de tempo contínuo devem priorizar a preservação de dados observados sobre a reconstrução de comportamento não observado. Ao formalizar "incorporações fiéis" e demonstrar que elas preservam a universalidade de modelos a jusante, os autores fornecem uma justificativa teórica para contornar a interpolação.

O método proposto oferece uma alternativa fiel, online e eficiente às incorporações baseadas em interpolação. Ele desacopla os tempos de amostragem de entrada das grades de consulta de saída, suporta computação paralela e demonstra robustez superior à irregularidade, assincronia e esparsidade de dados. Os resultados sugerem que, para modelos universais de tempo contínuo, a qualidade da incorporação reside em sua capacidade de codificar fielmente incrementos e intervalos observados, e não em sua capacidade de adivinhar o caminho entre observações.