Resumo Técnico: TIDES – Consciência Temporal Implícita em Modelos de Espaço de Estados Seletivos

Declaração do Problema

Dados sequenciais do mundo real, como observações clínicas, leituras de sensores ambientais e eventos financeiros, raramente são amostrados em uma grade regular. Modelos de sequência padrão frequentemente assumem passos de tempo uniformes, forçando-os a either reamostrar dados (descartando informações temporais) ou aumentar as entradas com características temporais explícitas.

Duas famílias dominantes de Modelos de Espaço de Estados (SSMs) abordam a modelagem de sequência, mas enfrentam um trade-off fundamental em relação a séries temporais irregulares:

1. SSMs de tempo contínuo (ex.: S5): Estes preservam o significado físico do passo de tempo ($\tilde{\Delta} \equiv \Delta$), permitindo lidar nativamente com carimbos de tempo irregulares integrando a dinâmica contínua sobre o tempo decorrido real. No entanto, eles são tipicamente Lineares e Invariantes no Tempo (LTI), o que significa que suas dinâmicas não mudam com base no conteúdo de entrada, limitando a expressividade por token.
2. SSMs Seletivos (ex.: Mamba): Estes alcançam forte expressividade por token tornando o passo de discretização $\tilde{\Delta}$ e as matrizes de projeção ($B, C$) funções dependentes da entrada. Isso permite que o modelo adapte sua constante de tempo efetiva token a token. No entanto, esse design colapsa $\tilde{\Delta}$ de um intervalo de amostragem físico em um portão aprendido. Consequentemente, o modelo perde seu tratamento nativo de tempo irregular; para processar dados irregulares, ele deve tratar os deltas de tempo como características de entrada explícitas. O artigo argumenta que esse acoplamento indireto impede que o modelo extrapole para regimes de irregularidade (deltas de tempo) não vistos durante o treinamento.

Metodologia: TIDES

Os autores propõem o TIDES (Decaimento Implícito no Tempo e Seletividade de Autovalor), uma variante de SSM seletivo projetada para reconciliar a expressividade do Mamba com a semântica de tempo físico do S5.

Princípio Central de Design

O TIDES move a dependência de entrada do passo de discretização ($\tilde{\Delta}$) para o gerador de tempo contínuo (a matriz de estado $\Lambda$ e as projeções $B, C$).

• Consciência Temporal Implícita: O passo de tempo $\tilde{\Delta}$ permanece estritamente físico ($\tilde{\Delta} \equiv \Delta$), determinado exclusivamente pelos carimbos de tempo da observação. Não é uma função aprendida da entrada.
• Gerador Seletivo: A dependência de entrada é aplicada a:
  • $\text{Re}(\Lambda)$: A parte real dos autovalores (taxas de decaimento) torna-se uma função da entrada. Isso permite que o modelo "esqueça mais rápido" ou "mantenha por mais tempo" com base no conteúdo, fornecendo a seletividade necessária.
  • $B$ e $C$: As projeções de entrada e saída são dependentes da entrada, permitindo que o modelo filtre ruído e module a leitura/escrita do estado.
  • $\text{Im}(\Lambda)$: A parte imaginária (frequência de oscilação) permanece estática. Os autores argumentam que modular a frequência por token carece de uma interpretação de tempo contínuo limpa e encontram empiricamente que isso prejudica o desempenho.

Detalhes da Arquitetura

• Inicialização: O modelo inicializa com vieses derivados de HiPPO para $\Lambda, B, C$ e pesos de projeção inicializados com zero. Isso garante que o modelo comece a partir de uma recorrência LTI bem condicionada e aprenda a seletividade como uma perturbação suave.
• Projeções de Baixo Rango: Para gerenciar a contagem de parâmetros, as projeções densas para $B$ e $C$ são fatoradas em estruturas de baixo rango ($r \ll PH$).
• Projetores Profundos: O caminho de entrada inclui blocos residuais de Unidade Linear Portada (GLU) antes da projeção final para introduzir não linearidade, semelhante ao pré-processamento do Mamba.
• Normalização: RMSNorm é aplicada aos parâmetros projetados ($\text{Re}(\Lambda), B, C$) imediatamente antes da discretização para estabilizar o treinamento, prevenindo perturbações ilimitadas na recorrência.
• Reparametrização Estável: $\text{Re}(\Lambda)$ é reparametrizado (por exemplo, via mapeamento exponencial ou estável) para garantir que os autovalores permaneçam no semiplano estável, prevenindo recorrências explosivas independentemente da entrada.

Contribuições Principais

1. Arquitetura: O TIDES introduz um design onde a seletividade reside no gerador de tempo contínuo ($\text{Re}(\Lambda), B, C$), enquanto o passo de discretização permanece uma quantidade física e implícita. Isso permite que o modelo lide nativamente com carimbos de tempo irregulares sem sacrificar a expressividade por token.
2. Análise Mecanística (Flash Desvanecente): Os autores introduzem um novo benchmark de diagnóstico, Flash Desvanecente, que isola dois modos de falha:
   • Rigidez LTI: A incapacidade do S5 de modelar múltiplas taxas de decaimento simultaneamente.
   • Falha de Extrapolação: A incapacidade de modelos semelhantes ao Mamba de generalizar para deltas de tempo ($\Delta$) fora da distribuição de treinamento.
   • O TIDES é mostrado como a única arquitetura que supera ambos, mantendo desempenho robusto através de valores de $\Delta$ não vistos enquanto captura dinâmicas dependentes de zona.
3. Resultados Empíricos: O TIDES alcança novos rankings médios de estado da arte (SOTA) em:
   • Classificação de Séries Temporais UEA: Superando LogNCDE, RFormer e outras bases.
   • Regressão Physiome-ODE: Superando LinODEnet e outros modelos de previsão de séries temporais irregulares.

Achados Experimentais

• Flash Desvanecente: Neste experimento controlado, o S5 falhou em capturar decaimentos dependentes de zona (baixa expressividade), enquanto o MambaS (um substituto do Mamba) falhou em extrapolar para valores de $\Delta$ em tempo de teste fora da faixa de treinamento (taxas de decaimento efetivas desviando). O TIDES aprendeu com sucesso as taxas de decaimento corretas para todas as zonas e permaneceu robusto em uma ampla gama de $\Delta$ em tempo de teste.
• Ablação de Queda Aleatória: No conjunto de dados EigenWorms com queda aleatória de passos de tempo, o TIDES manteve alta precisão mesmo em taxas de queda extremas ($r_{test}=0.9$) não vistas durante o treinamento. Em contraste, MambaS e RFormer colapsaram significativamente em altas taxas de queda, confirmando que $\tilde{\Delta}$ dependente de entrada ou janelas de assinatura fixas falham em generalizar para regimes de amostragem irregular.
• Ablação em $\text{Im}(\Lambda)$: Tornar a parte imaginária dos autovalores dependente da entrada não melhorou o desempenho e o degradou ligeiramente, apoiando a escolha de design de manter as frequências de oscilação estáticas.

Significado e Alegações

O artigo afirma que o TIDES demonstra que expressividade por token e semântica de tempo físico fiel são compatíveis, desde que a dependência de entrada seja roteada através do gerador de tempo contínuo e não através do passo de discretização.

Os autores postulam um princípio de design mais amplo para sequências amostradas irregularmente: mantenha a discretização e a expressividade separadas. O intervalo de amostragem físico deve entrar no modelo apenas através da regra de discretização analítica, enquanto a expressividade deve residir no gerador de tempo contínuo. Essa separação permite que os modelos sejam simultaneamente expressivos e extrapolativos para regimes de amostragem não vistos durante o treinamento.

O artigo é modesto em seu escopo, afirmando explicitamente que o TIDES é projetado para séries temporais irregulares (dados clínicos, de sensores, de simulação) e não é reivindicado como um substituto geral para o Mamba em tarefas de grade regular como modelagem de linguagem, onde o papel do portão de tempo dependente de entrada difere. O trabalho sugere que o princípio de separar o tratamento do tempo da expressividade pode se estender a outras arquiteturas de tempo contínuo, incluindo ODEs Neurais e variantes de atenção de tempo contínuo.