On the Generalization Properties of Selective State-Space Models for Filtering Tasks for Unknown Systems

Resumo Técnico: Propriedades de Generalização de Modelos de Espaço de Estados Seletivos para Tarefas de Filtragem de Sistemas Desconhecidos

1. O Problema

O objetivo central do trabalho é investigar a capacidade de Modelos de Espaço de Estados Seletivos (Selective SSMs), como a arquitetura Mamba, de realizar tarefas de filtragem e predição de trajetórias para sistemas dinâmicos desconhecidos.

Tradicionalmente, a filtragem (como o Filtro de Kalman) exige um modelo matemático explícito do sistema. Recentemente, modelos de sequência baseados em Transformers demonstraram capacidade de aprendizado em contexto (in-context learning), permitindo inferir a estrutura de um sistema desconhecido apenas observando dados passados. No entanto, os Transformers possuem limitações computacionais (complexidade quadrática) e de janela de contexto fixa. O artigo questiona se os SSMs podem igualar ou superar os Transformers nessa tarefa, oferecendo vantagens teóricas e práticas.

2. Metodologia

Os autores propõem um framework onde o SSM é treinado via Minimização do Risco Empírico (ERM) em um conjunto de trajetórias provenientes de uma distribuição de sistemas ($D_{sys}$).

• Arquitetura SSM: Utiliza um modelo de espaço de estados linear variante no tempo (LTV) discretizado com um tempo de amostragem não uniforme ($\Delta t$), que é uma função das entradas (tornando-o "seletivo").
• Configuração de Filtragem: O modelo recebe uma sequência de saídas $\{y_i\}_{i=0}^{t-1}$ de um sistema desconhecido e deve prever a próxima saída $\hat{y}_t$.
• Premissas do Sistema: Para a análise teórica, os autores assumem que o sistema possui condições iniciais nulas, que a função de saída é Lipschitz contínua e que a dinâmica do sistema é estável (estabilidade de entrada-para-estado exponencialmente incremental).

3. Principais Contribuições

A. Análise Teórica (Novidade):
O artigo apresenta, pela primeira vez, garantias de generalização para SSMs em aplicações de filtragem.

• Robustez do SSM (Teorema 1): Os autores provam que os SSMs são robustos a perturbações nos dados de entrada. Eles demonstram que o erro de predição decai exponencialmente conforme o tempo decorre desde a perturbação, devido à estabilidade da matriz $A$.
• Limite de Generalização (Teorema 2): Eles derivam um limite para o risco excessivo (a diferença entre o desempenho do modelo treinado e o modelo ideal). O resultado mostra que o erro de generalização dos SSMs decai de forma muito mais rápida — com uma taxa exponencial $\rho^T$ — do que a dos Transformers, que decai de forma polinomial.

B. Demonstração Empírica:
O modelo foi comparado com um Transformer (GPT-2) e o Filtro de Kalman (KF) em quatro cenários:

1. Ambiente Linear-Gaussiano: Onde o KF é o ideal.
2. Mudança de Dinâmica (Switching): Onde o sistema muda abruptamente no meio da trajetória.
3. Ruído Colorido: Onde o ruído possui correlação temporal (violando as premissas do KF padrão).
4. Generalização de Comprimento: Testando o modelo em sequências mais longas do que as usadas no treinamento.

4. Resultados

• Eficiência de Parâmetros: O SSM atingiu desempenho comparável ou superior ao GPT-2 utilizando significativamente menos parâmetros (662 mil vs. 3,3 milhões).
• Resiliência a Mudanças: Em cenários de mudança de dinâmica, o SSM recuperou a precisão mais rapidamente que o Transformer, enquanto o Filtro de Kalman falhou por estar "desajustado" ao novo modelo.
• Adaptação a Ruído: O SSM foi capaz de aprender a correlação temporal do ruído colorido, superando o Filtro de Kalman.
• Extrapolação de Horizonte: O SSM demonstrou uma estabilidade superior ao lidar com sequências mais longas que o horizonte de treinamento, enquanto o erro do Transformer aumentou significativamente.

5. Significância

Este trabalho é fundamental porque fornece a justificativa teórica para a superioridade observada dos SSMs em tarefas de controle e predição de séries temporais longas. Ele estabelece que a natureza recorrente e estável dos SSMs os torna inerentemente mais adequados para o aprendizado em contexto de sistemas dinâmicos do que a arquitetura de atenção dos Transformers, especialmente em aplicações onde a segurança e a precisão em horizontes de tempo longos são críticas.