Time-Varying Deep State Space Models for Sequences with Switching Dynamics

Resumo Técnico: Modelos de Espaço de Estado Profundos com Variação Temporal para Sequências com Dinâmicas de Comutação

Declaração do Problema
A identificação e modelagem de sistemas com variação temporal permanecem um desafio fundamental no processamento de sinais e na identificação de sistemas. Muitos processos do mundo real, como mercados financeiros, clima e atividade neural, exibem dinâmicas intrinsecamente variáveis no tempo, onde os comportamentos subjacentes do sistema evoluem ao longo do tempo. Embora os Modelos de Espaço de Estado (SSMs) ofereçam um framework principiado para identificação de sistemas, os Sistemas Dinâmicos Lineares (LDS) clássicos assumem dinâmicas de transição fixas e invariantes no tempo. Extensões como os Sistemas Dinâmicos Lineares de Comutação (SLDS) lidam com mudanças de regime, mas exigem estimativa explícita do número de modos e ordens do modelo, tornando o aprendizado desafiador. Por outro lado, os SSMs Profundos modernos alcançaram alto desempenho em sequências longas, mas tradicionalmente dependem de parâmetros invariantes no tempo ou mecanismos dependentes da entrada, que podem não capturar explicitamente dinâmicas suaves e continuamente variáveis no tempo independentes da entrada.

Metodologia
Os autores propõem uma nova classe de Modelos de Espaço de Estado Profundos com Variação Temporal (TV-SSM). Este framework integra expansões de funções de base com variação temporal em arquiteturas de SSM profundo.

• Formulação do Modelo: A inovação central substitui as matrizes fixas $A, B, C$ de um SSM padrão por matrizes dependentes do tempo $A[t], B[t], C[t]$. Cada elemento dessas matrizes é modelado como uma combinação linear de funções de base aprendíveis:
  $$[A[t]]_{ij} = \sum_{k=1}^{K_A} a^{(k)}_{i,j} \times \phi^{(k)}_{A,i,j}[t]$$
  Expansões semelhantes aplicam-se a $B[t]$ e $C[t]$. As funções de base (por exemplo, funções gaussianas, funções seno ou constantes) são fixas, enquanto seus coeficientes são parâmetros aprendíveis. Isso permite que o modelo represente dinâmicas suaves e contínuas sem definir explicitamente modos de comutação.
• Estabilidade: Para garantir a estabilidade das dinâmicas com variação temporal, os autores impõem uma restrição aos elementos diagonais de $A[t]$ (assumindo uma estrutura diagonal para simplificação). Durante o treinamento, se a soma dos valores absolutos dos coeficientes para um elemento diagonal exceder 1, uma estratégia de escalonamento é aplicada para re-normalizar os coeficientes, garantindo que os autovalores permaneçam estritamente dentro do círculo unitário.
• Complexidade: Embora o número de parâmetros treináveis aumente por um fator do tamanho do dicionário ($K_A, K_B, K_C$) por elemento de matriz, a complexidade de inferência permanece comparável à de modelos invariantes no tempo. As matrizes dependentes do tempo podem ser pré-calculadas durante a fase de inferência, resultando nas mesmas operações de Multiplicação-Acumulação (MAC) de um SSM padrão. No entanto, a complexidade espacial aumenta devido ao armazenamento de parâmetros dependentes do tempo.

Principais Contribuições

1. Framework Inovador: O artigo introduz um framework de SSM profundo que parametriza as matrizes de transição de estado, entrada e saída ao longo do tempo usando funções de base aprendíveis, permitindo a modelagem de dinâmicas suaves e continuamente variáveis no tempo sem comutação explícita de modos.
2. Validação Experimental: A abordagem é validada em duas tarefas distintas:
   • Dados Sintéticos: Um Sistema Dinâmico Linear de Comutação (SLDS) de quatro modos onde a verdade fundamental envolve dinâmicas de comutação.
   • Dados do Mundo Real: Uma tarefa de remoção de ruído de fala onde a fala limpa é corrompida por ruído gerado a partir de um SLDS de quatro modos, simulando padrões de ruído recorrentes como máquinas rotativas.
3. Análise Arquitetural: Os autores investigam trade-offs relacionados à alocação de funções de base entre as matrizes $A, B$ e $C$, o impacto da profundidade do modelo e a relação entre contagem de parâmetros e desempenho.

Resultados

• Sistemas de Comutação Sintéticos: No sistema de quatro modos, o modelo totalmente com variação temporal superou consistentemente as contrapartes invariantes no tempo. Notavelmente, o estudo revelou que tornar apenas a matriz de transição de estado $A[t]$ variável no tempo foi insuficiente para capturar dinâmicas de comutação em $B$ ou $C$; inversamente, tornar $B[t]$ ou $C[t]$ variáveis no tempo poderia compensar uma $A$ fixa. Os modelos invariantes no tempo tenderam a aprender uma "média" entre os modos, resultando em maior Erro Quadrático Médio (MSE).
• Remoção de Ruído de Fala: Na tarefa de remoção de ruído de áudio, os modelos com variação temporal superaram significativamente os modelos invariantes no tempo.
  • Desempenho: A melhor configuração com variação temporal alcançou uma Relação Sinal-Ruído (SI-SNR) de 19,6 dB (partindo de ruído de 5 dB), enquanto os modelos invariantes no tempo estagnaram em torno de 7,8 dB, independentemente da profundidade da rede ou funções de ativação.
  • Eficiência de Parâmetros: Mesmo quando o número total de parâmetros treináveis foi igualado entre modelos com variação temporal e invariantes no tempo, a abordagem com variação temporal produziu resultados superiores. Aumentar o número de parâmetros por neurônio melhorou o desempenho do modelo com variação temporal, mas não teve efeito no modelo invariante no tempo, sugerindo que este último não pode aproveitar capacidade adicional para capturar dinâmicas não estacionárias.
  • Alocação de Base: Alocar o orçamento de função de base inteiramente à matriz de saída $C$ ou à matriz de entrada $B$ produziu melhor desempenho do que alocá-lo à matriz de transição de estado $A$.

Significado e Alegações
O artigo alega que o modelo com variação temporal proposto oferece uma solução flexível e eficiente para tarefas de identificação de sistemas envolvendo dinâmicas de comutação ou não estacionárias. Ao modelar dinâmicas dependentes do tempo explicitamente através de funções de base, a abordagem evita a complexidade de estimar modos de comutação discretos exigidos pelo SLDS, enquanto supera os SSMs Profundos padrão invariantes no tempo. Os autores observam que o modelo mantém complexidade computacional comparável durante a inferência às suas contrapartes invariantes no tempo.

O estudo conclui que, embora modelos invariantes no tempo maiores não possam compensar a falta de flexibilidade inerente na captura de dinâmicas de comutação, o framework com variação temporal proposto aprende e adapta-se com sucesso a esses comportamentos. Os autores sugerem que trabalhos futuros devem explorar configurações não estacionárias não periódicas, diferentes famílias de funções de base e comparação com arquiteturas de transformador não estacionárias para esclarecer ainda mais os trade-offs desta abordagem.