Koopman Subspace Pruning in Reproducing Kernel Hilbert Spaces via Principal Vectors

Visão Geral

O artigo propõe uma nova abordagem para refinar subespaços utilizados na aproximação do Operador de Koopman dentro de Espaços de Hilbert de Reprodutores de Kernel (RKHS). O objetivo principal é melhorar a precisão preditiva e a invariância dos modelos dinâmicos aprendidos a partir de dados, utilizando uma técnica de "poda" (pruning) baseada em vetores principais, adaptada para geometrias de RKHS e escalada para grandes conjuntos de dados.

---

1. O Problema

A aproximação do Operador de Koopman, que lineariza sistemas dinâmicos não lineares, frequentemente depende de projeções em subespaços de dimensão finita. Técnicas populares como a Decomposição Dinâmica de Modos Estendida (EDMD) e sua variante baseada em kernel (Kernel EDMD) dependem criticamente da escolha de um dicionário de observáveis.

• Desafio da Invariância: A precisão do modelo depende de quão "invariante" o subespaço escolhido é sob a ação do Operador de Koopman. Se o subespaço não for invariante, a projeção descarta componentes dinâmicos importantes, gerando erros.
• Limitação Atual: Métodos existentes de "poda de subespaço" (que descartam direções geometricamente desalinhadas para melhorar a invariância) foram desenvolvidos apenas para ambientes euclidianos (baseados em produto interno $L^2$ empírico).
• Complexidade Computacional: O Kernel EDMD oferece dicionários ricos e adaptados aos dados, mas sofre de complexidade computacional $O(N^3)$ (onde $N$ é o número de pontos de dados), tornando-o inviável para grandes conjuntos de dados.

O problema central é: Como calcular os ângulos e vetores principais entre um subespaço e sua imagem sob o Operador de Koopman dentro de um RKHS, e como fazer isso de forma escalável para grandes $N$?

---

2. Metodologia

Os autores desenvolveram um framework em três etapas principais:

A. Cálculo Exato no RKHS (Kernel-SPV)

Para resolver o problema de calcular ângulos principais em um RKHS (onde os elementos são funções implícitas e não vetores explícitos), os autores:

1. Formalização: Definiram os subespaços $S$ (dicionário) e $KS$ (imagem do dicionário sob o operador) usando seções de kernel empíricas.
2. Matrizes de Gram: Derivaram matrizes de Gram cruzadas e internas baseadas nas matrizes de kernel ($K_{X,X}$ e $K_{T(X),X}$).
3. Ortogonalização: Utilizaram decomposições espectrais truncadas das matrizes de Gram para obter bases ortonormais implícitas dos subespaços, contornando a necessidade de manipular funções diretamente.
4. SVD: Calcularam os ângulos principais através da Decomposição em Valores Singulares (SVD) de uma matriz de cossenos construída a partir dessas bases.

• Resultado: Um algoritmo exato (Kernel-SPV) que garante precisão teórica, mas mantém a complexidade $O(N^3)$.

B. Aproximação Escalável via Nyström (Approximate Kernel-SPV)

Para superar o gargalo computacional $O(N^3)$, os autores introduziram uma aproximação baseada no método de Nyström:

1. Pontos de Referência (Landmarks): Selecionam um subconjunto pequeno de $D$ pontos ($D \ll N$) do conjunto de dados.
2. Mapa de Recursos Explícito: Constroem um mapa de recursos explícito $\psi: \mathbb{R}^n \to \mathbb{R}^D$ que aproxima o produto interno do RKHS.
3. Matrizes Alvo: Em vez de resolver sistemas lineares massivos para encontrar coeficientes da imagem de Koopman, eles definem matrizes alvo ($Z_V$ e $Z_{KV}$) no espaço de recursos explícito.
4. Regularização e Truncamento: Aplicam regularização de Tikhonov para estabilidade numérica e usam SVD truncada com limiares dependentes dos dados para garantir que a rank das matrizes aproximadas corresponda à rank real, evitando dimensões artificiais.

• Resultado: Um algoritmo aproximado com complexidade $O(NDs + D^3)$, onde $s$ é a dimensão do subespaço, tornando-o viável para grandes $N$.

C. Estratégia de Poda (SPV)

Ambos os algoritmos (exato e aproximado) são integrados em um procedimento iterativo de "Single Principal Vector" (SPV):

1. Calculam os ângulos principais entre o subespaço atual e sua imagem.
2. Identificam o vetor principal associado ao maior ângulo (maior desalinhamento).
3. Removem esse vetor do subespaço.
4. Repetem o processo até que a "proximidade de invariância" (o seno do maior ângulo) esteja abaixo de uma tolerância $\epsilon$.

---

3. Contribuições Principais

1. Generalização para RKHS: Primeira formulação rigorosa para o cálculo de ângulos e vetores principais especificamente dentro da geometria de um RKHS, permitindo a poda de subespaços em Kernel EDMD.
2. Algoritmos Kernel-SPV e Approximate Kernel-SPV: Desenvolvimento de rotinas computacionais exatas e escaláveis para refinar subespaços de Koopman.
3. Superação de Limitações de Escala: Uso inteligente da aproximação de Nyström e mapas de recursos explícitos para reduzir a complexidade de cúbica para quase linear em relação ao tamanho do conjunto de dados.
4. Validação Teórica e Prática: Demonstração de que a aproximação de Nyström converge para os argumentos principais verdadeiros e que a poda resultante melhora significativamente a qualidade das funções próprias (eigenfunctions) e a precisão preditiva.

---

4. Resultados das Simulações

Os autores validaram a metodologia usando um oscilador de Duffing amortecido:

• Convergência da Aproximação: Simulações mostraram que, à medida que o número de pontos de referência ($D$) aumenta, os resíduos de ortonormalidade das bases aproximadas diminuem, convergindo para o resultado exato.
• Eficácia da Poda: Mesmo com um número moderado de pontos de referência ($D=2000$ em um conjunto de $N=5000$), o método aproximado identificou o mesmo subespaço invariante que o método exato.
• Melhoria na Predição: A aplicação da poda reduziu drasticamente o erro de predição de 5 passos para a função própria dominante (associada ao autovalor $\lambda \approx 1$). O erro relativo foi significativamente menor no subespaço podado em comparação com o Kernel EDMD original.

---

5. Significado e Impacto

Este trabalho é significativo porque:

• Unifica Forças: Combina a riqueza de dicionários dependentes de dados do RKHS com a precisão de refinamento de subespaços da poda baseada em vetores principais.
• Viabiliza Aplicações em Grande Escala: Torna a técnica de Kernel EDMD, anteriormente restrita a conjuntos de dados pequenos devido ao custo computacional, aplicável a sistemas complexos e grandes volumes de dados.
• Melhora a Controle e Modelagem: Ao melhorar a invariância do subespaço, o método gera modelos dinâmicos mais precisos, o que é crucial para a síntese de controladores baseados em dinâmicas elevadas (lifted state dynamics) e para previsões de longo prazo em sistemas não lineares.

Em resumo, o artigo fornece as ferramentas matemáticas e computacionais necessárias para "limpar" e otimizar modelos de Koopman baseados em kernel, garantindo que eles sejam tanto precisos quanto computacionalmente tratáveis.