Resumo Técnico: Aprendizado de Bases Ortonormais para Espaços de Funções

Declaração do Problema

Expansões em bases ortonormais (BO) de dimensão infinita são fundamentais para representar e computar em espaços de funções, oferecendo propriedades algébricas lineares favoráveis. No entanto, bases fixas padrão (por exemplo, Fourier, wavelets) frequentemente falham em adaptar-se à estrutura específica de um problema ou conjunto de dados dado. Embora métodos baseados em dados, como Análise de Componentes Principais (PCA) ou métodos espectrais, possam identificar bases ótimas, eles tipicamente dependem de discretização (grades ou malhas), introduzindo erros de aproximação e limitando a representação a dimensões finitas. Por outro lado, abordagens baseadas em redes neurais que aprendem funções contínuas frequentemente sacrificam a estrutura algébrica linear do espaço de funções, tornando operações como adição ou diferenciação imprevisíveis no espaço de pesos.

O desafio central abordado por este artigo é como parametrizar e otimizar uma base infinita, contínua e ortonormal que se adapte a tarefas específicas enquanto preserva estritamente a estrutura linear do espaço de funções, sem incorrer em erros de discretização.

Metodologia

Formulação de Grupo de Lie

Os autores propõem visualizar o espaço de bases ortonormais não como um conjunto estático, mas como um caminho na variedade de Lie do grupo ortogonal de dimensão infinita ($SO(\mathcal{H})$). Em vez de otimizar diretamente um operador ortogonal $Q$, o método modela $Q$ como a solução de uma Equação Diferencial Ordinária (EDO) impulsionada por um gerador infinitesimal anti-adjunto dependente do tempo $K(t)$:

$$\frac{d}{dt}Q(t) = K(t)Q(t), \quad Q(0) = I$$

Como $K(t)$ é anti-adjunto ($K^* = -K$), a solução $Q(t)$ permanece ortogonal para todo $t$, garantindo que a base resultante seja sempre ortonormal.

Geradores de Rango Finito e Universalidade

Uma contribuição teórica chave é a prova de que o espaço de dimensão infinita de operadores ortogonais pode ser aproximado arbitrariamente bem usando geradores de rango finito. Especificamente, os autores provam um teorema de universalidade (Teorema 1) afirmando que qualquer rotação no grupo ortogonal de Hilbert-Schmidt pode ser aproximada pelo fluxo de uma EDO governada por um operador anti-adjunto de rango 2.

O gerador $K_\theta(t)$ é parametrizado por redes neurais. Para um gerador de rango $r$, o núcleo é definido como:
$$K_\theta(t)[x, y] = \sum_{k=1}^r \left( u_k(t, x) v_k(t, y) - v_k(t, x) u_k(t, y) \right)$$
onde $u_k$ e $v_k$ são funções aprendidas (implementadas como MLPs) dependentes do tempo $t$ e das coordenadas espaciais. Isso reduz a otimização de uma base de dimensão infinita ao treinamento dos parâmetros $\theta$ dessas redes neurais de rango finito.

Integração que Preserva Estrutura

Para resolver a EDO numericamente enquanto preserva a restrição de ortogonalidade, os autores empregam a transformada de Cayley (um integrador de grupo de Lie). Diferentemente de solvers padrão (por exemplo, Euler Forward/Backward) que acumulam erro e violam a ortogonalidade, o método de Cayley usa um aproximante de Padé $(1,1)$:
$$\tilde{Q}_\ell = \left(I - \frac{\Delta t}{2} \tilde{K}_\ell\right)^{-1} \left(I + \frac{\Delta t}{2} \tilde{K}_\ell\right)$$
Isso garante que a atualização discreta preserve produtos internos e normas exatamente em cada passo. Os autores utilizam a identidade de Woodbury para calcular eficientemente a ação inversa, reduzindo a complexidade computacional para ser linear no número de pontos de quadratura $D$ e cúbica no rango $r$ ($O(r^3 + r^2D)$).

Objetivos Variacionais

O framework otimiza a base minimizando objetivos variacionais específicos:

1. Problemas de Autovalor (PCA): Maximizar a variância explicada de um processo estocástico diagonalizando o operador de covariância.
2. Núcleo Tangente Neural (NTK): Diagonalizar o operador NTK para analisar a dinâmica de treinamento.
3. Operadores de Koopman: Aprender uma base que aproxima o operador de Koopman para sistemas dinâmicos, garantindo preservação de energia mesmo quando o mapa de fluxo subjacente não é estritamente preservador de volume.

Resultados Chave

O artigo demonstra a eficácia do framework em vários domínios:

• PCA Sintética 1D: Em um conjunto de dados de sinais com descontinuidades abruptas, a base aprendida supera tanto a base de Fourier quanto a PCA de dimensão finita. Ela evita o fenômeno de Gibbs e o limite de Nyquist inerentes a métodos baseados em grades, alcançando erros de reconstrução uma ordem de magnitude menores com aproximadamente 100 elementos de base.
• PCA com Dados Reais (MNIST & CelebA): Usando Representações Neurais Implícitas (INRs) para MNIST e CelebA, o método aprende "eigenfaces" e representações de dígitos que são contínuas e livres de discretização. As bases aprendidas capturam mais energia cumulativa e fornecem reconstruções com maior PSNR do que as bases de Fourier com menos elementos.
• Diagonalização de NTK: Quando aplicado a um classificador de duas luas, o método resolve detalhes espaciais finos perto da fronteira de decisão que solvers de autovalor baseados em grades perdem devido à resolução fixa.
• Aprendizado de Operador de Koopman: Em dinâmica de fluidos (vórtices de Taylor-Green), a base aprendida gera instantâneos de estados futuros que conservam estritamente a energia (norma de Hilbert), enquanto solvers numéricos padrão (métodos RK) falham em preservar a energia ao longo de trajetórias longas.

Significado e Alegações

O artigo alega oferecer um framework principiado para aprender bases contínuas e ortonormais que preenche a lacuna entre a adaptabilidade das redes neurais e as garantias estruturais da álgebra linear.

• Garantia Teórica: O teorema de universalidade garante que mesmo geradores de baixo rango (rango 2) são suficientes para aproximar qualquer base ortonormal alvo, fornecendo uma forte fundação teórica para a parametrização.
• Livre de Discretização: Diferentemente de métodos espectrais que exigem grades, esta abordagem opera diretamente no espaço de funções, permitindo avaliação, diferenciação e integração em qualquer ponto do domínio.
• Preservação de Estrutura: Ao modelar a base como um caminho na variedade de Lie ortogonal, o método garante ortonormalidade exata e conservação de energia, propriedades frequentemente perdidas em aproximações neurais padrão.
• Versatilidade: O framework é mostrado como aplicável a tarefas diversas, desde redução de dimensionalidade estatística (PCA) até análise da dinâmica de treinamento de redes neurais (NTK) e simulação de sistemas físicos (operadores de Koopman).

Os autores reconhecem que a otimização através de trajetórias de EDO pode ser computacionalmente desafiadora e que atingir limites teóricos pode exigir horizontes de integração longos. No entanto, eles postulam que esta abordagem fornece uma nova lente poderosa para modelar sistemas complexos envolvendo espaços de funções, particularmente onde a preservação da estrutura linear e da continuidade é primordial.