Optimization of randomized neural networks for transfer operator approximation

Resumo Técnico: Otimização de Redes Neurais Randomizadas para Aproximação do Operador de Transferência

Enunciado do Problema
A aproximação baseada em dados de operadores de transferência (como os operadores de Koopman e Perron–Frobenius) é essencial para analisar o comportamento global de sistemas dinâmicos complexos, incluindo estados metaestáveis em dinâmica molecular e estruturas coerentes em escoamentos de fluidos. Métodos tradicionais, como a Decomposição de Modos Dinâmicos Estendida (EDMD), dependem de dicionários fixos de funções de base (por exemplo, polinômios, Gaussianas), cuja seleção ótima é dependente do sistema e frequentemente um problema em aberto. Embora redes neurais (RN) possam aprender esses dicionários, redes totalmente treinadas exigem retropropagação computacionalmente cara, sofrendo de problemas como convergência lenta, mínimos locais e instabilidade de gradiente.

Redes neurais randomizadas, como a RaNNDy proposta anteriormente, abordam esses custos computacionais fixando os pesos e vieses das camadas ocultas e treinando apenas a camada de saída por meio de uma solução de forma fechada. No entanto, essa abordagem possui uma limitação crítica: a qualidade da aproximação depende inteiramente da seleção inicial aleatória de pesos e vieses. Se as funções de base geradas aleatoriamente não representarem com precisão as autofunções do sistema, a aproximação do operador resultante será pobre, e não há nenhum mecanismo dentro da estrutura padrão da RaNNDy para corrigir isso.

Metodologia
Os autores propõem um algoritmo para otimizar a base randomizada da RaNNDy ajustando os hiperparâmetros da função de ativação e as distribuições das quais os pesos e vieses são amostrados, mantendo os parâmetros estruturais da rede (pesos e vieses) fixos após a amostragem.

1. Ativação Paramétrica e Base: O método introduz parâmetros ajustáveis $\omega$ (por exemplo, a escala da distribuição para pesos/vieses, ou parâmetros de uma função de ativação paramétrica como $\tanh$) na definição da função de base: $\psi(x, \omega) = \sigma(W(\omega_W)x + b(\omega_b), \omega_a)$.
2. Otimização Variacional: O algoritmo utiliza o princípio variacional de Rayleigh para definir uma função de perda. Para operadores autoadjuntos (sistemas reversíveis), o objetivo é maximizar a soma dos autovalores do operador projetado. Para operadores não autoadjuntos (sistemas não reversíveis), o método maximiza o traço do operador forward–backward projetado para aproximar os valores singulares.
   • A função de perda é formulada como $L(\omega) = \text{tr}(\hat{A}(\omega))$, onde $\hat{A}(\omega)$ é construído a partir de matrizes de covariância e cruz-covariância baseadas em dados ($\hat{C}_{00}, \hat{C}_{01}$, etc.).
3. Loop de Otimização: Os hiperparâmetros $\omega$ são atualizados iterativamente usando descida de gradiente ou otimização bayesiana para maximizar o traço da aproximação do operador. Uma vez que $\omega$ é otimizado, os pesos da camada de saída são computados por meio de um problema de autovalor de forma fechada, preservando a eficiência computacional das redes randomizadas.

Contribuições Principais

1. Algoritmo de Otimização Inovador: O artigo introduz um método para otimizar a base randomizada da RaNNDy ajustando hiperparâmetros da função de ativação e escalas de distribuição, preenchendo a lacuna entre redes totalmente randomizadas e totalmente treinadas.
2. Aplicação a Sistemas Diversos: A abordagem é validada em três problemas de referência distintos:
   • Caminhadas Aleatórias em Graphons: Demonstrando a capacidade de reconstruir graphons e densidades de transição a partir de dados.
   • Jato de Bickley: Um benchmark de dinâmica de fluidos para detecção de conjuntos coerentes.
   • Proteína NuG2: Dados de dinâmica molecular de alta dimensão para analisar transições de dobramento-desdobramento.

Resultados
Os experimentos numéricos demonstram que a otimização dos parâmetros de ativação melhora significativamente a precisão da aproximação em comparação com o uso de uma base aleatória fixa e mal inicializada:

• Graphons: O algoritmo convergiu em menos de 20 épocas, identificando corretamente um gap espectral correspondente a três conjuntos metaestáveis. A base otimizada permitiu a reconstrução precisa do graphon e da densidade de transição. Em contraste, uma busca em grade para distribuições fixas foi menos eficaz, e redes totalmente treinadas (VAMPnets) com taxas de aprendizado mais altas divergiram ou ficaram presas em mínimos locais.
• Jato de Bickley: O método detectou com sucesso conjuntos coerentes ao agrupar as funções singulares otimizadas. O algoritmo convergiu em menos de 10 iterações, revelando as estruturas coerentes do sistema de forma mais eficaz do que a base aleatória inicial.
• Proteína NuG2: A base otimizada capturou com precisão os autovalores e autofunções dominantes, distinguindo entre os estados dobrado e desdobrado da proteína. A base aleatória inicial produziu aproximações pobres, destacando a necessidade da otimização proposta.

Significado e Alegações
Os autores posicionam este trabalho como um "compromisso" entre redes neurais totalmente randomizadas e totalmente treinadas. O significado reside em manter as vantagens computacionais da RaNNDy (solução de forma fechada, sem retropropagação para camadas ocultas, custos de treinamento mais baixos) enquanto mitiga sua principal fraqueza: a sensibilidade à seleção inicial aleatória de funções de base.

O artigo afirma que o ajuste das distribuições de pesos e vieses ocultos é mais fácil devido a um panorama de perda mais simples em comparação com o treinamento de redes completas, permitindo potencialmente o uso de algoritmos como a otimização bayesiana. Os autores sugerem modestamente que, embora o trabalho atual se concentre em parâmetros específicos de ativação, trabalhos futuros poderiam explorar funções de ativação com mais hiperparâmetros e realizar comparações sistemáticas de tempo de execução em sistemas dinâmicos mais complexos para avaliar ainda mais as compensações das abordagens randomizadas.