State-Space Neural Network with Ordered Variance for Model Order Determination

Resumo Técnico: Rede Neural de Espaço de Estados com Variância Ordenada para Determinação de Ordem de Modelo

Enunciado do Problema
O artigo aborda o desafio de identificar modelos de espaço de estados não lineares a partir de conjuntos de dados de treinamento de entrada-saída e, simultaneamente, determinar uma ordem de modelo (dimensão de estado) adequada. Embora as Redes Neurais de Espaço de Estados (SSNNs) tenham ganhado popularidade para aprender dinâmicas não lineares, elas sofrem com problemas comuns aos Métodos de Erro de Predição (PEM), incluindo a convergência para mínimos locais e, criticamente, a dimensão de estado desconhecida. A seleção da ordem do modelo tipicamente requer tentativa e erro, o que é computacionalmente dispendioso. Métodos existentes para determinação de ordem de modelo em autoencoders ou modelos baseados em kernel não foram efetivamente estendidos para SSNNs.

Metodologia: Estrutura SSNNO
Os autores propõem uma nova estrutura denominada Rede Neural de Espaço de Estados com Variância Ordenada (SSNNO). A inovação central é a integração de um termo de regularização de variância na função de perda da SSNN para impor uma ordenação das variâncias dos estados.

1. Arquitetura e Treinamento:

   • A SSNNO mantém a estrutura padrão de uma SSNN, aprendendo as funções de estado ($x_{k+1} = f_{NN}(x_k, u_k)$) e de saída ($y_k = g_{NN}(x_k)$) via redes neurais.
   • A função de perda ($J$) combina o Erro de Predição Quadrática (SPE), um termo de regularização de parâmetros para a sub-rede de saída e um novo termo de regularização de variância ($J_v$).
   • Este termo de variância penaliza as variâncias amostrais dos estados preditos, ponderadas por uma matriz diagonal $W = \text{diag}(w_1, \dots, w_d)$ onde os pesos são estritamente crescentes ($0 \le w_1 < w_2 < \dots < w_d$).
   • Este esquema de ponderação incentiva o processo de otimização a minimizar as variâncias dos estados subsequentes (aqueles com pesos maiores) para níveis próximos de zero, enquanto preserva as variâncias dos estados principais.

2. Determinação e Redução da Ordem do Modelo:

   • Estados Significativos vs. Residuais: Após o treinamento, os estados são ordenados por variância ($V_{x_1} \ge V_{x_2} \ge \dots \ge V_{x_d}$). Um limiar de tolerância $\delta$ é aplicado para classificar os estados como "significativos" ($V_{x_i} > \delta$) ou "residuais" ($V_{x_i} \le \delta$).
   • SSNNO de Ordem Reduzida (R-SSNNO): A ordem do modelo é reduzida retendo apenas os estados significativos. Os estados residuais são aproximados por seus valores médios e absorvidos nos parâmetros do modelo das primeiras e últimas camadas da sub-rede de estado. Isso gera um modelo de ordem reduzida sem a necessidade de retreinamento.

3. Implementação Prática:

   • Reconhecendo que algoritmos de otimização local podem não convergir para o mínimo global necessário para uma ordenação estrita de variância, os autores propõem um algoritmo iterativo prático (Algoritmo 1). Este método permuta as variáveis de estado de uma solução otimizada localmente para satisfazer a condição de ordenação de variância, reotimizando se necessário, até que uma solução com variância ordenada seja alcançada.

Contribuições Teóricas
O artigo fornece garantias teóricas formais em relação à estrutura proposta:

• Existência de Variância Ordenada: Usando a desigualdade de rearranjo, os autores provam que o minimizador global da função de perda proposta satisfaz inerentemente a condição de ordenação de variância ($V_{x_1} \ge \dots \ge V_{x_d}$).
• Limite de Erro: Os autores estabelecem um limite superior para o erro de predição de saída da SSNNO em relação a uma SSNN padrão. Eles demonstram que a degradação na precisão da predição devido à regularização de variância pode ser limitada por uma tolerância especificada pelo usuário, controlada pelos hiperparâmetros $\alpha$ e $\beta$.

Resultos de Simulação
A eficácia da SSNNO foi validada em um processo não linear de Reator de Tanque Agitado Contínuo (CSTR), que exibe uma severa não linearidade de ganho.

• Identificação da Ordem do Modelo: Em simulações com uma ordem real do sistema de 2, a SSNNO (treinada com uma dimensão inicial de 3) identificou com sucesso o terceiro estado como tendo uma variância desprezível. Isso permitiu a derivação de um modelo R-SSNNO de ordem reduzida (2ª ordem).
• Desempenho: Os modelos R-SSNNO (reduzidos para 2ª e 1ª ordem) mantiveram uma precisão de predição comparável à SSNNO de 3ª ordem completa e à SSNN padrão, conforme evidenciado pelas métricas de Erro Quadrático Médio (MSE) nos dados de treinamento e teste.
• Robustez: Simulações de Monte Carlo através de vários níveis de ruído confirmaram que a ordenação de variância é consistentemente alcançada sem comprometer o Erro de Predição Quadrática (SPE).
• Aplicação de Controle: O modelo R-SSNNO identificado foi integrado com sucesso em um esquema de Controle Preditivo baseado em Filtro de Kalman Estendido (EKF). O controlador rastreou efetivamente trajetórias de temperatura de referência, corrigindo o desajuste entre planta e modelo.

Significância e Alegações
O artigo afirma que a SSNNO é o primeiro trabalho a incorporar a ordenação de variância das variáveis de estado diretamente dentro de uma estrutura SSNN para resolver o problema de determinação da ordem do modelo. Sua principal significância reside em:

1. Identificação Simultânea: Permite a identificação simultânea do modelo de espaço de estados não linear e a determinação de uma ordem de modelo adequada apenas a partir dos dados.
2. Redução Sistemática: Fornece um procedimento sistemático e não heurístico para derivar modelos de ordem reduzida que mantêm a dinâmica essencial enquanto minimizam a complexidade.
3. Rigor Teórico: Oferece provas formais para a existência de tais modelos ordenados e limites no erro de predição, abordando a falta de garantias teóricas em muitos métodos de identificação baseados em dados.

Os autores concluem que, embora o método seja eficaz para identificação e controle, trabalhos futuros são necessários para estender a estrutura a fim de fornecer garantias teóricas de controlabilidade e estabilidade.