Resumo Técnico: Aprendizado Federado de Dinâmicas Temporais Não Lineares com Interpretabilidade Inter-cliente Baseada em Atenção em Grafos

Declaração do Problema

Sistemas industriais modernos são cada vez mais monitorados por sensores distribuídos que geram dados de séries temporais de alta dimensão em múltiplos subsistemas interdependentes. Compreender as interdependências temporais entre esses subsistemas é crítico para diagnósticos e operação confiável. No entanto, aprender essas dinâmicas enfrenta quatro restrições significativas em implantações práticas:

1. Descentralização e Privacidade: Dados brutos de sensores não podem ser compartilhados devido a restrições de privacidade, largura de banda de comunicação e soberania de dados.
2. Heterogeneidade e Modelos Fixos: Subsistemas frequentemente operam modelos fixos e proprietários (por exemplo, modelos do Fabricante de Equipamento Original) que não podem ser modificados ou re-treinados.
3. Não Linearidade: Os sistemas exibem dinâmicas não lineares fortes, tornando as interdependências temporais entre subsistemas dependentes do estado e difíceis de interpretar.
4. Interpretabilidade: Abordagens neurais existentes frequentemente carecem de mecanismos estruturados para expor como as interações entre subsistemas variam com o estado operacional do sistema.

O desafio central é aprender um modelo global de interdependências temporais inter-cliente usando apenas representações latentes de baixa dimensão comunicadas pelos clientes, sem alterar seus estimadores internos proprietários, enquanto se fornece uma interpretação fundamentada dessas dinâmicas aprendidas.

Metodologia

Os autores propõem um framework federado onde um servidor central aprende um modelo de transição de estado estruturado em grafos sobre estados latentes comunicados pelos clientes.

1. Modelagem no Lado do Cliente

Cada cliente $m$ opera um Filtro de Kalman Estendido (EKF) fixo e proprietário que estima um estado latente local $(\hat{h}^m_t)_c$ a partir de observações locais $y^m_t$. Para incorporar informações inter-cliente sem modificar o EKF proprietário, o cliente introduz uma função de aumento não linear aprendível $\Delta_m(\cdot; \theta_m)$.

• Estado Aumentado: O cliente calcula um estado aumentado $(\hat{h}^m_t)_a = (\hat{h}^m_t)_c + \Delta_m(y^m_{t-1}; \theta_m)$.
• Dinâmicas Locais: O estado aumentado evolui por meio de suas próprias dinâmicas temporais $(\tilde{h}^m_t)_a = f_m((\hat{h}^m_{t-1})_a)$, distintas do EKF proprietário.
• Otimização: Os clientes minimizam uma perda de reconstrução local e atualizam $\theta_m$ usando gradientes recebidos do servidor.

2. Modelagem no Lado do Servidor

O servidor recebe os estados proprietários $(\hat{h}^m_t)_c$ e os estados aumentados $(\tilde{h}^m_t)_a$ de todos os clientes. Ele modela as interdependências inter-cliente usando uma Rede de Atenção em Grafos (GAT).

• Transição de Estado: O servidor prevê o estado futuro do cliente $m$ como:
  $$(\tilde{h}^m_t)_s = \sigma\left(\sum_{n \in \mathcal{N}(m)} \alpha_{mn} W_{mn} (\hat{h}^n_{t-1})_c\right)$$
  onde $\alpha_{mn}$ são coeficientes de atenção e $W_{mn}$ são transformações aprendíveis.
• Função de Perda: O servidor minimiza o Erro Quadrático Médio (MSE) entre suas previsões $(\tilde{h}^m_t)_s$ e os estados aumentados dos clientes $(\tilde{h}^m_t)_a$.
• Comunicação: O servidor retropropaga o gradiente da perda $\nabla_{(\tilde{h}^m_t)_a} L_s$ para os clientes para atualizar seus parâmetros de aumento, criando um acoplamento bidirecional sem compartilhar dados brutos ou estados do servidor.

3. Interpretabilidade via Jacobianos

Para abordar a não linearidade e a falta de interpretabilidade, o artigo estabelece uma ligação teórica entre os coeficientes de atenção da GAT e o Jacobiano da função de transição de estado aprendida.

• O bloco Jacobiano $J_{mn}(t) = \frac{\partial (\tilde{h}^m_t)_s}{\partial (\hat{h}^n_{t-1})_c}$ quantifica como uma perturbação no estado passado do cliente $n$ afeta o estado futuro do cliente $m$.
• A Proposição 6.1 deriva uma relação em forma fechada mostrando que $J_{mn}(t)$ depende do coeficiente de atenção $\alpha_{mn}(t)$, da matriz de pesos $W_{mn}$ e da derivada da função de ativação $\sigma'$. Isso permite que os coeficientes de atenção sirvam como um proxy para a força da influência temporal direcionada, modulada pelo estado operacional atual do sistema.

Contribuições Principais

O artigo reivindica as seguintes contribuições técnicas:

1. Formalização: Uma formalização do aprendizado federado para interdependências temporais inter-cliente em sistemas de espaço de estado não lineares com modelos de cliente proprietários fixos.
2. Arquitetura: O desenho de um modelo de transição de estado no lado do servidor parametrizado por GAT que representa explicitamente interações dinâmicas inter-cliente sobre estados latentes comunicados.
3. Interpretabilidade: A derivação de relações analíticas entre coeficientes de atenção e blocos Jacobianos, permitindo uma interpretação fundamentada e dependente do estado das interdependências inter-cliente. Isso é reivindicado como a primeira tal caracterização em sistemas não lineares descentralizados.
4. Garantias de Convergência: Prova teórica de que as dinâmicas e Jacobianos aprendidos no lado do servidor convergem para um oráculo centralizado (um sistema com acesso a todos os dados brutos) sob suposições específicas (por exemplo, ativação bi-Lipschitz, independência de estado).
5. Validação Empírica: Validação em conjuntos de dados industriais sintéticos e do mundo real demonstrando convergência, interpretabilidade, escalabilidade e compensações entre privacidade e utilidade.

Resultados Experimentais

Experimentos Sintéticos

Usando um sistema de espaço de estado não linear controlado com interdependências de verdade fundamental conhecidas:

• Recuperação de Estrutura: A GAT no lado do servidor coincidiu estreitamente com os coeficientes de atenção de verdade fundamental, superando significativamente as linhas de base apenas locais.
• Convergência do Jacobiano: Os blocos Jacobianos aprendidos convergiram para os Jacobianos do oráculo centralizado, validando os limites teóricos.
• Correlação: Uma forte correlação empírica foi observada entre coeficientes de atenção e magnitudes Jacobianas, apoiando a ligação teórica.
• Escalabilidade: O framework mostrou robustez ao aumento das dimensões de observação, mas aumento da perda com dimensões latentes mais altas e contagens de clientes devido à sobrecarga de comunicação.
• Privacidade: O sistema permaneceu robusto a pequenos níveis de ruído gaussiano injetado nas comunicações, com desempenho degradando apenas em níveis altos de ruído.

Experimentos do Mundo Real

Avaliado no benchmark do Sistema de Controle Industrial Aumentado com Hardware no Loop (HAI) (tratamento de água, dosagem química, processos de aquecimento):

• Desempenho: O modelo proposto alcançou precisão de previsão do cliente significativamente melhor do que modelos de cliente proprietários e uma linha de base federada pré-treinada, aproximando-se do desempenho de uma linha de base centralizada.
• Interpretabilidade: A estrutura de atenção média temporal aprendida pelo servidor coincidiu estreitamente com a da linha de base centralizada.
• Acordo Jacobiano: Alta similaridade foi encontrada entre os Jacobianos aprendidos pelo modelo de servidor proposto e o modelo centralizado.

Significado e Reivindicações

O artigo posiciona-se como o primeiro trabalho a estabelecer interdependências temporais inter-cliente interpretáveis em sistemas não lineares descentralizados. Seu significado reside em preencher a lacuna entre:

1. Aprendizado preservador de privacidade: Permitir colaboração sem compartilhar dados brutos ou modificar modelos de cliente proprietários.
2. Dinâmicas não lineares: Lidar com interações complexas e dependentes do estado que modelos lineares não podem capturar.
3. Explicabilidade: Fornecer um mecanismo (via análise Jacobiano-atenção) para entender como e quando subsistemas influenciam uns aos outros, em vez de tratar o modelo global como uma caixa preta.

Os autores notam limitações, especificamente que o framework assume um esqueleto de grafo conhecido (matriz de adjacência) e depende de aproximações locais de primeira ordem para interpretabilidade, o que pode degradar sob não linearidade extrema. Eles sugerem integração futura com métodos de descoberta causal para aprender a estrutura do grafo.