Riepilogo Tecnico: Apprendimento Federato delle Dinamiche Temporali Non Lineari con Interpretabilità tra Client basata su Attenzione Grafica

Enunciato del Problema

I sistemi industriali moderni sono sempre più monitorati da sensori distribuiti che generano dati temporali ad alta dimensionalità attraverso molteplici sottosistemi interdipendenti. Comprendere le interdipendenze temporali tra questi sottosistemi è fondamentale per la diagnostica e il funzionamento affidabile. Tuttavia, l'apprendimento di queste dinamiche incontra quattro vincoli significativi nelle implementazioni pratiche:

1. Decentralizzazione e Privacy: I dati grezzi dei sensori non possono essere condivisi a causa di vincoli relativi alla privacy, alla larghezza di banda delle comunicazioni e alla sovranità dei dati.
2. Eterogeneità e Modelli Fissi: I sottosistemi operano spesso con modelli proprietari fissi (ad esempio, modelli del Costruttore di Attrezzature Originali - OEM) che non possono essere modificati o riaddestrati.
3. Non Linearità: I sistemi esibiscono forti dinamiche non lineari, rendendo le interdipendenze temporali tra sottosistemi dipendenti dallo stato e difficili da interpretare.
4. Interpretabilità: Gli approcci neurali esistenti spesso mancano di meccanismi strutturati per esporre come le interazioni tra sottosistemi variano con lo stato operativo del sistema.

La sfida principale consiste nell'apprendere un modello globale delle interdipendenze temporali tra client utilizzando esclusivamente rappresentazioni latenti a bassa dimensionalità comunicate dai client, senza alterare i loro stimatori interni proprietari, fornendo al contempo un'interpretazione fondata di queste dinamiche apprese.

Metodologia

Gli autori propongono un framework federato in cui un server centrale apprende un modello di transizione di stato strutturato a grafo sugli stati latenti comunicati dai client.

1. Modellazione lato Client

Ogni client $m$ opera un Filtro di Kalman Esteso (EKF) proprietario e fisso che stima uno stato latente locale $(\hat{h}^m_t)_c$ dalle osservazioni locali $y^m_t$. Per incorporare informazioni tra client senza modificare l'EKF proprietario, il client introduce una funzione di augmentazione non lineare apprendibile $\Delta_m(\cdot; \theta_m)$.

• Stato Augmentato: Il client calcola uno stato augmentato $(\hat{h}^m_t)_a = (\hat{h}^m_t)_c + \Delta_m(y^m_{t-1}; \theta_m)$.
• Dinamiche Locali: Lo stato augmentato evolve tramite le proprie dinamiche temporali $(\tilde{h}^m_t)_a = f_m((\hat{h}^m_{t-1})_a)$, distinte dall'EKF proprietario.
• Ottimizzazione: I client minimizzano una perdita di ricostruzione locale e aggiornano $\theta_m$ utilizzando i gradienti ricevuti dal server.

2. Modellazione lato Server

Il server riceve gli stati proprietari $(\hat{h}^m_t)_c$ e gli stati augmentati $(\tilde{h}^m_t)_a$ da tutti i client. Modella le interdipendenze tra client utilizzando una Rete di Attenzione Grafica (GAT).

• Transizione di Stato: Il server prevede lo stato futuro del client $m$ come:
  $$(\tilde{h}^m_t)_s = \sigma\left(\sum_{n \in \mathcal{N}(m)} \alpha_{mn} W_{mn} (\hat{h}^n_{t-1})_c\right)$$
  dove $\alpha_{mn}$ sono coefficienti di attenzione e $W_{mn}$ sono trasformazioni apprendibili.
• Funzione di Perdita: Il server minimizza l'Errore Quadratico Medio (MSE) tra le sue previsioni $(\tilde{h}^m_t)_s$ e gli stati augmentati dei client $(\tilde{h}^m_t)_a$.
• Comunicazione: Il server retropropaga il gradiente della perdita $\nabla_{(\tilde{h}^m_t)_a} L_s$ ai client per aggiornare i loro parametri di augmentazione, creando un accoppiamento bidirezionale senza condividere dati grezzi o stati del server.

3. Interpretabilità tramite Jacobiani

Per affrontare la non linearità e la mancanza di interpretabilità, il documento stabilisce un legame teorico tra i coefficienti di attenzione della GAT e il Jacobian della funzione di transizione di stato appresa.

• Il blocco Jacobiano $J_{mn}(t) = \frac{\partial (\tilde{h}^m_t)_s}{\partial (\hat{h}^n_{t-1})_c}$ quantifica come una perturbazione nello stato passato del client $n$ influenzi lo stato futuro del client $m$.
• La Proposizione 6.1 deriva una relazione in forma chiusa che mostra come $J_{mn}(t)$ dipenda dal coefficiente di attenzione $\alpha_{mn}(t)$, dalla matrice dei pesi $W_{mn}$ e dalla derivata della funzione di attivazione $\sigma'$. Ciò permette ai coefficienti di attenzione di fungere da proxy per la forza dell'influenza temporale diretta, modulata dallo stato operativo corrente del sistema.

Contributi Chiave

Il documento rivendica i seguenti contributi tecnici:

1. Formalizzazione: Una formalizzazione dell'apprendimento federato per le interdipendenze temporali tra client in sistemi a spazio di stato non lineari con modelli client proprietari fissi.
2. Architettura: La progettazione di un modello di transizione di stato lato server parametrizzato da GAT che rappresenta esplicitamente le interazioni dinamiche tra client sugli stati latenti comunicati.
3. Interpretabilità: La derivazione di relazioni analitiche tra coefficienti di attenzione e blocchi Jacobiani, abilitando un'interpretazione fondata e dipendente dallo stato delle interdipendenze tra client. Si afferma che questa è la prima caratterizzazione del genere in sistemi non lineari decentralizzati.
4. Garanzie di Convergenza: Dimostrazione teorica che le dinamiche lato server apprese e i Jacobiani convergono verso un oracolo centralizzato (un sistema con accesso a tutti i dati grezzi) sotto specifiche assunzioni (ad esempio, attivazione bi-Lipschitz, indipendenza dello stato).
5. Validazione Empirica: Validazione su dataset industriali sintetici e reali che dimostra convergenza, interpretabilità, scalabilità e compromessi tra privacy e utilità.

Risultati Sperimentali

Esperimenti Sintetici

Utilizzando un sistema a spazio di stato non lineare controllato con interdipendenze note (ground-truth):

• Recupero della Struttura: La GAT lato server ha corrisposto strettamente ai coefficienti di attenzione ground-truth, superando significativamente le linee di base basate solo sul locale.
• Convergenza dei Jacobiani: I blocchi Jacobiani appresi sono convergenti verso i Jacobiani dell'oracolo centralizzato, validando i limiti teorici.
• Correlazione: È stata osservata una forte correlazione empirica tra i coefficienti di attenzione e le magnitudini dei Jacobiani, a supporto del legame teorico.
• Scalabilità: Il framework ha mostrato robustezza all'aumento delle dimensioni delle osservazioni, ma ha registrato una perdita maggiore con dimensioni latenti più elevate e un numero maggiore di client a causa del sovraccarico di comunicazione.
• Privacy: Il sistema è rimasto robusto a bassi livelli di rumore gaussiano iniettato nelle comunicazioni, con prestazioni che degradavano solo a livelli di rumore elevati.

Esperimenti nel Mondo Reale

Valutati sul benchmark Hardware-in-the-Loop Augmented Industrial Control System (HAI) (trattamento delle acque, dosaggio chimico, processi di riscaldamento):

• Prestazioni: Il modello proposto ha raggiunto un'accuratezza di previsione dei client significativamente migliore rispetto ai modelli client proprietari e a una linea di base federata pre-addestrata, avvicinandosi alle prestazioni di una linea di base centralizzata.
• Interpretabilità: La struttura di attenzione mediata nel tempo appresa dal server corrisponda strettamente a quella della linea di base centralizzata.
• Accordo sui Jacobiani: È stata riscontrata un'alta similarità tra i Jacobiani appresi dal modello server proposto e il modello centralizzato.

Significato e Affermazioni

Il documento si posiziona come il primo lavoro a stabilire interdipendenze temporali tra client interpretabili in sistemi non lineari decentralizzati. La sua rilevanza risiede nel colmare il divario tra:

1. Apprendimento che preserva la privacy: Consentendo la collaborazione senza condividere dati grezzi o modificare i modelli client proprietari.
2. Dinamiche non lineari: Gestendo interazioni complesse e dipendenti dallo stato che i modelli lineari non possono catturare.
3. Spiegabilità: Fornendo un meccanismo (tramite analisi Jacobiano-attenzione) per comprendere come e quando i sottosistemi si influenzano a vicenda, piuttosto che trattare il modello globale come una scatola nera.

Gli autori notano le limitazioni, specificamente che il framework assume uno scheletro di grafo noto (matrice di adiacenza) e si affida ad approssimazioni locali del primo ordine per l'interpretabilità, che potrebbero degradarsi in condizioni di estrema non linearità. Suggeriscono un'integrazione futura con metodi di scoperta causale per apprendere la struttura del grafo.