Technische Samenvatting: Federated Learning van Niet-lineaire Temporele Dynamica met Cross-Client Interpretatie op Basis van Graph Attention

Probleemstelling

Moderne industriële systemen worden steeds vaker bewaakt door gedistribueerde sensoren die hoogdimensionale tijdreeksdata genereren over meerdere onderling afhankelijke subsystemen. Het begrijpen van de temporele onderlinge afhankelijkheden tussen deze subsystemen is cruciaal voor diagnose en betrouwbare werking. Het leren van deze dynamica stuit echter in praktische implementaties op vier aanzienlijke beperkingen:

1. Decentralisatie en Privacy: Ruwe sensordata kan niet worden gedeeld vanwege privacy-, communicatiebandbreedte- en data-sovereiniteitsbeperkingen.
2. Heterogeniteit en Vaste Modellen: Subsystemen werken vaak met vaste, propriëtaire modellen (bijvoorbeeld Original Equipment Manufacturer-modellen) die niet kunnen worden aangepast of opnieuw getraind.
3. Niet-lineariteit: De systemen vertonen sterke niet-lineaire dynamica, waardoor temporele onderlinge afhankelijkheden tussen subsystemen staat-afhankelijk zijn en moeilijk te interpreteren.
4. Interpretatie: Bestaande neurale benaderingen missen vaak gestructureerde mechanismen om bloot te leggen hoe subsysteminteracties variëren met de operationele staat van het systeem.

De kernuitdaging is om een globaal model van cross-client temporele onderlinge afhankelijkheden te leren met uitsluitend laagdimensionale latente representaties die van clients worden gecommuniceerd, zonder hun propriëtaire interne schatters te wijzigen, terwijl een principiële interpretatie van deze geleerde dynamica wordt geboden.

Methodologie

De auteurs stellen een federatief kader voor waarin een centrale server een grafgestructureerd staatsovergangmodel leert over latente toestanden die door clients worden gecommuniceerd.

1. Client-zijde Modellering

Elke client $m$ bedient een vaste, propriëtaire Extended Kalman Filter (EKF) die een lokale latente staat $(\hat{h}^m_t)_c$ schat uit lokale observaties $y^m_t$. Om cross-client informatie op te nemen zonder de propriëtaire EKF te wijzigen, introduceert de client een leerbare niet-lineaire augmentatiefunctie $\Delta_m(\cdot; \theta_m)$.

• Augmented State: De client berekent een geaugmenteerde staat $(\hat{h}^m_t)_a = (\hat{h}^m_t)_c + \Delta_m(y^m_{t-1}; \theta_m)$.
• Lokale Dynamica: De geaugmenteerde staat evolueert via zijn eigen temporele dynamica $(\tilde{h}^m_t)_a = f_m((\hat{h}^m_{t-1})_a)$, onderscheiden van de propriëtaire EKF.
• Optimalisatie: Clients minimaliseren een lokale reconstructieverlies en updaten $\theta_m$ met behulp van gradiënten die van de server worden ontvangen.

2. Server-zijde Modellering

De server ontvangt de propriëtaire toestanden $(\hat{h}^m_t)_c$ en de geaugmenteerde toestanden $(\tilde{h}^m_t)_a$ van alle clients. Het modelleert cross-client onderlinge afhankelijkheden met behulp van een Graph Attention Network (GAT).

• Staatsovergang: De server voorspelt de toekomstige staat van client $m$ als:
  $$(\tilde{h}^m_t)_s = \sigma\left(\sum_{n \in \mathcal{N}(m)} \alpha_{mn} W_{mn} (\hat{h}^n_{t-1})_c\right)$$
  waarbij $\alpha_{mn}$ attention-coëfficiënten zijn en $W_{mn}$ leerbare transformaties.
• Verliesfunctie: De server minimaliseert de Mean Squared Error (MSE) tussen zijn voorspellingen $(\tilde{h}^m_t)_s$ en de geaugmenteerde toestanden van de clients $(\tilde{h}^m_t)_a$.
• Communicatie: De server backpropageert de verliesgradiënt $\nabla_{(\tilde{h}^m_t)_a} L_s$ naar de clients om hun augmentatieparameters bij te werken, waardoor een bidirectionele koppeling ontstaat zonder ruwe data of server-toestanden te delen.

3. Interpretatie via Jacobianen

Om de niet-lineariteit en het gebrek aan interpretatie aan te pakken, legt het artikel een theoretisch verband tussen de GAT attention-coëfficiënten en de Jacobian van de geleerde staatsovergangfunctie.

• Het Jacobiaan-blok $J_{mn}(t) = \frac{\partial (\tilde{h}^m_t)_s}{\partial (\hat{h}^n_{t-1})_c}$ kwantificeert hoe een verstoring in de vorige staat van client $n$ de toekomstige staat van client $m$ beïnvloedt.
• Propositie 6.1 leidt een gesloten-vorm relatie af die aantoont dat $J_{mn}(t)$ afhankelijk is van de attention-coëfficiënt $\alpha_{mn}(t)$, de gewichtsmatrix $W_{mn}$ en de afgeleide van de activatiefunctie $\sigma'$. Dit maakt het mogelijk dat de attention-coëfficiënten dienen als proxy voor de sterkte van gerichte temporele invloed, gemoduleerd door de huidige operationele staat van het systeem.

Belangrijkste Bijdragen

Het artikel claimt de volgende technische bijdragen:

1. Formalisering: Een formalisering van federated learning voor cross-client temporele onderlinge afhankelijkheden in niet-lineaire toestandsruimte-systemen met vaste propriëtaire client-modellen.
2. Architectuur: Het ontwerp van een GAT-geparametriseerd server-zijde staatsovergangmodel dat cross-client dynamische interacties over gecommuniceerde latente toestanden expliciet representeert.
3. Interpretatie: De afleiding van analytische relaties tussen attention-coëfficiënten en Jacobiaan-blokken, waardoor een principiële, staat-afhankelijke interpretatie van cross-client onderlinge afhankelijkheden mogelijk wordt. Dit wordt geclaimd als de eerste dergelijke karakterisering in gedecentraliseerde niet-lineaire systemen.
4. Convergentie-garanties: Theoretisch bewijs dat de geleerde server-zijde dynamica en Jacobianen convergeren naar een centraal orakel (een systeem met toegang tot alle ruwe data) onder specifieke aannames (bijvoorbeeld bi-Lipschitz activatie, staatsonafhankelijkheid).
5. Empirische Validatie: Validatie op synthetische en real-world industriële datasets die convergentie, interpretatie, schaalbaarheid en privacy-utility trade-offs aantonen.

Experimentele Resultaten

Synthetische Experimenten

Met behulp van een gecontroleerd niet-lineair toestandsruimte-systeem met bekende ground-truth onderlinge afhankelijkheden:

• Structuurherstel: De server-zijde GAT kwam nauw overeen met de ground-truth attention-coëfficiënten en presteerde aanzienlijk beter dan baselines die alleen lokaal werkten.
• Jacobian-convergentie: De geleerde Jacobiaan-blokken convergeerden naar de Jacobianen van het centrale orakel, wat de theoretische grenzen valideert.
• Correlatie: Er werd een sterke empirische correlatie waargenomen tussen attention-coëfficiënten en Jacobiaan-magnitudes, wat het theoretische verband ondersteunt.
• Schaalbaarheid: Het kader toonde robustheid tegen toenemende observatiedimensies, maar vertoonde een toegenomen verlies bij hogere latente dimensies en client-aantallen vanwege communicatie-overhead.
• Privacy: Het systeem bleef robuust tegen kleine hoeveelheden ingebracht Gaussisch ruis in de communicatie, met prestaties die alleen degradeerden bij hoge ruisniveaus.

Real-world Experimenten

Geëvalueerd op de Hardware-in-the-Loop Augmented Industrial Control System (HAI) benchmark (waterzuivering, chemische dosering, verwarmingsprocessen):

• Prestatie: Het voorgestelde model bereikte een client-voorspellingnauwkeurigheid die aanzienlijk beter was dan propriëtaire client-modellen en een voorgetrainde federale baseline, en naderde de prestaties van een centrale baseline.
• Interpretatie: De door de server geleerde tijd-gemiddelde attention-structuur kwam nauw overeen met die van de centrale baseline.
• Jacobian-overeenkomst: Er werd een hoge gelijkenis gevonden tussen de Jacobianen die door het voorgestelde server-model en het centrale model werden geleerd.

Betekenis en Claims

Het artikel positioneert zichzelf als het eerste werk dat interpretabele cross-client temporele onderlinge afhankelijkheden in gedecentraliseerde niet-lineaire systemen vaststelt. De betekenis ligt in het overbruggen van de kloof tussen:

1. Privacy-bewust leren: Toestaan van samenwerking zonder ruwe data te delen of propriëtaire client-modellen te wijzigen.
2. Niet-lineaire dynamica: Omgaan met complexe, staat-afhankelijke interacties die lineaire modellen niet kunnen vastleggen.
3. Verklaarbaarheid: Het bieden van een mechanisme (via Jacobiaan-attention-analyse) om te begrijpen hoe en wanneer subsystemen elkaar beïnvloeden, in plaats van het globale model als een black box te behandelen.

De auteurs merken beperkingen op, specifiek dat het kader een bekende grafskelet (adjacentiematrix) veronderstelt en vertrouwt op lokale eerste-orde benaderingen voor interpretatie, wat kan verslechteren onder extreme niet-lineariteit. Zij suggereren toekomstige integratie met methoden voor causale ontdekking om de graafstructuur te leren.