📊 statistics

Federated Learning of Nonlinear Temporal Dynamics with Graph Attention-based Cross-Client Interpretability

Dieser Artikel schlägt ein Framework für federiertes Lernen vor, das Graph Attention Networks auf latente Zustände anwendet, die aus nichtlinearen Zustandsraummodellen abgeleitet werden, um zeitliche Interdependenzen zwischen Clients in dezentralen industriellen Systemen zu erlernen und zu interpretieren, selbst wenn die Clients feste, nicht modifizierbare proprietäre Modelle betreiben.

Ursprüngliche Autoren: Ayse Tursucular, Ayush Mohanty, Nazal Mohamed, Nagi Gebraeel

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ayse Tursucular, Ayush Mohanty, Nazal Mohamed, Nagi Gebraeel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine massive Industrieanlage vor, in der verschiedene Maschinen (wie eine Wasseraufbereitungsanlage, ein chemischer Mischer und ein Heizer) miteinander verbunden sind. Jede Maschine verfügt über ihr eigenes Team von Sensoren, das sie genau überwacht, und über ihr eigenes „Gehirn" (ein proprietäres Modell), das versucht, basierend auf ihren eigenen Sensoren vorherzusagen, was als Nächstes passieren wird.

Das Problem:
Die Fabrik ist riesig, und die Maschinen kommunizieren miteinander. Wenn der Wassererhitzer zu heiß wird, könnte dies schließlich dazu führen, dass der chemische Mischer seltsam reagiert. Doch hier liegt der Haken:

Datenschutz: Die Teams können ihre Roh-Sensordaten weder untereinander noch mit einer zentralen Instanz teilen, da diese zu sensibel sind oder die Bandbreite zu gering ist.
Verschlossene Gehirne: Die „Gehirne" in jeder Maschine sind fest verankert. Sie können nicht neu programmiert oder in ihrer Funktionsweise verändert werden; es handelt sich um proprietäre Software, die man einfach nutzen muss.
Komplexität: Die Art und Weise, wie diese Maschinen sich gegenseitig beeinflussen, ist nicht einfach (wie A verursacht B). Sie ist chaotisch, nichtlinear und ändert sich je nach dem aktuellen Zustand der Fabrik.

Die große Frage lautet: Wie können wir herausfinden, wie diese Maschinen sich gegenseitig beeinflussen, ohne ihre Rohdaten zu sehen und ohne ihre Gehirne neu programmieren zu können?

Die Lösung: Das „Föderierte" Team-Huddle
Die Autoren schlagen einen cleveren Weg vor, wie diese Maschinen voneinander lernen können, ohne gegen die Regeln zu verstoßen. Stellen Sie sich ein Team von Detektiven vor, die ihre Fallakten nicht austauschen können, aber ihre „Bauchgefühle" (zusammengefasste Notizen) teilen können.

So funktioniert ihr System, Schritt für Schritt:

1. Der lokale Detektiv (Der Client)

Jede Maschine (Client) besitzt ihr eigenes festes Gehirn. Sie betrachtet ihre Sensoren und erzeugt ein „Bauchgefühl" über ihren aktuellen Zustand. Dies ist eine komprimierte, niedrigdimensionale Zusammenfassung dessen, was passiert.

Analogie: Stellen Sie sich einen Mechaniker vor, der den Motor eines Autos betrachtet und eine einzelne Zahl aufschreibt, die die Gesundheit des Motors repräsentiert. Sie können den gesamten Motor nicht in die Werkstatt schicken, aber sie können diese Zahl senden.

2. Die „Augmentierung" (Hinzufügen eines kleinen Extras)

Da das feste Gehirn nicht sehen kann, was die anderen Maschinen tun, fügt das System eine kleine, lernbare „Erweiterung" zur Notiz des Mechanikers hinzu. Diese Erweiterung ist ein winziger, flexibler Helfer, der versucht zu erraten, wie die anderen Maschinen diesen hier beeinflussen könnten.

Analogie: Der Mechaniker fügt einen Haftzettel zu seinem Bericht hinzu, auf dem steht: „Ich denke, der Heizer könnte mich beeinflussen." Diese Notiz wird im Laufe der Zeit gelernt.

3. Der zentrale Trainer (Der Server)

Alle Maschinen senden ihre „Bauchgefühle" (die Zusammenfassungen) an einen zentralen Server. Der Server sieht die Rohdaten nicht; er sieht nur diese Zusammenfassungen.
Der Server verwendet ein spezielles Werkzeug namens Graph Attention Network (GAT). Stellen Sie sich dies als einen Trainer vor, der in der Mitte eines Raumes steht und alle Berichte der Mechaniker betrachtet.

Der Graph: Der Trainer weiß, welche Maschinen mit welchen sprechen könnten (die Struktur).
Die Aufmerksamkeit: Der Trainer lernt, wie sehr er jeder Maschine zuhören muss. Wenn der Wassererhitzer Probleme macht, könnte der Trainer ihm 90 % Aufmerksamkeit schenken und dem chemischen Mischer nur 10 %. Wenn der chemische Mischer das Problem ist, kehrt sich die Aufmerksamkeit um.

4. Die Feedback-Schleife

Der Trainer berechnet den besten Weg, wie die Maschinen sich sollten gegenseitig beeinflussen. Anstatt die Rohdaten zurückzusenden (was verboten ist), sendet der Trainer einen Gradienten (einen sanften Anstoß) an jede Maschine zurück.

Analogie: Der Trainer flüstert dem Mechaniker zu: „Dein Haftzettel über den Heizer muss etwas stärker sein." Der Mechaniker passt seine „Erweiterung" basierend auf diesem Flüstern an.
Im Laufe der Zeit lernen die „Erweiterungen" auf jeder Maschine, die komplexen, versteckten Beziehungen zwischen allen Maschinen perfekt nachzuahmen, obwohl niemand jemals die Rohdaten gesehen hat.

5. Die „Röntgenvision" (Interpretierbarkeit)

Dies ist der größte Durchbruch des Papiers. Normalerweise sind neuronale Netze „Black Boxes" – man weiß, dass sie funktionieren, aber man weiß nicht warum.
Die Autoren haben einen mathematischen Trick gefunden, um die „Aufmerksamkeit" (wie sehr der Trainer zuhört) in eine Jacobian-Matrix (ein Maß dafür, wie sehr eine Änderung an einer Maschine eine andere tatsächlich verändert) umzuwandeln.

Analogie: Es ist, als würde der Trainer nicht nur sagen: „Ich höre dem Heizer zu", sondern auch eine präzise Messung liefern: „Wenn die Temperatur des Heizers um 1 Grad steigt, ändert sich die Reaktionsgeschwindigkeit des chemischen Mischers genau um 0,5 Einheiten."
Dies ermöglicht es Ingenieuren, die exakte „Ursache-Wirkung"-Karte zwischen den Maschinen zu sehen, selbst in einem komplexen, nichtlinearen System.

Was haben sie bewiesen?

Es funktioniert: Sie testeten dies an künstlichen Daten (bei denen sie die Antwort kannten) und echten Industriedaten. Das System lernte die Verbindungen fast genauso gut, als ob sie alle Daten in einem einzigen riesigen Computer hätten (das „Zentralisierte Orakel").
Es ist stabil: Die Mathematik beweist, dass sich das Verständnis der Maschinen, während sie weiter Huddles abhalten und flüstern, der Wahrheit annähert.
Es ist privat: Die Roh-Sensordaten verlassen die lokalen Maschinen niemals. Nur die niedrigdimensionalen Zusammenfassungen und die „Anstoß"-Gradienten werden geteilt.

Zusammenfassung:
Das Papier stellt eine Methode vor, wie ein Netzwerk aus abgeschotteten, datenschutzgeschützten Maschinen lernen kann, wie sie sich gegenseitig beeinflussen. Sie tun dies, indem sie nur hochrangige Zusammenfassungen teilen, einen zentralen „Trainer" verwenden, um die Beziehungen zu ermitteln, und dann die lokalen Maschinen anweisen, ihre eigenen internen „Notizen" so anzupassen, dass sie diesem globalen Bild entsprechen. Das Ergebnis ist ein System, das nicht nur vorhersagt, was passieren wird, sondern auch genau erklären kann, wie sich das Verhalten einer Maschine ausbreitet, um die anderen zu beeinflussen.

Technische Zusammenfassung: Federated Learning nichtlinearer temporaler Dynamiken mit graphenbasiertem Attention-Mechanismus für die interpretierbare Interaktion zwischen Clients

Problemstellung

Moderne Industriesysteme werden zunehmend durch verteilte Sensoren überwacht, die hochdimensionale Zeitreihendaten über mehrere voneinander abhängige Subsysteme hinweg generieren. Das Verständnis der temporalen Interdependenzen zwischen diesen Subsystemen ist entscheidend für die Diagnose und den zuverlässigen Betrieb. Das Erlernen dieser Dynamiken stößt jedoch in praktischen Bereitstellungen auf vier wesentliche Einschränkungen:

Dezentralisierung und Datenschutz: Rohdaten der Sensoren können aufgrund von Datenschutz-, Kommunikationsbandbreiten- und Datenhoheitsbeschränkungen nicht geteilt werden.
Heterogenität und feste Modelle: Subsysteme arbeiten häufig mit festen, proprietären Modellen (z. B. Original Equipment Manufacturer-Modelle), die nicht modifiziert oder nachtrainiert werden können.
Nichtlinearität: Die Systeme weisen starke nichtlineare Dynamiken auf, wodurch die temporalen Interdependenzen zwischen Subsystemen zustandsabhängig und schwer interpretierbar werden.
Interpretierbarkeit: Bestehende neuronale Ansätze verfügen oft nicht über strukturierte Mechanismen, um aufzuzeigen, wie sich die Interaktionen zwischen Subsystemen mit dem Betriebszustand des Systems verändern.

Die Kernherausforderung besteht darin, ein globales Modell der temporalen Interdependenzen zwischen Clients ausschließlich unter Verwendung niedrigdimensionaler latenter Repräsentationen zu erlernen, die von den Clients übermittelt werden, ohne deren proprietäre interne Schätzer zu verändern, und dabei eine fundierte Interpretation dieser erlernten Dynamiken zu liefern.

Methodik

Die Autoren schlagen ein Federated-Learning-Framework vor, bei dem ein zentraler Server ein graphenstrukturiertes Zustandsübergangsmodell über die von Clients kommunizierten latenten Zustände lernt.

1. Modellierung auf Client-Seite

Jeder Client $m$ betreibt einen festen, proprietären Extended Kalman Filter (EKF), der aus lokalen Beobachtungen $y^m_t$ einen lokalen latenten Zustand $(\hat{h}^m_t)_c$ schätzt. Um Informationen über Clients hinweg einzubeziehen, ohne den proprietären EKF zu modifizieren, führt der Client eine lernbare nichtlineare Augmentationsfunktion $\Delta_m(\cdot; \theta_m)$ ein.

Augmentierter Zustand: Der Client berechnet einen augmentierten Zustand $(\hat{h}^m_t)_a = (\hat{h}^m_t)_c + \Delta_m(y^m_{t-1}; \theta_m)$ .
Lokale Dynamik: Der augmentierte Zustand entwickelt sich gemäß seiner eigenen temporalen Dynamik $(\tilde{h}^m_t)_a = f_m((\hat{h}^m_{t-1})_a)$ , die sich vom proprietären EKF unterscheidet.
Optimierung: Clients minimieren einen lokalen Rekonstruktionsverlust und aktualisieren $\theta_m$ unter Verwendung von Gradienten, die vom Server empfangen werden.

2. Modellierung auf Server-Seite

Der Server empfängt die proprietären Zustände $(\hat{h}^m_t)_c$ und die augmentierten Zustände $(\tilde{h}^m_t)_a$ von allen Clients. Er modelliert die Interdependenzen zwischen den Clients mithilfe eines Graph Attention Network (GAT).

Zustandsübergang: Der Server sagt den zukünftigen Zustand von Client $m$ wie folgt voraus:
$(\tilde{h}^m_t)_s = \sigma\left(\sum_{n \in \mathcal{N}(m)} \alpha_{mn} W_{mn} (\hat{h}^n_{t-1})_c\right)$
wobei $\alpha_{mn}$ Attention-Koeffizienten und $W_{mn}$ lernbare Transformationen sind.
Verlustfunktion: Der Server minimiert den mittleren quadratischen Fehler (MSE) zwischen seinen Vorhersagen $(\tilde{h}^m_t)_s$ und den augmentierten Zuständen der Clients $(\tilde{h}^m_t)_a$ .
Kommunikation: Der Server leitet den Verlustgradienten $\nabla_{(\tilde{h}^m_t)_a} L_s$ an die Clients zurück, um deren Augmentationsparameter zu aktualisieren, wodurch eine bidirektionale Kopplung entsteht, ohne Rohdaten oder Serverzustände zu teilen.

3. Interpretierbarkeit via Jacobi-Matrizen

Um die Nichtlinearität und den Mangel an Interpretierbarkeit zu adressieren, stellt das Papier eine theoretische Verbindung zwischen den GAT-Attention-Koeffizienten und der Jacobi-Matrix der erlernten Zustandsübergangsfunktion her.

Der Jacobi-Block $J_{mn}(t) = \frac{\partial (\tilde{h}^m_t)_s}{\partial (\hat{h}^n_{t-1})_c}$ quantifiziert, wie sich eine Störung im vergangenen Zustand von Client $n$ auf den zukünftigen Zustand von Client $m$ auswirkt.
Proposition 6.1 leitet eine geschlossene Beziehung her, die zeigt, dass $J_{mn}(t)$ vom Attention-Koeffizienten $\alpha_{mn}(t)$ , der Gewichtsmatrix $W_{mn}$ und der Ableitung der Aktivierungsfunktion $\sigma'$ abhängt. Dies ermöglicht es, die Attention-Koeffizienten als Stellvertreter für die Stärke der gerichteten temporalen Einflussnahme zu nutzen, moduliert durch den aktuellen Betriebszustand des Systems.

Hauptbeiträge

Das Papier beansprucht folgende technische Beiträge:

Formalisierung: Eine Formalisierung von Federated Learning für temporale Interdependenzen zwischen Clients in nichtlinearen Zustandsraummodellen mit festen proprietären Client-Modellen.
Architektur: Der Entwurf eines durch GAT parametrisierten serverseitigen Zustandsübergangsmodells, das dynamische Interaktionen zwischen Clients über kommunizierte latente Zustände explizit darstellt.
Interpretierbarkeit: Die Herleitung analytischer Beziehungen zwischen Attention-Koeffizienten und Jacobi-Blöcken, die eine fundierte, zustandsabhängige Interpretation der Interdependenzen zwischen Clients ermöglichen. Dies wird als erste derartige Charakterisierung in dezentralen nichtlinearen Systemen beansprucht.
Konvergenzgarantien: Theoretischer Beweis, dass die erlernten serverseitigen Dynamiken und Jacobi-Matrizen unter spezifischen Annahmen (z. B. bi-Lipschitz-Aktivierung, Zustandsunabhängigkeit) gegen ein zentralisiertes Orakel (ein System mit Zugriff auf alle Rohdaten) konvergieren.
Empirische Validierung: Validierung an synthetischen und realen industriellen Datensätzen, die Konvergenz, Interpretierbarkeit, Skalierbarkeit und Trade-offs zwischen Datenschutz und Nutzen nachweisen.

Experimentelle Ergebnisse

Synthetische Experimente

Unter Verwendung eines kontrollierten nichtlinearen Zustandsraummodells mit bekannten Ground-Truth-Interdependenzen:

Strukturerholung: Das serverseitige GAT stimmte eng mit den Ground-Truth-Attention-Koeffizienten überein und schnitt deutlich besser ab als reine Client-Baselines.
Jacobi-Konvergenz: Die erlernten Jacobi-Blöcke konvergierten gegen die Jacobi-Matrizen des zentralisierten Orakels, was die theoretischen Schranken validierte.
Korrelation: Es wurde eine starke empirische Korrelation zwischen Attention-Koeffizienten und Jacobi-Magnituden beobachtet, was den theoretischen Zusammenhang stützt.
Skalierbarkeit: Das Framework zeigte Robustheit gegenüber steigenden Beobachtungsdimensionen, jedoch erhöhte sich der Verlust bei höheren latenten Dimensionen und Client-Anzahlen aufgrund von Kommunikations-Overhead.
Datenschutz: Das System blieb gegenüber geringen Mengen injizierten Gaußschen Rauschens in der Kommunikation robust; die Leistung verschlechterte sich erst bei hohem Rauschpegel.

Experimente mit realen Daten

Ausgewertet am Hardware-in-the-Loop Augmented Industrial Control System (HAI)-Benchmark (Wasseraufbereitung, chemische Dosierung, Heizprozesse):

Leistung: Das vorgeschlagene Modell erreichte eine Client-Vorhersagegenauigkeit, die signifikant besser war als die proprietärer Client-Modelle und einer vortrainierten Federated-Baseline und sich der Leistung einer zentralisierten Baseline annäherte.
Interpretierbarkeit: Die vom Server erlernte zeitgemittelte Attention-Struktur stimmte eng mit der der zentralisierten Baseline überein.
Jacobi-Übereinstimmung: Es wurde eine hohe Ähnlichkeit zwischen den Jacobi-Matrizen des vorgeschlagenen Servermodells und des zentralisierten Modells festgestellt.

Bedeutung und Behauptungen

Das Papier positioniert sich als erste Arbeit, die interpretierbare temporale Interdependenzen zwischen Clients in dezentralen nichtlinearen Systemen etabliert. Seine Bedeutung liegt in der Überbrückung der Lücke zwischen:

Datenschutzfreundlichem Lernen: Ermöglichung von Zusammenarbeit ohne Weitergabe von Rohdaten oder Modifikation proprietärer Client-Modelle.
Nichtlinearen Dynamiken: Bewältigung komplexer, zustandsabhängiger Interaktionen, die lineare Modelle nicht erfassen können.
Erklärbarkeit: Bereitstellung eines Mechanismus (via Jacobi-Attention-Analyse), um zu verstehen, wie und wann Subsysteme einander beeinflussen, anstatt das globale Modell als Blackbox zu behandeln.

Die Autoren weisen auf Einschränkungen hin, insbesondere dass das Framework ein bekanntes Graphenskelett (Adjazenzmatrix) voraussetzt und für die Interpretierbarkeit auf lokale Approximationen erster Ordnung angewiesen ist, was unter extremen Nichtlinearitäten an Qualität verlieren kann. Sie schlagen eine zukünftige Integration mit Methoden zur kausalen Entdeckung vor, um die Graphenstruktur zu erlernen.