🤖 machine learning

Every Client Is an Environment: Federated De-confounding for Spatio-Temporal Forecasting

Dieses Paper schlägt \method vor, ein neuartiges föderiertes De-Confounding-Framework für die räumlich-zeitliche Vorhersage, das Clients als distinkte kausale Umgebungen behandelt, um deren Heterogenität als komplementäre Evidenz zu nutzen und dadurch ein globales Prototyp-Codebuch zu erlernen, das bestehende Methoden in Bezug auf Generalisierung, Interpretierbarkeit und Kommunikationseffizienz übertrifft.

Ursprüngliche Autoren: Qingxiang Liu, Anqi Liang, Heng Wang, Yuxuan Liang

Veröffentlicht 2026-07-28

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Qingxiang Liu, Anqi Liang, Heng Wang, Yuxuan Liang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das geheime Leben der Daten: Warum der Verkehr einer Stadt nicht der einer anderen gleicht

Stellen Sie sich vor, Sie versuchen die Zukunft vorherzusagen, aber anstatt einer Kristallkugel besitzen Sie ein riesiges, unordentliches Notizbuch voller Wetterberichte, Staus und Luftqualitätsmessungen von tausenden verschiedenen Orten. Dies ist die Welt der spatiotemporalen Vorhersage, ein Zweig der Wissenschaft, der sich der Frage widmet, wie sich Dinge über Zeit und Raum hinweg verändern. Denken Sie daran als der Versuch zu erraten, wann der nächste Stau auftritt oder wann die Luft smogbelastet sein wird, indem man nur vergangene Daten nutzt.

Normalerweise versuchen Wissenschaftler, dies zu lösen, indem sie alle Daten in einem einzigen, riesigen Supercomputer sammeln. Aber in der realen Welt ist das oft unmöglich. Die Verkehrsdaten Ihrer Stadt könnten das Eigentum eines privaten Unternehmens sein, oder Ihre heimische Wetterstation ist vielleicht zu klein, um ihre Rohdaten aufgrund von Datenschutzregeln mit einem zentralen Server zu teilen. Hier kommt das Federated Learning (Föderiertes Lernen) ins Spiel. Es ist wie eine Gruppe von Freunden, die versucht, gemeinsam ein Puzzle zu lösen, ohne jemals ihre einzelnen Puzzleteile miteinander zu teilen. Sie teilen nur ihre Ideen darüber, wie die Teile zusammenpassen, nicht die Teile selbst.

Es gibt jedoch einen Haken. Wenn Ihr Freund in einer regnerischen Stadt lebt und Sie in einer sonnigen Stadt leben, werden Ihre „Ideen“ darüber, wie das Wetter funktioniert, völlig unterschiedlich sein. In der Vergangenheit betrachteten Forscher diese Unterschiede als ein Ärgernis und versuchten, alle dazu zu bringen, sich auf eine einzige, durchschnittliche Denkweise zu einigen. Aber was wäre, wenn diese Unterschiede kein Fehler, sondern ein Merkmal sind? Was wäre, wenn die Tatsache, dass jeder ein anderes Stück der Welt sieht, eigentlich der Schlüssel ist, um das Gesamtbild zu erfassen? Diese Arbeit stellt eine kühne Frage: Können wir diese unterschiedlichen „Slices“ (Schnitte) der Realität nutzen, um das Rauschen zu eliminieren und die wahren, universellen Regeln zu finden, nach denen die Welt funktioniert?

Die Arbeit: Nachbarn in ein Super-Team verwandeln

Die Arbeit mit dem Titel „Every Client Is an Environment: Federated De-confounding for Spatio-Temporal Forecasting“ schlägt einen neuen Weg vor, um dieses Rätsel zu lösen. Die Autoren, angeführt von Qingxiang Liu und Kollegen, führen ein Framework namens Atlas ein. Anstatt zu versuchen, die Unterschiede zwischen Städten oder Sensoren zu glätten, behandelt Atlas jede einzelne Datenquelle (oder jeden „Client“) als eine einzigartige Umgebung (Environment).

Hier ist die Kernidee, erklärt mit einer Metapher: Stellen Sie sich vor, Sie versuchen herauszufinden, wie ein Automotor funktioniert. Wenn Sie nur ein Auto beobachten, das in einem Schneesturm fährt, könnten Sie denken, der Motor benötigt zusätzliche Kraftstoffzufuhr, um warm zu bleiben. Wenn Sie nur ein Auto in der Wüste beobachten, könnten Sie denken, er benötigt zusätzliche Kühlung. Wenn Sie versuchen, diese beiden Beobachtungen zu mitteln, erhalten Sie eine verwirrte, falsche Antwort. Aber wenn Sie ein Team von Mechanikern haben, von denen jeder den Motor in einer anderen Umgebung beobachtet (Schnee, Sand, Regen, Stadtverkehr), und sie ihre Notizen vergleichen, können sie erkennen: „Ah! Der Motor braucht eigentlich weder extra Kraftstoff noch extra Kühlung; das Wetter hat uns nur getäuscht!“

In der Welt der Daten wird dieser „Trick“ als Confounding (Störfaktor/Konfundierung) bezeichnet. Er tritt auf, wenn ein externer Faktor (wie das Wetter oder ein besonderes Ereignis) die Beziehung zwischen dem, was Sie jetzt sehen, und dem, was als Nächstes passiert, stört. Zum Beispiel könnte ein Verkehrssensor in der Nähe eines Stadions an Spieltagen immer einen Anstieg der Fahrzeuge zeigen. Wenn der Sensor nur Spieltage sieht, könnte er denken: „Autos steigen immer an“, und dabei die Tatsache übersehen, dass es eigentlich das Stadion-Ereignis ist, das dies verursacht.

Was Atlas macht:
Die Arbeit argumentt, dass wir anstatt die Umgebungsunterschiede zu verstecken, sie nutzen sollten. Atlas arbeitet wie ein „universeller Übersetzer“ für diese verschiedenen Umgebungen.

Das Codebuch: Das System erstellt ein gemeinsames „Wörterbuch“ (ein sogenanntes Prototype Codebook), das alle möglichen „Stimmungen“ oder „Regime“ auflistet, in denen sich eine Umgebung befinden kann (z. B. „Berufsverkehr“, „Regentag“, „Stadion-Ereignis“).
Die Übersetzung: Jeder lokale Sensor betrachtet seine eigenen Daten und sagt: „Ich glaube, ich befinde mich in der Stimmung ‚Regentag‘.“ Er sendet dieses Label an den zentralen Server.
Die magische Aggregation: Der Server mittelt nicht einfach die Vorhersagen der Sensoren. Stattdessen mischt er die „Regentag“-Labels des Regensensors mit den „Sonnentag“-Labels des Sonnensensors. Indem er sieht, wie der Motor in all diesen verschiedenen Stimmungen reagiert, kann das System die wahren, zugrunde liegenden Regeln des Motors herausfinden und die Verwirrung, die durch das Wetter verursacht wurde, entfernen.

Was sie fanden:
Die Autoren testeten Atlas auf fünf realen Datensätzen, darunter Verkehrsgeschwindigkeiten in Los Angeles und Luftqualität in China.

Bessere Vorhersagen: Atlas war anderen Methoden konsistent überlegen. Im Verkehrsdatensatz METR-LA reduzierte Atlas den Vorhersagefehler (MAE) auf 3,30, was besser war als alle anderen föderierten Methoden (die zwischen 3,54 und 4,86 lagen) und sehr nah an den zentralisierten Methoden liegt, die Zugriff auf alle Daten haben.
Es ist nicht nur das Mitteln: Die Arbeit schließt explizit die Idee aus, dass das einfache Mitteln von Modellparametern (die Standardmethode des Federated Learning) hier gut funktioniert. Sie zeigten, dass das Erzwingen, dass verschiedene Umgebungen sich auf einen einzigen Satz von Zahlen einigen, die Vorhersagen tatsächlich verschlechtert, da es die einzigartigen Muster verwischt.
Der „De-confounding“-Beweis: Durch Simulationen bewiesen sie, dass der Fehler in ihrem System direkt mit der durchschnittlichen Stärke der Verwirrung über alle Clients hinweg verknüpft ist, nicht mit der Verwirrung eines einzelnen Clients. Dies deutet darauf hin, dass selbst wenn ein Client sehr verwirrt ist, die Gruppe die Wahrheit finden kann, wenn die anderen klar sind.

Wie sicher sind sie sich?
Die Arbeit ist sehr zuversichtlich in ihren Ergebnissen, gestützt durch sowohl mathematische Theorie als auch reale Daten.

Die Theorie: Sie leiteten eine mathematische Schranke (eine Grenze dafür, wie falsch das System sein kann) ab, die zeigt, dass der Fehler linear durch die durchschnittliche Verwirrung kontrolliert wird. Dies ist eine starke theoretische Garantie.
Die Simulation: Sie erstellten ein „semi-synthetisches“ Experiment, bei dem sie künstlich Verwirrung in reale Verkehrsdaten injizierten. In diesen Tests hielt ihre Methode (Atlas) den Fehler nahe Null, während lokale Methoden völlig versagten, was beweist, dass das System die „Tricks“ der Umgebung erfolgreich eliminiert.
Die reale Welt: Auf tatsächlichen Datensätzen wie METR-LA und PEMS-BAY waren die Ergebnisse konsistent. Beispielsweise zeigten sie auf dem KnowAir-Datensatz (Luftqualität), dass das „Wörterbuch“ des Systems tatsächlich bedeutungsvolle Wettermuster lernte. Wenn die Luft sauber war, wurde ein spezifisches „Wort“ im Wörterbuch verwendet; wenn die Luft verschmutzt war, übernahm ein anderes „Wort“. Dies beweist, dass das System nicht nur Zahlen auswendig lernt, sondern tatsächlich den Umgebungskontext versteht.

Der Haken (Einschränkungen):
Die Autoren sind ehrlich darüber, was sie noch nicht gelöst haben.

Diskret vs. Kontinuierlich: Ihr „Wörterbuch“ verwendet eine feste Anzahl von Wörtern (Prototypen). Sie geben zu, dass dies Schwierigkeiten haben könnte, wenn sich die Umgebung auf eine super sanfte, kontinuierliche Weise verändert, anstatt zwischen distinkten „Stimmungen“ zu springen.
Rechenaufwand: Das Abgleichen der „Wörter“ verschiedener Clients, um sicherzustellen, dass sie dasselbe bedeuten, erfordert Rechenleistung. Wenn das Wörterbuch zu groß wird, könnte dieser Abgleichschritt langsam werden.

Warum es wichtig ist:
Diese Arbeit legt nahe, dass wir die Art und Weise, wie wir über Privatsphäre und Daten denken, ändern müssen. Anstatt verschiedene Datenquellen als ein Problem zu betrachten, das behoben werden muss, können wir sie als eine Superkraft betrachten. Indem wir jeden Sensor als ein einzigartiges Fenster in eine andere Version der Realität behandeln, können wir intelligentere, robustere Modelle bauen, die die Welt nicht nur so verstehen, wie sie ist, sondern wie sie unter verschiedenen Bedingungen sein könnte. Es ist ein Schritt in Richtung einer Zukunft, in der wir Verkehr, Wetter und Verschmutzung präzise vorhersagen können, ohne jemals die Privatsphäre verletzen oder die Rohdaten stehlen zu müssen.

Technisches Resümee: Jeder Client ist eine Umgebung: Föderiertes De-confounding für räumlich-zeitliche Vorhersagen

1. Problemstellung

Räumlich-zeitliche Vorhersagen (Spatio-Temporal Forecasting, STF) sind entscheidend für Anwendungen im Bereich des Urban Computing, wie etwa die Verkehrs- oder Luftqualitätsprognose. Während Deep-Learning-Modelle bereits hohe Leistungen erzielt haben, erfordern sie typischerweise eine zentralisierte Datenerhebung, was aufgrund von Datenschutzbestimmungen, Kommunikationsbeschränkungen und Fragen der Datenhoheit oft nicht realisierbar ist. Federated Learning (FL) bietet eine Lösung, indem Modelle über verteilte Clients hinweg trainiert werden, ohne dass Rohdaten geteilt werden müssen.

Bestehende föderierte STF-Methoden betrachten Cross-Client-Heterogenität jedoch primär als ein Optimierungsproblem, das durch personalisierte Modelle gemildert werden soll. Die Autoren argumentieren, dass diese Perspektive fehlerhaft ist, da Heterogenität fundamental aus diversen Umweltbedingungen (z. B. Wetter, besondere Ereignisse, Stoßzeiten) resultiert, die spezifisch für den Standort des jeweiligen Clients sind. Folglich erfassen lokale Modelle räumlich-zeitliche Muster, die mit clientspezifischen Störfaktoren (Confounding Effects) verknüpft sind. Diese Modelle versagen bei der Generalisierung, wenn sich die Umweltbedingungen über verschiedene Orte oder Zeiten hinweg verschieben. Zudem haben bestehende kausale Inferenzmethoden für STF Schwierigkeiten in föderierten Settings, da ihnen der Zugriff auf die zentralen Rohdaten fehlt, die zur Entwirrung von umweltbedingten Confoundern notwendig wären.

2. Methodik: Das Atlas-Framework

Das Paper schlägt Atlas vor, ein neuartiges Framework für föderiertes De-confounding. Die zentrale Erkenntik besteht darin, jeden föderierten Client nicht als Störfaktor, sondern als eine distinkte kausale Umgebung zu betrachten, die komplementäre Beobachtungen desselben zugrunde liegenden räumlich-zeitlichen Systems liefert.

2.1 Kausale Formulierung

Die Autoren formulieren ein Strukturelles Kausales Modell (SCM) für föderiertes STF:

Variablen: Historische Beobachtungen ( $X_k$ ), zukünftige Horizonte ( $Y_k$ ) und client-spezifische Umweltbedingungen ( $E_k$ ).
Confounding: $E_k$ führt über den Back-door-Pfad $X_k \leftarrow E_k \rightarrow Y_k$ zu spuriösen Korrelationen.
Die Einschränkung der lokalen Anpassung: Um Confounding mittels Back-door-Adjustment zu eliminieren, muss $P(Y|do(X)) = \sum P(Y|X, E=e)P(E=e)$ $P (Y ∣ d o (X)) = \sum P (Y ∣ X, E = e) P (E = e)$ geschätzt werden. In einem föderierten Setting beobachten einzelne Clients nur eine verzerrte Teilmenge der Umwelt-Strata ( $P_k(E)$ $P_{k} (E)$ ) und verfügen nicht über die globale Randverteilung $P(E)$ $P (E)$ . Dies führt zu zwei spezifischen Verzerrungen:
1. Fehlende Strata: Clients verpassen Umweltregime, die in ihren lokalen Daten nicht vorhanden sind.
2. Verzerrte Gewichtung: Lokale Schätzungen werden durch lokale Verteilungen gewichtet statt durch die globale Verteilung.

2.2 Der Atlas-Mechanismus

Atlas adressiert diese Probleme, indem es die föderierte Aggregation als implizites Back-door-Adjustment nutzt.

Prototyp-Codebuch: Das Framework lernt ein gemeinsames globales Prototyp-Codebuch $Q = [q_1, \dots, q_I]$ , wobei jeder Prototyp $q_i$ einem latenten Umwelt-Stratum entspricht.
Lokale Kodierung: Jeder Client $k$ kodiert seinen Input $X_k$ unter Verwendung eines personalisierten Backbones in eine latente Repräsentation $z_k$ . Er bildet $z_k$ dann via eines Soft-Assignment-Mechanismus (Gl. 5) auf das Codebuch ab, wodurch eine umweltbedingte Repräsentation $\hat{z}_k$ entsteht. Dies funget als parametrische Approximation des lokalen Back-door-Adjustments.
Ausrichtung und Aggregation: Da Prototyp-Slots austauschbar sind (z. B. kann Slot $i$ $i$ bei Client A einem anderen Regime entsprechen als Slot $i$ $i$ bei Client B), führt der Server vor der Aggregation eine Prototyp-Ausrichtung (Alignment) durch.
- Der Server berechnet eine Kostenmatrix basierend auf Cosinus-Distanzen zwischen den Client-Prototypen und globalen Anker-Prototypen.
- Er löst ein lineares Zuweisungsproblem (mittels des Hungarian-Algorithmus), um die optimale Permutation $\Pi_k$ zu finden, die die Client-Slots auf die globalen Anker-Slots ausrichtet.
- Der Server aggregiert die ausgerichteten Codebücher: $Q \leftarrow \sum w_k \Pi_k Q_k$ .
Theoretische Garantie: Die Autoren leiten eine föderierte De-confounding-Schranke her und beweisen, dass der Fehler linear durch die durchschnittliche Confounding-Stärke über alle Clients kontrolliert wird, statt durch die Stärke eines einzelnen Clients. Dies impliziert, dass sich diverse Client-Umgebungen bei der Aggregation spezifische Biase gegenseitig aufheben.

2.3 Implementierung

Architektur: Die Clients nutzen einen lokalen Encoder (Window-level Convolution + ResMLP) und einen Decoder. Es werden nur die leichtgewichtigen Prototyp-Codebücher ( $I \times D$ Parameter) ausgetauscht, nicht die vollen Modellgewichte.
Training: In jeder Runde aktualisieren die Clients ihre lokalen Encoder, Decoder und lokalen Codebücher. Sie laden das aktualisierte Codebuch zum Server hoch, welcher es ausrichtet und aggregiert, um das neue globale Codebuch zu bilden.

3. Kernbeiträge

Ein Framework für föderiertes De-confounding: Das Paper führt eine kausale Perspektive ein, die Clients als verteilte kausale Umgebungen betrachtet. Atlas lernt gemeinsame umweltbedingte Confounding-Effekte über heterogene Clients hinweg, um die Generalisierung zu verbessern.
Föderation als implizites Back-door-Adjustment: Theoretisch zeigt das Paper auf, dass die Aggregation von Prototyp-Codebüchern die Bedingungen für die Milderung von umweltbedingtem Confounding schafft. Es leitet eine Schranke ab, die zeigt, dass der De-confounding-Fehler von der durchschnittlichen Confounding-Stärke abhängt, nicht vom Bias eines einzelnen Clients.
Empirische Validierung: Umfangreiche Experimente auf fünf realen Datensätzen (METR-LA, PEMS-BAY, PEMS03, PEMS04, KnowAir) zeigen, dass Atlas bestehende föderierte und zentralisierte Baselines übertrifft. Das Framework erweist sich als transferierbar, interpretierbar und kommunikationseffizient.

4. Experimentelle Ergebnisse

4.1 Vorhersageleistung

Atlas übertrifft konsistent alle föderierten Baselines (einschließlich FedAvg, FedProx, FedPer, FedGRU, FedGTP sowie spezialisierte Methoden wie Fuels und FedDis) über alle fünf Datensätze hinweg.

Auf METR-LA reduziert Atlas den MAE auf 3,30 im Vergleich zur besten föderierten Baseline (FedGTP mit 3,54) und nähert sich zentralisierten Methoden (DCRNN mit 3,05) innerhalb einer Lücke von 4,9 % – 6,7 % an.
Auf PEMS-BAY erreicht Atlas einen MAE von 1,68 und übertrifft damit die beste föderierte Baseline (FedGTP mit 1,73).

베이스 4.2 Ablationsstudien

Föderierte Aggregation: Das Weglassen der Aggregation (nur lokales Training) führt zu einem massiven Leistungsabfall (MAE steigt auf METR-LA um 77 %), was bestätigt, dass einzelne Clients keine stabilen Umweltregime erfassen können.
Gemeinsame Architektur: Das Erzwingen eines einheitlichen Encoders/Decoders über alle Clients hinweg (A.2, A.3) verschlechtert die Leistung, was darauf hindeutet, dass die client-spezifische zeitliche Modellierung erhalten bleiben muss.
Ausrichtung (Alignment): Das Entfernen des Prototyp-Alignment-Schritts (A.4) führt zu konsistenten Leistungsabfällen, was die Notwendigkeit der Ausrichtung der Umwelt-Semantik vor der Aggregation beweist.
Soft Assignment: Der Ersatz von Soft Assignment durch Hard Assignment (A.5) verschlechtert die Leistung, was die Bedeutung der Modellierung glatter Übergänge zwischen den Regimen unterstreicht.

4.3 Transferierbarkeit und Effizienz

Transferierbarkeit: Das gelernte Codebuch lässt sich effektiv auf ungesehene Clients übertragen. Wenn es nur auf 5 % der Clients vortrainiert wurde, erzielt das eingefrorene Codebuch eine vergleichbare Leistung wie ein Modell, das von Grund auf auf derselben Teilmenge trainiert wurde, und schneidet signifikant besser ab als eine Zufinsialisierung.
Effizienz: Atlas erreicht einen vorteilhaften Kompromiss zwischen Rechenaufwand und Kommunikation. Die Clients laden nur das Codebuch hoch (z. B. 640 Parameter), was zwei Größenordnungen kleiner ist als Methoden wie FedAvg oder FedGRU, die die vollen Modellgewichte übertragen.
Robustheit: Das Codebuch ist robust gegenüber Gaußschem und Rademacher-Rauschen mit minimaler Leistungsdegradierung, was darauf hindeutet, dass es stabile Umwelt-Semantiken erfasst.

4.4 Interpretierbarkeit

Die Visualisierung auf dem KnowAir-Datensatz zeigt, dass die Prototyp-Zuweisungen mit distinkten Umweltregimen (z. B. saubere vs. belastete Perioden) und meteorologischen Bedingungen (Temperatur, Druck, Luftfeuchtigkeit) korrelieren und nicht nur mit der Zielvariable (PM2.5). Dies bestätigt, dass das Codebuch latente Umweltkontexte erfasst.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass Atlas einen Paradigmenwechsel im föderierten STF darstellt:

Vom Störfaktor zur Ressource: Anstatt Cross-Client-Heterogenität als Optimierungshindernis zu unterdrücken, nutzt Atlas diese als verteilten Beleg für Umweltregime.
Kausale Generalisierung: Durch die theoretische Rahmung der Föderation als Mechanismus für das Back-door-Adjustment ermöglicht die Methode Modellen die Generalisierung unter Umweltverschiebungen, bei denen traditionelle personalisierte FL-Methoden scheitern.
Praktische Lebensfähigkeit: Das Framework bietet eine praktische Lösung für die datenschutzsensible räumlich-zeitliche Vorhersage und liefert eine hohe Leistung bei minimalem Kommunikationsaufwand sowie interpretierbaren Umweltreprsentationen.

Die Autoren räumen Einschränkungen ein und merken an, dass diskrete Prototypen Schwierigkeiten mit kontinuierlichen oder extrem hochdimensionalen Verschiebungen haben könnten und die $O(I^3)$ Alignment-Komplexität bei sehr großen Prototyp-Skalen zum Engpass werden könnte. Zukünftige Arbeiten sollen skalierbare Alignment-Strategien und dynamische Codebücher untersuchen.