PTOPOFL: Privacy-Preserving Personalised Federated Learning via Persistent Homology

Die Arbeit stellt PTOPOFL vor, ein privatsphäreschonendes Framework für personalisiertes Federated Learning, das durch den Austausch topologischer Deskriptoren anstelle von Gradienten sowohl Daten-Rekonstruktionsangriffe verhindert als auch die Leistung bei nicht-IID-Datenverteilungen verbessert.

Das Wesentliche

Stellen Sie sich vor, eine Gruppe von Ärzten in verschiedenen Krankenhäusern möchte gemeinsam eine KI trainieren, um Krankheiten besser zu erkennen. Das Problem: Niemand möchte seine Patientenakten (die Daten) aus dem Haus geben, weil das zu streng vertraulich ist.

Federated Learning (das "Lernen im Verbund") ist die Lösung: Jeder Arzt trainiert die KI mit seinen eigenen Daten vor Ort und schickt nur die Erkenntnisse (die "Gewichte" oder Updates) an einen zentralen Server. Der Server mischt diese Erkenntnisse zusammen, um eine bessere globale KI zu bauen.

Aber hier gibt es zwei große Probleme, die das Papier PTOPOFL löst:

1. Das Sicherheits-Problem: Wenn die Ärzte ihre "Erkenntnisse" (Gradienten) senden, ist das wie ein hochauflösendes Foto ihrer Patienten. Ein neugieriger Hacker (oder ein böswilliger Server) könnte aus diesen Zahlen die Originaldaten der Patienten zurückrechnen. Das ist wie ein Dieb, der aus dem Gerüst eines Hauses den genauen Grundriss rekonstruiert.
2. Das "Anderssein"-Problem: Die Patienten in Hamburg sehen anders aus als die in München (unterschiedliche Altersgruppen, Lebensstile). Wenn man alle Daten einfach mischt, funktioniert die KI für niemanden richtig. Die lokalen Modelle "driften" auseinander.

Die Lösung: PTOPOFL – Die "Topologische Landkarte"

Die Autoren schlagen vor, nicht die detaillierten "Erkenntnisse" zu senden, sondern eine topologische Landkarte (basierend auf etwas, das Persistente Homologie heißt).

Hier ist die einfache Erklärung mit Analogien:

1. Statt Fotos: Nur die Silhouette

Stellen Sie sich vor, jeder Arzt macht ein Foto seiner Patienten.

• Der alte Weg (Gradienten): Er sendet das hochauflösende Foto. Ein Hacker kann es analysieren und sieht genau, wie die Patienten aussehen.
• Der neue Weg (PTOPOFL): Der Arzt schaut sich das Foto an und zeichnet nur die Silhouette der Menschenmenge nach. Er sendet nur diese 48 Zahlen, die beschreiben: "Hier ist eine große Gruppe, dort ein kleiner Kreis, und hier gibt es eine Lücke."
  • Der Clou: Aus einer Silhouette kann man das Originalfoto nicht zurückrechnen. Es gibt unendlich viele Fotos, die dieselbe Silhouette ergeben. Es ist wie ein Puzzle, bei dem man nur den Umriss sieht – man weiß nicht, welche Teile genau wo sind. Das macht das "Zurückrechnen" (Rekonstruktion) mathematisch unmöglich.

2. Die "Form"-Gruppierung statt der "Zahlen"-Gruppierung

Normalerweise versucht der Server, Ärzte zu gruppieren, die ähnliche Zahlenwerte haben. Aber das funktioniert schlecht, wenn die Daten sehr unterschiedlich sind.
PTOPOFL schaut sich die Form der Daten an.

• Analogie: Stellen Sie sich vor, Sie haben verschiedene Schokokekse.
  • Der alte Weg misst das Gewicht jedes Kekses.
  • PTOPOFL schaut sich die Form an: Ist der Kekse rund? Hat er Löcher? Ist er eckig?
  • Der Server gruppiert nun alle "runden Kekse" zusammen und alle "eckigen Kekse" zusammen. Innerhalb dieser Gruppen wird die KI dann feinjustiert. Das funktioniert viel besser, weil die "Form" der Daten (die Topologie) stabiler ist als die bloßen Zahlen.

3. Der "Lügen-Detektor"

Was, wenn ein Arzt absichtlich falsche Daten schickt (ein Angreifer)?

• Bei der alten Methode sieht man das oft erst spät.
• Bei PTOPOFL sendet der Angreifer eine "falsche Silhouette". Da die Silhouette so einzigartig ist, fällt der Angreifer sofort auf, weil seine Form nicht zu den anderen passt. Der Server wertet ihn einfach ab oder ignoriert ihn. Es ist wie ein Gast auf einer Party, der völlig anders gekleidet ist als die ganze Gruppe – er fällt sofort auf.

Warum ist das besser?

• Sicherheit: Die Gefahr, dass jemand Ihre Patientendaten aus den gesendeten Zahlen rekonstruiert, sinkt um das 4,5-fache. Es ist, als würde man statt eines Briefes mit allen Details nur eine Postkarte mit einer abstrakten Zeichnung senden.
• Genauigkeit: Weil die KI die "Form" der Daten besser versteht, funktioniert sie in heterogenen Umgebungen (wie verschiedenen Krankenhäusern) viel genauer als die bisherigen Methoden.
• Geschwindigkeit: Die KI lernt schneller, weil sie nicht verwirrt wird, wenn die Daten unterschiedlich sind.

Zusammenfassung in einem Satz

PTOPOFL ist wie ein neuer Kommunikationsstil für KI: Anstatt sensible Details auszutauschen, tauschen die Teilnehmer nur abstrakte "Form-Skizzen" ihrer Daten aus. Das macht es für Hacker unmöglich, die Originaldaten zu stehlen, und hilft der KI gleichzeitig, die Unterschiede zwischen den Gruppen besser zu verstehen und sich anzupassen.

Es ist ein Schritt hin zu einer KI, die nicht nur klüger, sondern auch respektvoller gegenüber der Privatsphäre ist.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „PTOPOFL: Privacy-Preserving Personalised Federated Learning via Persistent Homology" auf Deutsch:

1. Problemstellung

Das Paper adressiert zwei fundamentale strukturelle Spannungen im Bereich des Federated Learning (FL):

• Privatsphären-Risiko: Im Standard-FL senden Clients Modell-Updates (Gradienten) an einen Server. Diese hochdimensionalen Vektoren enthalten ausreichend Informationen, um durch Gradient-Inversions-Angriffe (z. B. [Zhu et al., 2019]) die ursprünglichen Trainingsdaten der Clients mit hoher Genauigkeit wiederherzustellen. Herkömmliche Gegenmaßnahmen wie Differential Privacy (DP) schützen zwar, verschlechtern jedoch die Modellqualität durch das Hinzufügen von Rauschen.
• Heterogenität (Non-IID): In realen Szenarien sind die Datenverteilungen der Clients oft nicht identisch und unabhängig verteilt (Non-IID). Dies führt zu einem Client-Drift, bei dem lokale Modelle divergieren und die globale Aggregation (z. B. via FedAvg) suboptimal wird oder gar nicht konvergiert. Bestehende Lösungen (Proximal-Penalties, Control-Variates) behandeln dies auf Optimierungs-Ebene, ignorieren aber die zugrundeliegende geometrische Struktur der Datenverteilungen.

2. Methodik: Das PTOPOFL-Framework

Die Autoren schlagen PTOPOFL vor, ein Framework, das beide Probleme gleichzeitig löst, indem es die Gradientenkommunikation durch topologische Deskriptoren ersetzt, die auf der Persistenzhomologie (Persistent Homology, PH) basieren.

Der Kernansatz besteht aus fünf modularen Komponenten:

1. Topologische Abstraktion (Privacy):

   • Statt Gradienten senden Clients einen kompakten, 48-dimensionalen Vektor (PH-Deskriptor), der aus dem Persistenzdiagramm ihrer lokalen Daten abgeleitet wird.
   • Dieser Deskriptor fasst die geometrische Form der Datenverteilung zusammen (verbundene Komponenten $H_0$, Schleifen $H_1$, etc.).
   • Sicherheitsmechanismus: Die Abbildung von Daten zu Persistenzdiagrammen ist viele-zu-eins. Unendlich viele verschiedene Datensätze können denselben Deskriptor erzeugen. Dies macht die Umkehrung (Rekonstruktion der Originaldaten) mathematisch schlecht gestellt (ill-posed), was die Rekonstruktionsgefahr drastisch reduziert, ohne Rauschen hinzuzufügen.

2. Topologie-gestütztes Clustering:

   • Der Server clustert Clients basierend auf der Ähnlichkeit ihrer Persistenzdiagramme, gemessen durch den Wasserstein-Abstand ($W_p$).
   • Clients mit ähnlicher Datenstruktur (Topologie) werden gruppiert, was eine personalisierte Aggregation innerhalb dieser Cluster ermöglicht.

3. Personalisierte Aggregation (Wasserstein-gewichtet):

   • Innerhalb eines Clusters werden lokale Modelle gewichtet aggregiert. Die Gewichte basieren auf der topologischen Nähe zum Cluster-Zentrum (exponentiell gewichtet nach dem Wasserstein-Abstand).
   • Eine globale Konsens-Blending-Komponente verhindert eine Überanpassung an kleine Cluster-Subpopulationen.

4. Anomalie-Erkennung (Robustheit):

   • Clients, deren Persistenzdiagramme signifikant von der Cluster-Mehrheit abweichen (z. B. durch Poisoning-Angriffe), werden als anomal erkannt und ihre Gewichte in der Aggregation werden exponentiell reduziert.

5. Kontinuierliches Tracking:

   • Die topologische Signatur wird über die Runden hinweg verfolgt, um Konzept-Drifts zu erkennen und die Lernraten dynamisch anzupassen.

3. Wichtige theoretische Beiträge

Das Paper liefert formale Beweise für die Effektivität des Ansatzes:

• Informationskontraktion (Theorem 3.7): Es wird bewiesen, dass PH-Deskriptoren unter stark konvexen Verlustfunktionen strikt weniger gegenseitige Information über einzelne Stichproben preisgeben als Gradienten. Die Rekonstruktionsrisiko wird theoretisch um einen Faktor von ca. 4,5 reduziert.
• Konvergenzgarantie (Theorem 3.9): Für stark konvexe Ziele wird eine lineare Konvergenz bewiesen, wobei der Fehler-Boden (Error Floor) strikt kleiner ist als bei FedAvg, sofern das Clustering nicht-trivial ist.
• Unterdrückung adversarischer Einflüsse (Theorem 3.5): Der Einfluss bösartiger Clients auf das globale Modell fällt exponentiell mit ihrer topologischen Distanz zur ehrlichen Mehrheit, im Gegensatz zur linearen Skalierung bei FedAvg.
• Stabilität: Die Clustering-Ergebnisse sind stabil gegenüber kleinen Störungen in den Daten (Corollar 3.4).

4. Ergebnisse und Evaluation

PTOPOFL wurde gegen etablierte Baselines (FedAvg, FedProx, SCAFFOLD, pFedMe) in mehreren Szenarien evaluiert:

• Szenario A (Gesundheitswesen): 8 Krankenhäuser (Non-IID), 2 davon adversär (Label-Flip).
  • Ergebnis: PTOPOFL erreichte eine AUC von 0,841 (höchster Wert), während FedAvg nur 0,790 erreichte.
  • Vorteil: Die topologische Erkennung identifizierte die adversären Kliniken erfolgreich und dämpfte deren Einfluss.
• Szenario B (Pathologischer Benchmark): 10 Clients mit extremen Klassenungleichgewichten.
  • Ergebnis: PTOPOFL erreichte eine AUC von 0,910 (höchster Wert). SCAFFOLD litt unter Instabilität bei starken Ungleichgewichten.
• Szenario C & D (Deep Learning): Evaluation auf CIFAR-10 und FEMNIST mit ResNet-18 bzw. ConvNet-2.
  • Ergebnis: Auch bei nicht-konvexen Deep-Learning-Modellen (wo die theoretischen Garantien nicht direkt gelten) übertraf PTOPOFL die Baselines in der Genauigkeit (z. B. 0,86 vs. 0,82 auf CIFAR-10 mit hoher Heterogenität).
• Privatsphäre: Die Rekonstruktionsrisiko wurde um den Faktor 4,5 im Vergleich zur Gradientenübertragung reduziert.

5. Bedeutung und Fazit

PTOPOFL stellt einen Paradigmenwechsel dar, indem es Topological Data Analysis (TDA) direkt in die Kommunikationsstruktur von Federated Learning integriert.

• Innovation: Es ist das erste Framework, das Gradienten durch topologische Deskriptoren ersetzt, um Privatsphäre und Heterogenität gleichzeitig zu adressieren.
• Praktischer Nutzen: Der Ansatz bietet eine strukturelle Privatsphäre (durch die mathematische Unmöglichkeit der Umkehrung), die nicht auf Rauschen basiert und somit die Modellqualität nicht verschlechtert.
• Robustheit: Die Methode ist inhärent robust gegen Poisoning-Angriffe, da diese sich als topologische Ausreißer manifestieren.
• Limitationen: Die derzeitige theoretische Konvergenzanalyse gilt streng genommen nur für stark konvexe Modelle (lineare Modelle). Für Deep Learning sind die Ergebnisse bisher empirisch. Zudem ist die Berechnung der Persistenzhomologie rechenintensiv ($O(n^3)$), wird aber durch Subsampling und einmalige Berechnung pro Cluster-Phase handhabbar gemacht.

Zusammenfassend bietet PTOPOFL einen mathematisch fundierten Weg, um verteiltes Lernen in sensiblen Bereichen (wie dem Gesundheitswesen) sicherer und effizienter zu gestalten, indem es die geometrische Struktur der Daten als primären Aggregationsmechanismus nutzt.