PTOPOFL: Privacy-Preserving Personalised Federated Learning via Persistent Homology

PTOPOFL is een privacybehoudend framework voor gepersonaliseerd federatief leren dat persistent homologie gebruikt om in plaats van kwetsbare gradiënten compacte topologische beschrijvingen te communiceren, waardoor zowel reconstructierisico's worden geminimaliseerd als de prestaties bij niet-IID data worden verbeterd.

De kern

Stel je voor dat een groep artsen uit verschillende ziekenhuizen samen wil werken om een slimme computer te trainen die ziektes kan herkennen. Ze willen dit doen, maar ze mogen hun patiëntendata niet delen. Dat is te gevaarlijk voor de privacy.

Dit is het probleem dat Federated Learning (Federatief Leren) probeert op te lossen. In plaats van data te sturen, sturen de artsen alleen de "leerpunten" (de updates) van hun lokale computer naar een centrale server. De server maakt hier een groot, gezamenlijk model van.

Maar er zijn twee grote struikelblokken:

1. Privacy: Als je de "leerpunten" (gradiënten) stuurt, kan een slimme hacker die op de server zit, die punten terugrekenen om te zien wie de patiënten waren. Het is alsof je een recept stuurt, maar de hacker kan eruit halen welke ingrediënten je precies hebt gebruikt.
2. Verschillen: Niet alle ziekenhuizen hebben dezelfde soorten patiënten. Het ene ziekenhuis heeft veel jonge patiënten, het andere veel ouderen. Als je ze allemaal door elkaar gooit, werkt het model voor niemand goed.

De auteurs van dit paper, PTOPOFL, hebben een slimme oplossing bedacht die beide problemen tegelijk oplost. Ze gebruiken een wiskundig hulpmiddel uit de topologie (de leer van vormen en ruimtes) genaamd Persistent Homology.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. In plaats van recepten, sturen ze "silhouetten"

In de traditionele methode sturen artsen hun volledige recept (de gradiënten) op. Dat is te gedetailleerd en te gevaarlijk.

PTOPOFL doet het anders. In plaats van het recept te sturen, laten de artsen hun data eerst door een speciale machine (de topologie) gaan. Deze machine kijkt niet naar de individuele patiënten, maar naar de vorm van de data.

• De Analogie: Stel je voor dat je een berg stenen hebt. Je kunt de exacte positie van elke steen beschrijven (dat is de gradiënt). Of je kunt zeggen: "Het is een berg met één grote piek en twee kleine dalen" (dat is de topologische beschrijving).
• De artsen sturen alleen die beschrijving van de vorm (een kort lijstje van 48 getallen) naar de server.
• Waarom is dit veiliger? Als iemand die vormbeschrijving probeert terug te rekenen om de originele stenen te vinden, is dat wiskundig onmogelijk. Er zijn oneindig veel verschillende bergjes die precies dezelfde vorm hebben. Het is alsof je probeert te raden welk specifiek gezicht erachter een silhouet zit; je ziet alleen de vorm, niet de details.

2. Groeperen op basis van "vorm" in plaats van "afstand"

Omdat de ziekenhuizen verschillende patiëntenpopulaties hebben, werken ze niet goed samen als ze allemaal één groot model maken.

• De Oude Methode: De server kijkt naar de cijfers en probeert ze allemaal te middelen. Dat werkt niet goed als de groepen te verschillend zijn.
• De PTOPOFL Methode: De server kijkt naar de vorm van de data.
  • Ziekenhuis A en Ziekenhuis B hebben allebei een "berg met één piek". Die horen bij elkaar.
  • Ziekenhuis C heeft een "berg met twee pieken". Die hoort bij een andere groep.
  • De server groepeert de ziekenhuizen die op elkaar lijken (zoals mensen die dezelfde muziekstijl luisteren) en maakt voor elke groep een speciaal model.

3. Het detecteren van "boeven"

Stel, een van de artsen is eigenlijk een hacker die probeert het model te saboteren (door valse data in te voeren).

• Omdat de hacker valse data gebruikt, ziet de "vorm" van hun data er raar uit. Het is alsof iemand in een groep van mensen met ronde gezichten plotseling een vierkant gezicht heeft.
• Het systeem ziet deze afwijking in de vorm direct en zegt: "Hé, die past niet bij de rest." De hacker wordt dan genegeerd of krijgt minder invloed op het eindresultaat.

Wat levert dit op?

In tests met ziekenhuisdata en andere complexe scenario's deed PTOPOFL het beter dan de beste bestaande methoden:

• Beter resultaat: Het model werd accurater (hoger AUC-getal), vooral omdat het rekening hield met de verschillen tussen de groepen.
• Veiliger: Het risico dat hackers de originele data kunnen reconstrueren, is 4,5 keer kleiner dan bij de oude methode.
• Sneller: Het systeem convergeert (vindt de oplossing) sneller, zelfs vanaf de eerste ronde.

Samenvattend

PTOPOFL is als een slimme vergadering waar artsen niet hun geheime dossiers tonen, maar alleen een schets van de "vorm" van hun patiëntengroep.

• Ze delen geen details (veiligheid).
• Ze groeperen zich op basis van wie ze zijn (beter resultaat).
• Ze zien direct wie er probeert te bedriegen (veiligheid).

Het is een mooie combinatie van wiskunde (topologie) en privacy, die zorgt voor een slimmer en veiliger systeem voor gevoelige data zoals medische dossiers.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "PTOPOFL: Privacy-Preserving Personalised Federated Learning via Persistent Homology" in het Nederlands.

Probleemstelling

Federated Learning (FL) staat voor twee fundamentele structurele uitdagingen die in de bestaande literatuur nog niet volledig zijn opgelost:

1. Privacy-risico's door gradiëntuitwisseling: In standaard FL sturen clients modelupdates (gradiënten) naar een centrale server. Deze gradiënten bevatten hoge-dimensionaliteit en veel informatie over de lokale trainingsdata. Dit maakt het mogelijk voor een nieuwsgierige server of een aanvalspartij om via "gradient inversion attacks" individuele trainingsvoorbeelden met hoge precisie te reconstrueren. Bestaande oplossingen zoals Differentiële Privacy (DP) voegen ruis toe, wat vaak ten koste gaat van de modelkwaliteit.
2. Client-drift door niet-IID data: In de praktijk zijn data-distributies tussen clients zelden identiek (niet-IID). Dit leidt tot conflicterende gradiëntrichtingen, waardoor lokale modellen afwijken van het globale optimum (client drift). Bestaande methoden (zoals FedProx of SCAFFOLD) proberen dit op te lossen via optimalisatie-technieken, maar modelleren niet expliciet de geometrische structuur van de data-distributies van de clients.

Methodologie: PTOPOFL

De auteurs introduceren PTOPOFL, een raamwerk dat beide problemen simultaan aanpakt door gradiëntcommunicatie te vervangen door topologische beschrijvers afgeleid van Persistent Homology (PH).

Kerncomponenten:

1. Topologische Abstractie: In plaats van gradiënten te sturen, berekent elke client een persistentie-diagram op basis van hun lokale dataset. Dit diagram encodeert topologische kenmerken (verbonden componenten, lussen, holtes) op verschillende schalen.

   • De client verstuurt slechts een 48-dimensionale vector (topologische beschrijver) in plaats van de volledige gradiëntvector.
   • Deze afbeelding is veel-op-één (many-to-one): oneindig veel verschillende datasets kunnen hetzelfde diagram opleveren, wat het omkeren (reconstructie) wiskundig onmogelijk maakt (ill-posed).

2. Wasserstein-geleid Persoonlijke Aggregatie:

   • Clustering: De server groepeert clients op basis van topologische gelijkenis, gemeten via de Wasserstein-afstand tussen hun persistentie-diagrammen. Clients met vergelijkbare data-structuren worden in clusters geplaatst.
   • Intra-cluster Aggregatie: Binnen een cluster worden lokale modellen gewogen op basis van hun topologische nabijheid tot het clustercentrum (Wasserstein-barycentrum).
   • Inter-cluster Blending: Clustermodellen worden gemengd met een globaal consensusmodel om over-specialisatie te voorkomen.

3. Anomalie-detectie: Clients wier topologische signatuur sterk afwijkt van de meerderheid (bijv. door data-poisoning) worden gedetecteerd en hun gewicht in de aggregatie wordt exponentieel verlaagd.

4. Continu Signatuur-tracking: De evolutie van de topologische signatuur wordt gevolgd om concept-drift te detecteren en adaptief te leren.

Belangrijkste Bijdragen

• Nieuw Communicatieparadigma: Vervanging van gradiënten door compacte, topologische beschrijvers (48 dimensies) die inherent veiliger zijn tegen reconstructie-aanvallen.
• Theoretische Bewijzen:
  • Informatie-contractie: Bewezen dat persistentie-descriptoren strikt minder wederzijdse informatie (mutual information) lekken per steekproef dan gradiënten onder sterk convex verliesfuncties.
  • Convergentie: Bewezen lineaire convergentie met een foutvloer die strikt lager is dan die van FedAvg.
  • Robuustheid: Bewezen dat de invloed van kwaadaardige clients exponentieel afneemt met hun topologische afstand tot de eerlijke meerderheid (in tegenstelling tot de lineaire schaling bij FedAvg).
• Stabiliteit: De clustering is stabiel onder kleine data-perturbaties, gebaseerd op de stabiliteitstheorema's van persistent homology.

Resultaten

Het model is geëvalueerd tegenover state-of-the-art methoden (FedAvg, FedProx, SCAFFOLD, pFedMe) in twee scenario's:

1. Gezondheidszorg-scenario: 8 ziekenhuizen (niet-IID) met 2 kwaadaardige clients.
   • Resultaat: PTOPOFL behaalde een AUC van 0,841 (hoogste), vergeleken met 0,790 voor FedAvg en 0,829 voor FedProx.
   • Privacy: De reconstructierisico's werden met een factor 4,5 verlaagd ten opzichte van gradiëntuitwisseling.
2. Pathologische Benchmark: 10 clients met extreme class-imbalance.
   • Resultaat: PTOPOFL behaalde een AUC van 0,910, opnieuw de hoogste score.
   • Convergentie: Het model convergeerde vanaf ronde 1, terwijl andere methoden trager waren of oscilleerden (zoals SCAFFOLD bij extreme onbalans).

Bij diepere modellen (ResNet-18 op CIFAR-10 en ConvNet op FEMNIST) behaalde PTOPOFL ook de beste nauwkeurigheid, hoewel de theoretische garanties voor niet-convexe modellen nog een open onderzoeksvraag blijven.

Significantie

PTOPOFL biedt een fundamentele verschuiving in hoe Federated Learning wordt benaderd:

• Structuur in plaats van Ruis: In plaats van privacy te forceren door ruis toe te voegen (zoals bij DP), wordt privacy bereikt door de communicatiekanaal-capaciteit structureel te beperken via topologische abstractie.
• Geometrisch Inzicht: Het benut de geometrische vorm van data-distributies om betere clustering en personalisatie mogelijk te maken, wat leidt tot robuustere modellen in heterogene omgevingen.
• Toepasbaarheid: De methode is modulair en kan worden gecombineerd met bestaande privacy-mechanismen. Het biedt een veelbelovende route voor privacy-bewuste machine learning in gevoelige domeinen zoals de gezondheidszorg, waar data niet gecentraliseerd mogen worden maar toch gedeeld moeten worden voor trainingsdoeleinden.

De implementatie is open-source beschikbaar, wat verdere adoptie en onderzoek in de gemeenschap faciliteert.