PrivateBoost: Privacy-Preserving Federated Gradient Boosting for Cross-Device Medical Data

Dit paper introduceert PrivateBoost, een privacy-bewust federatief leerstelsel voor medische data dat m-of-n Shamir-geheime deling en anonieme aggregatie gebruikt om effectieve XGBoost-modellen te trainen op individuele patiëntgegevens, zelfs bij extreme data-schaarste en hoge uitval van clients.

De kern

PrivateBoost: De "Geheime Club" voor Medische Data

Stel je voor dat je een heel waardevol geheim hebt: je medische dossier. Je wilt dat artsen en onderzoekers dit gebruiken om betere medicijnen te vinden, maar je wilt nooit dat iemand je dossier in handen krijgt. Je wilt je privacy beschermen.

Normaal gesproken is dit lastig. Als je je dossier naar een centrale computer stuurt, is het weg. Als je het zelf op je telefoon houdt, kan niemand het analyseren.

De onderzoekers van dit paper hebben PrivateBoost bedacht. Het is een slimme manier om samen te werken zonder dat je je geheimen hoeft te delen. Hier is hoe het werkt, vertaald in een simpel verhaal:

1. Het Probleem: De "Eén-Gegevens" Uitdaging

In de wereld van medische data werken ziekenhuizen vaak samen (cross-silo). Maar wat als elke patiënt zelf de baas is over zijn eigen data (cross-device)?

• Het probleem: Elke patiënt heeft vaak maar één medisch dossier (bijvoorbeeld één meting van zijn bloeddruk).
• De uitdaging: Computers hebben normaal gesproken duizenden dossiers nodig om een patroon te zien. Als je maar één dossier hebt, kun je niet goed rekenen. En als je die ene meting deelt, is je privacy weg.

2. De Oplossing: De "Geheime Club" (Shamir's Secret Sharing)

Stel je voor dat je een waardevol recept hebt (je medische data). Je wilt dat de club het recept gebruikt om een taart te bakken, maar niemand mag het recept zien.

In plaats van het recept te kopiëren, doe je het volgende:

1. Versnipperen: Je knipt het recept in stukjes (we noemen dit aandelen of shares). Je hebt bijvoorbeeld 3 stukjes nodig om het recept weer te kunnen lezen.
2. Verdelen: Je geeft elk stukje aan een andere vertrouwde persoon (de aandeelhouders).
3. Het Magische: Geen enkele persoon heeft het hele recept. Ze hebben alleen een willekeurig stukje papier dat er voor hen niets van betekent.

In het PrivateBoost-systeem doen de patiënten precies dit met hun medische cijfers. Ze sturen versnipperde stukjes naar een groep vertrouwde tussenpersonen.

3. De Drie Spelers

Het systeem werkt met drie groepen, net als in een goed georganiseerd feest:

• De Gasten (De Patiënten): Zij hebben de data. Ze versnipperen hun gegevens en sturen de stukjes weg. Ze praten nooit met elkaar.
• De Serveerders (De Aandeelhouders): Dit zijn de tussenpersonen. Ze ontvangen de versnipperde stukjes van de gasten. Ze mogen de stukjes bij elkaar optellen (zodat ze een som krijgen), maar ze mogen nooit proberen het originele recept terug te vinden. Ze zien alleen de som van de stukjes.
• De Chef-kok (De Aggregator): Dit is de computer die de taart bakt. De serveerders sturen de sommen van de stukjes naar de chef. De chef kan de totale som berekenen (bijvoorbeeld: "Alle patiënten samen hebben een gemiddelde bloeddruk van 120"), maar hij ziet nooit wie wat heeft bijgedragen. Hij ziet alleen het eindresultaat.

4. Waarom is dit zo slim?

• Geen praten met elkaar: Normaal moeten apparaten met elkaar praten om privacy te bewaken (zoals bij een vergadering). Hier hoeft dat niet. Iedereen praat alleen met de serveerders. Dit is perfect voor mobiele telefoons die soms uitvallen of geen internet hebben.
• Veiligheid: Als de chef en één serveerder samenzweren, kunnen ze nog steeds niets achterhalen. Ze hebben minimaal 2 serveerders nodig om iets te ontcijferen, en die werken niet samen.
• Robuust: Als 80% van de patiënten hun telefoon uitzet of geen internet heeft, werkt het systeem nog steeds! De chef kan gewoon werken met de data van degenen die wel online zijn.

5. Het Resultaat: Een Taart die smaakt als het Origineel

De onderzoekers hebben dit getest met echte medische data (hartziektes, kanker, diabetes).

• Smaak: De taart die ze maakten (het medische model) smaakte bijna precies hetzelfde als een taart die gemaakt was met alle data in één grote bak (98% van de kwaliteit bleef behouden).
• Privacy: Niemand heeft ooit gezien wat de andere gasten in hun tas hadden.

Samenvatting in één zin

PrivateBoost is een slimme manier om duizenden patiënten samen te laten werken aan medische onderzoek zonder dat ze hun eigen medische dossiers hoeven te delen; ze geven alleen versnipperde, onleesbare stukjes weg die samen een waardevol antwoord vormen, terwijl hun privacy volledig gewaarborgd blijft.

Het is alsof je een geheim deelt met de wereld, zonder dat iemand ooit weet wat het geheim is.

Technische samenvatting

1. Het Probleem: Federated Learning in Cross-Device Medische Contexten

Het paper adresseert een specifiek en uitdagend scenario binnen Federated Learning (FL): cross-device medische toepassingen waarbij individuele patiënten hun eigen gezondheidsgegevens beheren, zonder tussenkomst van instellingen (zoals ziekenhuizen).

De kernproblemen in dit scenario zijn:

• Extreme Non-IID Data: Elke client (patiënt) heeft slechts één steekproef (bijvoorbeeld één medisch dossier). Er zijn geen lokale batches groot genoeg voor zinvolle gradiëntberekeningen.
• Beperkte Localiteit: Traditionele FL-methoden vereisen dat clients lokale training uitvoeren, wat onmogelijk is met slechts één datapunt.
• Privacy en Communicatie: Bestaande privacy-bevorderende technieken zijn ongeschikt:
  • Secure Aggregation (SecAgg): Vereist client-tot-client coördinatie en sleuteluitwisseling, wat onpraktisch is voor mobiele apparaten die willekeurig online/offline zijn.
  • Homomorf Versleuteling (HE): Vereist complexe sleutelbeheerprocedures en coördinatie die te zwaar zijn voor dynamische cross-device deployments.
• Behoefte aan Global Statistieken: Boomgebaseerde methoden zoals XGBoost vereisen globale statistieken (gradiënt-histogrammen over alle samples) om optimale splits te vinden. Zonder veilige aggregatie kunnen clients hier niet aan bijdragen zonder hun individuele waarden te onthullen.

2. Methodologie: Het PrivateBoost Protocol

De auteurs presenteren PrivateBoost, een systeem dat privacy-bewust Federated XGBoost mogelijk maakt voor de "één steekproef per client"-instelling.

Architectuur:
Het systeem gebruikt een drie-partijen architectuur:

1. Clients: Houden de ruwe data (één sample per client).
2. Aandeelhouders (Shareholders): Een vast aantal tussenpartijen (bijv. $n=3$) die shares ontvangen en aggregatie uitvoeren.
3. Aggregator: Coördineert het trainingsproces en reconstructeert alleen de totale sommen.

Kerncomponenten:

• Shamir's Geheime Deling (Secret Sharing): Clients verdelen hun gradiënten en Hessians in $n$ "shares" met een $m$-van-$n$ drempel. Dit betekent dat elke aandeelhouder slechts een deel van de informatie ziet.
• Additieve Homomorfie: Aandeelhouders kunnen de ontvangen shares optellen zonder de individuele waarden te reconstrueren. De som van de shares is gelijk aan de share van de som.
• Commitment-based Anonimiteit: Clients gebruiken een hash (commitment) gebaseerd op een nonce en client-ID. Aandeelhouders aggregeren alleen shares met overeenkomstige commits. De aggregator ziet alleen de sommen en de hashes, nooit de client-identiteiten of ruwe data.
• Geen Client-tot-Client Communicatie: Clients communiceren alleen met de vaste set aandeelhouders (ster-topologie), wat ideaal is voor intermittend beschikbare apparaten.

Protocol Flow:

1. Statistieken Fase (Eénmalig): Clients delen shares van hun feature-waarden. De aggregator reconstructeert globale gemiddelden en varianties om histogram-bins te definiëren.
2. Gradiënt Fases (Iteratief): Voor elke boom en dieptelag:
   • Clients berekenen hun lokale gradiënt/hessiaan.
   • Ze delen deze waarden (gecodeerd in shares) naar de aandeelhouders, gelabeld met de feature en bin.
   • Aandeelhouders sommeren de shares per bin.
   • De aggregator reconstructeert de totale gradiënt-sommen ($\Sigma G, \Sigma H$) via Lagrange-interpolatie.
   • De aggregator kiest de beste split op basis van deze sommen en zendt de beslissing terug naar de clients.

3. Belangrijkste Bijdragen

• Nieuwe Architectuur: Een oplossing voor het "één sample per client" probleem in horizontale federated learning, wat eerder als onoplosbaar werd beschouwd voor boomgebaseerde methoden.
• Informatietheoretische Veiligheid: In plaats van computationele veiligheid (zoals bij LSH of HE), biedt het systeem informatie-theoretische veiligheid zolang er minder dan $m$ aandeelhouders samenzweren.
• Robuustheid: Het systeem is ontworpen voor dynamische omgevingen met hoge uitval (dropout) van clients, zonder dat er client-tot-client coördinatie nodig is.
• Privacy-Garanties: Ruwe data verlaat de client nooit. De aggregator ziet alleen geaggregeerde sommen en commit-hashes, niet individuele bijdragen of identiteiten.

4. Resultaten en Evaluatie

De auteurs hebben PrivateBoost getest op drie medische datasets van de UCI Machine Learning Repository: Hartziekte, Borstkanker en Pima Diabetes.

• Prestatie:
  • Split Gain Retentie: Het systeem behoudt 98% van de split gain ten opzichte van een centraal XGBoost-model (zonder privacy). Dit betekent dat de privacy-methode de kwaliteit van de boom-splits nauwelijks beïnvloedt.
  • Nauwkeurigheid: De testnauwkeurigheid is vergelijkbaar met of zelfs beter dan centraal XGBoost (bijv. 88,3% vs 83,3% voor Hartziekte), waarschijnlijk door een regularisatie-effect van het histogram-binning.
• Robuustheid tegen Uitval (Dropout):
  • Het model behoudt zijn nauwkeurigheid zelfs bij 80% client dropout.
  • Bij matige uitval (20-50%) kan de variatie in deelnemende clients per ronde zelfs fungeren als een vorm van "bagging", wat de generalisatie verbetert.
• Kosten:
  • Communicatiekosten groeien lineair met het aantal aandeelhouders ($n$).
  • Berekening is efficiënt genoeg voor mobiele implementaties, hoewel "path hiding" (zie toekomstig werk) de kosten exponentieel zou verhogen.

5. Betekenis en Toekomstperspectief

Betekenis:
PrivateBoost opent de deur voor echte cross-device medische federated learning. Het stelt patiënten in staat om direct deel te nemen aan onderzoek zonder tussenkomst van instellingen, terwijl hun privacy gewaarborgd blijft. Dit is een cruciale stap voor het gebruik van gevoelige gezondheidsdata in real-world scenario's waar data niet kan worden gecentraliseerd.

Toekomstig Werk:

• Differential Privacy (DP): Het toevoegen van ruis aan de gradiënt-sommen voor formele $(\epsilon, \delta)$-privacy garanties.
• K-anonieme Boomstructuur: Het beperken van splits zodat elke knoop minimaal $k$ clients bevat, om inferentie-aanvallen via takentelling te voorkomen.
• Private Path Hiding: Het verbergen van welke tak een client doorloopt door shares voor alle mogelijke paden te sturen (dit verhoogt echter de communicatiekosten aanzienlijk).

Samenvattend biedt PrivateBoost een praktische, veilige en schaalbare oplossing voor het trainen van krachtige machine learning-modellen op verspreide, schaarse medische data, waarbij de privacy van individuele patiënten centraal staat.