Optimal Cox regression under federated differential privacy: coefficients and cumulative hazards

Probleemstelling

Het artikel adresseert twee fundamentele problemen in de distributieve overlevingsanalyse (survival analysis) onder de beperking van Federated Differential Privacy (FDP). In veel moderne toepassingen, zoals gezondheidszorg en financieel risicomanagement, zijn gegevens verspreid over meerdere servers (bijv. verschillende ziekenhuizen) en kunnen deze niet centraal worden samengevoegd vanwege privacywetten (zoals de GDPR).

De specifieke doelen zijn:

1. Schatting van de regressiecoëfficiënten ($\beta_0$) in het Cox-proportioneel-hazardsmodel.
2. Schatting van de cumulatieve baseline-hazardfunctie ($\Lambda_0(t)$).

De uitdagingen zijn:

• Federatie: Data blijft lokaal bij elke server; alleen geprivatiseerde berichten mogen worden uitgewisseld.
• Heterogeniteit: Servers kunnen verschillende steekproefgroottes ($n_s$) en verschillende privacybudgetten ($\epsilon_s, \delta_s$) hebben.
• Censuur: Overlevingstijddata is vaak gecensureerd (het event is niet waargenomen voor alle individuen), wat de statistische schatting complexer maakt dan bij standaard regressie.
• Privacy: De methode moet voldoen aan de strenge eisen van Differential Privacy (DP), waarbij het toevoegen van ruis de nauwkeurigheid van de schatting beïnvloedt.

Methodologie

De auteurs ontwikkelen een theoretisch kader en algoritmen voor beide schattingsproblemen.

1. Schatting van Regressiecoëfficiënten ($\beta_0$)

• Algoritme: Ze stellen een Federated Differentially Private Stochastic Gradient Descent (FDP-Cox) algoritme voor (Algoritme 1).
• Techniek:
  • In elke iteratie berekent elke server de gradiënt van de partiële likelihood.
  • Om privacy te garanderen, voegt elke server Gaussian noise toe aan zijn gradiënt (Gaussian mechanism), zodat de update voldoet aan $(\epsilon_s, \delta_s)$-CDP (Central DP binnen de server).
  • De servers sturen deze geprivatiseerde updates naar een aggregator.
  • De aggregator berekent een gewogen gemiddelde van de updates, waarbij de gewichten ($v_s$) evenredig zijn met de "effectieve steekproefgrootte" van elke server (afhankelijk van $n_s$ en $\epsilon_s$).
• Complexiteit: Het algoritme is ontworpen om om te gaan met de afhankelijkheid in de Cox-likelihood die ontstaat door de normalisatie over de "at-risk sets" (risicogroepen), wat de gevoeligheid (sensitivity) van de gradiënt beïnvloedt.

2. Schatting van de Cumulatieve Hazard ($\Lambda_0(t)$)

• Algoritme: Ze stellen een Federated Differentially Private Breslow-schatter voor (Algoritme 2).
• Techniek:
  • De Breslow-schatter is een niet-parametrische schatter voor de cumulatieve hazard.
  • Om privacy te behouden zonder de ruis te accumuleren bij het reconstrueren van de functie op elk tijdstip $t$, gebruiken ze een binaire boom-mechanisme (binary tree mechanism).
  • De tijdsinterval $[0, 1]$ wordt opgedeeld in intervallen. De cumulatieve hazard wordt geschat voor deze intervallen en geprivatiseerd.
  • Door de binaire boomstructuur kan de schatting op elk tijdstip $t$ worden gereconstrueerd uit slechts een logaritmisch aantal geprivatiseerde intervallen, wat de totale ruis beperkt.
  • Net als bij de coëfficiënten worden de resultaten van de servers gewogen gemiddeld.

3. Label Differential Privacy

• De auteurs onderzoeken ook een relaxatie van het privacymodel waarbij de covariaten (bijv. demografische data) publiek bekend zijn en alleen de uitkomsten (tijd en censureringsindicator) geprivatiseerd hoeven te worden. Dit wordt Label DP genoemd. Ze tonen aan dat de theoretische limieten hierin anders zijn dan bij volledige DP.

Kernbijdragen

1. Eerste Systematische Minimax Analyse: Dit is het eerste werk dat een rigoureuze minimax-analyse uitvoert voor het Cox-model onder federated DP. Ze leiden zowel ondergrenzen (minimax lower bounds) als bovengrenzen (matching upper bounds) af voor de schattingsfout.
2. Karakterisering van de "Kosten van Privacy": Ze kwantificeren precies hoe privacy de schattingsnauwkeurigheid beïnvloedt. De resultaten tonen een fase-overgang (phase transition) aan tussen het niet-privé regime en het privé regime, afhankelijk van de verhouding tussen steekproefgrootte, dimensie en privacybudget.
3. Efficiënte Algoritmen: Ze ontwikkelen computatie-efficiënte algoritmen die specifiek zijn ontworpen voor de structuur van de Cox-likelihood en federated learning, inclusief de behandeling van heterogene servers.
4. Label DP Resultaten: Ze leveren de eerste theoretische resultaten voor Cox-regressie onder Label DP, waarbij ze aantonen dat de rol van publieke covariaten sterk afhangt van het gekozen privacymodel.
5. Implementatie: De methoden zijn geïmplementeerd in een open-source R-pakket genaamd FDPCox.

Resultaten

Theoretische Resultaten

• Minimax Rate voor $\beta_0$:
  De schattingsfout (in kwadratische $\ell_2$-norm) voldoet aan de volgende orde:
  $$\text{Error} \asymp \frac{d^2}{\sum_{s=1}^S \min(n_s, n_s^2 \epsilon_s^2 / d)}$$
  Waarbij $d$ de dimensie is, $n_s$ de steekproefgrootte van server $s$, en $\epsilon_s$ het privacybudget.

  • Dit toont aan dat de effectieve steekproefgrootte per server het minimum is van de feitelijke grootte ($n_s$) en de door privacy beperkte grootte ($n_s^2 \epsilon_s^2 / d$).
  • Er is een duidelijke fase-overgang: als het privacybudget klein is, domineert de privé-rate; als het groot is, domineert de niet-privé rate.

• Minimax Rate voor $\Lambda_0(t)$:
  Voor de cumulatieve hazardfunctie (in supremum-norm) wordt een bijna optimale rate bereikt:
  $$\text{Error} \asymp \frac{1}{\sqrt{\sum_{s=1}^S \min(n_s, n_s^2 \epsilon_s^2)}} \cdot \text{polylog}(\dots)$$
  Dit resultaat is bereikt door de private Breslow-schatter met binaire bomen.

• Label DP:
  Onder Label DP (waarbij covariaten publiek zijn) blijft de minimax-rate voor de regressiecoëfficiënten in het centrale geval gelijk aan die van volledige DP, wat in tegenspraak is met intuïtie uit andere statistische problemen (zoals lineaire regressie met lokale DP), maar consistent is met eerdere bevindingen voor centrale DP.

Numerieke Experimenten

• De auteurs voeren uitgebreide simulaties uit die de theoretische rates bevestigen.
• Ze tonen aan dat de fout afneemt naarmate het privacybudget ($\epsilon$) en de steekproefgrootte ($n$) toenemen.
• Een toepassing op de Rotterdam breast cancer dataset (2982 patiënten) demonstreert de praktische bruikbaarheid van de algoritmen in een realistische setting met censuur.

Significantie

Dit artikel is een mijlpaal in de statistische privacy-onderzoeksveld om de volgende redenen:

1. Vullen van een Kennisgat: Er was tot nu toe weinig rigoureuze statistische literatuur over private overlevingsanalyse, ondanks de grote behoefte in de gezondheidszorg. Dit artikel legt de theoretische basis.
2. Federated Learning Context: Het lost het probleem op van heterogene privacybudgetten en steekproefgroottes, wat essentieel is voor real-world federated learning scenario's.
3. Optimaliteit: De afgeleide bovengrenzen komen overeen met de ondergrenzen (tot op logaritmische factoren), wat betekent dat de voorgestelde methoden optimaal zijn; er is geen betere methode mogelijk onder dezelfde privacybeperkingen.
4. Praktische Implementatie: Door het openbaar maken van het R-pakket FDPCox en het gebruik van een real dataset, maken de auteurs de theorie direct toepasbaar voor onderzoekers en data-analisten.

Samenvattend biedt dit werk een volledig theoretisch en praktisch kader voor het uitvoeren van Cox-regressie en hazard-schatting in een gedecentraliseerde, privacy-bewuste omgeving, met bewijzen van optimaliteit en concrete algoritmen voor implementatie.