Logistic Regression Model for Differentially-Private Matrix Masked Data

Titel: Logistische Regressie voor Differentially-Private Matrix Masking Data

Auteurs: Linh H. Nghiem, Aidong Adam Ding, en Samuel S. Wu.

---

1. Probleemstelling

In het tijdperk van datagedreven innovatie is het verzamelen van gegevens met behoud van privacy essentieel. Bestaande methoden zoals anonimisering bieden geen formele wiskundige privacygaranties. Local Differential Privacy (LDP) lost dit op door ruis toe te voegen aan individuele gegevens voordat deze naar een centrale manager worden gestuurd. Een recente aanpak, het TM²+Noise-scheme, combineert lokale ruisadditie met matrixmaskering (het vermenigvuldigen van ruwe data met een willekeurige orthogonale matrix). Dit biedt sterke privacybescherming tegen zowel de data-collector als de centrale manager, met minder ruis dan pure LDP-methoden.

Het centrale probleem is echter de statistische analyse van deze gegevens, specifiek voor logistische regressie (een niet-lineair model):

1. Verandering van responsvariabele: Door ruisadditie en matrixmaskering is de oorspronkelijke binaire responsvariabele ($y^* \in \{0, 1\}$) veranderd in een continue, reëelwaardige variabele ($y$). Dit maakt de toepassing van standaard logistische regressie (die een binaire uitkomst vereist) onmogelijk.
2. Verlies van informatie: Matrixmaskering behoudt alleen de eerste en tweede steekproefmomenten (gemiddelde en covariantie) van de data. Logistische regressie vereist echter meer informatie dan alleen deze momenten vanwege de niet-lineaire linkfunctie.
3. Metingenfout: Hoewel ruisadditie op covariaten een meetfoutmodel creëert, zijn bestaande methoden voor logistische regressie met meetfouten niet direct toepasbaar omdat de responsvariabele hier niet meer binair is.

Bestaande methoden, zoals de conditionele Maximum Likelihood Schatter (cMLE) of naïeve Least Squares (LS) toegepast op de gemaskeerde data, leiden tot ernstige bias en ongeldige betrouwbaarheidsintervallen.

---

2. Methodologie

De auteurs stellen een nieuwe schatter voor die de relatie tussen logistische regressie en lineaire regressie benut, gebaseerd op een Gaussische mengselmodel-benadering (Haggstrom, 1983), maar uitgebreid voor dit specifieke privacy-scheme.

A. Theoretische Kader

1. Mengselmodel: De auteurs tonen aan dat een logistisch regressiemodel kan worden afgeleid uit een conditioneel Gaussisch mengselmodel. Als de covariaten $X^*$ gegeven de uitkomst $y^*$ normaal verdeeld zijn, impliceert dit een logistische relatie.
2. Lineaire Relatie: Een cruciale ontdekking is dat de schatter voor de regressiecoëfficiënten $\beta_1$ in het logistische model exact gelijk is aan een geschaalde versie van de Ordinary Least Squares (OLS) schatter uit een lineaire regressie van $y^*$ op $X^*$.
   • Formule: $\beta_1 = \text{Var}(\epsilon)^{-1} \cdot b_1$, waarbij $b_1$ de OLS-coëfficiënt is.
3. Invariantie: Lineaire regressie-OLS-schatters zijn invariant onder orthogonale matrixtransformaties (zoals matrixmaskering $M$). Dit betekent dat als er geen ruis was, de OLS-schatter op de gemaskeerde data exact dezelfde resultaten zou geven als op de ruwe data.

B. De Correcte Schatter (cLS)

Om het probleem van de toegevoegde ruis op te lossen, stellen de auteurs een gecorrigeerde Least Squares (cLS) schatter voor:

• Gegevens: De analyst heeft alleen toegang tot $X = MX^* + U$ en $y = My^* + v$, waarbij $U$ en $v$ ruis zijn met bekende varianties $\sigma_x^2$ en $\sigma_y^2$.
• Correctie: Omdat de ruis de momenten van de data beïnvloedt, passen de auteurs een correctie toe op de schattende vergelijkingen (estimating equations). Ze passen de covariantiematrix en de variantie van de respons aan door de bekende ruisvarianties af te trekken.
• Formule: De schatter $\hat{\beta}_1^{(c)}$ wordt verkregen door de oplossing van een aangepaste vergelijking:
  $$\sum_{i=1}^n \left( \tilde{W}_i y_i - \frac{1}{\phi} (\tilde{W}_i \tilde{W}_i^T - \sigma_x^2 J) \theta \right) = 0$$
  waarbij $\tilde{W}$ de covariaten inclusief een intercept zijn, en $J$ een diagonaalmatrix is die de intercept-correctie mogelijk maakt.

C. Asymptotische Eigenschappen

De auteurs bewijzen onder een asymptotisch kader (waarbij zowel de steekproefgrootte $n$ als de ruisvariantie $\sigma^2$ naar oneindig gaan, wat overeenkomt met strenge privacy-eisen) dat:

• De cLS-schatter consistent is.
• De schatter asymptotisch normaal verdeeld is.
• Het mogelijk is om geldige betrouwbaarheidsintervallen te construeren.

---

3. Belangrijkste Resultaten

Simulatiestudies

De auteurs voerden uitgebreide simulaties uit met verschillende steekproefgroottes ($n = 10^4$ tot $10^6$) en privacy-niveaus ($\epsilon \in \{5, 1, 0.5\}$).

• Naïeve methoden: Zowel de naïeve cMLE als de naïeve LS-schatters op de gemaskeerde data presteerden slecht. Ze vertoonden enorme bias (schatten vaak 0) en hun betrouwbaarheidsintervallen hadden een dekking van 0% (ze bevatten de ware parameter nooit).
• cLS-prestaties: De voorgestelde cLS-schatter vertoonde:
  • Zeer lage bias en Mean Squared Error (MSE).
  • Dekkingskansen die dicht bij het nominale niveau (95%) lagen, zelfs bij strenge privacy ($\epsilon = 0.5$).
  • Een duidelijke trend: naarmate de steekproefgrootte groter werd, verbeterde de prestatie van de cLS-schatter, wat de consistentie bevestigt.
• Sensitiviteit: Zelfs als de ruwe data niet perfect volgde uit het mengselmodel (maar uit een standaard logistische regressie met Gaussische covariaten), bleef de cLS-schatter de enige methode die consistente schattingen leverde, terwijl de andere methoden faalden.

Empirische Analyse (Real Data)

De methode werd toegepast op het "All of US" dataset om de relatie tussen hypertensie en geslacht, ras en leeftijd te modelleren.

• Resultaat: De cLS-schattingen op de gemaskeerde data kwamen zeer goed overeen met de schattingen op de ruwe data (overlappende betrouwbaarheidsintervallen).
• Onzekerheid: De betrouwbaarheidsintervallen op de gemaskeerde data waren breder, wat de onzekerheid door de ruis weerspiegelt. Bij zeer strenge privacy ($\epsilon = 0.5$) werden sommige effecten (zoals geslacht en ras) statistisch niet-significant, wat de trade-off tussen privacy en statistische power illustreert.

---

4. Bijdragen en Significantie

1. Eerste geldige methode: Dit is het eerste werk dat een geldige statistische inferentieprocedure voor logistische regressie biedt onder het TM²+Noise-scheme.
2. Overbrugging van theorie: Het artikel verbindt succesvol de theorie van lineaire regressie (die robuust is tegen matrixmaskering) met logistische regressie via mengselmodellen, waardoor een oplossing mogelijk wordt voor een complex niet-lineair probleem.
3. Privacy vs. Nut: Het demonstreert dat het mogelijk is om strikte privacy (LDP) te garanderen zonder de statistische validiteit volledig op te offeren, mits de juiste correctiemethoden worden toegepast.
4. Praktische toepasbaarheid: De methode vereist alleen de eerste en tweede momenten van de data, wat het computatie-efficiënt maakt en goed aansluit bij privacy-beveiligde datacollectie.

Conclusie

De auteurs tonen aan dat logistische regressie op differentially-private data, verkregen via matrixmaskering en ruisadditie, mogelijk is met behulp van een gecorrigeerde OLS-benadering. Hoewel strenge privacy leidt tot grotere onzekerheid en grotere steekproefgroottes vereist, biedt deze methode een robuust alternatief voor naïeve benaderingen die volledig falen in dit scenario. Dit opent de weg voor veilige, privacy-bewuste medische en sociale wetenschappelijke analyses.