Beyond Data Splitting: Full-Data Conformal Prediction by Differential Privacy

Deze paper introduceert een privacybehoudend conformaal voorspellingframework dat gebruikmaakt van differentieel privacy om volledige datasets te benutten zonder splitsing, waardoor scherpere voorspellingssets worden verkregen dan bij bestaande methoden die op data-splitsing vertrouwen.

De kern

Stel je voor dat je een waarzegger bent die probeert te voorspellen of het morgen gaat regenen. Je wilt niet alleen zeggen "ja" of "nee", maar je wilt ook zeggen: "Ik ben 90% zeker dat het regent, dus neem een paraplu mee."

In de wereld van kunstmatige intelligentie (AI) noemen we dit conformal prediction. Het is een manier om onzekerheid te meten en te zeggen: "Hier is een lijstje met mogelijke antwoorden, en we garanderen dat het juiste antwoord er 90% van de tijd in staat."

Maar er is een groot probleem: Privacy.

Het Dilemma: Geheimhouding vs. Betrouwbaarheid

Stel je voor dat je een dokter bent die een AI traint om ziektes te voorspellen op basis van patiëntgegevens. Die gegevens zijn supergevoelig. Je mag ze niet lekken.

Om de privacy te beschermen, gebruiken we een techniek genaamd Differential Privacy (DP). Je kunt dit zien als het toevoegen van een beetje "ruis" of "statistische nevel" aan de data. Het maakt het onmogelijk om te zeggen welke specifieke patiënt in de dataset zat, maar het heeft een nadeel: de AI wordt een beetje minder scherp, alsof je door een wazig glas kijkt.

De oude oplossing (De "Split" methode):
Om toch een betrouwbare voorspelling te maken, deden onderzoekers vroeger iets slim maar inefficiënt: ze splitsten de data in twee helften.

1. Helft A: Om de AI te trainen.
2. Helft B: Om de AI te testen en de "wazigheid" te meten.

Het probleem? Je gebruikt maar de helft van je data om te leren. In een wereld waar data al schaars is door de privacy-nevel, is dit als proberen een auto te bouwen met de helft van de onderdelen. De voorspellingen worden dan erg breed en onnauwkeurig (bijvoorbeeld: "Het kan regenen, sneeuwen, of hagelen" in plaats van "Het gaat regenen").

De Nieuwe Oplossing: DP-SCP (Het "Stabiele" Wonder)

Dit paper introduceert een nieuwe manier om dit op te lossen, genaamd DP-SCP. De auteurs zeggen: "Waarom zouden we onze data splitsen? Laten we de hele dataset gebruiken, zowel voor leren als voor testen!"

Maar hoe kan dat zonder de privacy te schenden of de voorspelling onbetrouwbaar te maken?

De Creatieve Analogie: De "Dubbelganger" en de "Stabiele Vriend"

Stel je voor dat je een AI traint.

• De Ideale Wereld: Je traint de AI op alle data, inclusief de persoon die je net wilt voorspellen. Dit zou perfect zijn, maar dat mag niet (privacy).
• De Realiteit: Je traint de AI op alle data behalve die ene persoon.

In het verleden dachten we: "Oh nee, de AI is nu net iets anders dan de ideale AI. De voorspelling is dus vals!"

Maar hier komt het geniale inzicht van dit paper:
Omdat we Differential Privacy gebruiken, is de AI van nature al stabiel.
Stel je voor dat je een vriend hebt die heel goed luistert. Als je één ding tegen die vriend vertelt, verandert zijn mening hier en daar een beetje, maar hij blijft in grote lijnen hetzelfde. Hij is "stabil".

De auteurs zeggen: "Omdat onze privacy-methode (DP) de AI dwingt om stabiel te zijn (niet te veel te reageren op één persoon), is de AI die we trainen zonder die ene persoon, bijna identiek aan de ideale AI die we zouden hebben gehad met die persoon."

Dit betekent dat we de "ruis" van de privacy kunnen gebruiken als een garantie voor stabiliteit. We hoeven de data niet te splitsen!

Hoe werkt het in de praktijk? (De "Buffer")

Om zeker te weten dat we de privacy niet schenden tijdens het testen, gebruiken ze een slimme truc:

1. Ze trainen de AI op de hele dataset (met privacy-nevel).
2. Ze kijken naar de fouten die de AI maakt.
3. Ze voegen een veiligheidsbuffer toe.

Stel je voor dat je een boogschutter bent. Je wilt weten hoe ver je pijlen kunnen vliegen.

• De oude methode (Split): Je gebruikt 50 pijlen om te oefenen en 50 om te meten. Je weet het niet precies.
• De nieuwe methode (DP-SCP): Je gebruikt alle 100 pijlen om te oefenen. Omdat je weet dat je arm (de AI) stabiel is door de privacy-regels, weet je dat je niet veel hoeft te "overcompenseren". Je voegt alleen een heel klein veiligheidskussen toe om zeker te zijn dat je de 90% garantie haalt.

Waarom is dit geweldig?

1. Scherpere Voorspellingen: Omdat je de hele dataset gebruikt, is de AI slimmer. De voorspellingslijstjes zijn korter en nuttiger. In plaats van "Regen, Sneeuw of Hagel", zegt de AI nu "Regen".
2. Privacy blijft gewaarborgd: Je geeft geen geheime informatie prijs. De privacy-regels worden strikt nageleefd.
3. Efficiëntie: Je hoeft niet twee keer te trainen (wat heel duur en langzaam is in de AI-wereld). Je doet het één keer, en het werkt.

Samenvattend in één zin

Dit paper leert ons dat we privacy niet hoeven te zien als een vijand die onze AI verzwakt, maar juist als een stabilisator die ons toelaat om slimme, veilige voorspellingen te doen zonder onze waardevolle data te verspillen. Het is alsof je een auto rijdt met een zeer stabiel stuur: je kunt sneller en preciezer rijden zonder bang te zijn dat je uit de bocht vliegt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Beyond Data Splitting: Full-Data Conformal Prediction by Differential Privacy" in het Nederlands.

1. Het Probleem

In data-gedreven besluitvorming, vooral in kritieke domeinen zoals gezondheidszorg en financiën, zijn twee eisen cruciaal: privacybescherming (via Differentiële Privacy, DP) en onzekerheidskwalificatie (via Conformal Prediction, CP).

• Conformal Prediction (CP): Biedt gegarandeerde dekking (coverage) voor voorspellingssets, maar vereist de aanname van uitwisselbaarheid (exchangeability) van de data. In de praktijk wordt een model getraind op $n$ datapunten ($\theta_n$) en getest op een nieuw punt. Omdat de testscore "out-of-sample" is en de trainscores "in-sample", treedt er een distributieve verschuiving op door overfitting. Dit breekt de uitwisselbaarheid en leidt tot onderschatting van de onzekerheid (under-coverage).
• Huidige Oplossingen:
  • Data Splitting: Een deel van de data wordt gereserveerd voor kalibratie. Dit herstelt de validiteit maar vermindert de effectieve steekproefgrootte voor training, wat de nauwkeurigheid van het model verlaagt.
  • Retraining (bijv. Jackknife+): Het model wordt herhaaldelijk getraind (bijv. Leave-One-Out) om uitwisselbaarheid te simuleren. Dit is computationally prohibitief voor grote modellen.
  • Private CP: Bestaande private methoden gebruiken vaak data splitting, wat in privacy-regimes (waar ruis al het signaal degradeert) extra schadelijk is omdat het de beschikbare data voor training verder verkleint.
• De Uitdaging: Hoe kan men volledige data gebruiken voor zowel training als kalibratie onder strikte privacy-eisen, zonder de validiteit van de voorspellingssets te compromitteren of de berekeningskosten van herhaaldelijke training te betalen?

2. Methodologie: DP-Stabilised Conformal Prediction (DP-SCP)

De auteurs stellen DP-SCP voor, een raamwerk dat DP niet ziet als een puur kost, maar als een bron van algoritmische stabiliteit.

Kernconcept: Stabiliteit door Differentiële Privacy

Differentiële Privacy garandeert dat het toevoegen of verwijderen van één datapunt de output van het algoritme slechts beperkt beïnvloedt.

• In een ideale wereld zou het model $\theta_{n+1}$ getraind zijn op alle data inclusief het testpunt (uitwisselbaar).
• In de realiteit gebruiken we $\theta_n$ (getraind op $n$ punten).
• DP zorgt ervoor dat de afstand tussen $\theta_n$ en $\theta_{n+1}$ klein blijft. Hierdoor blijft de verdeling van de "in-sample" scores dicht bij die van de "out-of-sample" scores.

Het Algorithmische Raamwerk

Het proces verloopt in twee fasen (zie Algorithm 1 in het artikel):

1. Private Training: Train een model $\theta_n$ op de volledige dataset $D_n$ met een DP-algoritme (bijv. DP-SGD).
2. Private Kwantiel Schatting: Bereken de niet-conformiteitsscores $S = \{s(X_i, Y_i; \theta_n)\}$ voor alle $n$ punten. Omdat het berekenen van deze scores de gevoelige data opnieuw benadert, moet de drempelwaarde (kwantiel) $\hat{q}$ op een private manier worden geschat.

De Innovatie: Buffered DP Right-Endpoint Binary Search (Algorithm 2)
Om onder-coverage te voorkomen, gebruiken de auteurs een conservatieve benadering voor het vinden van het kwantiel:

• Ze voeren een binaire zoektocht uit met ruisgevoelige tellingen (noisy counts) om privacy te waarborgen.
• Ze introduceren een buffer $m_n$ (stabiliteitsbuffer) en een ruiscorrectie $\tau$.
• De doelstelling is niet het exacte $r$-de kwantiel, maar een conservatieve bovengrens: $r' = r + m_n + \tau$.
• De zoektocht stopt alleen als de ruisbeïnvloede telling strikt groter is dan $r'$. Dit garandeert dat het geschatte drempel $\hat{q}$ met hoge waarschijnlijkheid groter is dan het werkelijke $(r+m_n)$-de kwantiel, waardoor onder-coverage wordt uitgesloten.

3. Belangrijkste Bijdragen

1. DP als Stabiliteitsinstrument: De auteurs tonen aan dat DP intrinsiek stabiliteit biedt die de kloof tussen in-sample en out-of-sample scores kan kwantificeren. Dit maakt het mogelijk om volledige data te hergebruiken zonder data splitting.
2. Theoretische Dekkingsgaranties:
   • Ze bewijzen dat een generieke f-DP-garantie een universele ondergrens voor dekking oplevert ($f(\alpha)$), maar dit is vaak lager dan de nominale $1-\alpha$.
   • Door een verfijnde analyse van DP-SGD (gebaseerd op gekoppelde trajecten), tonen ze aan dat de nominale dekking $1-\alpha$**asymptotisch** wordt hersteld wanneer de steekproefgrootte$n$ groot wordt.
3. Efficiëntie zonder Retraining: In tegenstelling tot Jackknife+ of LOO-methoden, vereist DP-SCP slechts één trainingsrun, wat het computationally haalbaar maakt voor grote schaaltoepassingen.
4. Robuuste Private Kalibratie: De voorgestelde kwantielroutine is ontworpen om "false positives" (ruis die de telling kunstmatig verhoogt) te absorberen als conservatisme (grotere voorspellingssets) in plaats van als verlies van validiteit.

4. Resultaten

De auteurs evalueren DP-SCP op zowel classificatie (BloodMNIST) als regressie (California Housing) taken.

• Validiteit:
  • DP-SCP-F (Finite-sample variant) levert conservatieve dekking (> 0.90), vaak iets boven de nominale waarde.
  • DP-SCP-A (Asymptotische variant) houdt de dekking zeer dicht bij de nominale waarde (0.90) zonder de extra buffer.
  • Beide varianten presteren aanzienlijk beter dan "Naive Full" (zonder stabiliteitscorrectie), die onder-coverage vertoont.
• Efficiëntie (Grootte van voorspellingssets):
  • DP-SCP produceert aanzienlijk scherpere (smallere) voorspellingssets dan de bestaande private baseline die data splitting gebruikt (DP-Split).
  • Bijvoorbeeld, bij $\epsilon = 2.0$ op BloodMNIST: DP-SCP-A heeft een gemiddelde setgrootte van ~1.49, terwijl DP-Split ~2.00 is. Dit komt omdat DP-SCP het volledige dataset gebruikt voor training, wat leidt tot een nauwkeuriger model.
• Privacy-Regimes: De voordelen van DP-SCP zijn het grootst in regimes met hoge privacy (lage $\epsilon$), waar het verlies van trainingsdata bij data splitting het meest pijnlijk is voor de modelkwaliteit.

5. Betekenis en Conclusie

Dit artikel biedt een doorbraak in het combineren van privacy en onzekerheidskwalificatie.

• Paradigmaverschuiving: Het demonstreert dat privacy en statistische validiteit geen tegenstrijdige doelen hoeven te zijn. Door DP te gebruiken om stabiliteit te certifiëren, kan de privacy-mechanisme de geldigheid van de statistiek ondersteunen in plaats van alleen als een beperking te fungeren.
• Praktische Toepasbaarheid: Het elimineert de noodzaak voor data splitting (wat data-efficiëntie kost) of herhaalde training (wat rekenkracht kost), waardoor het ideaal is voor moderne, grote machine learning toepassingen.
• Toekomst: De methode biedt een pad naar betrouwbare voorspellingsintervallen in privacy-sensitieve omgevingen, waarbij de "kost" van privacy voornamelijk wordt betaald via de grootte van de voorspellingsset (efficiëntie) in plaats van via het verlies van geldigheid.

Kortom, DP-SCP is een framework dat volledige data-hergebruik mogelijk maakt voor conformal prediction onder strikte privacy-eisen, door de inherente stabiliteit van differentieel private training te benutten om de theoretische validiteit te garanderen.