📊 statistics

Label Differential Privacy via Aggregation

Dit artikel stelt een label differential privacy-raamwerk voor regressietaken voor dat sterke privacygaranties bereikt door middel van gewogen lineaire aggregatie van trainingsinstanties of disjuncte zakken, wat verbeterde praktische grenzen en behoud van nut biedt zonder dat er additieve labelruis vereist is.

Oorspronkelijke auteurs: Anand Brahmbhatt, Rishi Saket, Shreyas Havaldar, Anshul Nasery, Yukti Makhija, Aravindan Raghuveer

Gepubliceerd 2026-09-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anand Brahmbhatt, Rishi Saket, Shreyas Havaldar, Anshul Nasery, Yukti Makhija, Aravindan Raghuveer

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het moderne digitale tijdperk worden dagelijks enorme hoeveelheden persoonlijke informatie verzameld om computerprogramma's te trainen die voorspellingen doen, van het schatten van huizenprijzen tot het voorspellen van verkopen. Een kritieke uitdaging in dit veld is hoe men deze systemen kan onderwijzen zonder de gevoelige details van de individuen die de gegevens hebben verstrekt, bloot te leggen. Een krachtige oplossing, bekend als differential privacy, fungeert als een wiskundig schild. Het zorgt ervoor dat het eindresultaat van een computeranalyse er bijna hetzelfde uitziet of de gegevens van één specifiek persoon nu wel of niet zijn opgenomen, waardoor het voor een buitenstaander onmogelijk wordt om de specifieke informatie van die persoon terug te herleiden. Hoewel dit concept goed is bestudeerd voor algemene gegevens, ontstaat er een specifiek en moeilijk probleem wanneer de gevoelige informatie volledig verborgen zit in de labels—de antwoorden of uitkomsten die aan de gegevens zijn gekoppeld, zoals de medische diagnose van een patiënt of de keuze van een kiezer. Het beschermen van deze labels zonder het vermogen van de computer om nuttige patronen te leren te vernietigen, is lang een hindernis geweest.

Een team van onderzoekers bij Google Research India heeft een nieuwe methode ontwikkeld om dit probleem op te lossen door te veranderen hoe de gegevens worden gegroepeerd en gecombineerd voordat ze ooit worden gebruikt voor training. In plaats van willekeurige ruis toe te voegen aan de gegevens, een techniek die vaak de resultaten vertroebelt en de nauwkeurigheid vermindert, stelden zij een systeem van gewogen aggregatie voor. Stel je voor dat je een grote verzameling individuele records neemt en deze samenvoegt in kleine groepen, of "zakken". In hun aanpak wordt elk record binnen een zak vermenigvuldigd met een uniek, willekeurig gegenereerd getal afkomstig uit een specifieke klokvormige verdeling. Het systeem telt deze gewogen records vervolgens bij elkaar op om een enkel, nieuw datapunt voor de zak te creëren. Dit proces wordt herhaald om veel dergelijke geaggregeerde punten te creëren. De onderzoekers ontdekten dat deze specifieke manier van het mengen van de gegevens, gebruikmakend van deze willekeurige gewichten, een wiskundige barrière creëert die de privacy van de oorspronkelijke labels beschermt. Cruciaal is dat zij bewezen dat deze bescherming standhoudt, zelfs als een aanvaller alles weet over de andere records in de zak, mits de dataset groot genoeg is en de labels niet allemaal identiek zijn.

De studie laat zien dat deze methode effectief werkt voor twee verschillende scenario's. In het eerste scenario is elk individueel record uit de gehele dataset opgenomen in elke zak, wat een zeer gemengde set van aggregaten creëert. In het tweede scenario wordt de dataset verdeeld in vele kleine, niet-overlappende groepen, en wordt elke groep apart verwerkt. In beide gevallen hebben de onderzoekers aangetoond dat een computermodel dat getraind is op deze geaggregeerde, privacy-beschermde punten, nog steeds in staat is om voorspellingen te doen met bijna dezelfde nauwkeurigheid als een model dat getraind is op de originele, ruwe gegevens. Ze hebben dit getest op enorme echte datasets, waaronder een volkstelling van meer dan 130 miljoen mensen uit 1940 en een collectie van meer dan 1,7 miljoen records van een online advertentieplatform. De resultaten waren duidelijk: de modellen getraind op de geaggregeerde gegevens behaalden bijna hetzelfde nauwkeurigheidsniveau als de modellen getraind op de ruwe gegevens, terwijl ze voldeden aan strikte privacygaranties.

Een belangrijke bevinding van dit werk is dat het simpelweg optellen van de labels in een groep zonder deze speciale willekeurige gewichten geen echte privacybescherming biedt. Als de gegevens slechts worden opgeteld, zal een verandering in het label van één persoon een detecteerbare verschuiving in het totaal veroorzaken, waardoor hun informatie wordt onthuld. De onderzoekers bewezen dat de willekeurige weging essentieel is om deze individuele bijdragen te verbergen. Bovendien toonden zij aan dat deze techniek niet vereist dat er extra ruis aan de labels wordt toegevoegd, wat een veelvoorkomende vereiste is bij andere privacymethoden die vaak de kwaliteit van het leren verslechteren. Door uitsluitend te vertrouwen op de wiskundige eigenschappen van deze gewogen aggregatie, behielden zij de bruikbaarheid van de gegevens voor regressietaken, die worden gebruikt om continue waarden te voorspellen zoals verkoopcijfers of gewerkte uren.

Het team verkende ook een variatie waarbij een klein deel van de labels opzettelijk wordt gewijzigd met ruis voordat ze worden gegroepeerd, gecombineerd met de gewogen aggregatie. Deze hybride aanpak stelde hen in staat om de privacygaranties uit te breiden naar complexere leeropdrachten waarbij neurale netwerken betrokken zijn, wat diepe leermodellen zijn die in staat zijn tot complexe patronen. Hun experimenten bevestigden dat zelfs met deze toegevoegde complexiteiten, de modellen een hoge bruikbaarheid behielden. Het werk suggereert dat voor veel praktische toepassingen, vooral die beperkt worden door regelgeving of systeembeperkingen die het gebruik van ruwe individuele gegevens verhinderen, deze aggregatiemethode een robuust pad vooruit biedt. Het stelt organisaties in staat om krachtige voorspellende instrumenten te bouwen met gevoelige gegevens zonder de privacy van de individuen achter de cijfers in gevaar te brengen, en dat alles zonder het aanzienlijke verlies aan nauwkeurigheid dat vaak gepaard gaat met privacy-beschermende technieken.

Technische Samenvatting: Label Differential Privacy via Aggregatie

Probleemdefinitie

Het artikel behandelt de uitdaging om gevoelige trainingslabels te beschermen in machine learning-datasets, terwijl de bruikbaarheid van regressietaken behouden blijft. Specifiek richt het zich op Label Differential Privacy (label-DP), een privacybegrip waarbij de outputverdeling van een mechanisme stabiel blijft, zelfs als één enkel trainingslabel verandert, terwijl de featurevectoren ongewijzigd blijven.

Traditionele benaderingen om label-DP te bereiken, vertrouwen doorgaans op het toevoegen van onafhankelijke additieve ruis (bijv. Gaussische ruis) aan elk label. De auteurs merken echter op dat in veel praktische scenario's, zoals advertentieplatformen (bijv. Apple SKAN, Chrome Privacy Sandbox) of medische gegevensaggregatie, gegevens van nature worden verwerkt via aggregatiemechanismen (bijv. Learning from Label Proportions of Learning from Bag Aggregates) in plaats van additieve ruis. Het artikel onderzoekt of deze natuurlijke aggregatiemechanismen, die vaak worden gebruikt voor efficiëntie of naleving van regelgeving, inherent label-DP-garanties bieden, en zo niet, hoe ze kunnen worden verbeterd om dit te doen zonder de bruikbaarheid van lineaire of neurale regressietaken op te offeren.

De auteurs stellen vast dat ongegewogen sommatie van labels in "bags" geen label-DP-garanties biedt. De kern van het probleem is het ontwerpen van aggregatiemechanismen die $(\epsilon, \delta)$ -label-DP bereiken met minimale of geen additieve ruis, terwijl het optimale regressiemodel dat getraind wordt op de geaggregeerde data de optimale model op de oorspronkelijke dataset benadert.

Methodologie

Het artikel stelt drie primaire aggregatiemechanismen voor die gebruikmaken van gewogen lineaire aggregatie met onafhankelijk en identiek verdeelde (i.i.d.) Gaussische gewichten ( $N(0, 1)$ ).

1. Weighted-FLAg (WTD-FLAG)

Dit mechanisme aggregeert de gehele dataset in $m$ bags. Voor elke bag $j$ selecteert het mechanisme $n$ i.i.d. gewichten $w_{ij} \sim N(0, 1)$ en berekent:

Geaggregeerde featurevector: $x^{AGG}_j = \sum_{i=1}^n w_{ij} x_i$
Geaggregeerd label: $y^{AGG}_j = \sum_{i=1}^n w_{ij} y_i$

Cruciaal is dat er geen additieve ruis wordt toegevoegd aan de labels. De privacygarantie berust op de willekeur van de gewichten en de niet-degeneratie van de dataset (specifiek, een ondergrens op de lineaire regressieverlies).

2. Sampled-Weighted-FLAg (Sampled-WTD-FLAG)

Om de computationele overhead en het deel van de dataset dat voor aggregatie nodig is te verminderen, selecteert deze variant $m$ disjuncte bags van grootte $k$ . Voor elke bag selecteert het $k$ i.i.d. gewichten en berekent de gewogen som van de features en de labels binnen die specifieke subset. Net als het eerste mechanisme gebruikt het geen additieve ruis. Deze aanpak vereist een ondergrens op de kleinste singuliere waarde van de datamatrix om bruikbaarheid te garanderen.

3. Sampled-Noisy-Weighted LAg (Sampled-Noisy-WTD-LAg)

Dit mechanisme adresseert scenario's waarin de featurevectoren in bags afzonderlijk beschikbaar zijn (Label Aggregation of LAg). Om het privacyverlies door het blootstellen van individuele features te overwinnen, doet het mechanisme het volgende:

Voegt i.i.d. $N(0, 1)$ ruis toe aan slechts een kleine, vaste fractie ( $\rho$ ) van de labels.
Past gewogen aggregatie toe met Gaussische gewichten aan de labels.
Geeft de geaggregeerde labels uit samen met de individuele featurevectoren en de bijbehorende gewichten voor elke bag.

Deze hybride aanpak heeft als doel de bruikbaarheid van Lipschitz-gebonden neurale netwerk regressietaken te behouden terwijl het label-DP-garanties biedt.

Belangrijkste Bijdragen

Het artikel levert de volgende specifieke bijdragen:

Negatief Resultaat: Het toont aan dat het louter aggregeren van labels (zoals in standaard LLP-datasets) zonder weging of ruis, geen differential privacy-garanties biedt.
Nieuwe Algoritmen: Het introduceert nieuwe aggregatie-algoritmen (WTD-FLAG, Sampled-WTD-FLAG en Sampled-Noisy-WTD-LAg) die label-DP datasets genereren uitsluitend door aggregatie (met minimale ruis in de derde variant), waardoor de zware additieve ruis die typerend is voor eerdere label-DP methoden wordt vermeden.
Behoud van Bruikbaarheid: Het bewijst dat datasets gegenereerd door deze algoritmen de bruikbaarheid (optimum) van lineaire regressietaken met gebonden norm-regressoren behouden, en in de ruisvariant, neurale regressietaken.
Verbeterde Bounds: Theoretische analyse laat zien dat de voorgestelde methoden $(\epsilon, \delta)$ -label-DP bereiken met parameters die afhankelijk zijn van de ondergrens op de lineaire regressieverlies ( $\gamma$ ) in plaats van de kleinste singuliere waarde van de datamatrix, wat leidt tot nauwere praktische bounds.

Theoretische Resultaten

Privacygaranties:
- WTD-FLAG: Bereikt $(\epsilon, \delta)$ -label-DP als het aantal bags $m$ voldoet aan $m = O(\frac{\gamma n}{B_Y^2 \log(1/\delta)})$ , waarbij $\gamma$ de ondergrens is op de lineaire regressieverlies en $B_Y$ de grens op de labelgrootte.
- Sampled-WTD-FLAG: Bereikt $(\epsilon, \delta)$ -label-DP met een bag-grootte $k \geq \Omega(((1/\epsilon) \log(1/\delta))^2)$ , uitgaande van een ondergrens op de kleinste singuliere waarde van de data.
- Sampled-Noisy-WTD-LAg: Bereikt $(\epsilon, \delta)$ -label-DP door een fractie $\rho$ van de labels te verstoren, waarbij $k$ schaalt als $O(B_Y^2/\rho\epsilon^2)$ .
Bruikbaarheidsgaranties (Utility Guarantees):
- Voor lineaire regressie benadert de optimale regressor getraind op de geaggregeerde data het optimum van de oorspronkelijke dataset met hoge waarschijnlijkheid. De fout wordt begrensd door een multiplicatieve factor $(1+\theta)$ , waarbij $\theta$ afhangt van het aantal bags en dataseteigenschappen.
- De bruikbaarheidsbounds zijn onafhankelijk van de inputdimensie $d$ voor het WTD-FLAG mechanisme, een significante verbetering ten opzichte van eerder werk dat vertrouwde op dimensie-afhankelijke bounds.

Experimentele Resultaten

De auteurs hebben hun methoden empirisch geëvalueerd op twee grootschalige datasets:

1940 US Census Data: Het voorspellen van werkuren op basis van demografische kenmerken.
Criteo Sponsored Search Dataset: Het voorspellen van advertentieverkopen.

Bevindingen:

Privacy vs. Bruikbaarheid: De experimenten tonen aan dat WTD-FLAG effectief de bruikbaarheid voor lineaire regressie behoudt, zelfs onder bescheiden privacybudgetten ( $\epsilon$ ). Naarmate $\epsilon$ toeneemt, neemt de Mean Squared Error (MSE) op de oorspronkelijke dataset af en stabiliseert deze nabij de optimale loss van de oorspronkelijke data.
Vergelijking met vorig werk: Het artikel vergelijkt de theoretische bovengrenzen op het aantal toegestane bags ( $m$ ) voor een gegeven $\epsilon$ met het werk van Sheffet [42]. De auteurs laten zien dat hun bounds, afgeleid van de ondergrens op de lineaire regressieverlies, aanzienlijk beter zijn (meer bags toestaan) dan bounds afgeleid van de kleinste singuliere waarde in real-world datasets.
Neurale Regressie: Experimenten met Sampled-Noisy-WTD-LAg op neurale netwerken laten zien dat de bruikbaarheid behouden blijft, zelfs met een beperkt aantal gesamplede bags en variërende bag-groottes, wat de theoretische garanties voor niet-lineaire taken bevestigt.

Betekenis en Claims

Het artikel claimt dat de primaire betekenis ligt in het kwantificeren van de privacy die door aggregatie alleen wordt bereikt. In tegenstelling tot eerdere label-DP methoden die sterk vertrouwen op het toevoegen van ruis of probabilistische resampling, toont dit werk aan dat natuurlijke aggregatiemechanismen, wanneer ze worden verbeterd met gewogen sampling, strikte privacygaranties kunnen bieden.

De auteurs benadrukken dat hun aanpak wordt gedreven door real-world beperkingen waarbij additieve ruis onwenselijk of onmogelijk is vanwege systemische of regelgevende beperkingen. Door aan te tonen dat label-DP kan worden bereikt met weinig tot geen additieve ruis terwijl de bruikbaarheid van regressietaken behouden blijft, suggereert het werk dat bestaande aggregatie-pipelines in de industrie mogelijk al sterkere privacygaranties bieden dan voorheen begrepen, wat de noodzaak voor aanvullende, kostbare privacy-beschermende interventies kan verminderen. Het artikel blijft bescheiden en richt zich op het kwantificeren van deze garanties in plaats van het voorstellen van nieuwe toepassingen of toekomstige richtingen buiten de reikwijdte van de huidige theoretische en empirische analyse.