🤖 machine learning

Privacy Leakage via Output Label Space and Differentially Private Continual Learning

Dit artikel identificeert het veranderende labelruimte-bereik in continual learning als een privacy-lek en stelt nieuwe methoden en een formele privacy-definitie voor om dit lek te dichten met behulp van differential privacy.

Oorspronkelijke auteurs: Marlon Tobaben, Talal Alrawajfeh, Marcus Klasson, Mikko Heikkilä, Arno Solin, Antti Honkela

Gepubliceerd 2026-04-27

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Marlon Tobaben, Talal Alrawajfeh, Marcus Klasson, Mikko Heikkilä, Arno Solin, Antti Honkela

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een supergeheime kookcursus geeft. Je wilt je recepten leren aan studenten, maar je wilt absoluut niet dat ze weten welke geheime ingrediënten je gebruikt. Je gebruikt hiervoor een "privacy-filter" (Differential Privacy) dat de details net genoeg vervaagt, zodat niemand precies kan achterhalen wat er in de pan zit.

Maar er is een probleem waar deze wetenschappers over zijn gestuit. Laten we het uitleggen met een metafoor.

Het Probleem: De "Menukaart-lek" (De Side-Channel)

Stel je voor: je bent een chef-kok en je geeft elke week een nieuwe les.

Week 1: Je leert ze hoe ze een 'Appeltaart' moeten maken. De menukaart die je aan de studenten geeft, zegt: [Appeltaart].
Week 2: Je leert ze een nieuw recept: 'Chocoladetaart'. De menukaart die je nu geeft, zegt: [Appeltaart, Chocoladetaart].

Nu komt de spion (de aanvaller). De spion ziet de menukaart van week 2. Hij ziet dat er een nieuw item op staat: 'Chocoladetaart'. De spion denkt: "Aha! Dat betekent dat de chef deze week een nieuw, geheim ingrediënt heeft gebruikt om die chocoladetaart te maken!"

Zelfs al heb je de ingrediënten in de pan zelf perfect verborgen met je privacy-filter, de menukaart zelf verraadt je. De wetenschappers noemen dit een "privacy side-channel". In de wereld van AI gebeurt dit wanneer een computerprogramma (het model) laat zien welke categorieën (labels) het kan herkennen. Als het programma plotseling een nieuwe categorie kan herkennen, weet de buitenwereld direct: "Er is nieuwe, gevoelige data binnengekomen!"

De Oplossing: Hoe houden we het echt geheim?

De onderzoekers stellen twee slimme manieren voor om de menukaart te beschermen:

1. De "Gok-menukaart" (Slearned)
In plaats van de echte menukaart te laten zien, gebruik je een privacy-filter op de menukaart zelf. Het is alsof je de studenten een menukaart geeft waarbij sommige gerechten met een beetje ruis zijn geschreven, of waarbij je soms een gerecht weglaat omdat het te klein of te geheim is. Je geeft een benadering van de menukaart, zodat niemand met 100% zekerheid kan zeggen: "Kijk, dit nieuwe gerecht is er net bijgekomen!"

2. De "Gigantische Buffet-kaart" (Sprior)
Dit is een nog slimmere truc. In plaats van de menukaart telkens aan te passen aan wat je die week leert, geef je de studenten vanaf dag één een gigantische lijst met 1000 mogelijke gerechten (bijvoorbeeld: alle soorten fruit, alle soorten groenten, alle soorten vlees, etc.).
Als je in week 2 een 'Banaan' leert, verander je de menukaart niet. De 'Banaan' stond namelijk al op de enorme lijst die ze al hadden. De spion ziet de lijst niet veranderen en denkt: "Er is niets nieuws gebeurd, alles is hetzelfde." Je hebt de informatie dus effectief verborgen in een enorme berg aan publieke informatie.

Wat hebben ze bewezen?

De onderzoekers hebben dit getest met complexe AI-modellen (die beelden herkennen, zoals honden, katten of auto's). Ze ontdekten dat:

Hun methoden de privacy echt beschermen zonder dat de AI "dommer" wordt.
Het gebruik van een "gigantische lijst" (de buffet-kaart) heel goed werkt.
Zelfs als de AI steeds nieuwe dingen moet leren (Continual Learning), blijft het geheim veilig.

Kortom: Ze hebben een manier gevonden om een AI te trainen die steeds nieuwe dingen leert, zonder dat de buitenwereld aan de "menukaart" van de AI kan zien wat er achter de schermen precies aan het gebeuren is.

Technische Samenvatting: Privacy Leakage via Output Label Space and Differentially Private Continual Learning

1. Het Probleem: Privacy Side-Channels in Continual Learning

Het kernprobleem dat dit onderzoek adresseert, is een specifiek type privacy-lek dat optreedt in classificatiemodellen, zelfs wanneer het trainingsproces zelf voldoet aan de regels van Differential Privacy (DP). De auteurs identificeren de output label space (de verzameling labels die een model kan voorspellen) als een "privacy side-channel".

In een Continual Learning (CL) setting, waarbij een model stapsgewijs nieuwe taken en nieuwe klassen leert, verandert de output label space voortdurend. Als een model simpelweg de labels uit de gevoelige trainingsdata publiceert om nieuwe klassen te kunnen classificeren, lekt dit direct informatie over de aanwezigheid van specifieke klassen in de dataset. Een aanvaller kan met 100% nauwkeurigheid afleiden of een bepaalde dataset is gebruikt door simpelweg te kijken of een specifieke nieuwe label aanwezig is in de output van het model. Dit maakt de formele DP-garanties van de modelgewichten waardeloos.

2. Methodologie

De auteurs stellen een nieuwe formalisering voor van DP binnen CL (Task-wise DP) en introduceren twee methoden om de side-channel van de label space te elimineren:

A. Methoden voor het beschermen van de Label Space ( $O_t$ )

$S_{learned}$ (DP Label Release): In plaats van labels direct over te nemen, wordt een apart DP-mechanisme gebruikt om te bepalen welke labels worden vrijgegeven. Dit is gebaseerd op het private partition selection problem. Er is hierbij een trade-off: een deel van het privacybudget ( $\epsilon$ ) wordt besteed aan het selecteren van de labels, waardoor er minder budget overblijft voor het trainen van de modelgewichten.
$S_{prior}$ (Public Prior Labels): Hierbij wordt een vooraf gedefinieerde, publieke set labels gebruikt die onafhankelijk is van de gevoelige data. Als de werkelijke labels uit de data niet in deze set zitten, worden ze gemapt naar een bestaand label of weggegooid. Dit voorkomt dat de label space informatie lekt over de dataset.

B. DP Continual Learning Architecturen

De auteurs passen twee moderne technieken aan voor de DP-CL context met gebruik van pre-trained modellen:

Cosine Similarity Classifier: Gebruikt een bevroren pre-trained model als feature extractor. Het model slaat cumulatieve, met ruis geïnjecteerde feature-vectoren (prototypes) op per klasse. Classificatie gebeurt via cosinus-gelijkenis.
PEFT Ensemble (Parameter-Efficient Fine-Tuning): Maakt gebruik van adapters (zoals FiLM) die per taak worden getraind met DP-SGD. Dit stelt het model in staat om de features aan te passen aan nieuwe taken zonder de volledige backbone te hertrainen.

3. Belangrijkste Bijdragen

Identificatie van de Side-Channel: Het aantonen dat het publiceren van de label space in CL een fundamentele breuk van DP vormt.
Nieuwe DP-CL Formalisering: Een theoretisch kader voor task-wise adjacency, wat essentieel is voor het bewijzen van privacy in sequentiële leerprocessen.
Praktische Oplossingen: De introductie van $S_{learned}$ en $S_{prior}$ als methoden om de privacy-garanties te herstellen.
Integratie met Pre-trained Modellen: De eerste demonstratie van hoe pre-trained modellen effectief kunnen worden ingezet binnen een DP-CL framework om de bruikbaarheid (utility) te verhogen.

4. Resultaten

De methoden zijn geëvalueerd op de benchmarks Split-CIFAR-100 en Split-ImageNet-R. De belangrijkste bevindingen zijn:

Hogere Accuratesse: De voorgestelde methoden behalen consistent een hogere nauwkeurigheid onder DP-restricties dan bestaande methoden (zoals die van Desai et al., 2021), zonder dat er geheugenbuffers (episodic memory) nodig zijn.
Trade-offs:
- Bij strikte privacy ( $\epsilon=1$ ) presteert de Cosine Classifier vaak beter, vooral in "blurry" settings (waar klassen over meerdere taken verspreid zijn), omdat deze minder gevoelig is voor de ruis die ontstaat door het splitsen van het privacybudget.
- Bij minder strikte privacy ( $\epsilon=8$ ) is het PEFT Ensemble superieur omdat het beter in staat is om de features aan te passen aan de specifieke domeinverschuivingen.
Effectiviteit van Label Methods: $S_{learned}$ is zeer effectief wanneer klassen groot zijn, terwijl $S_{prior}$ een robuust alternatief is wanneer er vooraf kennis is over de mogelijke klassen.

5. Betekenis

Dit onderzoek is van groot belang voor de ontwikkeling van veilige AI-systemen in sectoren met strikte privacywetgeving (zoals de medische sector of financiële instellingen). Het laat zien dat het beschermen van een machine learning model niet beperkt mag blijven tot de modelparameters alleen; de gehele systeemarchitectuur, inclusief de output-structuur, moet privacy-bewust zijn. Het biedt een praktisch pad om continue leerprocessen te implementeren die zowel functioneel (hoge nauwkeurigheid) als formeel privacy-veilig zijn.