🤖 machine learning

Towards Explainable Federated Learning: Understanding the Impact of Differential Privacy

Dit paper presenteert FEXT-DP, een federatief leermodel op basis van beslissingsbomen dat Differential Privacy integreert voor verbeterde privacy, en analyseert de daaruit voortvloeiende negatieve impact op de verklaarbaarheid van het model.

Oorspronkelijke auteurs: Júlio Oliveira, Rodrigo Ferreira, André Riker, Glaucio H. S. Carvalho, Eirini Eleni Tsilopoulou

Gepubliceerd 2026-04-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Júlio Oliveira, Rodrigo Ferreira, André Riker, Glaucio H. S. Carvalho, Eirini Eleni Tsilopoulou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep vrienden hebt die allemaal een geheim recept voor een heerlijke taart hebben. Ze willen samen een super-recept maken dat nog lekkerder is dan hun eigen versies, maar ze willen hun eigen geheime ingrediënten (zoals de hoeveelheid suiker of een speciaal kruidje) niet aan elkaar laten zien.

Dit is precies wat dit wetenschappelijke artikel doet, maar dan met computers en gegevens in plaats van taarten. Hier is de uitleg in simpele taal:

1. Het Probleem: Privacy vs. Begrip

In de wereld van kunstmatige intelligentie (AI) zijn er twee grote problemen:

Privacy: Mensen willen niet dat hun persoonlijke data (zoals hun energieverbruik of gezondheid) wordt gestolen of misbruikt.
Begrip (Uitlegbaarheid): Mensen willen weten waarom een computer een bepaalde beslissing neemt. Vaak zijn de slimste computers (zoals "neuronale netwerken") als een zwarte doos: je ziet het antwoord, maar niet hoe ze erbij kwamen.

De auteurs van dit paper willen een oplossing die beide problemen oplost: een systeem dat privé blijft én waar je precies kunt zien hoe het werkt.

2. De Oplossing: FEXT-DP (De Slimme Boom)

De auteurs hebben een nieuw systeem bedacht dat ze FEXT-DP noemen. Laten we het vergelijken met een boom in plaats van een computer.

De Boom (Decision Trees): In plaats van een ingewikkelde zwarte doos, gebruiken ze een boomstructuur. Een boom is makkelijk te begrijpen: "Als het regent, neem dan een paraplu. Als het zonnig is, ga dan zwemmen." Dit is uitlegbaar.
Federated Learning (Samenwerken zonder delen): De "boom" wordt niet op één centrale computer getraind. In plaats daarvan heeft elke gebruiker (bijvoorbeeld een huis met slimme meters) zijn eigen stukje boom. Ze sturen alleen de regels van hun boom naar een centrale server, niet hun eigen data. De server plakt de regels aan elkaar tot één grote, slimme boom.
Differential Privacy (De Ruis): Hier wordt het spannend. Zelfs als je alleen de regels stuurt, kan een slimme hacker misschien nog steeds terugrekenen wat de oorspronkelijke data was (zoals het exacte energieverbruik van een specifiek gezin).
- Om dit te voorkomen, voegen ze Differential Privacy toe. Denk hierbij aan het toevoegen van een beetje statistische ruis of "verwarring" aan de regels.
- Analogie: Stel je voor dat je een geheim recept deelt, maar je voegt een klein beetje zout toe dat je niet in het recept had staan. De taart smaakt nog steeds bijna hetzelfde, maar als iemand het recept probeert te analyseren om je originele ingrediënten te raden, lukt dat niet meer. De "ruis" maakt het onmogelijk om terug te rekenen naar de individuele data.

3. Het Nadeel: De "Ruis" maakt de Boom een beetje wazig

Het paper onderzoekt wat er gebeurt als je die "ruis" (privacy) toevoegt.

Het Resultaat: De boom wordt nog steeds heel slim en maakt goede voorspellingen (bijvoorbeeld hoeveel energie een huis gaat verbruiken).
De Kijk: Maar omdat er ruis in zit, wordt het moeilijker om precies te zien welke regel het belangrijkst is.
- Voorbeeld: Zonder privacy weet je zeker dat "Temperatuur" de belangrijkste factor is. Met privacy kan het zijn dat "Temperatuur" nog steeds belangrijk is, maar dat "Vochtigheid" er nu ook ineens een beetje bij komt, of dat de volgorde een beetje verschuift. De boom is nog steeds begrijpelijk, maar de "lup" (de vergrootglas) is een beetje wazig geworden.

4. Wat hebben ze ontdekt?

De auteurs hebben dit getest met echte data over energieverbruik in huizen.

Privacy werkt: Zelfs met de strengste privacy-instellingen (veel ruis) kon niemand de persoonlijke data van de huishoudens achterhalen.
De boom blijft goed: De boom bleef zeer nauwkeurig in het voorspellen van energieverbruik, zelfs met privacy.
De uitleg verandert: De belangrijkste regels van de boom verschoven een beetje door de privacy-maatregelen. Soms werd een minder belangrijke regel plotseling belangrijker door de "ruis". Dit betekent dat je, als je de boom wilt uitleggen, moet weten dat de "top 3" regels niet 100% statisch zijn, maar afhankelijk van hoe streng je privacy wilt zijn.

Conclusie in één zin

Dit paper laat zien dat je een slimme, privacy-bewuste boom kunt bouwen die samenwerkt zonder data te delen, maar dat je een klein beetje wazigheid moet accepteren in je uitleg om die privacy te garanderen. Het is een perfecte balans tussen "ik vertrouw je niet met mijn data" en "ik wil wel weten waarom je dit besluit neemt".

Probleemstelling

Moderne Machine Learning (ML) systemen staan voor twee tegengestelde uitdagingen:

Gegevensprivacy: Er is een strikte noodzaak aan naleving van wetgeving en privacywetgeving. Federated Learning (FL) is een veelgebruikte aanpak waarbij data lokaal blijft, maar zelfs FL is kwetsbaar voor aanvallen zoals Gradient Inversion of Membership Attacks, waarbij een kwaadaardige server gevoelige data kan reconstrueren uit gedeelde parameters.
Uitlegbaarheid (Explainability/XAI): Er is een grote vraag vanuit de industrie naar modellen die transparant zijn en traceerbare output leveren. Traditionele FL-systemen gebruiken vaak complexe neurale netwerken die als "black boxes" fungeren.

De kern van het probleem is dat het toevoegen van extra privacylagen, zoals Differentiële Privacy (DP), vaak ten koste gaat van de nauwkeurigheid en de uitlegbaarheid van het model. Bestaande oplossingen missen vaak een evenwicht tussen een lichtgewicht, uitlegbaar model en robuuste privacy in een federale setting.

Methodologie: FEXT-DP

De auteurs stellen FEXT-DP (Federated EXplainable Trees with Differential Privacy) voor. Dit is een FL-oplossing die specifiek is ontworpen om privacy en uitlegbaarheid te combineren.

Kerncomponenten:

Basisarchitectuur: In plaats van neurale netwerken, gebruikt FEXT-DP Beslissingsbomen (Decision Trees). Deze worden gekozen omdat ze lichtgewicht zijn, een eenvoudige interne structuur hebben en inherent beter uitlegbaar zijn dan neurale netwerken.
Federale Training:
1. Clients trainen lokale beslissingsbomen op hun eigen data.
2. Clients sturen de bomen naar de server.
3. De server filtert bomen die een minimale nauwkeurigheidsdrempel ( $K$ ) niet halen (om vergiftiging door kwaadaardige clients te voorkomen) en aggregeert de resterende bomen.
4. Het geaggregeerde globale model wordt terug naar de clients gestuurd.
Differentiële Privacy (DP) Implementatie:
- DP wordt toegepast tijdens het trainingsproces van de beslissingsboom (Algorithm 1).
- In plaats van deterministisch de split met de hoogste information gain te kiezen, gebruikt het algoritme het exponentiële mechanisme.
- De information gain wordt beïnvloed door het privacy-budget ( $\epsilon$ ). Splits met een hogere gain krijgen een hogere kans, maar er wordt willekeurige ruis toegevoegd via een "roulette wheel" selectie.
- Dit zorgt ervoor dat de geselecteerde split niet direct gekoppeld is aan een enkel datapunt, waardoor Membership Attacks worden voorkomen.

Belangrijkste Bijdragen

Ontwerp van FEXT-DP: Een nieuw FL-framework dat beslissingsbomen combineert met differentiële privacy om zowel privacy als uitlegbaarheid te waarborgen.
Analyse van de Trade-off: Een grondig onderzoek naar de impact van DP op de uitlegbaarheid van boom-gebaseerde modellen. De auteurs tonen aan dat DP een neveneffect heeft: het vermindert de uitlegbaarheid door de relevantie van features te "verspreiden".
Uitgebreide Evaluatie: Vergelijking van FEXT-DP met traditionele beslissingsbomen (zonder DP) en FedAVG (gebaseerd op neurale netwerken) op basis van prestaties en uitlegbaarheidsmetrieken.

Resultaten

De evaluatie is uitgevoerd op het Appliance Energy Prediction Data (AEPD) dataset, waarbij 20 clients energieconsumptie voorspellen op basis van temperatuur, vochtigheid en andere sensordata.

1. Prestaties (MSE en Correlatie):

FEXT-DP vs. FedAVG: FEXT-DP presteert aanzienlijk beter dan FedAVG (gebaseerd op neurale netwerken). FEXT-DP start met een MSE die 35% lager is dan FedAVG en behoudt deze superioriteit gedurende 40 rondes.
Impact van $\epsilon$ : Bij een zeer strikt privacy-budget ( $\epsilon = 0.01$ ) neemt de prestatie (MSE) licht toe (ongeveer 1,18% hoger dan zonder DP), maar blijft het model robuust. Bij hogere $\epsilon$ -waarden (minder privacy) is de prestatie vergelijkbaar met modellen zonder DP.

2. Uitlegbaarheid (MDI en SHAP):

Mean Decrease in Impurity (MDI): Dit is de belangrijkste metriek voor uitlegbaarheid. De resultaten tonen aan dat DP de rangschikking van de belangrijkste features verandert.
- Zonder DP is "RH 1" (vochtigheid in kamer 1) duidelijk de belangrijkste feature.
- Met DP (vooral bij $\epsilon = 0.01$ ) dalen de MDI-waarden voor alle features en wordt de relevantie meer gelijkmatig verdeeld over de features. Dit maakt het moeilijker om te bepalen welke feature de beslissing echt drijft, wat de "traceerbaarheid" van het model vermindert.
SHAP (SHapley Additive exPlanations):
- SHAP-analyses bevestigen dat DP de volgorde van feature-bijdragen verandert.
- Hoewel de interne logica van de boom grotendeels consistent blijft, introduceert DP een lichte verstoring in de uitlegbaarheid. Bij $\epsilon = 0.01$ zijn er verschuivingen in welke features als meest invloedrijk worden gezien, maar de algemene trend van de feature-invloeden blijft herkenbaar.

Betekenis en Conclusie

Het artikel demonstreert dat het mogelijk is om een Federated Learning-systeem te bouwen dat zowel privacy-bewust als uitlegbaar is, mits men bereid is een kleine afweging te maken.

Significantie: FEXT-DP biedt een alternatief voor zware neurale netwerken in FL, wat essentieel is voor toepassingen waar transparantie vereist is (bijv. gezondheidszorg of energievoorspelling).
Trade-off: De studie concludeert dat Differentiële Privacy een "side effect" heeft op de uitlegbaarheid. Hoewel het model nog steeds functioneert en privacy biedt, wordt de interpretatie van waarom een beslissing wordt genomen minder scherp doordat de dominantie van specifieke features wordt afgezwakt door de toegevoegde ruis.
Toekomst: De auteurs plannen om de efficiëntie te verbeteren door pruning-algoritmen toe te voegen en meer aandacht te besteden aan client-selectie en netwerkverkeer om de schaalbaarheid in de praktijk te testen.

Samenvattend biedt FEXT-DP een praktische route naar privacy-bewuste, uitlegbare AI, maar benadrukt het de noodzaak om het privacy-budget ( $\epsilon$ ) zorgvuldig af te stemmen op de vereisten voor modeltransparantie.