🤖 machine learning

Gradient-Free Privacy Leakage in Federated Language Models through Selective Weight Tampering

Dit artikel onthult dat federated taalmodellen kwetsbaar zijn voor gradiëntvrije privacy-lekken, waarbij wordt aangetoond dat tussenliggende model-snapshots en selectieve gewichtstempereer door kwaadwillende deelnemers de membership inference en reconstructie van private data aanzienlijk kunnen verbeteren zonder medewerking van de server.

Oorspronkelijke auteurs: Md Rafi Ur Rashid, Vishnu Asutosh Dasu, Kang Gu, Najrin Sultana, Shagufta Mehnaz

Gepubliceerd 2026-07-21

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Md Rafi Ur Rashid, Vishnu Asutosh Dasu, Kang Gu, Najrin Sultana, Shagufta Mehnaz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin je smartphone leert je volgende woord te voorspellen, je e-mail je zinnen automatisch aanvult, of een medische app helpt bij het diagnosticeren van ziekten, allemaal zonder ooit je privéberichten naar een enorme centrale server te sturen. Dit is de belofte van Federated Learning. In plaats van dat een groot bedrijf je gegevens in een kluis bewaart, traint jouw apparaat lokaal een gedeelde "hersenen" (een taalmodel). Het stuurt alleen kleine updates — zoals een samenvatting van wat het heeft geleerd — naar een centraal knooppunt, dat deze weer combineert om de wereldwijde hersenen te verbeteren. Het is als een groep studenten die studeert voor een toets: ze lezen elk hun eigen boeken, schrijven hun eigen aantekeningen op, en delen vervolgens alleen de aantekeningen, niet de boeken zelf, zodat iedereen slimmer wordt zonder dat iemand de privébibliotheek van een ander ziet.

Er zit echter een addertje onder het gras. Hoewel de ruwe gegevens op je telefoon blijven, kunnen de "aantekeningen" (de modelupdates) soms per ongeluk onthullen wat er in het boek stond. Als de aantekeningen te gedetailleerd zijn, zou een sluwe student ze kunnen lezen en je geheime studiedoelen kunnen raden. Dit is het probleem van privacy-lekken. Lange tijd dachten onderzoekers dat als je niet de ruwe wiskunde (gradiënten) deelde achter het leren, maar alleen het eindresultaat van een ronde van het leren (gewichten), je veilig zou zijn. Maar wat als de "aantekeningen" uit het midden van de studiesessie eigenlijk veel meer onthullend zijn dan de antwoorden op het eindexamen? En wat als een sluwe student zijn eigen aantekeningen kan aanpassen om de hele klas de geheimen van jou nog beter te laten onthouden? Dat is precies het mysterie dat dit artikel onderzoekt.

De Sluwe Student en de Magische Aantekeningen

In dit onderzoek besloten een team van onderzoekers van Pennsylvania State University en Dartmouth College de rol van de "sluwe student" aan te nemen in een Federated Learning-klaslokaal. Hun doel? Te zien of ze privé-informatie — zoals telefoonnummers, creditcardgegevens of geheime wachtwoorden — konden stelen van de apparaten van andere studenten, zelfs zonder dat de leraar (de server) hen hielp of de ruwe wiskunde zag.

De Grote Verrassing: Het Midden van de Les Is het Belangrijkst

Het eerste wat de onderzoekers ontdekten, was een beetje contra-intuïtief. Meestal denken we dat de definitieve versie van een model het krachtigst is. Maar in dit Federated Learning-spel waren de intermediaire snapshots — de "aantekeningen" die halverwege het trainingsproces zijn gemaakt — eigenlijk veel gevaarlijker.

Stel je voor dat een leraar de klas vraagt om een lijst van 1.000 woorden te onthouden. Tegen het einde van het semester heeft de klas het algemene patroon van de taal geleerd, en de specifieke, vreemde woorden (zoals een nep creditcardnummer) kunnen een beetje wazig in hun geheugen zijn. Maar als je het geheugen van de klas controleert tijdens de week dat ze specifiek die vreemde woorden aan het bestuderen waren, is het geheugen kristalhelder. De onderzoekers ontdekten dat een kwaadwillende student deze "tussentijdse" snapshots kon bekijken en de privédata veel gemakkelijker kon vinden dan door naar het definitieve model te kijken. Het is also als het vinden van een specifieke pagina in een dagboek die gisteren is geschreven, in plaats van proberen het hele verhaal te raden aan de hand van een samenvatting die een jaar later is geschreven.

De "Selectieve Manipulatie" Truc

Maar de onderzoekers stopten niet bij alleen maar kijken. Ze vroegen zich af: "Kunnen we het model ervoor zorgen dat het deze geheimen nog beter onthoudt?"

Ze realiseerden zich dat grote taalmodellen (de "hersenen" die worden getraind) niet allemaal hetzelfde zijn. Sommige delen van de hersenen zijn als algemene kenniscentra, terwijl andere delen als gespecialiseerde archiefkasten werken. De onderzoekers ontdekten dat de laatste paar lagen van de "archiefkast" van het model (specifiek de MLP-sublagen) degene zijn die vreemde, ongewone data vasthouden, zoals telefoonnummers of creditcardcijfers.

Dus bedachten ze twee slimme manieren om deze specifieke archiefkasten te "tweakken" om het model geobsedeerd te maken door de privédata:

Selective Weights Optimization (SWO): Dit is als het gebruik van een vergrootglas op de specifieke pagina's waar de geheime data is opgeslagen en het volume harder zetten. De aanvaller vergelijkt de huidige staat van het model met een "normaal" model en versterkt de verschillen in die specifieke lagen. Het is alsof de sluwe student tegen de klas fluistert: "Hé, onthoud dit vreemde nummer? Laten we ervoor zorgen dat we het nooit vergeten!"
Weights Transformation Learning (WTL): Dit is de geavanceerde versie. In plaats van alleen het volume harder te zetten, traint de aanvaller een kleine AI om precies te leren hoe de hersenen van het model veranderen wanneer het privédata ziet. Vervolgens passen ze dat geleerde patroon toe op het model om het geheugen van de geheimen te superchargen. Het is alsof de student de exacte formule ontdekt die de leraar gebruikt om dingen te onthouden en die formule vervolgens op de hele klas toepast.

De Resultaten: Een Schokkende Lek

De resultaten waren verbijsterend. Door deze "manipulatie"-trucs te gebruiken, kon de kwaadwillende student:

71% van de privédata reconstrueren (zoals een prompt "Mijn creditcardnummer is..." om te zetten in het volledige nummer) wanneer ze actief met het model bezig waren tijdens de training.
Het vermogen om te raden of een specifiek stukje data in iemands trainingsset zat, met 29% verhogen.

Zelfs zonder de hulp van de leraar, en zonder toegang te hebben tot de ruwe wiskunde (gradiënten) — omdat het systeem alleen de definitieve gewichten van elke ronde deelt — werkte de aanval ongelooflijk goed. Sterker nog, het werkte beter dan veel eerdere aanvallen die ervan uitgingen dat de leraar kwaadwillend was en actief hielp bij de hack. De onderzoekers testten dit op populaire modellen zoals GPT-2, BERT en Llama-2, en het werkte op alle modellen.

De "Wie, Wat en Hoe"

De aanval werkt als volgt:

Het Slachtoffer Spotten: De aanvaller kijelt naar de modelupdates van elke trainingsronde. Ze gebruiken een speciale test om de rondes te spotten waarin een slachtoffer met privédata deelnam. Het is als het luisteren naar het geklets in de klas en opmerken: "Ah, de student met het creditcardnummer heeft net even gesproken."
Het Geheugen Manipuleren: Zodra ze die specifieke snapshots hebben, gebruiken ze SWO of WTL om de "archiefkasten" van het model aan te passen, zodat de privédata eruitspringt als een zere duim.
De Vraag Stellen: Ten slotte stelt de aanvaller het model een vraag met behulp van een standaard sjabloon (zoals "Uw verificatiecode is...") en het model, nu super gefocust op het geheim, spuugt de privédata uit.

Kunnen we dit stoppen?

De onderzoekers speelden ook de verdediging. Ze testten verschillende manieren om deze sluwe student te stoppen:

Differential Privacy: Dit voegt "ruis" of statische elektriciteit toe aan de aantekeningen. Het helpt de geheimen te verbergen, maar het zorgt er ook voor dat de hele klas een beetje onverstaanbaar wordt, wat de kwaliteit van de zinnen van het model verslechtert.
Scrubbing: Dit is als het bewerken van het dagboek voordat het wordt gedeeld. Als je creditcardnummers en telefoonnummers uit de tekst verwijdert voordat de training begint, kan het model ze niet leren. Dit werkt goed zonder de kwaliteit van het model aan te tasten.
Add-DEPN: Dit is een geavanceerde manier om de "archiefkasten" een beetje stiller te laten zijn over de geheimen. Het vermindert het lek aanzienlijk zonder dat het model slecht gaat klinken.

Het team suggereert dat de beste verdediging een combinatie is: scrub de privédata eerst uit de tekst, en gebruik vervolgens een milde regularisatie techniek (zoals Add-DEPN) om ervoor te zorgen dat het model niet te geobsedeerd raakt door welke geheimen er ook doorheen zijn geglipt.

De Conclusie

Dit artikel laat zien dat in de wereld van Federated Learning privacy niet alleen gaat over het verbergen van de ruwe gegevens; het gaat over hoe het model dingen onderweg onthoudt. Een kwaadwillende deelnemer hoeft geen supergeniale hacker te zijn met de hulp van de leraar. Ze hoeven alleen maar te weten wanneer ze moeten kijken en hoe ze het geheugen van het model moeten aanpassen om de geheimen eruit te laten springen. Hoewel dit een angstaanjagende ontdekking is, hebben de onderzoekers ook een routekaart geboden voor hoe ze deze gaten kunnen dichten, om ervoor te zorgen dat de toekomst van private AI veilig blijft voor iedereen.

Technische Samenvatting: Gradiëntvrije Privacy-lekken in Federatieve Taalmodellen door Selectieve Gewichtsmanipulatie

Probleemstelling

Federated Learning (FL) is een standaard geworden voor het trainen van Large Language Models (LLM's) op privacygevoelige gegevens (bijv. medische dossiers, financiële informatie) zonder de ruwe data te centraliseren. De huidige literatuur suggereert echter dat privacy-lekken een aanzienlijk risico blijven, met name door gradiënt-inversie-aanvallen. De meeste eerdere werken gaan uit van toegang tot gradiënten (bijv. in FedSGD) of richten zich op gecentraliseerde omgevingen waar de server de tegenstander is.

Dit artikel adresseert een kritieke lacune: privacy-lekken in FL-gebaseerde taalmodellen onder het FedAvg-protocol, waarbij gradiënten nooit worden gedeeld en de server wordt verondersteld eerlijk-maar-nieuwsgierig (of passief) te zijn in plaats van een actieve tegenstander. De auteurs onderzoeken of een kwaadwillende FL-client privacygevoelige gegevens (bijv. BSN's, creditcardnummers, telefoonnummers) van de lokale datasets van andere cliënten kan extraheren zonder toegang tot gradiënten of samenwerking met de server.

De geïdentificeerde kernuitdagingen zijn:

Intermediaire versus Finale Modellen: LLM's hebben de neiging om specifieke trainingssamples te "vergeten" naarmate ze generaliseren over het gehele corpus tijdens iteratieve training. Het is onduidelijk of intermediaire model-snapshots meer gevoelige informatie bevatten dan het uiteindelijke geconvergeerde model.
Gradiëntvrije Beperkingen: Zonder toegang tot de lokale gradiënten van cliënten zijn traditionele inversie-aanvallen niet toepasbaar.
Amplificatie: Kan een kwaadwillende client de memorisatie van gevoelige gegevens actief of passief versterken om extractie te vergemakkelijken?

Methodologie

Het voorgestelde aanvalskader werkt in twee primaire fasen: Victim Round Identification (VRI) en Maximizing Data Memorization (MDM).

1. Dreigingsmodel

Tegenstander: Een kwaadwillende client die deelneemt aan het FL-proces.
Capaciteiten: De tegenstander heeft toegang tot globale model-snapshots (geaggregeerde updates) in elke ronde. Zij beschikken over voorkennis van de structuur (prefixes) van de gevoelige gegevens die zij willen extraheren (bijv. "Uw verificatiecode is..."), maar niet van de specifieke gevoelige waarden (suffixes).
Server: Wordt aangenomen passief (eerlijk-maar-nieuwsgierig) te zijn of niet-samenzwerend in het basisscenario. In "collusion"-scenario's deelt de server meta-informatie of lokale updates.
Doel: Het extraheren van gevoelige suffixes uit de lokale datasets van andere cliënten via datareconstructie of membership inference.

2. Belangrijke Observaties & Hypothesen

Hypothese 1 (Selectieve Gewichtssensitiviteit): Wanneer LLM's worden gefinetuned op out-of-distribution (OOD) data (zoals PII), zijn gewichtsveranderingen niet uniform. Specifiek ondergaan de MLP sub-lagen in de laatste enkele transformer blokken ( $L^*$ ) aanzienlijk grotere transformaties vergeleken met andere lagen. Deze lagen zijn disproportioneel verantwoordelijk voor het memoriseren van gevoelige, OOD-data.
Hypothese 2 (Leaking in Intermediaire Rondes): De waarschijnlijkheid dat een FL-model een specifieke datapunt memoriseert, is hoger in de trainingsrondes waarin dat datapunt aanwezig is, vergeleken met rondes waarin het afwezig is. Gevolgelijk kunnen intermediaire snapshots van "victim rounds" meer lekken dan het finale model.

3. Aanvalspijplijn

A. Victim Round Identification (VRI)

De tegenstander identificeert welke globale model-snapshots ( $G_i$ ) overeenkomen met rondes waarin slachtoffers met gevoelige gegevens deelnamen.

Mechanisme: De tegenstander berekent de norm van de gewichtsverschillen in de gevoelige lagen ( $L^*$ ) tussen de globale snapshot $G_i$ en twee referentiemodellen: één gefinetuned op reguliere tekst ( $G_r$ ) en één op reguliere + gevoelige tekst ( $G_s$ ).
Logica: Als $G_i$ een victim round is, zullen de gewichtsveranderingen in $L^*$ statistisch gezien lijken op $G_s$ (door de aanwezigheid van OOD-data) en significant verschillen van $G_r$ . Een pairwise t-test wordt gebruikt om snapshots te classificeren als "victim" of "non-victim".

B. Maximizing Data Memorization (MDM)

Zodra de victim snapshots zijn geïdentificeerd, manipuleert de tegenstander de modelgewichten om de memorisatie van gevoelige gegevens te versterken. Twee gradiëntvrije methoden worden voorgesteld:

Selective Weights Optimization (SWO): Een zeroth-order optimalisatiemethode. Het berekent het initiële verschil tussen de gewichten van de victim snapshot en de gewichten van een referentiemodel in $L^*$ . Vervolgens werkt het de gewichten van de victim snapshot iteratief bij om de magnitude van dit verschil te maximaliseren, terwijl de initiële richting (polariteit) behouden blijft. Dit gebeurt zonder backpropagation door de data van de victim.
Weights Transformation Learning (WTL): Een supervised learning benadering. De tegenstander traint een apart model (bijv. een Dense Autoencoder) om het transformatiepatroon te leren van gewichten getraind op reguliere data naar gewichten getraind op gevoelige data. Deze geleerde transformatie wordt vervolgens toegepast op de gewichten van de victim snapshot om memorisatie te versterken.

C. Aanvalsmodi

Statische Aanval: De tegenstander voert VRI en MDM uit nadat de FL-training is voltooid, waarbij de geïdentificeerde victim snapshots worden gemanipuleerd.
Dynamische Aanval: De tegenstander grijpt actief in tijdens de training. Zij aggregeren geïdentificeerde victim snapshots tot een model ( $G_A$ ) en sturen, wanneer zij deelnemen aan een ronde, een gewogen aggregatie van hun lokale update en $G_A$ naar de server, waardoor het globale model effectief wordt "vergiftigd" met versterkte memorisatie.

Belangrijkste Resultaten

De auteurs evalueerden hun framework op Gemma, Llama-2, GPT-2 en BERT met datasets zoals Wikitext-103, Penn Treebank en Enron e-mails.

Intermediaire vs. Finale Modellen: Intermediaire snapshots uit victim rounds (IR) presteerden consistent beter dan het finale model (LR) in datareconstructie, wat Hypothese 2 valideert.
Effectiviteit van MDM:
- Zowel SWO als WTL verhoogden de privacy-lekken aanzienlijk vergeleken met de baselines.
- WTL presteerde over het algemeen beter dan SWO.
- Statische Aanval: Bereikte tot 63% reconstructie van gevoelige gegevens (zonder samenwerking met de server).
- Dynamische Aanval: Bereikte tot 71% reconstructie (zonder samenwerking met de server).
- Met Samenwerking van de Server: De dynamische aanval met assistentie van de server ( $dynamic^+$ ) bereikte 71% reconstructie op Wikitext en 64% op de real-world Enron dataset.
Membership Inference: De voorgestelde methoden verhoogden de recall van membership inference-aanvallen met 29% vergeleken met bestaande baselines.
Model Nut (Utility): De MDM-technieken (SWO/WTL) slaagden erin de memorisatie van gevoelige gegevens te vergroten terwijl de model utility werd behouden (de perplexity op reguliere tekst bleef grotendeels onveranderd).
Vergelijking met Sterkere Tegenstanders: De voorgestelde aanvallen, zelfs zonder samenwerking met de server, presteerden competitief met of beter dan aanvallen die ervan uitgaan dat de server een actieve tegenstander is (zoals Decepticons) in termen van reconstructiepercentages voor BERT en GPT-2.

Betekenis en Claims

Het artikel claimt de eerste studie te zijn die aantoont dat een kwaadwillende client in een standaard FedAvg FL-setting kan:

Identificeren van specifieke trainingsrondes waarin andere cliënten gevoelige gegevens hebben bijgedragen zonder toegang tot gradiënten.
Versterken van de memorisatie van die gevoelige gegevens door strategisch te manipuleren met selectieve gewichten (specifiek in de MLP-lagen van de laatste transformer blokken).
Extraheren van privé-informatie (letterlijke reconstructie) tegen respectievelijk veel hogere ratio's dan bestaande aanvallen, zelfs beter presterend dan scenario's waarin de server als een actieve tegenstander wordt beschouwd.

De auteurs benadrukken dat hun aanvallen gradiëntvrij zijn en toepasbaar op generatieve AI-taken (in tegen tegenstelling tot voorgaande FL-privacywerk die gericht was op classificatie). Ze stellen dat het "vergetelheid"-fenomeen in FL de privacy niet beschermt; eerder creëren intermediaire snapshots in combinatie met gewichtsmanipulatie een ernstig kwetsbaarheid.

Defensies

Het artikel evalueert verschillende defensies:

Differential Privacy (DP): Vermindert lekken maar verslechtert de model utility aanzienlijk.
Scrubbing: Het verwijderen van PII-tokens vóór de training vermindert lekken zonder de utility te schaden, maar is moeilijk perfect uit te voeren op ongestructureerde data.
Add-DEPN (Regularisatie): Een nieuwe aanpak die een kleine additieve correctie toepast op "privacy neuronen" in plaats van ze op nul te zetten. Dit biedt een gebalanceerde trade-off, waarbij lekken aanzienlijk worden verminderd terwijl de model utility hoog blijft.
Aanbeveling: De auteurs bevelen een combinatie van data scrubbing/deduplicatie als een preprocessing stap, gevolgd door Add-DEPN regularisatie op het lokale model.

Limitaties

De studie is beperkt tot middelgrote Engelse transformer-modellen. De auteurs merken op dat grotere productiemodellen, meertalige instellingen en andere modaliteiten (bijv. vision transformers) niet zijn onderzocht. Daarnaast blijft de computationele kost van volledig versleutelde FL (bijv. met homomorfe encryptie) prohibitief voor LLM's.