💬 NLP

Exploring Cross-Client Memorization of Training Data in Large Language Models for Federated Learning

Dit artikel stelt een nieuw raamwerk voor om zowel intra- als inter-client training datamemorizatie in federatief leren te kwantificeren door fijnmazige cross-sample meettechnieken uit gecentraliseerd leren aan te passen, en onthult dat FL-modellen aanzienlijke memorisatierisico's vertonen die worden beïnvloed door specifieke trainings- en inferentiefactoren.

Oorspronkelijke auteurs: Tinnakit Udsa, Can Udomcharoenchaikit, Patomporn Payoungkhamdee, Sarana Nutanong, Norrathep Rattanavipanon

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tinnakit Udsa, Can Udomcharoenchaikit, Patomporn Payoungkhamdee, Sarana Nutanong, Norrathep Rattanavipanon

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een groep vrienden voor die samen een complex gerecht willen leren koken, maar te verlegen zijn om hun geheime familierecepten te delen. In plaats van hun echte recepten naar een centrale keuken te sturen, bereidt elk zijn eigen versie van het gerecht in zijn eigen keuken en sturen ze alleen de opgedane lessen (de "gewichten" of aanpassingen) naar een centrale chef. Dit is Federated Learning (FL). Het is een manier om collaboratief te leren zonder ooit de rauwe ingrediënten (uw privégegevens) te delen.

Er is echter een verborgen gevaar: zelfs als je het recept niet deelt, kan de chef per ongeluk uw specifieke ingrediënten onthouden en deze later weer uitspugen wanneer hij wordt gevraagd om iets anders te koken. Dit heet memorisatie.

Dit artikel is als een nieuwe "privacydetective" die onderzoekt of deze onbedoelde memorisatie plaatsvindt in Federated Learning, en hoe dit verschilt van de oude manier van leren (waarbij iedereen zijn recepten in één grote pot deelde).

Hier is de uiteenzetting van hun onderzoek met eenvoudige analogieën:

1. De Oude Detective versus de Nieuwe Detective

De Oude Weg (Gecentraliseerd Leren): Vroeger controleerden onderzoekers of een model gegevens memoriseerde door te vragen: "Als ik jou deze specifieke zin geef (de prompt), spuw je dan deze exacte zin uit (het antwoord)?" Zij gingen ervan uit dat de prompt en het antwoord uit hetzelfde oorspronkelijke recept moesten komen.
Het Nieuwe Probleem (Federated Learning): In het scenario van de "verlegen vrienden" kan een vriend de chef een vraag stellen gebaseerd op zijn recept, en kan de chef per ongeluk een detail uit het geheime recept van een andere vriend als antwoord geven. De oude detective miste dit omdat hij slechts één recept tegelijk bekeek.
Het Nieuwe Kader: De auteurs bouwden een nieuw instrument dat kruis-client memorisatie controleert. Zij vragen: "Als Vriend A een prompt geeft, onthult het model dan per ongeluk een geheim van Vriend B?"

2. Het Onderzoek: Wat Vonden Ze?

De onderzoekers stelden een simulatie op met vier verschillende "kookopdrachten" (Samenvatten, Chatten, Vragen Beantwoorden en Classificeren) en drie "vrienden" (clients) met verschillende datasets. Ze gebruikten een "plagiaatdetector" (een tool die controleert of tekst gekopieerd, herschreven is of slechts hetzelfde idee bevat) om te zien of het model geheimen lekte.

Belangrijkste Bevinding A: De "Thuis" Bias
Het model was veel waarschijnlijker om de eigen geheimen van een vriend terug naar diezelfde vriend te lekken (Intra-client) dan om de geheimen van Vriend A naar Vriend B te lekken (Inter-client).

Analogie: Als je de chef vraagt over je eigen familierecept, kan hij per ongeluk een detail uit je eigen notities opdreunen. Maar als je vraagt over je recept, is het minder waarschijnlijk dat hij per ongeluk een geheim uit het recept van je buurman uitlekt. Het geheim van de buurman werd echter toch gelekt, alleen minder vaak.

Belangrijkste Bevinding B: De "Korte Prompt" Valstrik
Ze ontdekten dat de lengte van de vraag (de "prefix") veel uitmaakte.

Analogie: Als je de chef een zeer korte, vage prompt geeft (zoals "Vertel me over de soep"), is het model waarschijnlijker om een willekeurig, gememoriseerd detail uit de trainingsdata te grijpen om de gaten op te vullen. Als je een lange, gedetailleerde prompt geeft, heeft het model meer context om mee te werken en vertrouwt het minder op gememoriseerde fragmenten.
Resultaat: Korte prompts = Meer memorisatie.

Belangrijkste Bevinding C: De "Kookstijl" Maakt Uit
De manier waarop het model "beslist" welk woord het als volgende zegt (de decodestrategie) veranderde de resultaten.

Analogie: Sommige kookstijlen zijn creatiever en riskanter. Het gebruik van bepaalde methoden (zoals "top-p" of "top-k" decodering) maakte het model waarschijnlijker om gememoriseerde geheimen uit te spugen, vergelijkbaar met hoe een chef die te creatief probeert te zijn, per ongeluk een ingrediënt uit de voorraadkast van een buurman kan gebruiken.

Belangrijkste Bevinding D: Het "Recept" Type Maakt Uit
Ze merkten op dat sommige soorten taken veilig waren, terwijl andere riskant waren.

De Veilige Zone: Bij de "Classificatie"-taak (waar het antwoord slechts één woord is, zoals "Ja" of "Nee"), memoriseerde het model niets.
Waarom? De "plagiaatdetector" heeft een bepaalde hoeveelheid tekst nodig om te werken. Als het model slechts één woord genereert, kan de detector geen match vinden. Het is als proberen een dief te vangen die slechts één rijstkorrel steelt; de beveiligingscamera (detector) is niet gevoelig genoeg om dit te zien.

Belangrijkste Bevinding E: De "Algoritme" Keuze
Ze testten twee verschillende manieren waarop de vrienden hun lessen konden delen (FedAvg versus FedProx).

Resultaat: Eén methode (FedProx) veroorzaakte dat het model meer geheimen memoriseerde dan de andere. Het is alsof één groep vrienden agressiever notities deelt, wat leidt tot meer onbedoelde lekken.

3. Wat Vonden Ze Niet

Modelgrootte: Het slimmer maken van de chef (het gebruik van een groter model) maakte duidelijk niet dat ze meer of minder memoriseerden.
Oefenrondes: Het laten oefenen van de vrienden meer keren (meer communicatierondes) toonde geen duidelijk patroon van toenemende of afnemende memorisatie.

De Conclusie

Het artikel concludeert dat Federated Learning geen magisch schild is tegen memorisatie. Hoewel de rauwe data niet wordt gedeeld, leert het model nog steeds om specifieke details uit de trainingsdata te "onthouden".

Het onthoudt je eigen data meer dan die van anderen, maar het onthoudt wel ook de data van anderen.
Korte vragen en bepaalde "creatieve" instellingen maken dit lekken erger.
De manier waarop de vrienden hun lessen delen (het algoritme) verandert hoeveel er gelekt wordt.

De auteurs waarschuwen dat we voorzichtig moeten zijn: alleen omdat we de rauwe data niet delen, betekent niet dat het model niet vasthoudt aan onze geheimen. Ze hebben hun "detective-tool" (code) vrijgegeven zodat anderen deze lekken in hun eigen systemen kunnen controleren.

Technische Samenvatting: Verkenning van Cross-Client Memorizatie van Trainingsdata in Grote Taalmodellen voor Federatief Leren

Probleemstelling

Federatief Leren (FL) maakt collaboratief trainen van Grote Taalmodellen (LLM's) mogelijk zonder ruwe data te delen, met als doel privacy te waarborgen. FL elimineert echter niet het risico op memorizatie, waarbij modellen per ongeluk gevoelige trainingsdata coderen en reproduceren. Bestaande detectietechnieken voor FL vertrouwen voornamelijk op canary-injectie (het inbedden van out-of-distribution zinnen) of richten zich op verbatim memorizatie binnen één enkel voorbeeld. Deze benaderingen slagen er niet in cross-sample memorizatie te vangen, waarbij een model een suffix van één trainingsvoorbeeld reproduceert wanneer het wordt geprompt met een prefix van een ander voorbeeld. In de FL-context strekt dit risico zich uit tot cross-client memorizatie, waarbij een prefix van een client de generatie kan triggeren van een privé-suffix van een andere client. Huidige methoden voor het meten van cross-sample memorizatie in Centraal Leren (CL) veronderstellen centrale data-toegang en kunnen niet direct worden toegepast op de gedecentraliseerde FL-instelling.

Methodologie

De auteurs stellen een raamwerk voor om zowel intra-client (binnen dezelfde client) als inter-client (over verschillende clients) memorizatie in FL te kwantificeren, door fijnmazige cross-sample meettechnieken uit CL aan te passen.

Ontwerp van het Raamwerk

Definitie van Memorizatie: Het paper generaliseert de definitie van in-distribution memorizatie naar FL. Een prefix $p_j$ van client $C_j$ induceert memorizatie van de data van client $C_k$ als het model $M(p_j)$ tekst genereert die voldoende lijkt op een suffix $s_k$ van $C_k$ , bepaald door een discriminatieve functie $F$ .
Paarsgewijze Meting: Het raamwerk berekent een paarsgewijze memorizatieverhouding ( $MR_{j \to k}$ $M R_{j \to k}$ ), die de fractie prefixes van $C_j$ $C_{j}$ vertegenwoordigt die de memorizatie van suffixen van $C_k$ $C_{k}$ triggeren.
- Intra-client ( $MR_{Intra}$ ): Gemiddelde verhouding waarbij $j=k$ .
- Inter-client ( $MR_{Inter}$ ): Gemiddelde verhouding waarbij $j \neq k$ .
Schattingsproces:
- Stalenname: Kleine subsets van prefixes ( $\tilde{P}_j$ ) en suffixen ( $\tilde{S}_k$ ) worden uit clients gestald.
- Generatie: Het model genereert tekst $M(\tilde{p})$ voor elke gestalde prefix.
- Retrieval: De gegenereerde teksten worden opgevraagd tegen de suffixset $\tilde{S}_k$ met behulp van Elasticsearch om de top- $n'$ meest vergelijkbare suffixen op te halen.
- Similariteitsdetectie: De PAN2014-plagiaatdetector wordt gebruikt als de discriminatieve functie $F$ . Deze evalueert similariteit op drie granulariteiten: verbatim, parafraase en idee-niveau.
- Berekening: Als een van de top- $n'$ suffixen overeenkomt met de gegenereerde tekst onder enige granulariteit, wordt de prefix geteld als het induceren van memorizatie.

Experimentele Opstelling

Datasets: Vier taken werden geëvalueerd: Samenvatting (ArxivAbstract), Dialoog (MedDialog), Vraagbeantwoording (PubMedQA) en Classificatie (PubMed 200k RCT). Data werd non-IID verdeeld over drie clients per taak.
Modellen: De primaire experimenten gebruikten Qwen2.5-3B, met aanvullende resultaten voor Llama3.2-3B en GPT-2.
Variabelen: De studie analyseerde de impact van decodingstrategieën (temperatuur, top-k, top-p), prefixlengtes (10, 30, 50, 100 tokens), federale algoritmen (FedAvg, FedProx), modelgroottes en communicatierondes.

Belangrijkste Bijdragen

Probleemformulering: De auteurs formuleren de uitdaging van het detecteren van subtiele, cross-sample memorizatie in FL door beoordelingsmethoden uit CL aan te passen.
Nieuw Raamwerk: Zij ontwierpen een raamwerk dat in staat is zowel intra- als inter-client memorizatie in FL te meten, waardoor kwantificering van privacylekken tussen clients mogelijk wordt.
Empirische Inzichten: Door middel van uitgebreide ablatiestudies identificeert het paper specifieke factoren die memorizatiepercentages in FL-instellingen beïnvloeden.

Resultaten en Bevindingen

Aanwezigheid van Memorizatie: FL-modellen memoriseren trainingsdata. Cruciaal is dat intra-client memorizatie ( $MR_{Intra}$ ) consequent hoger is dan inter-client memorizatie ( $MR_{Inter}$ ) over alle geëvalueerde taken (Samenvatting, Dialoog, QA).
Taakspecifiek Gedrag: De Classificatie-taak toonde 0,000% memorizatie voor zowel intra- als inter-client scenario's. Analyse wees uit dat dit te wijten is aan de korte lengte van gegenereerde outputs in classificatietaken, die vaak onder de minimale matchdrempel (50 tekens) vallen die door de PAN2014-detector wordt vereist.
FL versus CL: In tegenstelling tot sommige eerdere werken die suggereren dat FL memorizatie vermindert, vond deze studie geen duidelijke trend die aangeeft dat FL leidt tot lagere memorizatie in vergelijking met CL bij het meten van in-distribution data. De totale memorizatieverhoudingen ($MRTotal$) waren vergelijkbaar tussen CL- en FL-instellingen.
Beïnvloedende Factoren:
- Decodingstrategie: Geavanceerde strategieën zoals top-k en top-p decoding neigden tot een toename van memorizatie in vergelijking met temperatuur decoding.
- Prefixlengte: Kortere prefixes induceerden over het algemeen hogere memorizatiepercentages.
- Federatief Algoritme: FedProx resulteerde in hogere memorizatiepercentages dan FedAvg en was het enige algoritme dat memorizatie induceerde in de Classificatietak.
- Suffixkenmerken: Bepaalde datasetgroepen (bijvoorbeeld Groep 3 in de Dialoogtaak) waren vatbaarder voor memorizatie dan andere, wat suggereert dat dataseteigenschappen een rol spelen.
- Modelgrootte & Ronden: Er werd geen duidelijke correlatie waargenomen tussen modelgrootte of het aantal communicatierondes en memorizatiepercentages.

Betekenis en Claims

Het paper claimt de kloof te overbruggen tussen gecentraliseerde memorizatiebeoordeling en federatief leren door een methode te bieden om cross-client lekken te meten. De primaire betekenis ligt in het aantonen dat FL inherent geen memorizatierisico's elimineert; modellen coderen nog steeds privédata, met name binnen de distributie van dezelfde client.

De auteurs benadrukken dat hoewel inter-client lekken een directe privacyovertreding zijn, intra-client lekken (blootstelling aan schade) ook risico's opleveren als prefixes publiek zijn. De bevindingen suggereren dat privacybehoudende mechanismen in FL rekening moeten houden met in-distribution cross-sample memorizatie, en niet alleen met verbatim extractie. De studie concludeert dat factoren zoals decodingstrategieën, prefixlengte en de keuze van het federale algoritme memorizatie significant beïnvloeden, wat zorgvuldige configuratie vereist om privacyrisico's in gedecentraliseerd LLM-training te mitigeren.

De auteurs merken bescheiden beperkingen op, waaronder de afhankelijkheid van de PAN2014-detector (die mogelijk incoherente outputs verkeerd classificeert) en de beperking tot Engelstalige tekst. Zij identificeren ook de theoretische verklaring voor waarom intra-client memorizatie inter-client memorizatie overtreft als een richting voor toekomstig onderzoek.