💬 NLP

Exploring Cross-Client Memorization of Training Data in Large Language Models for Federated Learning

Dieser Artikel schlägt ein neuartiges Framework vor, um sowohl die intra- als auch die inter-clientische Memorierung von Trainingsdaten im Federated Learning zu quantifizieren, indem feingranulare cross-sample-Messverfahren aus dem zentralisierten Lernen adaptiert werden, was zeigt, dass FL-Modelle erhebliche Memorierungsrisiken aufweisen, die von spezifischen Trainings- und Inferenzfaktoren beeinflusst werden.

Ursprüngliche Autoren: Tinnakit Udsa, Can Udomcharoenchaikit, Patomporn Payoungkhamdee, Sarana Nutanong, Norrathep Rattanavipanon

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tinnakit Udsa, Can Udomcharoenchaikit, Patomporn Payoungkhamdee, Sarana Nutanong, Norrathep Rattanavipanon

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von Freunden vor, die gemeinsam lernen möchten, ein komplexes Gericht zuzubereiten, sich aber zu schüchtern fühlen, um ihre geheimen Familienrezepte zu teilen. Anstatt ihre tatsächlichen Rezepte an eine zentrale Küche zu senden, trainiert jeder in seiner eigenen Hausküche eine eigene Version des Gerichts und sendet nur die gelernten Erkenntnisse (die „Gewichte" oder Anpassungen) an einen zentralen Koch. Dies ist Federated Learning (FL). Es ist eine Möglichkeit, kollaborativ zu lernen, ohne jemals die rohen Zutaten (Ihre privaten Daten) zu teilen.

Es gibt jedoch eine versteckte Gefahr: Selbst wenn Sie das Rezept nicht teilen, könnte der Koch versehentlich Ihre spezifischen Zutaten auswendig lernen und sie später ausspucken, wenn er gebeten wird, etwas anderes zu kochen. Dies nennt man Auswendiglernen (Memorization).

Dieser Artikel ist wie ein neuer „Datenschutz-Detektiv", der untersucht, ob dieses versehentliche Auswendiglernen beim Federated Learning stattfindet und wie es sich von der alten Lernmethode unterscheidet (bei der alle ihre Rezepte tatsächlich in einem großen Topf teilten).

Hier ist die Aufschlüsselung ihrer Untersuchung mit einfachen Analogien:

1. Der alte Detektiv vs. der neue Detektiv

Der alte Weg (Zentralisiertes Lernen): Früher prüften Forscher, ob ein Modell Daten auswendig gelernt hatte, indem sie fragten: „Wenn ich Ihnen diesen spezifischen Satz (den Prompt) gebe, spucken Sie dann diesen exakten Satz (die Antwort) aus?" Sie gingen davon aus, dass Prompt und Antwort aus demselben ursprünglichen Rezept stammen mussten.
Das neue Problem (Federated Learning): Im Szenario der „schüchternen Freunde" könnte ein Freund dem Koch eine Frage stellen, die auf seinem Rezept basiert, und der Koch könnte versehentlich eine Einzelheit aus dem geheimen Rezept eines anderen Freundes als Antwort geben. Der alte Detektiv übersehen dies, da er nur ein Rezept nach dem anderen betrachtete.
Der neue Rahmen: Die Autoren entwickelten ein neues Werkzeug, das klientenübergreifendes Auswendiglernen prüft. Sie fragen: „Wenn Freund A einen Prompt gibt, enthüllt das Modell versehentlich ein Geheimnis von Freund B?"

2. Die Untersuchung: Was haben sie herausgefunden?

Die Forscher richteten eine Simulation mit vier verschiedenen „Kochaufgaben" (Zusammenfassen, Chatten, Fragen beantworten und Klassifizieren) und drei „Freunden" (Clients) mit unterschiedlichen Datensätzen ein. Sie verwendeten einen „Plagiat-Detektor" (ein Werkzeug, das prüft, ob Text kopiert, umformuliert wurde oder nur die gleiche Idee hat), um festzustellen, ob das Modell Geheimnisse preisgab.

Wichtigste Erkenntnis A: Die „Heimat"-Verzerrung
Das Modell war viel eher geneigt, die eigenen Geheimnisse eines Freundes an denselben Freund zurückzugeben (Intra-Client), als die Geheimnisse von Freund A an Freund B zu leaken (Inter-Client).

Analogie: Wenn Sie den Koch nach Ihrem eigenen Familienrezept fragen, könnte er versehentlich eine Einzelheit aus Ihren eigenen Notizen zitieren. Wenn Sie jedoch nach Ihrem Rezept fragen, ist es weniger wahrscheinlich, dass er versehentlich ein Geheimnis aus dem Rezept Ihres Nachbarn verrät. Dennoch wurde das Geheimnis des Nachbans trotzdem geleakt, nur seltener.

Wichtigste Erkenntnis B: Die „Kurzer Prompt"-Falle
Sie stellten fest, dass die Länge der Frage (das „Präfix") sehr wichtig war.

Analogie: Wenn Sie dem Koch einen sehr kurzen, vagen Prompt geben (wie „Erzählen Sie mir von der Suppe"), ist das Modell eher geneigt, ein zufälliges, auswendig gelerntes Detail aus den Trainingsdaten zu greifen, um die Lücken zu füllen. Wenn Sie einen langen, detaillierten Prompt geben, hat das Modell mehr Kontext, um damit zu arbeiten, und verlässt sich weniger auf auswendig gelernte Schnipsel.
Ergebnis: Kürzere Prompts = Mehr Auswendiglernen.

Wichtigste Erkenntnis C: Der „Kochstil" ist entscheidend
Die Art und Weise, wie das Modell „entscheidet", welches Wort als nächstes kommt (die Decodierungsstrategie), veränderte die Ergebnisse.

Analogie: Manche Kochstile sind „kreativer" und riskanter. Die Verwendung bestimmter Methoden (wie „top-p" oder „top-k" Decodierung) machte das Modell eher geneigt, auswendig gelernte Geheimnisse auszuspucken, ähnlich wie ein Koch, der zu kreativ sein möchte, versehentlich eine Zutat aus der Speisekammer seines Nachbarn verwendet.

Wichtigste Erkenntnis D: Der „Rezept"-Typ ist entscheidend
Sie stellten fest, dass einige Aufgabentypen sicher waren, während andere riskant waren.

Die sichere Zone: Bei der „Klassifizierungs"-Aufgabe (bei der die Antwort nur ein einziges Wort wie „Ja" oder „Nein" ist), lernte das Modell nichts auswendig.
Warum? Der „Plagiat-Detektor" benötigt eine gewisse Textmenge, um zu funktionieren. Wenn das Modell nur ein Wort generiert, kann der Detektor keine Übereinstimmung finden. Es ist wie der Versuch, einen Dieb zu fangen, der nur ein einzelnes Reiskorn stiehlt; die Überwachungskamera (Detektor) ist nicht empfindlich genug, um es zu sehen.

Wichtigste Erkenntnis E: Die „Algorithmus"-Wahl
Sie testeten zwei verschiedene Methoden, wie die Freunde ihre Erkenntnisse teilen könnten (FedAvg vs. FedProx).

Ergebnis: Eine Methode (FedProx) führte dazu, dass das Modell mehr Geheimnisse auswendig lernte als die andere. Es ist wie eine Gruppe von Freunden, die aggressiver Notizen austauscht, was zu mehr versehentlichen Lecks führt.

3. Was sie nicht fanden

Modellgröße: Den Koch intelligenter zu machen (ein größeres Modell zu verwenden), ließ ihn nicht eindeutig mehr oder weniger auswendig lernen.
Übungsrunden: Dass die Freunde öfter übten (mehr Kommunikationsrunden), zeigte kein klares Muster für eine Zunahme oder Abnahme des Auswendiglernens.

Das Fazit

Die Studie kommt zu dem Schluss, dass Federated Learning kein magischer Schild gegen Auswendiglernen ist. Obwohl die Rohdaten nicht geteilt werden, lernt das Modell dennoch, spezifische Details aus den Trainingsdaten zu „merken".

Es merkt sich Ihre eigenen Daten eher als die Daten anderer, aber es merkt sich trotzdem auch die Daten anderer.
Kurze Fragen und bestimmte „kreative" Einstellungen verschlimmern dieses Lecken.
Die Art und Weise, wie die Freunde ihre Erkenntnisse teilen (der Algorithmus), verändert, wie viel geleakt wird.

Die Autoren warnen, dass wir vorsichtig sein müssen: Nur weil wir die Rohdaten nicht teilen, bedeutet das nicht, dass das Modell unsere Geheimnisse nicht festhält. Sie haben ihr „Detektiv-Werkzeug" (Code) veröffentlicht, damit andere diese Lecks in ihren eigenen Systemen überprüfen können.

Technische Zusammenfassung: Erforschung der clientübergreifenden Memorierung von Trainingsdaten in Large Language Models für Federated Learning

Problemstellung

Federated Learning (FL) ermöglicht das kollaborative Training von Large Language Models (LLMs) ohne Austausch roher Daten, mit dem Ziel, die Privatsphäre zu wahren. Allerdings eliminiert FL nicht das Risiko der Memorierung, bei der Modelle versehentlich sensible Trainingsdaten kodieren und reproduzieren. Bestehende Detektionstechniken für FL stützen sich primär auf Canary-Injektion (Einbetten von Out-of-Distribution-Phrasen) oder konzentrieren sich auf verbatim-Memorierung innerhalb einer einzelnen Stichprobe. Diese Ansätze erfassen keine stichprobenübergreifende Memorierung, bei der ein Modell ein Suffix aus einer Trainingsstichprobe reproduzieren könnte, wenn es mit einem Präfix aus einer anderen Stichprobe abgefragt wird. Im FL-Kontext erstreckt sich dieses Risiko auf die clientübergreifende Memorierung, bei der das Präfix eines Clients die Generierung eines privaten Suffixes eines anderen Clients auslösen könnte. Aktuelle Methoden zur Messung stichprobenübergreifender Memorierung im Centralized Learning (CL) gehen von zentralem Datenzugriff aus und können nicht direkt auf das dezentrale FL-Setting angewendet werden.

Methodik

Die Autoren schlagen einen Rahmen vor, um sowohl intra-client (innerhalb desselben Clients) als auch inter-client (über verschiedene Clients hinweg) Memorierung in FL zu quantifizieren, indem sie feingranulare stichprobenübergreifende Messtechniken aus dem CL adaptieren.

Rahmenentwurf

Definition der Memorierung: Das Papier generalisiert die Definition der In-Distribution-Memorierung auf FL. Ein Präfix $p_j$ von Client $C_j$ induziert eine Memorierung der Daten von Client $C_k$ , wenn das Modell $M(p_j)$ einen Text generiert, der hinreichend ähnlich zu einem Suffix $s_k$ von $C_k$ ist, bestimmt durch eine diskriminierende Funktion $F$ .
Pairwise-Messung: Der Rahmen berechnet ein paarweises Memorierungsverhältnis ( $MR_{j \to k}$ $M R_{j \to k}$ ), das den Anteil der Präfixe von $C_j$ $C_{j}$ darstellt, die die Memorierung von Suffixen von $C_k$ $C_{k}$ auslösen.
- Intra-client ( $MR_{Intra}$ ): Gemitteltes Verhältnis, wobei $j=k$ .
- Inter-client ( $MR_{Inter}$ ): Gemitteltes Verhältnis, wobei $j \neq k$ .
Schätzprozess:
- Sampling: Kleine Teilmengen von Präfixen ( $\tilde{P}_j$ ) und Suffixen ( $\tilde{S}_k$ ) werden von den Clients gesampelt.
- Generierung: Das Modell generiert Text $M(\tilde{p})$ für jedes gesampelte Präfix.
- Retrieval: Generierte Texte werden gegen die Suffixmenge $\tilde{S}_k$ mittels Elasticsearch abgefragt, um die $n'$ ähnlichsten Suffixe zu retrieve.
- Ähnlichkeitsdetektion: Der PAN2014-Plagiatdetektor wird als diskriminierende Funktion $F$ verwendet. Er bewertet die Ähnlichkeit auf drei Granularitäten: verbatim, Paraphrase und Idee-Ebene.
- Berechnung: Wenn eines der top- $n'$ Suffixe den generierten Text unter irgendeiner Granularität matcht, wird das Präfix als induzierend für Memorierung gezählt.

Experimentelles Setup

Datensätze: Vier Aufgaben wurden evaluiert: Zusammenfassung (ArxivAbstract), Dialog (MedDialog), Fragenbeantwortung (PubMedQA) und Klassifikation (PubMed 200k RCT). Die Daten wurden nicht-IID über drei Clients pro Aufgabe partitioniert.
Modelle: Die Hauptexperimente nutzten Qwen2.5-3B, mit ergänzenden Ergebnissen für Llama3.2-3B und GPT-2.
Variablen: Die Studie analysierte den Einfluss von Decodierungsstrategien (Temperature, Top-k, Top-p), Präfixlängen (10, 30, 50, 100 Tokens), federierten Algorithmen (FedAvg, FedProx), Modellgrößen und Kommunikationsrunden.

Hauptbeiträge

Problemformulierung: Die Autoren fassen die Herausforderung der Detektion subtiler, stichprobenübergreifender Memorierung in FL zusammen, indem sie Bewertungsmethoden aus dem CL adaptieren.
Neuer Rahmen: Sie entwarfen einen Rahmen, der in der Lage ist, sowohl intra- als auch inter-client Memorierung in FL zu messen und ermöglicht die Quantifizierung von Privatsphäre-Lecks über Clients hinweg.
Empirische Erkenntnisse: Durch umfangreiche Ablationsstudien identifiziert das Papier spezifische Faktoren, die Memorierungsraten in FL-Settings beeinflussen.

Ergebnisse und Erkenntnisse

Existenz von Memorierung: FL-Modelle memorieren Trainingsdaten. Entscheidend ist, dass intra-client Memorierung ( $MR_{Intra}$ ) konsistent höher ist als inter-client Memorierung ( $MR_{Inter}$ ) über alle evaluierten Aufgaben hinweg (Zusammenfassung, Dialog, QA).
Aufgabenspezifisches Verhalten: Die Aufgabe Klassifikation zeigte 0,000 % Memorierung sowohl für intra- als auch inter-client Szenarien. Die Analyse ergab, dass dies auf die kurze Länge der generierten Ausgaben bei Klassifikationsaufgaben zurückzuführen ist, die oft unter die für den PAN2014-Detektor erforderliche Mindestmatch-Schwelle (50 Zeichen) fallen.
FL vs. CL: Im Gegensatz zu einigen früheren Arbeiten, die nahelegen, dass FL Memorierung reduziert, fand diese Studie keinen klaren Trend, der darauf hindeutet, dass FL zu geringerer Memorierung im Vergleich zu CL führt, wenn In-Distribution-Daten gemessen werden. Die gesamten Memorierungsraten ($MRTotal$) waren zwischen CL- und FL-Settings vergleichbar.
Beeinflussende Faktoren:
- Decodierungsstrategie: Ausgereifte Strategien wie Top-k und Top-p Decodierung neigten im Vergleich zur Temperature-Decodierung zu erhöhter Memorierung.
- Präfixlänge: Kürzere Präfixe induzierten im Allgemeinen höhere Memorierungsraten.
- Federierter Algorithmus: FedProx führte zu höheren Memorierungsraten als FedAvg und war der einzige Algorithmus, der Memorierung in der Klassifikationsaufgabe induzierte.
- Suffix-Charakteristika: Bestimmte Datensatzgruppen (z. B. Gruppe 3 in der Dialog-Aufgabe) waren anfälliger für Memorierung als andere, was darauf hindeutet, dass Dateneigenschaften eine Rolle spielen.
- Modellgröße & Runden: Es wurde keine klare Korrelation zwischen Modellgröße oder der Anzahl der Kommunikationsrunden und Memorierungsraten beobachtet.

Bedeutung und Behauptungen

Das Papier beansprucht, die Lücke zwischen zentralisierter Memorierungsbewertung und Federated Learning zu schließen, indem es eine Methode zur Messung von clientübergreifendem Leckage bereitstellt. Die primäre Bedeutung liegt darin zu demonstrieren, dass FL die Risiken der Memorierung nicht inhärent eliminiert; Modelle kodieren weiterhin private Daten, insbesondere innerhalb der Verteilung desselben Clients.

Die Autoren betonen, dass während Inter-Client-Leckage eine direkte Verletzung der Privatsphäre darstellt, Intra-Client-Leckage (harm-exposed) ebenfalls Risiken birgt, wenn Präfixe öffentlich sind. Die Ergebnisse deuten darauf hin, dass privatsphäresichernde Mechanismen in FL In-Distribution-stichprobenübergreifende Memorierung berücksichtigen müssen, nicht nur verbatim-Extraktion. Die Studie kommt zu dem Schluss, dass Faktoren wie Decodierungsstrategien, Präfixlänge und die Wahl des federierten Algorithmus die Memorierung erheblich beeinflussen, was eine sorgfältige Konfiguration erfordert, um Privatsphärische Risiken im dezentralen LLM-Training zu mindern.

Die Autoren vermerken bescheiden Einschränkungen, einschließlich der Abhängigkeit vom PAN2014-Detektor (der inkohärente Ausgaben falsch klassifizieren könnte) und der Beschränkung auf englischen Text. Sie identifizieren auch die theoretische Erklärung dafür, warum intra-client Memorierung inter-client Memorierung übersteigt, als Richtung für zukünftige Forschung.