🤖 machine learning

Reconstructing Training Data from Adapter-based Federated Large Language Models

Ursprüngliche Autoren: Silong Chen, Yuchuan Luo, Guilin Deng, Yi Liu, Min Xu, Shaojing Fu, Xiaohua Jia

Veröffentlicht 2026-01-27

📖 5 Min. Lesezeit🧠 Tiefgang

Ursprüngliche Autoren: Silong Chen, Yuchuan Luo, Guilin Deng, Yi Liu, Min Xu, Shaojing Fu, Xiaohua Jia

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Ein Leck eines „Geheimen Rezepts“

Stellen Sie sich vor, Sie und Ihre Freunde versuchen alle gemeinsam, einen ganz bestimmten Kuchen (ein Large Language Model) zu backen, aber Sie möchten Ihre privaten Familienrezepte (Ihre privaten Daten) nicht mit jemandem teilen. Um dies zu lösen, verwenden Sie einen cleveren Trick namens Federated Learning. Anstatt Ihr ganzes Rezeptbuch an eine zentrale Küche zu senden, senden Sie nur die Änderungen, die Sie an einem kleinen, abnehmbaren Teil der Kuchenform (einem sogenannten Adapter) vorgenommen haben. Die Hauptform bleibt eingefroren und unberührt.

Der Glaube war: „Da wir nur winzige Änderungen an einem kleinen Teil der Form senden und die Hauptform gesperrt ist, kann niemand herausfinden, wie Ihr geheimes Rezept aussah.“

Diese Arbeit sagt: „Warten Sie mal so schnell.“

Die Forscher haben entdeckt, dass selbst mit diesen winzigen, streng kontrollierten Änderungen ein hinterlistiger Bäcker (der Angreifer) immer noch die Krümel betrachten kann, die in den Gradienten-Updates zurückgeblieben sind, und Ihr geheimes Rezept perfekt rekonstruieren kann. Sie haben ein neues Werkzeug namens UTR (Unordered-word-bag-based Text Reconstruction) entwickelt, das genau das tut.

Die drei großen Hürden (und wie sie sie überwanden)

Die Forscher wussten, dass dies ein schwieriges Rätsel ist, da es drei spezifische Probleme gibt:

Das „Winziges Signal“-Problem: Die gesendeten Änderungen sind so klein (niedrigdimensional), dass traditionelle Methoden, die versuchen, das Rezept zu erraten, indem sie auf verschwommene Fotos starren, völlig versagen.
- Die Lösung: Anstatt zu starren, fungiert UTR wie ein Metalldetektor. Es scannt die „eingefrorenen“ Teile des Modells (die jeder kennt), um zu sehen, welche spezifischen Wörter (Tokens) aus dem Wörterbuch wahrscheinlich verwendet wurden. Es versucht nicht, den ganzen Satz auf einmal zu erraten; es baut einfach einen „Wortbeutel“ (Word Bag) auf – eine Liste von Zutaten, die im Rezept enthalten sein müssen.
Das „Gesperrte Küchen“-Problem: Das Hauptgehirn des Modells (das Backbone) ist eingefroren. Angreifer müssen normalerweise sehen, wie das Gehirn Informationen verarbeitet, um den Input rückwärts zu entwickeln. Hier ist dieses Gehirn jedoch tabu.
- Die Lösung: UTR erkennt, dass das Hauptgehirn zwar gesperrt ist, der kleine „Adapter“-Modul aber wie ein Schattenspiel wirkt. Durch die Analyse der spezifischen Form der Schatten, die durch die winzigen Änderungen des Adapters geworfen werden, kann UTR herausfinden, welche Sätze zu den Daten passen, selbst ohne das volle Gehirn zu sehen.
Das „Kombinatorische Albtraum“-Problem: Wenn man einen Beutel mit 10 Wörtern hat, gibt es Millionen Möglichkeiten, diese in Sätzen anzuordnen. Jede Kombination auszuprobieren, ist für einen Computer unmöglich.
- Die Lösung: UTR verwendet einen intelligenten Filter. Es probiert nicht jede zufällige Kombination aus. Es nutzt Grammatikregeln und den gesunden Menschenverstand (wie „ein Kind“ Sinn ergibt, aber „Kind das“ nicht), um die schlechten Optionen auszuschließen. Dann prüft es die verbleibenden Kandidaten gegen den mathematischen „Fingerabdruck“, den der Adapter hinterlassen hat, um die exakte Übereinstimmung zu finden.

Die Ergebnisse: Eine perfekte Rekonstruktion

Die Forscher testeten ihr „Wortbeutel“-Werkzeug (UTR) an verschiedenen Modellen (wie GPT-2, BERT und Qwen) und verschiedenen Arten von Texten (Filmkritiken, Grammatiktests usw.).

Die magische Zahl: In vielen Fällen rekonstruierte UTR den Originaltext mit einer Genauigkeit von 99 % bis 100 %.
Die Skalierbarkeit: Frühere Methoden scheiterten kläglich, wenn die „Batch Size“ (die Anzahl der gleichzeitig gesendeten Rezepte) groß wurde. UTR funktionierte sogar perfekt, wenn 128 Rezepte gleichzeitig gesendet wurden.
Die Überraschung: Sie fanden heraus, dass einige Modelle (wie GPT-2) aufgrund der Art und Weise, wie sie Text lesen (Wort für Wort), etwas schwerer zu knacken waren, wenn es um lange Sätze ging, aber neuere Modelle (wie Qwen) wurden fast perfekt geknackt.

Der „Verteidigungs“-Check

Das Papier testete auch, ob gängige Sicherheitsmaßnahmen dies stoppen könnten:

Gradient Pruning (Wegwerfen kleiner Zahlen): Dies war so, als würde man versuchen, ein Geheimnis zu verbergen, indem man einige Seiten aus dem Buch herausreißt. Es funktionierte nicht gut. Der Angreifer konnte die Geschichte immer noch lesen, selbst wenn 99 % der Seiten fehlten, solange die Schlüsselwörter vorhanden waren.
Differential Privacy (Hinzufügen von „Rauschen“): Dies ist wie das Hinzufügen von statischem Rauschen zu einem Radiosignal. Die Forscher fanden heraus, dass man so viel statisches Rauschen hinzufügen müsste, um den Angriff zu stoppen, dass das Radio unbrauchbar wird. Das Modell lernt dann nichts Nützliches mehr.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass es eine grundlegende Spannung zwischen Effizienz und Privatsphäre gibt. Nur weil man ein Modell „leichtgewichtig“ und „effizient“ macht, indem man den Großteil davon einfriert und nur einen winzigen Adapter trainiert, bedeutet das nicht automatisch, dass es sicher ist.

Tatsächlich argumentieren die Forscher, dass diese effizienten Adapter neue, verborgene Kanäle für den Datenabfluss schaffen, die genauso gefährlich sind wie die alten. Wenn Sie diese Systeme zum Schutz privater Daten verwenden, können Sie sich nicht darauf verlassen, dass die Aussage „wir haben nur einen kleinen Teil des Modells aktualisiert“ eine Garantie für Sicherheit darstellt.

Technisches Resümee: Rekonstruktion von Trainingsdaten aus Adapter-basierten föderierten Large Language Models

Problemstellung

Föderierte Large Language Models (FedLLMs), die auf Adapter-basiertem Fine-Tuning (z. B. LoRA) basieren, sind zu einem gängigen Ansatz für privatsphärebewusstes kollaboratives Lernen geworden. Indem sie die massiven Backbone-Parameter vortrainierter LLMs einfrieren und nur kompakte, niedrigdimensionale Adapter-Module trainieren, zielen diese Systeme darauf ab, den Rechen-, Speicher- und Kommunikationsaufwand zu reduzieren. Die vorherrschende Annahme ist, dass diese Parametereffizienz die Sicherheit inhärent erhöht, indem sie die Menge der über geteilte Gradienten verfügbaren Informationen einschränkt und somit bestehende Gradienten-Inversionsangriffe (Gradient Inversion Attacks, GIAs) vereitelt.

Dieses Paper stellt diese Annahme jedoch infrage. Es postuliert, dass Adapter-basierte FedLLMs weiterhin anfällig für schwerwiegende Privacy-Angriffe sind. Das Kernproblem, das hier adressiert wird, ist die Rekonstruktion sensibler privater Trainings-Texte aus den geteilten Gradienten der Adapter-Schichten, trotz drei spezifischer Herausforderungen, die traditionelle GIAs unwirksam machen:

Geringere Dimensionalität der Updates: Adapter aktualisieren nur einen winzigen Bruchteil der Parameter, was die Gradienten-Dimensionalität drastisch reduziert und die Rohinformationen im Vergleich zum Full-Parameter-Fine-Tuning verschleiert.
Eingefrorener Backbone: Der vortrainierte LLM-Backbone bleibt eingefroren, was bedeutet, dass Angreifer keinen Zugriff auf Gradienten aus den kritischen Attention- und Transformer-Schichten haben, die in Full-Parameter-Settings typischerweise die Textrekonstruktion ermöglichen.
Umfangreicher Lösungsraum: Der kombinatorische Raum möglicher Textrekonstruktionen ist riesig, was eine direkte Traversierung oder Beam-Suche computertechnisch unmöglich macht, insbesondere bei großen Batch-Größen.

Methodik: Der UTR-Angriff

Die Autoren schlagen den Unordered-word-bag-based Text Reconstruction (UTR) Angriff vor, eine neuartige zweistufige Pipeline, die darauf ausgeftet ist, die einzigartigen strukturellen Eigenschaften von Adapter-basierten FedLLMs auszunutzen.

Stufe 1: Word Bag Inference

Diese Stufe zielt auf den Embedding-Adapter ab, um eine ungeordnete Menge von Vokabular-Token zu inferieren, die in den privaten Eingaben des Clients vorhanden sind, wodurch die kontinuierliche Optimierung effektiv umgangen wird.

Mechanismus: Die Methode nutzt die deterministische Natur eingefrorener Embedding-Schichten aus. Sie analysiert die Gradienten der Fully Connected (FC) Downsampling-Schicht des Embedding-Adapters.
Mathematische Einsicht: Durch die Berechnung des Verhältnisses von Gewichts- zu Bias-Gradienten (Ratio of Weight to Bias Gradient, RWBG) für Neuronen in der FC-Schicht konstruieren die Autoren einen niedrigdimensionalen linearen Unterraum $S$ . Dieser Unterraum wird durch die verborgenen Embedding-Vektoren der tatsächlichen Input-Token aufgespannt.
Inferenz: Der Angriff iteriert über das Vokabular des Modells und prüft, ob der verborgene Embedding eines Kandidaten-Tokens innerhalb des aus den Client-Gradienten abgeleiteten Unterraums $S$ liegt. Wenn dies der Fall ist, wird der Token in den "Word Bag" aufgenommen. Dies transformiert das Problem von einer Vektor-Anpassung hin zu einem linearen algebraischen Mitgliedschaftstest.

Stufe 2: Data Inference

Diese Stufe setzt den ungeordneten "Word Bag" zu kohärenten Textsequenzen zusammen.

Mechanismus: Sie verwendet eine eingeschränkte Greedy-Search-Strategie, die durch grammatikalische, semantische und kontextuelle Filter (EICW, CG, CS) geleitet wird, um ungültige Token-Kombinationen zu eliminieren.
Mitgliedschafts-Inferenz: Um Kandidaten-Sätze zu validieren, nutzt die Methode die Gradienten der Layer-Adapter-Schicht. Sie speist Kandidaten-Sequenzen durch das Modell, um verborgene Embeddings zu generieren, und prüft, ob diese Embeddings innerhalb des niedrigdimensionalen Unterraums $S_{LA}$ liegen, der von den Gradienten der Layer-Adapter-Schicht aufgespannt wird.
Architektur-Adaption: Die Methode berücksichtigt Unterschiede in der LLM-Architektur. Bei bidirektionalen Modellen (z. B. BERT) kann der vollständige Text in einem Schritt rekonstruiert werden. Bei unidirektionalen Modellen (z. B. GPT) erfolgt die Rekonstruktion präfixweise, was mehr Kandidaten-Proben erfordert, um die vollständige Sequenz zusammenzusetzen.

Zentrale Beiträge

Offenlegung von Schwachstellen: Das Paper demonstriert, dass Adapter-basierte FedLLMs nicht immun gegen Gradienten-Inversionsangriffe sind, selbst wenn die meisten Modellparameter eingefroren sind. Es zeigt auf, dass niedrigdimensionale Adapter neue, ausnutzbare Leakage-Kanäle schaffen.
UTR-Angriffsframework: Die Autoren führen UTR ein, einen maßgeschneiderten Angriff, der die Herausforderungen von niedrigdimensionalen Updates und eingefrorenen Backbones überwindet. Er kombelt auf einzigartige Weise die Subraum-Analyse von Embedding-Gradienten mit einer eingeschränkten Dekodierung, um eine hochgradig originalgetreue Rekonstruktion zu erreichen.
Theoretische Analyse des Leaks: Das Paper liefert eine theoretische Bewertung der Grenzen des Angriffs und definiert die maximale Anzahl der rekonstruierbaren Tokens ( $k_{max}$ ) als begrenzt durch den Rang des durch die Adapter-Gradienten aufgespannten Unterraums ( $rank(S) \leq d_{bottleneck}$ ).
Umfassende Evaluierung: Die Studie evaluiert den Angriff über diverse Modelle (BERT, GPT2-Large, Qwen2.5-7B) und Datensätze (CoLA, SST-2, Rotten Tomatoes) unter Berücksichtigung variierender Batch-Größen und Verteidigungsmechanismen.

Experimentelle Ergebnisse

Die Experimente zeigen, dass UTR eine nahezu perfekte Rekonstruktionsgenauigkeit erreicht und damit die State-of-the-Art-Baselines wie LAMP und DAGER signifikant übertrifft.

Rekonstruktionsgenauigkeit: UTR erzielt ROUGE-1/2 Scores von über 99 % über alle getesteten Modelle und Datensätze hinweg, selbst bei Batch-Größen von bis zu 128. Im Gegensatz dazu versagen Baselines wie DAGER unter Frozen-Backbone-Settings vollständig, während LAMP mit zunehmender Batch-Größe signifikant an Leistung verliert.
Skalierbarkeit: Der Angriff bleibt für große Batches (bis zu 128) bei Qwen2.5-7B und BERT effektiv. Bei GPT2-Large sinkt die Performance bei bestimmten Datensätzen (SST, RT) für Batches größer als 32, was auf die Schwierigkeiten bei der Rekonstruktion längerer Sequenzen mit unidirektionalen Attention-Mechanismen zurückzuführen ist.
Bewertung der Verteidigung:
- Differential Privacy (DP): DP erweist sich als effektive Verteidigung, die den Erfolg des Angriffs bei moderaten Rauschpegeln ( $\sigma \geq 1.5$ ) auf nahezu 0 % senkt. Die Autoren merken jedoch an, dass solche Rauschpegel das Modell für praktische Aufgaben unbrauchbar machen.
- Gradient Pruning (GP): GP bietet einen fragilen Schutz. Selbst bei aggressiver Beschneidung (99,9 %) bleibt ein gewisser Leakage bestehen, und es sind hohe Pruning-Raten erforderlich, um den Angriff zu mildern, was die Nützlichkeit des Modells erheblich beeinträchtigt.

Bedeutung und Behauptungen

Das Paper kommt zu dem Schluss, dass ein fundamentaler Konflikt zwischen Parametereffizienz und Privatsphäre in FedLLMs besteht. Die vorherrschende Überzeugung, dass eine leichtgewichtige Anpassung die Sicherheit inhärent erhöht, wird durch diese Ergebnisse widerlegt.

Privacy-Performance-Trade-off: Die Studie hebt hervor, dass Adapter zwar die Kommunikationskosten senken, aber nicht automatisch Privatsphäre garantieren. Die niedrigdimensionale Natur der Updates, die der Effizienz dienen sollen, schafft unbeabsichtigt einen spezifischen Unterraum, der mathematisch invertiert werden kann, um diskrete Eingangsdaten wiederherzustellen.
Implikationen für das Design: Die Ergebnisse legen nahe, dass die alleinige Nutzung von Adapter-basiertem Fine-Tuning für die Privatsphäre unzureichend ist. Die Autoren betonen die Notwendigkeit einer systematischen Bewertung der Rekonstruktionsrisiken in effizienten FedLLM-Paradigmen und weisen darauf hin, dass effektive Verteidigungen (wie DP) auf Kosten der Modellnutzung gehen können.

Die Arbeit dient als kritische Warnung an die Fachwelt, dass die Sicherheitsgarantien von Adapter-basierten FedLLMs nicht so robust sind, wie sie scheinen, was neue Verteidigungsstrategien erforderlich macht, die nicht die Effizienzvorteile dieser Modelle kompromittieren.