💻 computer science

FedShield-LLM: A Secure and Scalable Federated Fine-Tuned Large Language Model

FedShield-LLM ist ein sicheres und skalierbares Framework für federiertes Lernen, das Low-Rank Adaptation (LoRA) mit Fully Homomorphic Encryption (FHE) und Pruning kombiniert, um eine datenschutzkonforme und effiziente Feinabstimmung von Large Language Models über ressourcenbeschränkte Organisationen hinweg zu ermöglichen, ohne die Leistung zu beeinträchtigen.

Ursprüngliche Autoren: Md Jueal Mia, M. Hadi Amini

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Md Jueal Mia, M. Hadi Amini

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine Gruppe von Freunden, die jeweils ein geheimes Rezeptbuch besitzen. Sie möchten ein einziges „Super-Kochbuch" erstellen, das besser ist als jedes einzelne davon, haben aber Angst, ihre tatsächlichen Seiten zu teilen, da die Rezepte streng geheime Familienerbstücke sind.

Dies ist das Problem, das FedShield-LLM löst. Es ist eine neue Methode, damit Computer (speziell Large Language Models oder „LLMs") gemeinsam lernen können, ohne dass jemals jemand die privaten Daten der anderen sieht.

Hier ist die Erklärung aus dem Papier, aufgeschlüsselt in einfache Konzepte und Analogien:

1. Das Problem: Das Dilemma „Zu groß" und „Zu riskant"

Das Größenproblem: Moderne KI-Modelle sind wie riesige Bibliotheken. Ihr Training erfordert normalerweise einen Supercomputer, der Millionen von Dollar kostet. Kleine Unternehmen oder Krankenhäuser können sich dies nicht leisten.
Das Datenschutzproblem: Wenn sie versuchen, ihre Daten zu teilen, um die KI gemeinsam zu trainieren, riskieren sie die Offenlegung von Geheimnissen (wie Patientenakten oder Bankdaten).
Die alten Lösungen:
- Differential Privacy (DP): Stellen Sie sich vor, Sie versuchen, Ihr Rezept zu verstecken, indem Sie jeder Seite eine Prise Salz (Rauschen) hinzufügen. Es versteckt das Geheimnis, aber es ruiniert auch den Geschmack des Gerichts (die KI wird schlechter im Beantworten von Fragen).
- Standard-Federated-Learning: Jeder sendet seine Updates an einen zentralen Lehrer. Aber ein hinterhältiger Lehrer könnte die Updates betrachten und trotzdem das ursprüngliche Rezept erraten.

2. Die Lösung: FedShield-LLM

Die Autoren schlagen einen dreiteiligen Zaubertrick zur Lösung dieses Problems vor. Stellen Sie sich dies als ein sicheres, leichtgewichtiges und zerkleinerndes Lieferystem vor.

Teil A: Der „Leichte Adapter" (LoRA)

Anstatt das gesamte 500-seitige Rezeptbuch zu senden, schreibt jeder Freund nur die Änderungen auf, die er an seinem Buch vorgenommen hat.

Die Analogie: Stellen Sie sich vor, die Haupt-KI ist eine riesige, gefrorene Statue. Sie müssen die gesamte Statue nicht schmelzen, um sie zu verändern; Sie müssen nur einen kleinen, flexiblen „Adapter" (wie einen Aufkleber oder ein aufsteckbares Teil) daran befestigen.
Der Vorteil: Dies macht die Daten winzig und einfach zu senden, was Zeit und Geld spart.

Teil B: Der „Aktenvernichter" (Pruning)

Bevor sie die Änderungen senden, lassen die Freunde sie durch einen Aktenvernichter laufen.

Die Analogie: Sie schauen sich ihre Liste der Änderungen an und werfen diejenigen weg, die nicht so wichtig sind (wie das Ändern eines Kommas in einen Punkt). Sie behalten nur die wichtigsten Änderungen.
Der Vorteil: Dies bewirkt zwei Dinge:
1. Es macht die Nachricht noch kleiner (schneller zu senden).
2. Es fungiert als Sicherheitschild. Wenn ein Hacker versucht, das ursprüngliche geheime Rezept aus den zerkleinerten Notizen wiederherzustellen, kann er dies nicht, weil die „wichtigen" Teile fehlen. Es ist wie der Versuch, ein Puzzle zu lösen, bei dem die Hälfte der Teile fehlt.

Teil C: Der „Magische Umschlag" (Fully Homomorphic Encryption - FHE)

Dies ist der schwere Arbeitsträger. Bevor sie die zerkleinerten Notizen senden, stecken die Freunde sie in einen „Magischen Umschlag".

Die Analogie: Stellen Sie sich einen speziellen Umschlag vor, der es dem Lehrer ermöglicht, die Zahlen im Inneren zu addieren, ohne den Umschlag jemals zu öffnen. Der Lehrer kann die Gesamtsumme aller Änderungen sehen, aber er kann die spezifischen Notizen einer einzelnen Person nicht einsehen.
Der Vorteil: Selbst wenn der Lehrer „ehrlich, aber neugierig" ist (er möchte einen Blick werfen, folgt aber den Regeln), kann er die privaten Daten physisch nicht einsehen. Die Mathematik findet statt, während die Daten noch verschlossen sind.

3. Wie es zusammen funktioniert

Lokales Training: Jeder Freund (Client) lernt mit dem „Leichten Adapter" auf seinen eigenen privaten Daten.
Zerkleinerung: Sie löschen die unwichtigen Teile ihres Lernprozesses (Pruning).
Verschlüsselung: Sie stecken die verbleibenden Notizen in den „Magischen Umschlag" (Verschlüsselung).
Aggregation: Der zentrale Server addiert alle verschlossenen Umschläge. Er öffnet sie niemals.
Ergebnis: Der Server erhält ein neues, verbessertes „Super-Kochbuch", das das Wissen aller kombiniert, aber die Geheimnisse niemandes wurden jemals preisgegeben.

4. Was das Papier herausfand

Die Forscher testeten dieses System mit realen KI-Modellen (Llama-2) und realen Daten (wie medizinischen Lernkarten, finanziellen Stimmungsanalysen und Matheaufgaben).

Leistung: Das neue System funktionierte genauso gut oder besser als die alten Methoden. Es beeinträchtigte die Intelligenz der KI nicht (im Gegensatz zur „Salz"-Methode).
Sicherheit: Als sie versuchten, das System zu hacken (mit einem Tool namens DAGER, um die Daten zu rekonstruieren), scheiterte der Angriff durch den Schritt des „Zerkleinerns". Die Hacker konnten die ursprünglichen Daten nicht wiederherstellen, weil zu viele Teile fehlten.
Effizienz: Da sie den „Leichten Adapter" und das „Zerkleinern" verwendeten, war das System schnell genug, um auf Standardcomputern zu laufen, nicht nur auf Supercomputern.

Zusammenfassung

FedShield-LLM ist eine Möglichkeit für Organisationen, gemeinsam eine intelligentere KI zu entwickeln, ohne jemals ihre privaten Daten einander oder dem zentralen Server zu zeigen. Dies erreicht es durch:

Das Senden nur kleiner, wichtiger Änderungen (LoRA).
Das Wegwerfen unwichtiger Details, um Hacker zu verwirren (Pruning).
Das Verschlüsseln alles in einer mathematisch unknackbaren Box, die dennoch addiert werden kann (FHE).

Das Papier kommt zu dem Schluss, dass diese Methode sicher, schnell ist und hochwertige Ergebnisse liefert, wodurch sie für den Einsatz in sensiblen Bereichen wie Gesundheitswesen und Finanzen bereit ist.

Technischer Zusammenfassung: FedShield-LLM

Problemstellung

Das Fine-Tuning von Large Language Models (LLMs) für domänenspezifische Anwendungen (z. B. Gesundheitswesen, Finanzen) steht vor einer doppelten Herausforderung: Datenschutz und Rechen-Skalierbarkeit.

Datenschutzrisiken: Zentrales Training erfordert die Weitergabe sensibler Daten, was Verordnungen wie die DSGVO und CCPA verletzt. Während Federated Learning (FL) die Daten lokal hält, bleibt Standard-FL anfällig für Inferenzangriffe, wie Gradient-Inversions-Angriffe (GIA) und Mitgliedschaftsinferenz, bei denen bösartige Server oder kompromittierte Clients private Trainingsdaten aus Modell-Updates rekonstruieren können.
Skalierbarkeit und Effizienz: Das Fine-Tuning ganzer Modelle ist für ressourcenbeschränkte Clients rechnerisch prohibitiv und verursacht einen massiven Kommunikationsaufwand. Bestehende datenschutzfreundliche Techniken wie Differential Privacy (DP) verschlechtern oft die Modellleistung durch Rauscheinbringung, während die Anwendung von Fully Homomorphic Encryption (FHE) auf vollständige Modelle aufgrund der schieren Anzahl der Parameter rechnerisch nicht durchführbar ist.

Methodik: FedShield-LLM

Die Autoren schlagen FedShield-LLM vor, ein neuartiges Framework für federiertes Fine-Tuning, das drei Kernkomponenten integriert, um die oben genannten Herausforderungen zu bewältigen: Low-Rank Adaptation (LoRA), Unstrukturiertes Pruning und Fully Homomorphic Encryption (FHE).

1. Kernkomponenten

LoRA-basierte lokale Updates: Anstatt alle Modellparameter zu aktualisieren, fine-tunen Clients nur leichte Adapter-Schichten (LoRA). Dies reduziert die Anzahl der trainierbaren Parameter von $O(d^2)$ auf $O(rd)$ und senkt den rechnerischen und Speicher-Overhead auf Client-Geräten drastisch.
Unstrukturiertes Pruning: Vor der Übertragung wenden Clients unstrukturiertes Pruning auf die LoRA-Updates an. Dabei werden weniger signifikante Parameter (basierend auf ihrer Magnitude) entfernt, was zwei Zwecke erfüllt:
1. Reduzierung des Kommunikationsaufwands.
2. Begrenzung der „Angriffsfläche" durch Deaktivierung von Parametern, die für die Rekonstruktion privater Daten kritisch sein könnten.
Sichere Aggregation via FHE (CKKS): Clients verschlüsseln ihre geprunten LoRA-Updates mit dem homomorphen Verschlüsselungsschema CKKS. Der Server aggregiert diese verschlüsselten Updates (Summierung/Mittelwertbildung), ohne jemals einzelne Client-Daten zu entschlüsseln. Nur eine autorisierte Partei mit dem geheimen Schlüssel kann das finale aggregierte Modell-Update entschlüsseln.

2. Arbeitsablauf

Initialisierung: Ein vertrauenswürdiger Schlüsselmanagements-Server generiert ein öffentliches/geheimes Schlüsselpaar. Der öffentliche Schlüssel wird mit dem Server und den Clients geteilt.
Lokales Training: Clients laden ein eingefrorenes Basis-LLM und fine-tunen nur die LoRA-Adapter auf ihren lokalen privaten Daten.
Sparsifizierung und Verschlüsselung: Clients berechnen LoRA-Updates, wenden eine Pruning-Maske an, um Gewichte mit niedriger Magnitude auf Null zu setzen, und verschlüsseln die resultierenden spärlichen Updates mit CKKS.
Aggregation: Der Server führt eine homomorphe Addition der verschlüsselten Updates durch, um das globale Update zu berechnen.
Entschlüsselung und Update: Das aggregierte Chiffretext wird entschlüsselt (durch eine autorisierte Partei), und das resultierende globale LoRA-Update wird für die nächste Runde auf das Basismodell angewendet.

3. Theoretische Garantien

Konvergenz: Die Arbeit liefert einen Konvergenzbeweis, der zeigt, dass FedShield-LLM in nicht-konvexen Settings sublinear ( $O(1/\sqrt{R})$ ) zu einem stationären Punkt konvergiert, ähnlich wie Standard-FedAvg. Der Beweis argumentiert, dass Verschlüsselung numerische Werte nicht verändert und Pruning als beschränkte Störung wirkt, die die Optimierungsdynamik nicht grundlegend stört.
Sicherheit: Unter der Annahme des Ring Learning With Errors (RLWE) bietet das CKKS-Schema semantische Sicherheit. Darüber hinaus erzeugt die Kombination aus Verschlüsselung und Sparsifizierung für potenzielle Angreifer ein unterbestimmtes System, was Gradient-Inversions-Angriffe (Rekonstruktion von Eingaben aus Updates) schlecht gestellt und rechnerisch nicht durchführbar macht.

Hauptbeiträge

Neuartige Framework-Integration: Dies ist die erste Arbeit, die FHE, LoRA und unstrukturiertes Pruning speziell für federiertes LLM-Fine-Tuning kombiniert. Sie ermöglicht sichere Aggregation im verschlüsselten Bereich und mindert gleichzeitig Datenschutzlecks sowohl während des Trainings als auch der Inferenz.
Durchführbarkeit in ressourcenbeschränkten Umgebungen: Durch die Nutzung von LoRA zur Aktualisierung nur leichter Adapter und von Pruning zur Reduzierung der Datengröße macht das Framework sicheres, verschlüsseltes Fine-Tuning für große LLMs (z. B. 7B und 13B Parameter) auf Edge-Geräten praktikabel.
Robustheit gegen Inferenzangriffe: Das Framework bietet starke Garantien gegen „ehrliche, aber neugierige" Server und Gradient-Inversions-Angriffe und übertrifft DP-basierte Methoden, die unter dem Trade-off zwischen Datenschutz und Nutzbarkeit leiden.

Experimentelle Ergebnisse

Die Autoren evaluierten FedShield-LLM mit Llama-2 (7B und 13B)-Modellen über vier diverse Datensätze: alpaca-gpt4 (allgemein), fingpt-sentiment-train (Finanzen), MathInstruct (Schlussfolgern) und medical flashcards (Gesundheitswesen).

Leistung im Vergleich zu Baselines: FedShield-LLM erreichte konsistent niedrigere und stabilere Trainingsverluste im Vergleich zu Vanilla FL und DP-LoRA. Es zeigte eine schnellere Konvergenz, insbesondere in frühen Kommunikationsrunden.
Qualität der Textgenerierung: Bewertet mittels BERTScore gegen GPT-4o-Referenzen, erreichte FedShield-LLM die höchste F1-Bewertung (0,6865) und übertraf DP-LoRA (0,6130) sowie Vanilla FL (0,5756). Eine qualitative Analyse zeigte, dass das Modell kohärente, genaue Schlussfolgerungsschritte generierte, die mit GPT-4o vergleichbar waren.
Auswirkung von Pruning auf die Sicherheit: Experimente mit dem DAGER-Angriff (Gradient-Inversion) zeigten, dass zwar 50% Pruning die ROUGE-Werte leicht erhöhte (aufgrund kürzerer, vorlagenartiger Rekonstruktionen), eine Erhöhung der Pruning-Rate auf 60–70% jedoch die Fähigkeit des Angreifers, bedeutungsvollen Text zu rekonstruieren, erheblich verschlechterte. Dies bestätigt, dass Pruning die Anfälligkeit für Inferenzangriffe effektiv reduziert.
Effizienz: Das Framework reduzierte den Kommunikationsaufwand erfolgreich (z. B. von 1200 MB auf 120 MB durch LoRA, weiter reduziert durch Pruning), während die Modellnützlichkeit erhalten blieb.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass FedShield-LLM im Vergleich zu bestehenden Methoden einen überlegenen Trade-off zwischen Datenschutz und Nutzbarkeit bietet:

Im Gegensatz zu Differential Privacy (DP), die die Modellgenauigkeit durch Rauschen verschlechtert, verwendet FedShield-LLM FHE für eine exakte Aggregation, wodurch die Gradientenintegrität und die Modellleistung erhalten bleiben.
Im Gegensatz zu zentralisierten HE-Ansätzen (z. B. PrivTuner) operiert FedShield-LLM in einem dezentralen, Multi-Client-FL-Setting und adressiert die spezifischen Herausforderungen der siloübergreifenden Zusammenarbeit.
Die Integration von Pruning ist entscheidend; ohne sie wäre die Anwendung von FHE auf vollständige LLM-Parameter rechnerisch prohibitiv. Pruning reduziert die Angriffsfläche und macht die Verschlüsselung von Updates durchführbar.

Die Autoren positionieren FedShield-LLM als praktische Lösung für den Einsatz sicherer, domänenspezifischer LLMs in regulierten Branchen (Gesundheitswesen, Finanzen), in denen Datenschutz von höchster Priorität ist und Rechenressourcen begrenzt sind. Sie räumen ein, dass FHE zwar einen nicht zu vernachlässigenden rechnerischen Overhead einführt, die Kombination mit LoRA und Pruning jedoch einen gangbaren Weg darstellt, wobei zukünftige Arbeiten erforderlich sind, um die Skalierbarkeit für massive Client-Populationen und stark nicht-IID-Datenverteilungen weiter zu optimieren.