🤖 machine learning

AdeptHEQ-FL: Adaptive Homomorphic Encryption for Federated Learning of Hybrid Classical-Quantum Models with Dynamic Layer Sparing

AdeptHEQ-FL ist ein einheitliches hybrides klassisch-quantenmechanisches Framework für federiertes Lernen, das adaptive homomorphe Verschlüsselung, dynamische Layer-Sparing und gewichtete Aggregation nach Genauigkeit integriert, um gleichzeitig die Modellleistung zu verbessern, formale Privatsphäregarantien zu gewährleisten und den Kommunikationsaufwand in nicht-IID-dezentralen Umgebungen zu minimieren.

Ursprüngliche Autoren: Md Abrar Jahin, Taufikur Rahman Fuad, M. F. Mridha, Nafiz Fahad, Md. Jakir Hossen

Veröffentlicht 2026-05-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Md Abrar Jahin, Taufikur Rahman Fuad, M. F. Mridha, Nafiz Fahad, Md. Jakir Hossen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von Freunden vor, die versucht, gemeinsam ein riesiges Puzzle zu lösen, jedoch unter einigen strengen Regeln:

Niemand darf seine Puzzleteile jemand anderem zeigen (Privatsphäre).
Jeder hat eine andere Mischung an Teilen (Nicht-IID-Daten).
Sie können nur winzige Textnachrichten senden, um Fortschritte zu teilen (Kommunikationsbeschränkungen).
Sie möchten ein spezielles „quantenmechanisches" Werkzeug verwenden, das die Puzzle-Lösung extrem leistungsfähig macht, aber zerbrechlich und schwer zu bedienen ist (Quantenmodelle).

Diese Arbeit stellt AdeptHEQ-FL vor, ein neues System, das entwickelt wurde, um diesen Freunden zu helfen, das Puzzle schneller, genauer und sicherer als je zuvor zu lösen. So funktioniert es, aufgeteilt in einfache Teile:

1. Das Hybrid-Team (Klassisch + Quanten)

Die meisten Puzzle-Lösungsteams verwenden Standardwerkzeuge (klassische KI). Diese Arbeit schlägt ein „hybrides" Team vor.

Der klassische Teil (die CNN): Stellen Sie sich dies als die Augen des Teams vor. Sie betrachtet die Rohbilder (wie ein Foto einer Katze oder eines Autos) und zerlegt sie in grundlegende Formen und Texturen. Sie ist gut im „schweren Heben" beim Erkennen von Mustern.
Der Quantenteil (die PQC): Stellen Sie sich dies als das „Super-Gehirn" des Teams vor. Sobald die Augen ihre Arbeit erledigt haben, übernimmt das Super-Gehirn. Es verwendet Quantenschaltungen, um komplexe, verborgene Verbindungen zwischen den Teilen zu finden, die ein normales Gehirn möglicherweise übersehen würde.
Das Ergebnis: Durch die Kombination der stabilen Augen des klassischen Computers mit dem Super-Gehirn des Quantencomputers kann das Team schwierigere Puzzles (wie den komplexen CIFAR-10-Datensatz) viel besser lösen als Teams, die nur das eine oder das andere verwenden.

2. Das „Intelligente Abstimmung"-System (Adaptive Aggregation)

In einem normalen Gruppenprojekt zählt die Meinung aller gleich. Doch in dieser Arbeit erkennt das System, dass einige Freunde eine bessere Arbeit leisten als andere.

Das Problem: Wenn ein Freund Schwierigkeiten hat (weil seine Puzzleteile seltsam oder unvollständig sind), sollte sein schlechter Rat die gesamte Gruppe nicht nach unten ziehen.
Die Lösung: Das System überprüft, wie gut jeder Freund bei einem Übungstest abschneidet. Um jedoch deren Privatsphäre zu schützen, fügt es dem Ergebnis ein wenig „Rauschen" hinzu (Differential Privacy), sodass niemand die genaue Punktzahl eines anderen kennt.
Die Abstimmung: Das System gibt dann den Freunden mit den höheren (verrauschten) Ergebnissen eine größere Stimme und denjenigen, die Schwierigkeiten haben, eine kleinere Stimme. Dies stellt sicher, dass das endgültige Modell auf den besten Ideen aufgebaut ist, selbst wenn die Daten unordentlich sind.

3. Der „Geheimnis-Umschlag" (Selektive Verschlüsselung)

Normalerweise ist das Geheimhalten von Informationen in einer Gruppenchat-Gruppe teuer und langsam. Wenn Sie alles verschlüsseln, werden die Nachrichten riesig und dauern ewig, um gesendet zu werden.

Die Innovation: Anstatt die gesamte Puzzle-Lösung in einen schweren, verschlossenen Safe zu legen (Vollverschlüsselung), verschließt das System nur den wichtigsten Teil der Lösung: die letzte Schicht, die entscheidet, was das Bild tatsächlich darstellt.
Die Analogie: Stellen Sie sich vor, Sie senden einen Brief. Sie müssen nicht den ganzen Umschlag in einen Bankschließfach legen; Sie müssen nur die endgültige Unterschrift in ein versiegeltes, manipulationssicheres Rohr stecken. Dies hält den sensibelsten Teil privat, ohne den gesamten Prozess zu verlangsamen.

4. Der „Einfrieren"-Knopf (Dynamische Schicht-Einsparung)

Das Hin- und Hersenden von Aktualisierungen kostet Zeit und Daten.

Die Strategie: Das System beobachtet, welche Teile des Puzzles sich stark verändern und welche Teile sich nicht mehr verändern.
Die Aktion: Wenn sich ein Teil des Modells (wie die frühen Schichten, die nur nach Kanten suchen) nicht viel verändert, sagt das System: „Frieren Sie diesen Teil ein! Senden Sie keine Aktualisierungen dafür." Es spart Bandbreite.
Die Ausnahme: Das „Super-Gehirn" (die Quantenschichten) wird niemals eingefroren. Es darf weiterlernen und sich anpassen, da es der flexibelste und wichtigste Teil des Teams ist.

Was haben sie herausgefunden?

Die Autoren testeten dieses System an drei verschiedenen „Puzzles" (Datensätzen): CIFAR-10 (komplexe Bilder), SVHN (Hausnummern) und Fashion-MNIST (Kleidung).

Der Gewinner: AdeptHEQ-FL schlug die anderen Methoden. Beim schwierigsten Puzzle (CIFAR-10) war es etwa 25 % genauer als ein Standard-Quantenteam und 14 % genauer als ein Team, das versucht hatte, alles zu verschlüsseln.
Effizienz: Durch das Einfrieren der unwichtigen Schichten und das Verschlüsseln nur des letzten Schritts sparte das System viel Kommunikationszeit und Daten.
Ressourcennutzung: Interessanterweise nutzte ihr „hybrides" Team weniger Quantenressourcen (4 Qubits) als die Konkurrenten (6 Qubits), performte aber dennoch besser. Dies beweist, dass eine intelligente Strategie wichtiger ist als nur mehr rohe Kraft zu haben.

Das Fazit

AdeptHEQ-FL ist wie eine hochorganisierte, datenschutzorientierte Lerngruppe. Sie verwendet eine Mischung aus Standard- und Super-Werkzeugen, hört den klügsten Mitgliedern mehr zu (ohne genau zu wissen, wer sie sind), verschließt nur die sensibelsten Geheimnisse und hört auf, Zeit mit Aktualisierungen von Teilen des Plans zu verschwenden, die sich nicht ändern. Das Ergebnis ist eine schnellere, genauere und sicherere Möglichkeit für Maschinen, gemeinsam zu lernen, ohne ihre privaten Daten zu teilen.

Technische Zusammenfassung von AdeptHEQ-FL: Adaptive homomorphe Verschlüsselung für das Federated Learning hybrider klassisch-quantenmechanischer Modelle mit dynamischer Schichtsparens

1. Problemstellung

Das Federated Learning (FL) steht vor einem Trio miteinander verbundener Herausforderungen: statistische Heterogenität, die aus nicht-identisch und nicht-unabhängig verteilten (non-IID) Daten resultiert, Datenschutzverwundbarkeiten, die trotz Datenlokalisierung in Modell-Updates inhärent sind, sowie hohe Kommunikations- und Rechenaufwände. Bestehende Lösungen adressieren diese Probleme häufig isoliert. Quanten-FL (QFL)-Frameworks verbessern die Modell-Expressivität, weisen jedoch oft keine formalen Datenschutzgarantien oder Robustheit gegenüber non-IID-Daten auf. Umgekehrt degradieren datenschutzfreundliche Techniken wie Differential Privacy (DP) und Homomorphic Encryption (HE) häufig die Nutzbarkeit in non-IID-Szenarien oder verursachen prohibitiv hohe Rechenkosten. Darüber hinaus vernachlässigen effizienzorientierte Methoden typischerweise Quantenfähigkeiten. Es besteht eine kritische Lücke für ein einheitliches Framework, das Leistung, Datenschutz und Effizienz gleichzeitig in einem hybriden klassisch-quantenmechanischen Kontext optimiert.

2. Methodik

Das vorgeschlagene Framework, AdeptHEQ-FL, integriert vier Kernkomponenten, um diese Lücken zu schließen:

Hybride CNN-PQC-Architektur: Das Modell kombiniert ein klassisches Convolutional Neural Network (CNN) zur Merkmalsextraktion mit einem parametrisierten Quantenschaltkreis (PQC) zur verbesserten Merkmalsverarbeitung.
- Klassische Komponente: Ein CNN mit drei sequentiellen Faltungsblöcken (Faltung, ReLU, Max-Pooling), gefolgt von vollvernetzten Schichten, extrahiert lokalisierte Merkmale (Kanten, Texturen). Die Ausgabe wird zu einem Vektor $f_{CNN} \in \mathbb{R}^{2^n}$ abflacht.
- Quantenkomponente: Die klassischen Merkmale werden über Amplituden-Embedding in einen 4-Qubit-Quantenzustand kodiert. Der PQC nutzt zwei Schichten „stark verschlungener Schichten" (Strongly Entangling Layers), die parametrisierte Ein-Qubit-Rotationen ( $R_z, R_y, R_z$ ) und Controlled-NOT (CNOT)-Verschlingungsgatter umfassen. Der Schaltkreis gibt einen 4-dimensionalen Quantenmerkmalvektor über Pauli-Z-Messungen aus, der dann durch eine klassische vollvernetzte Schicht auf die endgültige Klassifizierungsausgabe abgebildet wird.
Adaptive, genauigkeitsgewichtete Aggregation mit Differential Privacy: Um non-IID-Daten zu bewältigen, aggregiert der Server Client-Updates basierend auf deren lokaler Validierungsleistung.
- Clients verschleiern ihre Validierungsgenauigkeit mittels des Laplace-Mechanismus, um $(\epsilon, 0)$ -Differential Privacy pro Runde zu gewährleisten.
- Der Server berechnet Aggregationsgewichte unter Verwendung eines numerisch stabilen, temperierten Softmax über diese verschleierten Genauigkeiten. Dies priorisiert Beiträge von leistungsstarken Clients, während gleichzeitig Robustheit gegenüber Rauschen erhalten bleibt.
Selektive Homomorphe Verschlüsselung (HE): Um Datenschutz ohne den vollen Overhead der Vollständigen Homomorphen Verschlüsselung (FHE) zu gewährleisten, wendet das Framework das CKKS-Schema selektiv an. Nur die Parameter der letzten vollvernetzten Schicht (FC4) werden während der Übertragung und Aggregation verschlüsselt. Andere Schichten werden im Klartext aggregiert. Der Server entschlüsselt die aggregierte FC4-Schicht nach der gewichteten Summierung mit seinem geheimen Schlüssel.
Dynamische, schichtweise adaptive Einfrierung: Um den Kommunikationsaufwand zu minimieren, setzt das Framework einen Mechanismus ein, um weniger einflussreiche klassische Schichten einzufrieren.
- Die Schichtwichtigkeit wird basierend auf der L2-Norm der Parameteränderungen über die Runden hinweg bewertet und mittels eines Exponentiellen Gleitenden Durchschnitts (EMA) geglättet.
- Schichten mit Werten unter einem festen Schwellenwert (0,001) werden eingefroren (Parameter werden nicht aktualisiert oder übertragen).
- Entscheidend sind Quantenschichten explizit von der Einfrierung ausgenommen, um ihre Anpassungsfähigkeit und Expressivität zu erhalten, die für die Modellierung komplexer Muster in dezentralisierten Daten von entscheidender Bedeutung sind.

3. Hauptbeiträge

Die Arbeit skizziert vier primäre Beiträge:

Neuartige adaptive Aggregation: Ein Aggregationsmechanismus, der differenziell private Client-Validierungsgenauigkeiten und HE nutzt, um non-IID-Datenverteilungen effektiv zu adressieren und gleichzeitig Datenschutz zu gewährleisten.
Hybride Architektur: Ein einheitliches klassisch-quantenmechanisches Modell, das CNNs zur Merkmalsextraktion mit PQCs integriert, um die Modell-Expressivität in federierten Umgebungen zu verbessern.
Effizientes dynamisches Schichtsparen: Eine Technik, die den Kommunikationsaufwand reduziert, indem weniger einflussreiche klassische Schichten adaptiv eingefroren werden, während die Flexibilität von Quantenschichten erhalten bleibt.
Theoretische Konvergenzanalyse: Ein formaler Beweis, der die Konvergenz des Frameworks etabliert und das Zusammenspiel adaptiver Aggregation, Schichtsparen und Datenschutzmechanismen berücksichtigt.

4. Experimentelle Ergebnisse

Experimente wurden auf den Datensätzen CIFAR-10, SVHN und Fashion-MNIST unter Verwendung von 10 Clients über 20 Kommunikationsrunden mit non-IID-Verteilungen (Dirichlet $\alpha=0,1$ ) durchgeführt.

Leistung: AdeptHEQ-FL (konfiguriert mit 4 Qubits und 2 Schichten) übertraf sowohl ein Standard-FedQNN als auch ein State-of-the-Art FHE-FedQNN auf allen Datensätzen.
- Auf dem komplexen CIFAR-10-Datensatz erreichte AdeptHEQ-FL eine Genauigkeit von 72,61 %, was einer Verbesserung von etwa 25,43 % gegenüber Standard-FedQNN (63,60 %) und einer Verbesserung von 14,17 % gegenüber FHE-FedQNN (57,89 %) entspricht.
- Leistungssteigerungen wurden auch bei SVHN und Fashion-MNIST beobachtet, wenn auch bescheidener.
Ressourceneffizienz: Trotz der Verwendung weniger Ressourcen (4 Qubits, 2 Schichten) im Vergleich zu den Baselines (6 Qubits, 6 Schichten) erzielte AdeptHEQ-FL überlegene Ergebnisse. Dies wird der adaptiven Aggregationsstrategie zugeschrieben, die Updates basierend auf verschleierter Genauigkeit gewichtet, anstatt alle Clients gleich zu behandeln, sowie dem Schicht-Einfrier-Mechanismus, der unnötige Kommunikation reduziert.
Empfindlichkeit: Eine weitere Reduzierung der Quantenressourcen (z. B. 2 Qubits, 1 Schicht) führte zu Leistungseinbußen, insbesondere bei komplexen Datensätzen, was darauf hindeutet, dass komplexe Daten eine ausreichende Quantenkapazität erfordern.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass AdeptHEQ-FL eine umfassende Lösung bietet, die Leistung, Datenschutz und Effizienz in einem hybriden klassisch-quantenmechanischen FL-Paradigma vereint. Ihre Bedeutung liegt in:

Synergetische Integration: Die erfolgreiche Kombination von Quanten-Expressivität mit formalen Datenschutzgarantien (DP und selektive HE) und Kommunikationseffizienz.
Robustheit gegenüber non-IID: Die Demonstration einer überlegenen Handhabung von non-IID-Daten durch genauigkeitsgewichtete Aggregation, wodurch die Grenzen der einheitlichen Aggregation in bestehenden QFL- und FHE-basierten Ansätzen überwunden werden.
Praktikabilität: Ein ressourcenbewusstes Design, das den Kommunikationsaufwand durch dynamisches Schichtsparen reduziert, während die Anpassungsfähigkeit von Quantenkomponenten erhalten bleibt.

Anerkannte Einschränkungen:
Die Autoren stellen fest, dass HE derzeit nur zur Handhabbarkeit auf die letzte Schicht angewendet wird, wodurch andere Schichten unverschlüsselt bleiben. Das Framework wurde in simulierten Umgebungen evaluiert und noch nicht auf echter Quantenhardware getestet. Darüber hinaus stützt sich die Konvergenzanalyse auf Annahmen bezüglich Glattheit und begrenzter Gradientenvarianz, die in stark nicht-konvexen Settings möglicherweise nicht gelten. Als zukünftige Arbeit wird vorgeschlagen, den Verschlüsselungsumfang zu erweitern, Tests auf physischen Geräten durchzuführen und die Methode auf größere Datensätze zu verallgemeinern.