Volley Revolver: A Novel Matrix-Encoding Method for Privacy-Preserving Neural Networks (Inference)

Die Autoren stellen eine neuartige Matrix-Kodierungsmethode namens „Volley Revolver" vor, die es ermöglicht, eine convolutional Neural Network für die Klassifizierung handschriftlicher Bilder effizient und datenschutzkonform unter Verwendung von homomorpher Verschlüsselung durchzuführen, wobei 32 verschlüsselte MNIST-Bilder auf einer öffentlichen Cloud in etwa 287 Sekunden verarbeitet werden.

Das Wesentliche

Stellen Sie sich vor, Sie haben ein geheimes Rezept für den besten Kuchen der Welt (Ihre Daten) und möchten, dass ein berühmter Bäcker (die Cloud) ihn für Sie backt, ohne dass er jemals sieht, was in Ihrem Rezept steht. Das ist das große Problem beim maschinellen Lernen in der Cloud: Wie können wir Berechnungen auf verschlüsselten Daten durchführen, ohne sie zu entschlüsseln?

Dieses Papier stellt eine neue Methode namens "Volley Revolver" vor, die genau dieses Problem löst. Hier ist die Erklärung in einfachen Worten:

1. Das Grundproblem: Der verschlüsselte Brief

Normalerweise ist verschlüsselte Daten wie ein verschlossener Briefumschlag. Wenn Sie ihn an jemanden senden, kann dieser den Inhalt nicht lesen und kann auch nichts damit machen (z. B. addieren oder multiplizieren), ohne den Brief zu öffnen (was den Schutz zerstören würde).

Die Homomorphe Verschlüsselung ist wie ein magischer Briefumschlag. Er erlaubt es dem Empfänger, den Inhalt zu "bearbeiten" (z. B. zwei Briefumschläge zu einem neuen zu kombinieren), ohne den Inhalt jemals zu sehen. Wenn Sie den neuen Brief öffnen, ist das Ergebnis genau das, was Sie hätten, wenn Sie die Originaldaten bearbeitet hätten. Das Problem ist nur: Diese Magie ist sehr langsam und kompliziert.

2. Die Lösung: "Volley Revolver" (Das Revolver-Prinzip)

Die Autoren haben eine neue Art entwickelt, Daten in diese magischen Umschläge zu packen. Sie nennen es Volley Revolver.

Stellen Sie sich einen Revolver mit mehreren Kammern vor:

• Das alte Problem: Früher musste man oft viele kleine Umschläge (Verschlüsselungen) für viele Bilder öffnen, bearbeiten und wieder verschließen. Das war wie ein langsames, mühsames Spiel, bei dem man immer wieder den Revolver laden musste.
• Die neue Methode: Volley Revolver packt viele Bilder gleichzeitig in einen einzigen riesigen Umschlag. Man kann sich das wie einen 3D-Würfel vorstellen, der in einem 2D-Papier versteckt ist.
• Der "Revolver"-Effekt: Um die Berechnungen durchzuführen (wie beim Konvolutions-Filtern von Bildern), dreht das System den Inhalt des Umschlags wie einen Revolverzylinder. Anstatt jeden einzelnen Wert einzeln zu berechnen, schießt der "Revolver" eine ganze Salve (Volley) an Berechnungen gleichzeitig ab.

3. Wie funktioniert das beim Bilderkennen? (Das Beispiel MNIST)

Das Papier testet die Methode mit dem klassischen MNIST-Datensatz (Handgeschriebene Ziffern von 0 bis 9).

• Der Input: Statt 32 Bilder nacheinander zu senden, werden 32 Bilder gleichzeitig in einen einzigen verschlüsselten Block gepackt.
• Die Berechnung: Die Cloud (der Bäcker) führt die Berechnungen für alle 32 Bilder parallel durch, als wären sie ein einziges riesiges Bild.
• Das Ergebnis: Die Cloud sendet nur einen einzigen verschlüsselten Block zurück. Der Besitzer des Schlüssels entschlüsselt ihn und erhält sofort die Ergebnisse für alle 32 Bilder.

4. Warum ist das so cool? (Die Vorteile)

• Effizienz durch "Packen": Stellen Sie sich vor, Sie müssen 100 Pakete versenden. Die alte Methode würde 100 kleine Briefe schicken. Volley Revolver stapelt alle 100 Pakete in einen einzigen, riesigen Container und schickt nur diesen einen. Das spart enorm viel Zeit und Bandbreite.
• Sicherheit: Die Cloud sieht nur Zahlen, die wie zufälliges Rauschen aussehen. Sie weiß nicht, dass es Bilder von Ziffern sind, und kann sie nicht entschlüsseln.
• Geschwindigkeit: Obwohl die Verschlüsselung an sich langsam ist, macht die Methode "Volley Revolver" den Prozess so schnell, dass man in etwa 5 Minuten (auf einem starken Server) 32 Bilder gleichzeitig verarbeiten kann. Das ist ein großer Sprung für diese Technologie.

5. Ein einfaches Bild für die Technik

Stellen Sie sich einen Kino-Saal vor:

• Ohne Volley Revolver: Jeder Zuschauer (jedes Bild) muss einzeln auf die Bühne kommen, sein Ticket prüfen lassen, eine Frage beantworten und wieder gehen. Das dauert ewig.
• Mit Volley Revolver: Alle Zuschauer sitzen in einer Reihe. Der Vorführer (die Cloud) stellt eine Frage an die ganze Reihe gleichzeitig. Jeder antwortet leise in seinem Kopf. Der Vorführer sammelt alle Antworten auf einmal ein. Es ist viel schneller, weil alles gleichzeitig passiert.

Fazit

Das Papier beschreibt eine clevere Art, verschlüsselte Daten so zu organisieren, dass man viele Berechnungen gleichzeitig (parallel) durchführen kann, ohne die Sicherheit zu opfern. Es ist wie ein Super-Trick, um die langsame Magie der Homomorphen Verschlüsselung so schnell zu machen, dass sie für echte Anwendungen (wie das Erkennen von Handschriften in der Cloud) nutzbar wird.

Kurz gesagt: Volley Revolver ist der Schlüssel, um private Daten sicher in die Cloud zu schicken, damit die Cloud für uns rechnet, ohne jemals zu wissen, was wir eigentlich berechnen lassen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Volley Revolver: A Novel Matrix-Encoding Method for Privacy-Preserving Neural Networks (Inference)" auf Deutsch.

1. Problemstellung

Das Paper adressiert die Herausforderung, vertrauliche Daten (z. B. medizinische Bilder oder Finanzdaten) in der Cloud zu verarbeiten, ohne diese zu entschlüsseln. Insbesondere geht es um die Inferenz von Convolutional Neural Networks (CNNs) auf homomorph verschlüsselten Daten.

• Herausforderungen: Herkömmliche Verschlüsselungsmethoden erlauben keine Berechnungen auf verschlüsselten Daten. Homomorphe Verschlüsselung (HE) ermöglicht dies, ist jedoch rechenintensiv und ineffizient bei komplexen Operationen wie Matrixmultiplikationen und Faltungen (Convolutions), die für CNNs essenziell sind.
• Limitationen bestehender Ansätze: Frühere Arbeiten (wie CryptoNets) leiden unter hohem Rechenaufwand, begrenzter Parallelisierbarkeit und ineffizienten Kodierungsschemata, die oft zu einer hohen Anzahl an Zyklen (Ciphertext-Rotations) oder einem schnellen Verbrauch der „multiplicativen Tiefe" führen. Zudem ist die Verarbeitung mehrerer Bilder gleichzeitig (Batch-Verarbeitung) in einem einzigen Ciphertext oft nicht optimal gelöst.

2. Methodik: Volley Revolver

Die Autoren stellen eine neue Kodierungsmethode namens Volley Revolver vor, die speziell für die effiziente Matrixmultiplikation und Faltung auf verschlüsselten Daten entwickelt wurde.

A. Das Kodierungsschema (Volley Revolver)

Das Kernkonzept basiert auf der Nutzung von SIMD (Single Instruction Multiple Data) innerhalb eines einzigen Ciphertexts.

• Matrix-Struktur: Anstatt Daten linear zu packen, wird die Matrix $A$ direkt kodiert. Die Matrix $B$ (z. B. Gewichte) wird transponiert und vertikal geteilt (tiling), um eine Matrix der Größe $m \times n$ zu erhalten, die in einen Ciphertext passt.
• Der „Revolver"-Mechanismus: Die Multiplikation $C = A \cdot B$ wird durch eine iterative Rotation der kodierten Matrix $B$ simuliert. Ähnlich wie ein Revolver, der Kugeln nacheinander abfeuert, wird $B$ in jedem Schritt verschoben (rotiert), während $A$ fixiert bleibt.
• Algorithmus:
  1. RowShifter: Eine Operation, die Zeilen der kodierten Matrix $B$ zyklisch verschiebt.
  2. Multiplikation & Summation: In jedem Schritt wird $A$ mit der verschobenen Version von $B$ multipliziert. Die Ergebnisse werden zeilenweise summiert (SumColVec), um die korrekten Produkte zu erhalten.
  3. Filterung: Ein Maskierungs-Schritt entfernt überflüssige Werte, die durch die Padding-Strategie entstehen.

B. Homomorphe Faltungsoperation (Convolution)

Für CNNs wird ein spezieller Algorithmus entwickelt, der Faltungen auf mehreren Bildern gleichzeitig durchführt:

• Kernelspanner: Der Faltungskernel wird vorab in mehrere Ciphertexts expandiert, die verschiedene räumliche Muster des Kernels repräsentieren.
• SumForConv: Ein neuer Algorithmus, der die Summation über die Kernel-Größe (z. B. $3 \times 3$) effizient durch Rotationen und Additionen innerhalb eines Ciphertexts berechnet.
• Virtuelle Ciphertexts: Ein einziges reales Ciphertext wird so behandelt, als ob es mehrere „virtuelle Ciphertexts" enthält, wobei jedes virtuelle Ciphertext ein ganzes Bild repräsentiert. Dies ermöglicht die parallele Verarbeitung eines gesamten Bildbatches.

C. Architektur und Parallelisierung

• Das System nutzt die HEAAN-Bibliothek (CKKS-Schema), die approximative Arithmetik unterstützt.
• Die Faltungs- und Matrixmultiplikationsoperationen sind stark parallelisierbar. Die Autoren nutzen Hardware-Threads, um verschiedene Teile der Berechnung (z. B. verschiedene Kernel oder Zeilen) gleichzeitig zu verarbeiten.
• Für vollvernetzte Schichten (Fully Connected Layers) wird die Gewichtsmatrix transponiert und so kodiert, dass sie direkt mit den verschlüsselten Eingaben multipliziert werden kann, ohne teure Permutationen.

3. Hauptbeiträge

1. Volley Revolver Kodierung: Eine neue Methode zur effizienten Matrixmultiplikation auf verschlüsselten Daten beliebiger Form, die die Anzahl der benötigten Rotationen optimiert.
2. Effiziente Faltungsstrategie: Ein Algorithmus zur Berechnung von Faltungen, der Zwischenergebnisse akkumuliert und dabei die räumliche Struktur der Bilder im verschlüsselten Zustand bewahrt.
3. 3D-Datenstruktur-Simulation: Die Idee, ein 2D-Dataset innerhalb eines Ciphertexts als 3D-Struktur (Batch $\times$ Höhe $\times$ Breite) zu simulieren, was eine neue Perspektive auf die Behandlung von Bilddatensätzen in HE bietet.
4. Skalierbarkeit: Demonstration, dass das System durch Parallelisierung auf mehreren vCPUs signifikant beschleunigt werden kann.

4. Ergebnisse und Evaluation

Die Methode wurde auf dem MNIST-Datensatz (handschriftliche Ziffern) getestet.

• Setup: Ein CNN mit Faltungs- und vollvernetzten Schichten.
• Hardware: Cloud-Umgebung mit 40 vCPUs.
• Leistung:
  • Die Inferenz für 32 gleichzeitig verschlüsselte Bilder (Größe $28 \times 28$) benötigte ca. 287 Sekunden.
  • Die Genauigkeit lag bei 98,61 %, was nur minimal unter der Genauigkeit des unverschlüsselten Modells (98,66 %) liegt.
  • Kommunikation: Der Datenbesitzer muss nur ein einziges Ciphertext (ca. 19,8 MB) für 32 Bilder hochladen. Der Modellanbieter sendet die verschlüsselten Gewichte (ca. 1 GB).
• Vergleich mit Baseline:
  • Im Vergleich zu früheren Ansätzen (Baseline [14]) erreicht Volley Revolver eine deutlich höhere Slot-Auslastung (bis zu 100 % bei angepasster Bildgröße).
  • Es ermöglicht das Verarbeiten von 8 kompletten Bildern pro Ciphertext (im Vergleich zu 64 Bildern, die 49 Ciphertexts benötigten), was den Durchsatz um den Faktor 6,125 steigert.
  • Nachteil: Die Laufzeit ist aufgrund der höheren Anzahl an Rotationen und der Verwendung von Polynomen 3. Grades für die Aktivierungsfunktionen (ReLU) höher als bei einfacheren Baselines.

5. Bedeutung und Ausblick

• Privatsphäre: Das System ermöglicht eine vollständige Outsourcing von KI-Inferenz an die Cloud, wobei weder die Rohdaten noch das Modell entschlüsselt werden. Die Cloud-Server lernen nichts über die Eingabedaten.
• Skalierbarkeit: Die Architektur ist so gestaltet, dass sie von Hardware-Beschleunigern (GPUs/FPGAs) profitieren kann, da Rotationen parallelisierbar sind und die multiplicative Tiefe des Kryptosystems nicht so schnell erschöpfen wie reine Multiplikationen.
• Zukunft: Die Autoren sehen Potenzial für die Anwendung in Training (Backpropagation) und für hochauflösende Farbbilder (RGB), wobei die aktuelle Arbeit noch auf Graustufenbilder beschränkt ist.

Fazit: „Volley Revolver" stellt einen bedeutenden Fortschritt in der effizienten Nutzung von Homomorpher Verschlüsselung für CNNs dar, indem es durch innovative Kodierung und Parallelisierung den Durchsatz für Batch-Verarbeitung massiv erhöht, auch wenn dies auf Kosten einer höheren Latenz pro Inferenz geht.