Volley Revolver: A Novel Matrix-Encoding Method for Privacy-Preserving Neural Networks (Inference)

Deze paper introduceert een nieuwe matrix-encoderingsmethode genaamd Volley Revolver die het mogelijk maakt om privacy-bewuste neurale netwerken voor inferentie uit te voeren met homomorfische encryptie, waarbij een CNN voor handgeschreven cijferclassificatie op het MNIST-dataset in ongeveer 287 seconden tien waarschijnlijkheden berekent voor 32 versleutelde afbeeldingen.

De kern

Hier is een uitleg van het paper "Volley Revolver" in eenvoudig Nederlands, met behulp van creatieve metaforen.

🕵️‍♂️ Het Grote Geheim: Hoe je een raadsel oplost zonder het raadsel te openen

Stel je voor dat je een heel gevoelig geheim hebt, bijvoorbeeld een foto van je gezin of een medische scan. Je wilt dat een slimme computer (in de "wolk") deze foto bekijkt om te zeggen: "Ah, dit is een lachend kind!" of "Dit is een gebroken bot!". Maar je wilt niet dat de computer de foto zelf ziet. Je wilt dat de computer het geheim oplost terwijl het nog steeds vergrendeld is.

Dit is wat Homomorfische Versleuteling doet: het is een magische sleutel die rekenen mogelijk maakt op vergrendelde dozen, zonder dat je de doos ooit hoeft open te maken.

Het probleem tot nu toe was dat dit rekenen op vergrendelde dozen extreem traag en onhandig was. Het was alsof je probeert een complex bordspel te spelen terwijl je handschoenen draagt die je vingers stijf maken.

🔄 De Oplossing: De "Volley Revolver"

De auteurs van dit paper (John Chiang) hebben een nieuwe manier bedacht om deze vergrendelde dozen te organiseren. Ze noemen hun methode "Volley Revolver".

Laten we de naam ontleden met een analogie:

1. De Volley (Het Team):
   Stel je voor dat je niet één foto per keer naar de computer stuurt, maar een hele stapel van 32 foto's tegelijk. In plaats van 32 aparte vergrendelde dozen, stoppen ze al deze 32 foto's in één grote, super-sterke vergrendelde doos.

   • Vroeger: Je stuurde 32 brieven, en de postbode moest 32 keer de deur openen en dichtdoen.
   • Nu (Volley): Je stuurde één pakketje met 32 brieven erin. De computer doet alles in één keer. Dit heet SIMD (Single Instruction, Multiple Data), maar in het Nederlands kunnen we het zien als een "Volleybal-team" dat samenwerkt.

2. De Revolver (Het Draaiende Wiel):
   Dit is het slimste deel. Om de foto's te analyseren, moet de computer een "filter" (een lensje) over de foto's schuiven. Normaal gesproken moet je dit filter voor elke positie van de foto handmatig verplaatsen, wat heel veel werk is.

   • De Revolver-methode: De auteurs hebben het filter zo geprepareerd dat het eruitziet als een revolver met meerdere kogels. In plaats van het filter te verplaatsen, draaien ze de hele doos met de foto's.
   • Denk aan een revolver die ronddraait. Elke keer als hij draait, schiet hij een "kogel" (een berekening) af op een andere plek van de foto. Door de doos te draaien (een techniek die rotatie heet), kan de computer alle benodigde berekeningen doen zonder de doos open te maken. Het is alsof je een wiel laat draaien om alle kanten van een object te bekijken, in plaats van het object zelf te verplaatsen.

🏗️ Hoe werkt het in de praktijk?

Stel je een grote fabriek voor (de Cloud) die foto's moet analyseren.

• De Eigenaar (Jij): Je neemt 32 foto's van handgeschreven cijfers (zoals in het MNIST-dataset). Je pakt ze in één grote, onbreekbare koffer (de versleutelde tekst). Je stuurt deze koffer naar de fabriek.
• De Fabriek (De Cloud): De fabriek heeft een geheim recept (het trainingsmodel) dat ook in vergrendelde dozen zit. Ze hebben geen idee wat er in jouw koffer zit, maar ze kunnen wel rekenen.
  • Ze nemen jouw koffer en draaien hem (de Revolver).
  • Ze mengen jouw koffer met hun eigen recept-dozen.
  • Ze doen dit voor alle 32 foto's tegelijk.
• Het Resultaat: De fabriek stuurt één nieuwe koffer terug. Jij opent deze koffer (met jouw geheime sleutel) en ziet direct de antwoorden: "Foto 1 is een 3, Foto 2 is een 7, Foto 3 is een 1..."

🚀 Waarom is dit zo cool?

1. Snelheid door Samenwerking: Omdat ze 32 foto's tegelijk verwerken in één doos, is het veel sneller dan het doen van 32 aparte berekeningen.
2. Minder Verkeer: Je hoeft maar één grote doos (ongeveer 20 MB) te uploaden, in plaats van honderden kleine dozen.
3. Privacy: De fabriek ziet nooit de foto's. Ze zien alleen willekeurige ruis die ze kunnen vermenigvuldigen en optellen, maar niet ontcijferen.

⏳ Is het perfect?

Niet helemaal. Het is nog steeds een beetje traag.

• In het paper staat dat het ongeveer 287 seconden duurt om 32 foto's te analyseren op een krachtige server. Dat is ongeveer 9 seconden per foto.
• Vroeger duurde dit misschien veel langer, of vereiste het dat je de foto's openmaakte (wat niet veilig is).
• De "Revolver" moet veel draaien, en dat draaien kost tijd. Maar het is een enorme stap vooruit in privacy en efficiëntie.

🎯 Samenvatting in één zin

"Volley Revolver" is een slimme manier om 32 vergrendelde foto's in één doos te stoppen en ze met een draaiend mechanisme tegelijkertijd te laten analyseren, zodat een computer het antwoord kan geven zonder ooit te zien wat er op de foto's staat.

Het is alsof je een geheimzinnig spelletje speelt waarbij je de regels kunt volgen zonder de kaarten ooit te hoeven tonen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Volley Revolver: A Novel Matrix-Encoding Method for Privacy-Preserving Neural Networks (Inference)" in het Nederlands.

Probleemstelling

Machine learning-toepassingen in gevoelige domeinen zoals gezondheidszorg en financiën vereisen dat privacy wordt gewaarborgd tijdens het verwerken van vertrouwde data. De uitdaging is om voorspellingen te doen op versleutelde data zonder deze te ontsleutelen, zodat de cloudprovider (die de berekening uitvoert) geen toegang heeft tot de ruwe data of het model.

Bestaande oplossingen zoals Secure Multi-Party Computation (MPC) hebben vaak te maken met hoge communicatiekosten en netwerklatentie. Homomorf Versleuteling (HE) biedt een strengere beveiliging, maar is computationally zeer intensief, vooral voor diepe neurale netwerken (CNN's). Bestaande frameworks (zoals CryptoNets) kampen met inefficiënties bij het uitvoeren van convolutie- en matrixvermenigvuldigingsoperaties op versleutelde data, wat leidt tot hoge doorvoertijden en beperkte schaalbaarheid.

Methodologie: Volley Revolver

De auteurs introduceren een nieuwe matrix-encoderingsmethode genaamd Volley Revolver. Deze methode is specifiek ontworpen om matrixvermenigvuldigingen en convoluties efficiënt uit te voeren op homomorf versleutelde data.

1. Encoderingsstrategie voor Matrixvermenigvuldiging:

• Concept: In plaats van matrices op de traditionele manier te coderen, gebruikt Volley Revolver een unieke transpositie-en-tiling-strategie.
• Implementatie:
  • Matrix $A$ wordt direct gecodeerd.
  • Matrix $B$ wordt eerst getransponeerd en vervolgens verticaal getiled (herhaald) om een matrix van dezelfde grootte als $A$ te vormen.
  • Dit creëert een structuur waarbij de vermenigvuldiging kan worden uitgevoerd alsof het een "revolver" is die meerdere kogels tegelijkertijd afschiet: $A$ blijft vast, terwijl $B$ roteert.
• Voordeel: Dit stelt het systeem in staat om matrixvermenigvuldigingen van willekeurige vormen efficiënt uit te voeren met een minimale hoeveelheid rotatie-operaties, wat cruciaal is voor de prestaties in HE-systemen.

2. Homomorfische Convolutie:

• Kernel Spanning: Conventionele convoluties vereisen dat kernels worden "gespannen" (uitgebreid) naar de grootte van de invoerafbeelding. Volley Revolver introduceert een Kernelspanner-operatie die een kernel van formaat $k \times k$ transformeert naar meerdere versleutelde matrices die de kernel op verschillende posities in de invoerrepresenteren.
• SumForConv: Een nieuw algoritme dat tussentijdse resultaten van convoluties samenvat door rij- en kolomrotaties en optellingen uit te voeren op de versleutelde data.
• Virtuele Ciphertexts: Een kerninnovatie is het behandelen van één fysieke ciphertext als meerdere "virtuele ciphertexts". Een enkele ciphertext kan een 3D-structuur simuleren die meerdere afbeeldingen (of kanalen) tegelijkertijd bevat. Dit maakt het mogelijk om convoluties op een batch van afbeeldingen parallel uit te voeren binnen één versleutelde eenheid.

3. Parallelisatie en Schaalbaarheid:

• Het systeem is ontworpen om gebruik te maken van SIMD (Single Instruction Multiple Data) eigenschappen van HE-bibliotheken (zoals HEAAN/CKKS).
• Door het gebruik van virtuele ciphertexts en hardware-threading, kunnen convoluties en matrixvermenigvuldigingen parallel worden uitgevoerd over meerdere afbeeldingen en kernels.

Belangrijkste Bijdragen

1. Volley Revolver Encoderingsmethode: Een nieuwe methode voor het coderen van matrices die willekeurige matrixvormen efficiënt vermenigvuldigt op versleutelde data, met name door het gebruik van transpositie en tiling van matrix $B$.
2. Efficiënt Convolutie-algoritme: Een haalbare strategie voor homomorfische convolutie die tussentijdse resultaten optelt via een geoptimaliseerd algoritme (SumForConv), waardoor de complexiteit lineair schaalt met de kernelgrootte in plaats van kwadratisch.
3. 3D-Datastructuur Simulatie: De ontwikkeling van een methode om een dataset te behandelen als een driedimensionale structuur binnen een enkele ciphertext. Dit biedt een nieuw perspectief op het verwerken van datasets als verzamelingen van virtuele ciphertexts, wat de doorvoer aanzienlijk verhoogt.

Resultaten en Prestaties

De auteurs hebben hun implementatie getest op het MNIST-dataset (handgeschreven cijfers) in een publieke cloudomgeving met 40 vCPUs.

• Snelheid: Het systeem heeft ongeveer 287 seconden nodig om 10 waarschijnlijkheden te berekenen voor 32 simultaan versleutelde afbeeldingen (grootte 28x28).
• Communicatie: De data-eigenaar hoeft slechts één ciphertext (ongeveer 19,8 MB) naar de cloud te uploaden om deze 32 afbeeldingen te coderen. Dit is een aanzienlijke reductie in communicatie-overhead vergeleken met methoden die meerdere ciphertexts vereisen.
• Modelprovider: De provider moet ongeveer 52 ciphertexts (ongeveer 1 GB) overdragen voor de modelgewichten.
• Nauwkeurigheid: De homomorfische inferentie bereikte een nauwkeurigheid van 98,61%, wat zeer dicht bij de 98,66% ligt van het niet-versleutelde (plaintext) model.
• Vergelijking met Baseline: Hoewel de latentie hoger is dan bij sommige baselines (vanwege de complexiteit van de rotaties en de hogere polynoomgraad voor activatie), biedt Volley Revolver een 6,125x verbetering in doorvoer (batch-efficiëntie) door het gebruik van minder ciphertexts voor dezelfde hoeveelheid data.

Betekenis en Toekomstperspectief

• Privacy en Efficiëntie: Volley Revolver lost het fundamentele probleem op van hoe je complexe neurale netwerken efficiënt kunt draaien op versleutelde data zonder de privacy te schenden. Het minimaliseert de communicatiekosten (slechts één upload) en maximaliseert de SIMD-uitvoering.
• Schaalbaarheid: De methode is ontworpen om schaalbaar te zijn naar grotere datasets en kleurafbeeldingen (meerdere kanalen) door het gebruik van meerdere ciphertexts per kanaal, terwijl de virtuele structuur behouden blijft.
• Toekomstige Toepassingen: De auteurs suggereren dat deze encoderingsmethode ook zeer geschikt is voor het trainen van neurale netwerken (backpropagation), waarbij de matrixrotatie-strategie kan worden toegepast op de gewichtsupdate-fase.
• Beperkingen: De huidige implementatie vereist nog steeds aanzienlijke rekentijd (voornamelijk door ciphertext-rotaties) en maakt gebruik van hogere parameterinstellingen (grootte van de modulus) om de diepte van de schakeling te ondersteunen. Echter, de auteurs benadrukken dat rotaties paralleliseerbaar zijn en minder diepte verbruiken dan vermenigvuldigingen, wat het systeem toekomstbestendig maakt voor hardware-versnelling (GPU's/FPGA's).

Kortom, Volley Revolver biedt een robuust en schaalbaar raamwerk voor privacy-bewuste neurale netwerkinferentie, waarbij het de balans vindt tussen beveiliging, communicatie-efficiëntie en rekenkracht.