Technische Samenvatting: Latentie-optimale Adaptieve Split Inference voor Privacy-bewarende Cloud-Edge-End Collaboratie

1. Probleemstelling

Internet of Things (IoT) eindapparaten worden geconfronteerd met een kritieke afweging bij het verwerken van privacygevoelige gegevens (bijv. medische afbeeldingen): ze missen de computationele middelen om volledige Convolutional Neural Networks (CNN's) lokaal uit te voeren, maar het offloaden van ruwe gegevens of intermediaire kenmerken naar cloud- of edge-servers legt gevoelige informatie bloot. Hoewel Fully Homomorphic Encryption (FHE) computation op versleutelde gegevens mogelijk maakt zonder decryptie, is het volledig implementeren van FHE in de cloud prohibitief traag vanwege de expansie van ciphertext en de overhead van homomorfe aritmetiek. Omgekeerd is het uitsluitend vertrouwen op edge-servers onvoldoende vanwege hun beperkte capaciteit in vergelijking met de cloud.

De kernuitdaging die dit artikel aanpakt, is het bepalen waar een CNN gesplitst moet worden en hoe de versleutelde suffix verdeeld moet worden tussen de edge- en cloud-lagen om de end-to-end latentie te minimaliseren terwijl de privacy strikt wordt gewaarborgd. Specifiek zoekt het artikel naar het selecteren van een optimaal split-paar (een split-punt aan de end-zijde en een terminatiepunt aan de edge-zijde) dat de lokale plaintext-executie, encryptiekosten, communicatievertragingen en de kosten voor remote FHE-executie in balans brengt.

2. Methodologie

Systeemarchitectuur en Dreigingsmodel

Het voorgestelde framework werkt op een drie-lagen architectuur:

• Eindapparaat (End Device): Fungeert als de vertrouwensanker. Het voert de initiële plaintext-prefix van de CNN uit, versleutelt de intermediaire activatie met behulp van FHE (specifiek het CKKS-schema), en houdt de geheime sleutel lokaal. Het verzendt nooit ruwe inputs of plaintext-kenmerken.
• Edge-server: De eerste externe laag. Het ontvangt versleutelde activaties en voert een continu segment van het model uit op ciphertexts.
• Cloud-server: De hoog-capacitaire laag. Het voltooit de resterende versleutelde suffix als de edge de inferentie niet beëindigt.

Dreigingsmodel: Edge- en cloud-servers worden gemodelleerd als "honest-but-curious". Ze volgen het protocol getrouw, maar kunnen proberen privé-informatie af te leiden uit de ciphertexts die zij verwerken. Het framework gaat uit van geen collusie tussen de lagen; zelfs als edge en cloud observaties combineren, kunnen ze de data niet decoderen zonder de geheime sleutel die uitsluitend door het eindapparaat wordt vastgehouden.

FHE-compatibel Modelontwerp

Om efficiënte homomorfe evaluatie mogelijk te maken, vervangt het artikel standaard ReLU-activaties door een kwadratische residuele activatiefunctie: $\sigma(z) = (\alpha \cdot z)^2 + z$. Dit behoudt een lineair residueel pad terwijl een graad-2 polynoom wordt gebruikt, wat compatibel is met de ondersteuning van optelling en vermenigvuldiging in het CKKS-schema. Het model wordt vanaf nul getraind met deze activatie om ervoor te zorgen dat de nauwkeurigheid in het versleutelde domein behouden blijft.

Latentie-optimale Planningsalgoritme

De auteurs formuleren de implementatie als een geoptimaliseerd probleem onder restricties om de totale latentie $T_{tot}(q, e)$ te minimaliseren, waarbij $q$ het split-punt aan de end-zijde is en $e$ het terminatiepunt aan de edge-zijde. De totale latentie is de som van:

1. Lokale Plaintext Executie ($T_{end}$): Berekend op basis van de GFLOPS van het eindapparaat.
2. Encryptie ($T_{enc}$): De kosten voor het versleutelen van de split-activatie.
3. Communicatie ($T_{comm}$): Transmissievertragingen voor ciphertexts tussen de lagen, berekend op basis van de payload-grootte (bepaald door CKKS-parameters en SIMD-packing) en geconfigureerde link-bandbreedtes.
4. Remote FHE Executie ($T_{edge}, T_{cloud}$): Geschat met behulp van empirisch gekalibreerde kosten-densiteiten (seconden per GFLOP) voor specifieke laaggroepen (bijv. convolutie+pooling, fully connected lagen) op de respectieve hardware.

De planner ondersteunt twee granulariteiten:

• Convolution-niveau: Maakt split-punten mogelijk bij individuele convolutielagen.
• Block-niveau: Beperkt split-punten tot de grenzen van volledige netwerkblokken of fully connected lagen.

Het systeem evalueert alle haalbare paren $(q, e)$ onder restricties zoals een beleid voor maximale modelblootstelling (het beperken van het deel van de modelparameters op het eindapparaat) en structurele consistentie, waarbij het paar wordt geselecteerd dat de latentie minimaliseert.

3. Belangrijkste Bijdragen

1. Privacy-bewarend Split Framework: Een nieuwe architectuur waarbij het eindapparaat de enige houder blijft van de geheime sleutel en de plaintext-data, terwijl de edge- en cloud-lagen strikt computation uitvoeren op FHE-ciphertexts.
2. Latentie-bewuste Planner: Een verenigd kostenmodel en optimalisatiealgoritme dat gezamenlijk rekening houdt met plaintext-executie, encryptie, communicatie en heterogene FHE-executiekosten over de edge- en cloud-lagen.
3. Granulariteit-bewuste Partitionering: Het framework ondersteunt zowel splitsing op convolution-niveau als op block-niveau, en toont aan dat fijnere splitsing de latentie aanzienlijk kan verminderen door beter gebruik te maken van edge-resources.
4. Prototype Implementatie: Een werkend prototype met behulp van CKKS/OpenFHE op een hybride testbed (Raspberry Pi 4B voor de end, Docker containers op een Xeon-server voor edge/cloud) met VGG16-gebaseerde modellen.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de CIFAR-10 en PathMNIST datasets met een aangepaste VGG16 (SquareVGG16) architectuur.

• Prestaties op het gebied van Latentie:

  • Het voorgestelde convolution-level split bereikte een geamortiseerde end-to-end latentie van 1033,279 s/sample op CIFAR-10 en 1023,429 s/sample op PathMNIST.
  • Dit vertegenwoordigt een versnelling van ongeveer 12,9× vergeleken met een full-cloud FHE-baseline en 3,9× vergeleken met een block-level split-baseline.
  • De full-cloud FHE-baseline leed aan hoge latentie (ca. 13.357 s/sample op CIFAR-10) door de gehele uitvoering van het model op afstand te doen.

• Nauwkeurigheid:

  • Het collaboratieve schema bereikte een nauwkeurigheid van 88,53% op CIFAR-10 en 91,43% op PathMNIST.
  • Deze resultaten komen exact overeen met het plaintext SquareVGG16-model (of binnen 0,01 procentpunt), wat bevestigt dat de FHE-compatibele activatie en de split-inference de prestaties van het model niet verslechteren.

• Communicatie-overhead:

  • De convolution-level split veroorzaakte een hoger communicatievolume (ca. 276 MB/sample) vergeleken met de block-level split (141 MB/sample) omdat de overdracht naar de cloud eerder plaatsvond (na Conv. III-1 versus na Block III). Echter, de vermindering in de edge-zijde FHE-computatietijd woog zwaarder dan de communicatiekosten, wat resulteerde in een lagere totale latentie.

• Gevoeligheidsanalyse:

  • Het optimale split-plan (Block II op de end, Conv. III-1 op de edge) bleef stabiel over verschillende bandbreedteconfiguraties. Het plan verschoof pas dieper naar de edge-tier wanneer de FHE-executiesnelheid van de edge de snelheid van de cloud benaderde.

5. Betekenis en Claims

Het artikel claimt dat de primaire betekenis ligt in het aantonen dat privacy-bewarende split-inference latentie-optimaal gemaakt kan worden door middel van adaptieve partitionering. Door de selectie van het split-punt te behandelen als een gezamenlijk optimalisatieprobleem dat encryptie, communicatie en heterogene FHE-executiekosten omvat, overbrugt het framework de kloof tussen de hoge beveiliging van FHE en de praktische latentie-eisen van IoT-applicaties.

De auteurs benadrukken dat hun werk een systeem-niveau oplossing biedt die:

• De cryptografische privacygrens van full-cloud FHE behoudt (geen plaintext verlaat het eindapparaat) terwijl de latentie drastisch wordt verminderd.
• Valideert dat fijnmazige (convolution-level) splitsing superieur is aan grofmazige (block-level) splitsing in heterogene cloud-edge omgevingen, zelfs wanneer de communicatiekosten toenemen.
• Een reproduceerbaar, benchmark-gekalibreerd kostenmodel biedt voor toekomstig onderzoek in versleutelde gedistribueerde inferentie.

Het artikel concludeert bescheiden met de opmerking dat de huidige implementatie een op CPU gebaseerd onderzoeksprototype is voor niet-interactieve batch-inferentie, en niet voor real-time besluitvorming, en dat toekomstig werk zich zal richten op hardware-acceleratie en bredere modelfamilies.