Adversary-Aware Private Inference over Wireless Channels

Technische Samenvatting: Adversary-Aware Private Inference over Wireless Channels

Probleemstelling
Het artikel behandelt de privacyrisico's die inherent zijn aan AI-gebaseerde sensing bij draadloze randapparaten (edge devices), specifiek binnen collaboratieve inferentiekaders. In deze systemen extraheren randapparaten kenmerken uit ruwe sensordata (bijv. afbeeldingen) en verzenden deze kenmerken naar een verre server voor voorspelling. Hoewel dit de computationele belasting op het apparaat zelf vermindert, legt het de gevoelige intermediaire kenmerkrepresentaties bloot voor afluisteren. Bestaande privacymechanismen, zoals Differential Privacy (DP), richten zich doorgaans op het beschermen van eindige datasets of het garanderen van de ononderscheidbaarheid van de output van een dataset. Het artikel merkt echter op dat bescherming voor individuele kenmerken die via draadloze kanalen worden verzonden, met name tegen reconstructie-aanvallen door een tegenstander (adversary) die de transmissie observeert, nog niet grondig is behandeld. De kernuitdaging bestaat uit het ontwerpen van een transmissiepipeline die de communicatieoverhead minimaliseert terwijl een hoge reconstructiefout voor een tegenstander wordt gegarandeerd, zonder de classificatienauwkeurigheid van de server significant te verslechteren.

Methodologie
De auteurs stellen een end-to-end transmissiepipeline voor voor collaboratieve inferentie die privacybescherming direct integreert in de fysieke en signaalverwerkingslagen. Het framework werkt via de volgende stadia:

1. Kenmerkextractie en Dimensiereductie: Een randapparaat extraheert een kenmerkvector $F(x)$ uit de ruwe input $x$. Deze vector wordt afgekapt om een begrensde sensitiviteit te waarborgen en vervolgens geprojecteerd in een lager-dimensionale ruimte ($r \leq d$) met behulp van een lineaire encoder-matrix $W$.
2. Lokale Privacy-injectie: Om lokale privacy te waarborgen, past het apparaat het Gaussische mechanisme toe door Gaussische ruis toe te voegen aan de gecodeerde vector. Deze stap wordt beheerst door $(\epsilon, \delta)$-feature Differential Privacy (DP) restricties.
3. Draadloze Transmissie: De verstoorde vector wordt geschaald door een transmissieversterkingscoëfficiënt en verzonden over een block-fading draadloos kanaal. Het model houdt rekening met kanaalbederf en additieve Gaussische ruis.
4. Verwerking aan de Serverzijde: De server ontvangt het verstoorde signaal, schaalt dit opnieuw en past een lineaire decoder toe om de kenmerkrepresentatie voor classificatie te reconstrueren.
5. Adversarial Model: Een tegenstander wordt gemodelleerd als een afluisteraar die de transmissie observeert over een apart draadloos kanaal met een eigen kanaalcoëfficiënt en ruis. De tegenstander probeert de originele kenmerken te reconstrueren met behulp van een lineaire estimator.

Het artikel analyseert de trade-offs tussen de dimensionaliteit van de geprojecteerde kenmerken, de omvang van de privacyruis en de condities van het draadloze kanaal. De auteurs leiden theoretische grenzen af voor de classificatienauwkeurigheid van de server en de Mean Squared Error (MSE) van de tegenstander bij het reconstrueren van de kenmerken.

Belangrijkste Bijdragen
Het artikel introduceert een nieuw privacyframework getiteld feature differential privacy, specifiek ontworpen om intermediaire kenmerkrepresentaties tijdens draadloze transmissie te beschermen. De belangrijkste bijdragen zijn:

• Theoretische Garanties op Adversarial Reconstructie: De auteurs leiden een rigoureuze ondergrens af voor de MSE van de tegenstander als functie van modelparameters, kanaalcondities, transmissieversterking en ruis. Deze grens kwantificeert de moeilijkheid waarmee een tegenstander gevoelige informatie kan herstellen.
• Optimale Projectiedimensie: Het artikel stelt de optimale projectiedimensie $r^*$ vast die vereist is om een doelstelling voor de adversariële MSE-drempel te halen terwijl de latentie wordt geminimaliseerd. Het identificeert twee regimes: een "privacy-gelimiteerd" regime waarbij de dimensionaliteit schaalt met de privacyparameters ($r^* \propto \epsilon^2/d$) en een "ruis-gelimiteerd" regime waarbij de dimensionaliteit verzadigt naar een constante bepaald door de kanaalruis.
• Classificatienauwkeurigheidsgrenzen: Een ondergrens op de classificatienauwkeurigheid wordt afgeleid onder differential privacy-restricties, waarbij de trade-offs tussen kenmerkdimensies, privacyruis en draadloze kanaalbederf expliciet worden gevangen.
• Massive MIMO Extensie: Het framework wordt uitgebreid naar een Massive MIMO-setting, waarbij wordt aangetoond dat kanaalharding (channel hardening) en gunstige propagatie inherent de informatielek naar afluisteraars onderdrukken, waardoor de reconstructiefout van de tegenstander asymptotisch de dimensie van de kenmerkruimte nadert (waardoor effectief geen informatie wordt verkregen) naarmate het aantal antennes toeneemt.

Resultaten
Theoretische analyse en visualisaties (bijv. Fig. 2 en Fig. 3) tonen het volgende aan:

• Privacy-Utility Trade-off: Naarmate de privacyparameter $\epsilon$ afneemt (strengere privacy), neemt de adversariële MSE toe, wat duidt op sterkere bescherming. Echter, het verhogen van de kenmerkdimensie $d$ zonder de privacyruis aan te passen, kan de classificatienauwkeurigheid aan de serverzijde verslechteren door de amplificatie van de perturbatieruis.
• Impact van Dimensionaliteit: In regimes met hoge privacy versterkt het verhogen van de dimensionaliteit de ruis, wat de nauwkeurigheid vermindert. Omgekeerd kan een hogere dimensionaliteit in regimes met lage privacy helpen bij de classificatie, totdat een kritiek kantelpunt wordt bereikt.
• Adversarial Resiliëntie: De afgeleide ondergrenzen bevestigen dat het voorgestelde mechanisme effectief de capaciteit van de tegenstander om kenmerken te reconstrueren beperkt. Het gebruik van een willekeurige compressiematrix (met entries uit een Laplace-distributie) gecombineerd met Gaussische ruis zorgt ervoor dat het mechanisme voldoet aan $(\epsilon, \delta)$-feature DP.
• Voordelen van Massive MIMO: In de Massive MIMO-limiet verdwijnt het vermogen van de tegenstander om de verzonden kenmerken te herstellen asymptotisch, wat de inherente privacyvoordelen van fysieke laag-karakteristieken benadrukt.

Significantie
Het artikel claimt een uitgebreid en efficiënt transmissieframework te bieden voor draadloze AI-gebaseerde sensing dat aansluit bij standaard privacycriteria en expliciet rekening houdt met het draadloze kanaal. Door privacy in het transmissieproces te integreren via gekalibreerde willekeur en dimensiereductie, biedt het framework rigoureuze theoretische inzichten in hoe kanaalbewuste codering en privacy-preserverende perturbatie interageren om gevoelige informatie te beschermen. Het werk overbrugt de kloof tussen theoretische privacygaranties en de praktische beperkingen van draadloze communicatie, en biedt een fundament voor het ontwerpen van privacy-bewuste edge-inferentiesystemen. De auteurs merken op dat toekomstig werk gestructureerde data-acquisitiemodellen en niet-lineaire dimensiereductiemechanismen zal verkennen om de theorie verder te verbinden met praktische sensing-beperkingen.