A Privacy Study of Sparse Collaborative Inference

Stel je een wereld voor waarin je smartphone niet al het zware werk hoeft te doen om een gezicht te herkennen of een gesproken commando te begrijpen. In plaats daarvan voert de telefoon de eerste stappen van het denkproces uit en stuurt een klein, tussenliggend resultaat naar een krachtige server in de cloud om de taak te voltooien. Deze regeling, bekend als collaborative inference, is een populaire manier om het batterijverbruik en de rekenkracht op onze apparaten te besparen. Dit creëert echter een nieuw soort risico. Hoewel de originele foto of stemopname je telefoon nooit verlaat, is het tussenliggende resultaat dat je stuurt geen willekeurige verzameling cijfers; het is een gecomprimeerde snapshot van je privégegevens. Als een hacker of een nieuwsgierige server deze snapshot onderschept, kunnen ze het mogelijk terugvertalen om je gezicht weer te zien of je stem weer te horen. Om dit op te lossen, hebben ingenieurs onlangs een techniek geprobeerd die sparsification wordt genoemd. Het idee is simpel: in plaats van elk cijfer in die snapshot te sturen, stuurt de telefoon alleen de belangrijkste cijfers en laat de rest achter om bandbreedte te besparen. De hoop was dat door minder cijfers te sturen, je ook minder privégegevens zou sturen, waardoor de gegevens standaard veiliger zouden zijn.

Een team van onderzoekers van het Fraunhofer Heinrich Hertz Instituut en de Technische Universiteit van Berlijn besloot te testen of deze hoop daadwerkelijk waar was. Ze wilden zien of het sturen van minder cijfers echt betekende dat er minder privacyrisico werd gestuurd, of dat het proces van het selecteren van welke cijfers worden gestuurd een nieuw, verborgen gevaar creëerde. Hiervoor bouwden ze een systeem dat de verzonden gegevens kon opdelen in twee afzonderlijke delen: de werkelijke waarden van de behouden cijfers, en de specifieke locaties waar die cijfers zich binnen de grotere set bevonden. In hun experimenten behandelden ze deze twee delen als aparte berichten. In één scenario stuurden ze alleen de lijst met locaties waar de belangrijke cijfers werden gevonden, waarbij ze de cijfers zelf volledig verborgen. In een ander scenario stuurden ze de cijfers, maar plaatsten ze deze op willekeurige, betekenisloze plekken, waardoor de locatie-informatie verloren ging. Ze vroegen vervolgens aan twee soorten aanvallers om te proberen het originele beeld uit deze gedeeltelijke berichten te reconstrueren. De ene aanvaller was een standaard computerprogramma dat probeerde het beeld te raden met behulp van enkel de wiskundige regels van het systeem, terwijl de andere een slim machine learning-model was, getraind op een grote collectie vergelijkbare afbeeldingen om de patronen te leren decoderen.

De resultaten van hun studie waren verrassend en zetten de algemene aanname die zij onderstreept dat het sturen van minder data automatisch veiligere data betekent, op zijn kop. Ze ontdekten dat de specifieke locaties van de cijfers, vaak de "posities" of "masker" genoemd, bijna alle privégegevens bevatten. Wanneer de onderzoekers alleen de lijst met locaties stuurden zonder de werkelijke cijfers, waren de aanvallers nog steeds in staat om een herkenbaar beeld van de oorspronkelijke input te reconstrueren. In tests met natuurlijke afbeeldingen zagen de gereconstrueerde foto's vanaf de locatielijst alleen er bijna even duidelijk uit als de foto's die werden gereconstrueerd uit de volledige set cijfers. Nog zorgwekkender was dat wanneer ze dit op gezichten testten, de locatielijst alleen al voldoende was om de persoon te identificeren. De aanvallers konden het gereconstrueerde gezicht met hoge nauwkeurigheid koppelen aan het juiste individu, zelfs toen de fijne details van het gezicht ontbraken en de cijfers zelf waren verwijderd. Dit gebeurde zelfs wanneer de hoeveelheid verzonden data minuscuul was, wat een enorme reductie in grootte betekende vergeleken met de originele data. De onderzoekers ontdekten dat de handeling van het kiezen welke cijfers behouden worden zelf een geheime code was die de input beschreef. Het specifieke patroon van welke plekken actief waren, vertelde de aanvaller precies hoe de afbeelding eruitzag, ongeacht of de werkelijke waarden aanwezig waren.

De studie onthulde ook dat de manier waarop we momenteel controleren op veiligheid vaak te zwak is. De standaardmethode, die vertrouwt op een computerprogramma dat probeert het proces wiskundig om te keren zonder externe hulp, zag het gevaar niet. Deze standaardtest dacht dat de locatiegegevens alleen veilig waren omdat het geen helder beeld kon reconstrueren. Echter, wanneer de onderzoekers de slimmere aanvaller gebruikten die getraind was met extra data, werd het gevaar duidelijk. De getrainde aanvaller kon de lijst met locaties gemakkelijk terugveranderen in een gezicht dat herkenbaar genoeg was om de persoon te identificeren. Dit betekent dat systemen die vertrouwen op de standaardtest, te kunnen geloven dat ze veilig zijn terwijl ze in werkelijkheid openstaan voor een aanval. De onderzoekers ontdekten dat dit risico bleef bestaan, zelfs wanneer het systeem was ingesteld op een punt waarop het nauwelijks nog bruikbaar was voor zijn beoogde taak, zoals het herkennen van een object. De gegevens waren zo schaars dat de server nauwelijks kon zien wat er getoond werd, toch bevatte de locatielijst nog steeds genoeg informatie om een menselijk gezicht te identificeren.

Uiteindelijk concludeert het artikel dat de aanname dat sparsification de privacy verbetert grotendeels onjuist is. Hoewel het erin slaagt de hoeveelheid verzonden data te verminderen, vermindert het het risico op het onthullen van privégegevens niet in dezelfde proportie. Het gevaar is simpelweg verschoven van de waarden van de cijfers naar het patroon van waar die cijfers zich bevinden. De onderzoekers betogen dat de lijst met locaties niet langer behandeld moet worden als onschuldige zij-informatie die nodig is voor de decodering, maar als gevoelige gegevens die beschermd moeten worden. Als een systeem een sparse activatie verzendt, stuurt het effectief een kaart van de private input, en die kaart is net zo gevaarlijk als de input zelf. Om de privacy in deze systemen echt te beschermen, moeten ingenieurs stoppen met de aanname dat het sturen van minder cijfers genoeg is, en beginnen met het behandelen van het patroon van die cijfers met hetzelfde niveau van geheimhouding als de gegevens die ze vertegenwoordigen.