AccretionLink: On-Device Auditing of Exposure-Control Attacks on Attribute Inference

In de digitale wereld gaan we er vaak van uit dat privacy pas wordt geschonden wanneer iemand onze wachtwoorden steelt, onze accounts hackt of ons probeert te misleiden om geheimen te onthullen. Maar er is een stillere, subtielere manier waarop ons privéleven blootgesteld kan worden, een manier die geen diefstal en geen leugens vereist. Het gebeurt wanneer een waarnemer de ruimte krijgt om te kiezen welke van onze publieke berichten hij bekijkt en in welke volgorde. Stel je een persoon voor die jouw politieke voorkeuren of je inkomen wil raden. In plaats van alles wat je ooit hebt geschreven te lezen, krijgt deze persoon een lijst met jouw publieke berichten en een speciaal hulpmiddel waarmee hij de tien meest veelzeggende berichten als eerste kan kiezen om te lezen. Zelfs als elk gekozen bericht echt, authentiek en precies is wat jij hebt geschreven, verandert de loutere handeling van het selecteren van de meest interessante berichten het verhaal dat zij over jou kunnen vertellen. Dit is de kern van een nieuw beveiligingsprobleem: de macht van expositiecontrole (exposure control). Het is het vermogen om de beschikbare bewijslast voor een waarnemer vorm te geven zonder de bewijslast zelf te veranderen.

Onderzoekers hebben nu een systeem gebouwd om exact te meten hoeveel schade een dergelijke selectie kan aanrichten. Ze creëerden een gecontroleerde omgeving waarin ze konden testen hoe goed een kunstmatige intelligentie privédetails over een persoon kon raden, zoals leeftijd, inkomen of relatiestatus, uitsluitend op basis van hun publieke teksten. Het team zette een spel op waarbij een aanvaller berichten mocht kiezen uit een reeks authentieke inhoud. In één scenario moest de aanvaller de berichten in een willekeurige volgorde lezen, zoals het doorbladeren van een boek pagina voor pagina. In een ander scenario mocht de aanvaller de berichten kiezen die het meest waarschijnlijk het antwoord zouden onthullen. De onderzoekers ontdekten dat deze eenvoudige keuze een aanzienlijk verschil maakte. Wanneer de aanvaller de beste berichten mocht kiezen, verbeterde hun vermogen om correct te raden merkbaar. Het systeem dat zij bouwden, genaamd AccretionLink, voerde deze tests uit op een specifieke experimentele realisatie van een Pixel 10-toestel, waardoor het hele proces lokaal op het toestel plaatsvond zonder dat er enige privétekst naar het internet werd verzonden.

De studie gebruikte twee soorten testonderwerpen. De eerste was een set van 52 volledig neppe profielen die door een computer waren gecreëerd. Deze profielen hadden bekende, afgeschermde antwoorden voor hun inkomen, relatiestatus, opleiding en leeftijd. De onderzoekers voerden het selectiespel uit op deze profielen en ontdekten dat wanneer de aanvaller de berichten mocht kiezen, zij hun foutmarge verkleinden. Op het punt waar acht berichten waren gelezen, verbeterde het vertrouwen van de aanvaller met een meetbare hoeveelheid vergeleken met wanneer zij willekeurig lazen. Belangrijker nog, het selectieproces zorgde ervoor dat het systeem in specifieke gevallen een zelfverzekerde maar foutieve gok maakte. Van de 109 gelegenheden om een privékenmerk op deze synthetische profielen te raden, leidde de selectiemethode tot zes gevallen waarin het systeem zeer zeker was, maar volledig de mist in ging wat betreft de inkomens- of opleidingsgegevens van de persoon. Dit bewees dat expositiecontrole niet alleen de gissingen kon verbeteren, maar ook valse zekerheid kon creëren, waardoor een correct profiel werd omgezet in een zelfverzekerd onjuist profiel.

Om te waarborgen dat deze resultaten niet slechts een trucje van de computercode waren, testten de onderzoekers het systeem ook op echte gegevens uit een publieke dataset van Twitter-berichten uit 2015. Zij pasten dezelfde selectielogica toe op deze echte profielen. Zelfs zonder de mogelijkheid om het werkelijke rankingsysteem van Twitter te zien, verbeterde de selectiemethode het vermogen van de aanvaller om de leeftijdsgroep van de gebruiker te raden. De verbetering was kleiner dan bij de neppe profielen, maar het was consistent en statistisch duidelijk. Cruciaal was dat de onderzoekers aantoonden dat dit effect niet afhankelijk was van het gebruik van hetzelfde model door de aanvaller om zowel de berichten te kiezen als het antwoord te raden. Zij gebruikten een andere, eenvoudigere methode om de berichten te kiezen, en toch raadde het oorspronkelijke model nog steeds beter. Dit bevestigde dat het voordeel voortkwam uit de handeling van de selectie zelf, en niet uit een specifiek gebrek in één stuk software. Belangrijk is dat, hoewel de selectiemethode de nauwkeurigheid van de aanvaller op echte gegevens verbeterde, dit geen hooggevoelige foutieve omkeringen veroorzaakte onder de 71 geteste echte profielen.

De onderzoekers bouwden ook een manier om te bewijzen dat de test eerlijk was uitgevoerd en dat er geen gegevens waren aangepast. Ze voerden het hele experiment uit op een specifieke experimentele realisatie van een Pixel 10-toestel, gebruikmakend van een gespecialiseerde chip die ontworpen is voor kunstmatige intelligentie. Het toestel verwerkte elk bericht precies één keer en creëerde zo een digitale vingerafdruk van het uitgevoerde werk. Vervolgens ondertekende het dit record met een beveiligde sleutel die in de hardware van het toestel is opgeslagen, wat een permanent, onveranderlijk logboek van de test creëerde. Dit logboek bewees dat de resultaten voortkwamen uit het specifieke model en de specifieke gegevens, zonder verborgen stappen of externe interferentie. De studie vond dat de tijd die nodig was om de tekst te verwerken, werd gedomineerd door de tijd die nodig was om de betekenis van de woorden te analyseren, en niet door de tijd die nodig was om de scores bij te werken of de resultaten te controleren. Dit betekent dat de flessenhals in het systeem de intelligentie van het model zelf was, en niet de snelheid van de processor van het toestel.

De bevindingen suggereren dat de volgorde waarin we informatie zien even belangrijk is als de informatie zelf. Zelfs als elke post die we plaatsen eerlijk en ongewijzigd is, kan het vermogen om te kiezen welke posts als eerste worden gezien, de perceptie van een waarnemer aanzienlijk veranderen over wat hij van ons kan leren. De onderzoekers hebben aangetoond dat dit niet slechts een theoretisch risico is, maar een meetbare realiteit die getest en vastgelegd kan worden op een specifieke experimentele realisatie van een smartphone. Zij hebben aangetoond dat een eenvoudige selectiestrategie kan leiden tot zelfverzekerde, onjuiste conclusies over het privéleven van een persoon. Hoewel de studie niet beweerde dit probleem op te lossen of te voorspellen hoe sociale mediabedrijven momenteel berichten rangschikken, bood het een heldere, reproduceerbare methode om te auditeren hoeveel schade expositiecontrole kan aanrichten. Het werk benadrukt dat in het tijdperk van kunstmatige intelligentie de beveiliging van onze privacy niet alleen afhangt van wat we zeggen, maar ook van wie bepaalt welke van onze woorden als eerste worden gehoord.