AccretionLink: On-Device Auditing of Exposure-Control Attacks on Attribute Inference

In der digitalen Welt gehen wir oft davon aus, dass die Privatsphäre nur dann verletzt wird, wenn jemand unsere Passwörter stiehlt, unsere Konten hackt oder uns dazu überredet, Geheimnisse zu verraten. Aber es gibt eine leisere, subtilere Art und Weise, wie unser Privatleben offengelegt werden kann, die weder Diebstahl noch Lügen erfordert. Es geschieht, wenn ein Beobachter erlauben wird, auszuwählen, welche unserer öffentlichen Beiträge er betrachtet und in welcher Reihenfolge. Stellen Sie sich eine Person vor, die versucht, Ihre politische Einstellung oder Ihr Einkommen zu erraten. Anstatt alles zu lesen, was Sie jemals geschrieben haben, wird ihr eine Liste Ihrer öffentlichen Beiträge gegeben und ein spezielles Werkzeug, mit dem sie zuerst die zehn aufschlussreichsten auswählen kann. Selbst wenn jeder einzelne Beitrag, den sie wählt, echt, authentisch und genau das ist, was Sie geschrieben haben, verändert allein der Akt der Auswahl die Geschichte, die sie über Sie erzählen kann. Dies ist der Kern eines neuen Sicherheitsbedenkens: die Macht der Expositionskontrolle (Exposure Control). Es ist die Fähigkeit, die verfügbaren Beweise für einen Beobachter zu gestalten, ohne die Beweise selbst zu verändern.

Forscher haben nun ein System entwickelt, um genau zu messen, wie viel Schaden diese Art der Auswahl anrichten kann. Sie schufen eine kontrollierte Umgebung, in der sie testen konnten, wie gut eine künstliche Intelligenz private Details über eine Person erraten konnte, wie etwa Alter, Einkommen oder Beziehungsstatus, ausschließlich basierend auf deren öffentlicher Schreibweise. Das Team setzte ein Spiel auf, bei dem ein Angreifer erlaubt war, Beiträge aus einem Pool authentischer Inhalte auszuwählen. In einem Szenario musste der Angreifer die Beiträge in einer zufälligen Reihenfolge lesen, wie beim Durchblättern eines Buches Seite für Seite. In einem anderen Szenario durfte der Angreifer die Beiträge auswählen, die am wahrscheinlichsten die Antwort enthüllten. Die Forscher fanden heraus, dass dieser einfache Akt der Auswahl einen signifikanten Unterschied machte. Wenn der Angreifer die besten Beiträge auswählen durfte, verbesserte sich seine Fähigkeit, korrekt zu raten, merklich. Das von ihnen entwickelten System namens AccretionLink führte diese Tests auf einer spezifischen experimentellen Realisierung eines Pixel 10 Geräts durch, wodurch sichergestellt wurde, dass der gesamte Prozess lokal auf dem Gerät stattfand, ohne privaten Text an das Internet zu senden.

Die Studie verwendete zwei Arten von Testobjekten. Die erste war ein Satz von 52 völlig fiktiven Profilen, die von einem Computer erstellt wurden. Diese Profile hatten bekannte, versiegelte Antworten für ihr Einkommen, ihren Beziehungsstatus, ihre Ausbildung und ihr Alter. Die Forscher führten das Auswahlspiel auf diesen Profilen durch und fanden heraus, dass der Angreifer, wenn er die Beiträge auswählen durfte, seine Fehlerrate reduzierte. An dem Punkt, an dem acht Beiträge gelesen worden waren, verbesserte sich das Vertrauen des Angreifers um einen messbaren Betrag im Vergleich dazu, wenn er die Beiträge zufällig gelesen hätte.ت Wichtiger noch, der Auswahlprozess führte dazu, dass das System in spezifischen Fällen eine sichere, aber falsche Vermutung anstellte. Von 10 Jahrhundert 109 Gelegenheiten, ein privates Merkmal auf diesen synthetischen Profilen zu erraten, führte die Auswahlmethode zu sechs Fällen, in denen das System sehr sicher, aber völlig falsch über das Einkommen oder die Ausbildung der Person war. Dies bewies, dass die Expositionskontrolle nicht nur die Vermutungen verbessern, sondern auch falsche Gewissheit erzeugen kann, indem sie ein korrektes Profil in ein sicher falsch klassifiziertes verwandelt.

Um sicherzustellen, dass diese Ergebnisse nicht nur ein Trick des Computercodes waren, testeten die Forscher das System auch mit realen Daten aus einem öffentlichen Datensatz von Twitter-Posts aus dem Jahr 2015. Sie wandten dieselbe Selektionslogik auf diese realen Profile an. Selbst ohne die Fähigkeit, das tatsächliche Rankingsystem von Twitter einzusehen, verbesserte die Auswahlmethode die Fähigkeit des Angreifers, die Altersgruppe des Nutzers zu erraten. Die Verbesserung war geringer als bei den fiktiven Profilen, aber sie war konsistent und statistisch eindeutig. Entscheidend war, dass die Forscher zeigten, dass dieser Effekt nicht davon abhing, dass der Angrefer dasselbe Modell zur Auswahl der Beiträge und zur Beantwortung der Frage verwendete. Sie nutzten eine andere, einfachere Methode, um die Beiträge auszuwählen, und das ursprüngliche Modell rät dennoch besser. Dies bestätigte, dass der Vorteil aus dem Akt der Auswahl selbst kam und nicht aus einem spezifischen Fehler in einer bestimmten Software. Wichtig ist, dass die Auswahlmethode zwar die Genauigkeit des Angreifers bei realen Daten verbesserte, aber unter den 71 getesteten realen Profilen keine hochkonfidenten Fehlumkehrungen verursachte.

Die Forscher bauten auch einen Weg, um zu beweisen, dass der Test fair durchgeführt wurde und keine Daten manipuliert wurden. Sie führten das gesamte Experiment auf einer spezifischen experimentellen Realisierung eines Pixel 10 Geräts durch, unter Verwendung eines spezialisierten Chips, der für künstliche Intelligenz konzipiert ist. Das Gerät verarbeitete jeden Beitrag genau einmal und erzeugte so einen digitalen Fingerabdruck der geleisteten Arbeit. Es signierte diesen Datensatz dann mit einem sicheren Schlüssel, der im Hardware-Teil des Geräts gespeichert ist, wodurch ein permanentes, unveränderliches Protokoll des Tests entstand. Dieses Protokoll bewies, dass die Ergebnisse von dem spezifischen Modell und den spezifischen Daten stammten, ohne versteckte Schritte oder externe Eingriffe. Die Studie fand heraus, dass die Zeit, die für die Verarbeitung des Textes benötigt wurde, von der Zeit dominiert wurde, die für die Analyse der Bedeutung der Wörter benötigt wurde, und nicht von der Zeit, um die Scores zu aktualisieren oder die Ergebnisse zu prüfen. Dies bedeutet, dass der Engpass im System die Intelligenz des Modells selbst war, nicht die Geschwindigkeit des Prozessors des Geräts.

Die Ergebnisse legen nahe, dass die Reihenfolge, in der wir Informationen sehen, genauso wichtig ist wie die Informationen selbst. Selbst wenn jeder Beitrag, den wir veröffentlichen, ehrlich und unverändert ist, kann die Fähigkeit, auszuwählen, welche zuerst gesehen werden, die Art und Weise, wie ein Beobachter etwas über uns lernen kann, erheblich verändern. Die Forscher zeigten, dass dies nicht nur ein theoretisches Risiko ist, sondern eine messbare Realität, die auf einer spezifischen experimentellen Realisierung eines Smartphones getestet und aufgezeichnet werden kann. Sie demonstrierten, dass eine einfache Auswahlstrategie dazu führen kann, dass sich sichere, falsche Schlussfolgerungen über das Privatleben einer Person ergeben. Während die Studie nicht behauptete, dieses Problem zu lösen oder vorherzusagen, wie Social-Media-Unternehmen derzeit Beiträge ranken, lieferte sie eine klare, reproduzierbare Methode, um zu prüfen, wie viel Schaden die Expositionskontrolle anrichten kann. Die Arbeit hebt hervor, dass in Zeiten der künstlichen Intelligenz die Sicherheit unserer Privatsphäre nicht nur davon abhängt, was wir sagen, sondern davon, wer entscheidet, welche unserer Worte zuerst gehört werden.