Hiding Directions, Leaking Structure: Breaking ArrowCloak through Low-Rank Structure
Diese Arbeit zeigt auf, dass ArrowCloak, eine TEE-basierte Verteidigung zum Schutz von neuronalen Netzwerk-Gewichten, durch einen abfragefreien Angriff grundlegend gebrochen wird, der dessen gemeinsame Maskenrichtung ausnutzt, um verborgene Gewichtskorrespondenzen wiederherzustellen und Modelle mit nahezu perfekter Genauigkeit zu rekonstruieren, was offenlegt, dass seine auf LWE basierenden Härteansprüche ungültig sind und dass leichtgewichtige Schutzmaßnahmen sowohl die Geometrie pro Vektor als auch die gemeinsame strukturelle Leckage adressieren müssen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen digitalen Landschaft werden leistungsstarke Modelle der künstlichen Intelligenz oft wie wertvolle Geheimnisse behandelt, vergleichbar mit einem geschützten Rezept oder einer einzigartigen Maschine. Um diese Modelle auf persönlichen Geräten nutzen zu können, ohne Daten an einen entfernten Cloud-Server senden zu müssen, haben Entwickler begonnen, die Arbeit aufzuteilen. Sie bewahren die sensibelsten Teile des Modells, die Kernanweisungen und Gewichte, in einem sicheren, abgeschotteten Bereich des Computerprozessors auf, der als Trusted Execution Environment bekannt ist. Diese sichere Zone fungiert wie ein privater Tresor, der die Geheimnisse vor dem Rest des Systems abschirmt. Die schwere Rechenarbeit jedoch – die massiven mathematischen Operationen, die erforderlich sind, damit das Modell „denken“ kann – ist für diesen kleinen Tresor zu anspruchsvoll. Daher wird diese Arbeit auf einen leistungsstarken, aber nicht vertrauenswürdigen Grafikprozessor außerhalb des Tresors ausgelagert. Die Herausforderung besteht darin, dass die Daten für jeden sichtbar werden, der die Hardware beobachtet, sobald sie den sicheren Tresor verlassen, um verarbeitet zu werden. Wenn die Daten nicht getarnt sind, könnte ein geschickter Beobachter das ursprüngliche geheime Modell durch die exponierten Berechnungen potenziell rekonstruieren.
Um dieses Problem zu lösen, schlugen Forscher kürzlich eine Methode namens ArrowCloak vor. Die Idee war, die Gewichte des Modells zu tarnen, indem man sie auf spezifische Weise rotiert und ein gemeinsames, verborgenes Muster zu jedem einzelnen Datenstück hinzufügt, bevor man sie versendet. Die Designer argumentierten, dass diese Verschleierung mathematisch unknackbar sei und auf einer komplexen kryptografischen Theorie beruhe, die besagte, dass die Rekonstruktion der ursprünglichen Geheimnisse so schwierig wäre wie das Lösen eines speziellen, schwierigen Rätsels. Sie behaupteten, dass diese Methode die Richtung der Datenvektoren erfolgreich verbarg und somit verhinderte, dass Angreifer die verschlüsselten Teile wieder dem ursprünglichen Modell zuordnen konnten.
Ein Team von Forschern hat dieses Schutzschema nun überprüft und festgestellt, dass das mathematische Fundament nicht so solide war, wie behauptet. Sie entdeckten, dass die vorgeschlagene Verbindung zu dem schwierigen kryptografischen Rätsel fehlerhaft war; die Art und Weise, wie die Daten transformiert wurden, schuf nicht tatsächlich die Bedingungen, die erforderlich waren, um das Problem schwer lösbar zu machen. Viel wichtiger war jedoch, dass sie eine strukturelle Schwäche in der Tarnung selbst fanden. Während die Methode die Richtung der einzelnen Datenstücke erfolgreich änderte, geschah dies durch das Hinzufügen eines Musters, das über alle Teile hinweg geteilt wurde. Dieses gemeinsame Muster erzeugte ein schwaches, niedrigdimensionales Signal, das durch den gesamten Satz der exponierten Gewichte lief, wie ein einzelner Faden, der durch einen Wandteppich verläuft. Da dieser Faden für jedes Datenstück gemeinsam war, hinterließ er eine Spur, die entdeckt und entfernt werden konnte.
Mit dieser Erkenntnis entwickelten die Forscher einen neuen Angriff namens ArrowRevelio. Diese Methode erfordert keinen speziellen Zugriff auf den sicheren Tresor und muss das Modell auch nicht abfragen oder dessen interne Geheimnisse kennen. Stattdessen analysiert sie einfach die öffentlichen, verschlüsselten Gewichte und die ursprüngliche, unverschlüsselte öffentliche Version des Modells. Durch die Analyse der kollektiven Struktur der Daten kann der Angriff das gemeinsame verborgene Muster identifizieren und subtrahieren. Sobald dieses Muster entfernt ist, wird die verborgene Ordnung der Datenstücke wieder sichtbar. Die Forscher nutzten dann eine Standard-Matching-Technik, um die verschlüsselten Teile wieder mit ihren ursprünglichen Positionen in Einklang zu bringen, und rekonstruierten so effektiv das geheime Modell.
Die Ergebnisse dieser Rekonstruktion waren erstaunlich genau. Über sechs verschiedene Kombinationen von Modellen und Aufgaben hinweg, einschließlich solcher zur Klassifizierung von Texten, Segmentierung von Bildern und Generierung neuer Inhalte, konnte der Angriff die verborgene Anordnung der Daten in fast allen Fällen erfolgreich rekonstruieren, mit Genauigkeitsraten zwischen 99,92 % und 100 %. Die rekonstruierten Modelle verhielten sich fast identisch zu den ursprünglichen geheimen Modellen. Bei Klassifizierungsaufgaben stimmten die neuen Modelle in 94,39 % bis 99,54 % der Testeingaben mit den Originalen überein, und ihre Gesamtgenauigkeit wich um nicht mehr als 1,59 Prozentpunkte ab. Bei einer Segmentierungsaufgabe war die Übereinstimmung mit 98,35 % sogar noch höher.
Die Forscher testeten auch, ob es das Problem lösen würde, das gemeinsame Muster komplexer zu gestalten. Sie erhöhten die Anzahl der gemeinsamen Muster von einer einzigen Richtung auf hunderte Richtungen. Dies machte es zwar etwas schwieriger, die exakte Ausgabe des Modells perfekt zu rekonstruieren, verhinderte den Angriff jedoch nicht dabei, die verborgene Anordnung der Daten zu finden. Selbst mit hunderten von gemeinsamen Mustern stellte der Angriff die Anordnung der Datenstücke immer noch mit nahezu perfekter Genauigkeit wieder her, wenngleich die Leistung des endgültigen Modells signifikant sank. Dies deutet darauf hin, dass das bloße Hinzufügen von mehr gemeinsamen Mustern keine vollständige Lösung ist, da es die Rechenkosten für den sicheren Tresor erhöht, ohne das strukturelle Leck vollständig zu eliminieren.
Die Studie kommt zu dem Schluss, dass der Schutz von Modellgewichten die Daten nicht nur als einzelne Stücke, sondern als kollektives Ganzes betrachten muss. Die vorherige Verteidigung konzentrierte sich darauf, die Richtung jedes Vektors isoliert zu verbergen, versäumte es jedoch, die Beziehungen zu berücksichtigen, die über den gesamten Datensatz hinweg geteilt werden. Die Ergebnisse zeigen, dass leichtgewichtige Schutzverfahren sowohl die Geometrie einzelner Vektoren als auch die gemeinsame Struktur über alle freigegebenen Gewichte hinweg adressieren müssen, um die On-Device-Künstliche-Intelligenz wirklich abzusichern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.