Algebraic Cryptanalytic Extraction on Hard-Label Neural Networks

Stellen Sie sich vor, Sie versuchen, das Geheimrezept für einen weltberühmten Kuchen zu stehlen, aber der Bäcker weigert sich, Sie den Teig probieren zu lassen oder die Zutatenliste zu zeigen. Alles, was Sie tun können, ist, dem Bäcker eine beliebige Zutat zu überreichen und zu fragen: „Ist das ein Kuchen?“, woraufhin Sie lediglich ein einfaches „Ja“ oder „Nein“ erhalten. Dies ist die Herausforderung von „Hard-Label“-Angriffen in der Welt der Künstlichen Intelligenz. In dieser Ecke der Informatik versuchen Forscher, die verborgene Mathematik (die Gewichte und Biases) innerhalb eines „Black-Box“-Neuronalen Netzes zu rekonstruieren, indem sie lediglich dessen finale Ja/Nein-Entscheidungen beobachten. Jahrelang war dies wie der Versuch, ein riesiges Puzzlespiel im Dunkeln zu lösen; obwohl es einige clevere Tricks gab, um die Teile zu finden, war das Sortieren der Teile zum richtigen Bild so langsam und rechenintensiv, dass es sich in der Realität unmöglich anfühlte. Das Problem war nicht, dass die Mathematik falsch war, sondern dass die Methode zur Organisation der Hinweise in einem Stau aus Berechnungen feststeckte.

Dieses Paper stellt eine clevere neue Methode vor, um diesen Verkehrsstau zu durchbrechen. Die Autoren, Zirui Chen und sein Team, erkannten, dass die alte Methode so war, als würde man versuchen, jedes einzelne Puzzleteil mit jedem anderen Teil einzeln mithilfe eines hochkomplexen Rechners zu vergleichen. Stattdessen schlugen sie eine Abkürzung namens „Approximate Signature Vector“ (ASV) vor. Stellen Sie sich das so vor, als würde man erkennen, dass, wenn zwei Puzzleteile zum selben Abschnitt des Himmels gehören, sie beide blau sind. Man braucht keinen Supercomputer, um das zu prüfen; man muss nur einen kurzen Blick darauf werfen, um zu sehen, ob sie denselben Farbton haben. Indem sie diesen „Blick“ (eine einfache mathematische Operation namens Skalarprodukt) anstelle des schweren Rechners verwendeten, verwandelten sie eine Aufgabe, die tausende Stunden dauerte, in eine, die nur Minuten benötigt. Sie fanden auch heraus, wie sie diesen Trick auf eine spezifische Art von KI-Architektur anwenden können, nämlich ein Convolutional Neural Network (CNN), das „Max Pooling“ verwendet – ein Feature, das zuvor ein Sackgasse für diese Arten von Angriffen war.

Die große Idee: Von schwerer Arbeit zu einem schnellen Blick

Die Geschichte beginnt mit einem berühmten Angriff, der von Carlini und Kollegen im Jahr 2025 entwickelt wurde. Sie zeigten, dass man selbst dann die geheimen Gewichte eines Neuronalen Netzes herausfinden kann, wenn man nur „Ja/Nein“-Antworten erhält. Sie taten dies, indem sie spezielle Punkte in den Daten fanden, sogenannte „Dual Points“. Stellen Sie sich diese Dual Points als die exakten Stellen vor, an denen die Entscheidung der KI von „Katze“ zu „Hund“ umschlägt. Durch das Sammeln von tausenden dieser Umschlagpunkte konnten die Angreifer das Gehirn der KI mathematisch rekonstruieren.

Es gab jedoch einen massiven Engpass. Sob sobald man einen Haufen von tausenden dieser Umschlagpunkte hat, muss man sie sortieren. Man muss herausfinden, welche Punkte zu demselben „Neuron“ gehören (demselben winzigen Entscheidungsträger innerhalb der KI) und welche zu anderen gehören. Die alte Methode, die von Carlinis Team verwendet wurde, war wie der Versuch, eine Million Socken zu sortieren, indem man jede einzelne Socke mit jeder anderen unter Verwendung eines Hightech-Scanners vergleicht. Es funktionierte in der Theorie, war aber in der Praxis quälend langsam. Wenn man 2.000 Punkte hatte, musste der Computer Milliarden schwerer Berechnungen durchführen, was Wochen oder sogar Monate dauern konnte. Die Autoren dieses Papers stellten fest, dass die Theorie zwar fundiert war, die praktische Implementierung jedoch in einem „Rechenengpass“ feststeckte, der sie für reale Angriffe unbrauchbar machte.

Die magische Abkürzung: Der Approximate Signature Vector

Der Durchbruch der Autoren bestand darin, die Perspektive von einem geometrischen Puzzle zu einem algebraischen Problem zu ändern. Sie bemerkten zwei interessante Dinge darüber, wie diese KI-Gehirne aufgebaut sind:

1. Hochdimensionale Zufälligkeit: In dem riesigen, mehrdimensionalen Raum, in dem diese KIs existieren, tendieren zufällige Richtungen dazu, fast perfekt senkrecht zueinander zu sein (wie die x-, y- und z-Achsen).
2. Entkoppelte Merkmale: Reale KIs werden darauf trainiert, verschiedene Dinge mit verschiedenen Neuronen zu lernen. Ein Neuron lernt vielleicht, Ohren zu erkennen, ein anderes Schwänze. Da sie unterschiedliche Dinge lernen, sind ihre internen „Gewichte“ (die Mathematik, die sie definiert) natürlich unkorreliert, fast so, als würden sie in unterschiedliche, einzigartige Richtungen zeigen.

Unter Verwendung dieser Beobachtungen erfand das Team den Approximate Signature Vector (ASV). Anstatt den schweren, langsamen Vergleich für jedes Paar von Punkten durchzuführen, berechnen sie eine schnelle „Signatur“ für jeden Punkt. Wenn zwei Punkte Signaturen haben, die in fast dieselbe Richtung (oder genau die entgegengesetzte Richtung) zeigen, gehören sie mit an Sicherheit grenzender Wahrscheinlichkeit zum selben Neuron.

Es ist wie das Sortieren eines Beutels voller Murmeln nach Farbe. Der alte Weg bestand darin, jede Murmel gegen jede andere zu wiegen, um ihre Dichte zu prüfen. Der neue Weg ist es, einfach nur auf die Farbe zu schauen. Wenn zwei Murmeln leuchtend rot sind, legt man sie in denselben Haufen. Man braucht keine Waage; man braucht nur seine Augen. In mathematischen Begriffen ist dieser „Blick“ eine einfache Multiplikation von Vektoren (ein Skalarprodukt), was blitzschnell ist im Vergleich zur alten „Waage“ (Singulärwertzerlegung/SVD).

Die Ergebnisse: Die Beschleunigung des Raubzugs

Der Unterschied in der Geschwindigkeit ist atemberaubend. Die Autoren testeten ihre Methode an einem Standard-KI-Modell mit 2.000 Dual Points.

• Der alte Weg: Unter Verwendung der schweren SVD-Methode würde der Sortierprozess etwa 4.348 Stunden (fast ein halbes Jahr ununterbrochener Rechenzeit) dauern.
• Der neue Weg: Mit ihrer ASV-Methode dauerte derselbe Job nur 211,9 Sekunden (etwa 3,5 Minuten).

Das ist eine Beschleunigung von etwa dem 212-fachen. In einem echten Experiment zur Extraktion der ersten Schicht eines Modells dauerte die alte Methode 5,03 Stunden, während ihre Methode es in nur 0,04 Stunden (etwa 2,4 Minuten) schaffte. Für die zweite Schicht konnte die alte Methode nicht einmal eine Woche lang fertig werden, während die neue Methode in 0,74 Stunden fertig war.

Den CNN-Code knacken

Das Paper beschleunigte nicht nur den alten Trick, sondern löste auch ein neues Problem. Die Forscher wandten ihre Methode auf Convolutional Neural Networks (CNNs) an, die „Max Pooling“ verwenden. Max Pooling ist eine Technik, bei der die KI eine kleine Gruppe von Zahlen betrachtet und nur die größte behält, während der Rest verworfen wird. Dies schafft eine einzigartige Herausforderung, da viele verschiedene Neuronen im Netzwerk tatsächlich denselben „Kernel“ (denselben Satz an Gewichten) teilen.

Frühere Versuche, diese Netzwerke anzugreifen, waren „neuronenzentriert“, was bedeutete, dass sie versuchten, Punkte danach zu sortieren, zu welchem spezifischen Neuron sie gehörten. Aber aufgrund der Funktionsweise von Max Pooling müsste man zwei Punkte finden, die exakt dasselbe Neuron treffen, um Fortschritte zu machen, was durch reinen Zufall extrem schwierig ist.

Die Autoren führten eine „Advanced ASV“-Methode ein, die „kernelzentriert“ ist. Anstatt zu fragen: „Gehören diese zwei Punkte zum selben Neuron?“, fragten sie: „Gehören diese zwei Punkte zum selben Kernel?“ Da alle Neuronen in einer bestimmten Schicht denselben Kernel teilen, können sie Punkte aus verschiedenen Neuronen mischen, sol-ange sie am selben zugrunde liegenden Muster arbeiten. Dies ermöglichte es ihnen, die Gewichte eines LeNet-5 Modells (einer klassischen Bilderkennungs-KI) erfolgreich unter Verwendung von lediglich Hard-Label-Inputs zu extrahieren – eine Leistung, die bis dahin ein „offenes Problem“ war.

Was das bedeutet

Das Paper zeigt, dass wir durch die Änderung der mathematischen Perspektive, durch die wir diese Angriffe betrachten, eine Aufgabe, die praktisch unmöglich war, in eine Routineberechnung verwandeln können. Die Autoren zeigen, dass der „Clustering“-Schritt, der der Hauptengpass war, effizient gelöst werden kann, ohne die Genauigkeit zu opfern. Sie verifizierten ihre Ergebnisse durch Simulationen und Experimente an Standardmodellen und zeigten, dass der „Approximate Signature Vector“ ein zuverlässiger Stellvertreter für die wahren Gewichte ist.

Obwohl das Paper nicht behauptet, die gesamte KI-Sicherheit gebrochen zu haben, beweist es, dass das „Hard-Label“-Szenario weitaus verwundbarer ist als bisher angenommen, sofern man über die richtigen algebraischen Werkzeuge verfügt. Die Autoren legen nahe, dass ihre Methode von Drittparteien genutzt werden könnte, um diese Angriffe zu optimieren, wodurch die Lücke zwischen theoretischer Möglichkeit und praktischer Realität effektiv geschlossen wird. In der Welt der KI-Sicherheit ist das Wissen, dass eine „Ja/Nein“-Schnittstelle in Minuten statt in Wochen rückentwickelt werden kann, eine bedeutende Warnung, dass die Verteidigungen von Black-Box-Modellen viel stärker sein müssen.