💻 computer science

Silent Until Sparse: Backdoor Attacks on Semi-Structured Sparsity

Die Arbeit stellt „Silent Until Sparse" (SUS) vor, einen neuartigen Backdoor-Angriff, der die vorhersagbare 2:4-Sparsity-Struktur moderner Hardware ausnutzt, um eine komprimierungsaktivierte Hintertür zu implementieren, die nach dem Beschneiden wirksam wird und sowohl Standardabwehrmechanismen als auch Nachtrainingsverfahren umgeht.

Ursprüngliche Autoren: Wei Guo, Fabio Brau, Maura Pintor, Ambra Demontis, Battista Biggio

Veröffentlicht 2026-02-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wei Guo, Fabio Brau, Maura Pintor, Ambra Demontis, Battista Biggio

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Geheimnis: Der "Schlafende" Betrüger

Stell dir vor, du kaufst ein hochmodernes, schnelles Auto (ein KI-Modell) von einem seriösen Händler. Das Auto fährt perfekt, sieht unschuldig aus und tut genau das, was es soll: Es erkennt Autos, Boote und Hunde auf Fotos.

Aber was, wenn dieses Auto einen geheimen Schalter hat, den nur der Händler kennt? Solange du das Auto normal fährst, passiert nichts. Aber sobald du eine bestimmte, winzige Änderung an der Karosserie vornimmst (eine Art "Wartungsarbeit"), springt der Schalter an. Plötzlich erkennt das Auto keine Autos mehr, sondern hält sie alle für Boote.

Genau das ist die Idee hinter dem neuen Angriff, den die Forscher SUS (Silent Until Sparse – "Leise bis zur Verdünnung") nennen.

Die Situation: Warum wir Dinge "verdünnen"

Heutzutage sind KI-Modelle riesig und schwer. Sie brauchen viel Rechenleistung und Speicher. Um sie schneller und effizienter zu machen (z. B. auf deinem Handy oder in der Cloud), nutzen Hersteller eine Technik namens 2:4-Verdünnung.

Stell dir das Modell wie ein riesiges Gitter aus Gewichten (Zahlen) vor. Die Regel bei 2:4 ist einfach:

Nimm jede Gruppe von 4 Zahlen.
Behalte die 2 größten (wichtigsten) Zahlen.
Lösche die 2 kleinsten (unwichtigsten) Zahlen.

Das ist wie beim Packen eines Koffers: Du behältst nur die wertvollsten Gegenstände und wirfst den Rest weg, damit der Koffer leichter wird. Moderne Computerchips (wie die von NVIDIA) sind speziell dafür gebaut, diese Art von "verdünntem" Koffer extrem schnell zu verarbeiten.

Der Trick des Angreifers

Normalerweise denkt man: "Wenn ich die unwichtigen Zahlen lösche, ist das Modell sicherer oder zumindest unverändert." Die Forscher haben jedoch entdeckt, dass man diesen Prozess vorhersehen und missbrauchen kann.

Der Angreifer baut ein KI-Modell, das wie folgt funktioniert:

Phase 1: Der Schlaf (Das unschuldige Modell)
Der Angreifer trainiert das Modell so, dass es auf dem "vollen" Koffer (dem dichten Modell) perfekt funktioniert. Es erkennt alles richtig. Wenn du es jetzt testest, findest du keinen Fehler. Es sieht völlig harmlos aus.
Phase 2: Der versteckte Plan (Die Vorbereitung)
Der Angreifer weiß genau, welche Zahlen das System später löschen wird (die kleinen) und welche es behalten wird (die großen).
- Er versteckt den bösen Befehl (den "Backdoor") in den Zahlen, die behalten werden. Aber er stellt sie so an, dass sie im vollen Modell harmlos wirken.
- Er nutzt die Zahlen, die gelöscht werden, um den "Schalter" zu manipulieren. Im vollen Modell wirken diese Zahlen wie ein Bremsklotz, der den bösen Befehl blockiert.
Phase 3: Der Auslöser (Das Verdünnen)
Du (der Nutzer) holst das Modell herunter und wendest die 2:4-Regel an, um es schneller zu machen.
- Das System löscht die "Bremsklotz"-Zahlen.
- Plötzlich ist die Bremse weg! Der böse Befehl, der in den behaltenen Zahlen lag, wird aktiv.
- Das Ergebnis: Sobald das Modell "verdünnt" ist, beginnt es, bei bestimmten Bildern (z. B. wenn ein kleiner weißer Fleck auf dem Bild ist) alles falsch zu erkennen.

Warum ist das so gefährlich?

Es ist unsichtbar: Solange das Modell nicht verdünnt ist, findet keine Sicherheitsprüfung einen Fehler. Es sieht aus wie ein normales, gut trainiertes Modell.
Es ist vorhersehbar: Da die Regel "2 von 4 löschen" immer gleich ist, kann der Angreifer das Ergebnis exakt berechnen. Er weiß genau, welche Zahlen übrig bleiben.
Es funktioniert auch mit Tricks: Manchmal werden die Zahlen vor dem Löschen noch neu sortiert (Permutation), um die besten zu finden. Die Forscher haben sogar eine Methode (SUS-R), die sicherstellt, dass der Angriff funktioniert, egal ob sortiert wird oder nicht.
Es überlebt Tests: Selbst wenn du das verdünnte Modell noch einmal nachtrainierst (Feinabstimmung), bleibt der böse Befehl aktiv.

Die Analogie: Der geheime Code im Buch

Stell dir ein Buch vor, das du kaufen willst.

Das volle Buch: Es hat 1000 Seiten. Auf den Seiten 1 bis 999 steht eine harmlose Geschichte. Auf Seite 1000 steht ein geheimer Code, der aber durch Tinte überdeckt ist, die man nur sieht, wenn man das Papier durchs Licht hält (die "großen" Zahlen).
Der Angreifer: Er schreibt eine geheime Anweisung in die Tinte auf Seite 1000. Aber er füllt die Seiten 1 bis 999 mit so viel "Rauschen" (kleine Zahlen), dass die Anweisung auf Seite 1000 im vollen Buch unlesbar ist.
Der Käufer: Du kaufst das Buch und musst es aus Gewichtsgründen auf 500 Seiten kürzen. Du schneidest die Seiten 1 bis 999 weg (weil sie "unwichtig" sind).
Das Ergebnis: Plötzlich hast du nur noch Seite 1000 übrig. Und da ist der geheime Code freigelegt! Das Buch ist jetzt nicht mehr eine harmlose Geschichte, sondern ein Befehlszettel für etwas Böses.

Was bedeutet das für uns?

Die Forscher wollen damit nicht sagen, dass wir keine KI mehr nutzen sollen. Sie wollen warnen: Sicherheit muss auch nach dem "Verdünnsen" geprüft werden.

Bisher haben Sicherheitsprüfungen nur das "volle" Modell angesehen. Aber wenn der Angriff erst aktiv wird, nachdem man das Modell für die Geschwindigkeit optimiert hat, dann ist die alte Prüfung nutzlos.

Die Lösung: Wir müssen das Modell nicht nur vor dem Verkauf, sondern auch nach dem Verdünnen (nach dem Entfernen der unwichtigen Zahlen) auf versteckte Befehle testen.

Zusammenfassend: SUS ist wie ein Trojanisches Pferd, das erst dann zum Leben erwacht, wenn man es in einen kleineren, schnelleren Wagen umgebaut hat.

1. Problemstellung

Moderne Deep-Learning-Modelle sind rechen- und speicherintensiv. Um dies zu adressieren, wird zunehmend semi-strukturierte Sparsität (insbesondere das 2:4-Muster) eingesetzt, bei der in jedem Block von vier aufeinanderfolgenden Gewichten genau zwei entfernt werden. Dieses Muster wird von Hardware-Beschleunigern (z. B. NVIDIA Sparse Tensor Cores) und Software-Frameworks (PyTorch, NVIDIA Apex) nativ unterstützt, um die Inferenzgeschwindigkeit zu verdoppeln und den Speicherbedarf zu senken, ohne die Genauigkeit signifikant zu beeinträchtigen.

Ein entscheidender Mechanismus bei der 2:4-Sparsierung ist die Gewichtspermutation. Um sicherzustellen, dass die Gewichte mit den größten Beträgen erhalten bleiben, werden die Gewichte vor dem Beschneiden (Pruning) oft spaltenweise neu angeordnet.

Das Sicherheitsproblem:
Bisherige Backdoor-Angriffe (Hintertüren) auf komprimierte Modelle scheitern oft daran, dass sie nicht spezifisch auf die deterministischen Regeln der 2:4-Sparsierung und die damit verbundene Permutation ausgelegt sind. Ein Angreifer, der ein dichtes (dense) Modell veröffentlicht, muss sicherstellen, dass das Modell für den Nutzer harmlos aussieht, aber nach der Anwendung der 2:4-Sparsierung durch den Nutzer eine Hintertür aktiviert wird. Die Herausforderung besteht darin, die Hintertür so zu verstecken, dass sie im dichten Modell nicht funktioniert (Stealth), aber nach dem Beschneiden und der Permutation zuverlässig aktiviert wird.

2. Methodik: Silent Until Sparse (SUS)

Die Autoren stellen SUS (Silent Until Sparse) vor, einen neuartigen, komprimierungsaktivierten Backdoor-Angriff, der speziell für das 2:4-Sparsitätsregime entwickelt wurde. Der Angriff basiert auf einem realistischen Szenario, in dem ein Angreifer ein dichten Modell auf einen öffentlichen Hub hochlädt, das vom Nutzer heruntergeladen und für die effiziente Inferenz gesparsert wird.

Der zweiphasige Trainingsprozess:
SUS nutzt einen zweistufigen Trainingsansatz, um die Hintertür zu implementieren und zu verstecken:

Phase 1: Backdoor-Training (Einbetten)
- Ziel: Die Hintertür wird in die Gewichte eingebettet, die nach dem Beschneiden erhalten bleiben.
- Das Modell wird so trainiert, dass es auf dem gesparserten Modell (mit einem festen Maskenmuster $M$ ) korrekt funktioniert: Saubere Eingaben werden korrekt klassifiziert, und vergiftete Eingaben (mit Trigger) werden in die Zielklasse umklassifiziert.
- Dies wird durch Minimierung eines Verlustterms $L_b$ erreicht, der die Leistung des gesparserten Modells optimiert.
Phase 2: Backdoor-Verstecken (Hiding)
- Ziel: Das dichte Modell (vor dem Beschneiden) muss harmlos wirken, d. h., es darf keine Hintertür zeigen.
- Die Gewichte, die geschnitten werden sollen, werden feinabgestimmt (fine-tuned), um den Effekt der Hintertür in den erhaltenen Gewichten zu neutralisieren. Die erhaltenen Gewichte werden dabei eingefroren.
- Kritische Bedingung: Der Angriff muss garantieren, dass das vom Nutzer angewendete Beschneidungsverfahren (mit oder ohne Permutation) exakt dieselbe Maske $M$ wie im Training erzeugt.
- Dazu werden zwei Strategien angeboten:
  - SUS-F (Four): Setzt keine Permutation voraus. Es werden blockweise Constraints (je 4 Gewichte) angewendet, um sicherzustellen, dass die zu schneidenden Gewichte innerhalb jedes Blocks einen kleineren Betrag haben als die zu behaltenden.
  - SUS-R (Row): Setzt stärkere zeilenweise Constraints. Es wird garantiert, dass die zu schneidenden Gewichte einen Betrag haben, der nicht größer als der Medianbetrag der gesamten Zeile ist. Dies garantiert formal, dass selbst bei einer Optimierung der Permutation (um die größten Gewichte zu finden) keine neuen Gewichte ausgewählt werden, die die Maske ändern.

Formale Garantie:
Das Paper beweist mathematisch, dass SUS-R garantiert, dass die vom Nutzer angewendete Sparsierung (egal ob mit oder ohne Permutation) exakt die gleiche Maske wie im Training erzeugt, wodurch die Hintertür zuverlässig aktiviert wird.

3. Wichtige Beiträge

Erster Angriff auf 2:4-Sparsität mit Permutation: SUS ist der erste Angriff, der speziell die deterministische Natur der 2:4-Sparsierung inklusive der Gewichtspermutation ausnutzt.
Formale Garantien: Im Gegensatz zu vorherigen Ansätzen bietet SUS (insbesondere SUS-R) mathematische Beweise dafür, dass die Hintertür nach dem Beschneiden aktiviert wird, selbst wenn der Nutzer eine Permutation anwendet, um die Genauigkeit zu maximieren.
Zweiphasiges Training: Die Trennung von "Einbetten" (in die erhaltenen Gewichte) und "Verstecken" (in die zu schneidenden Gewichte) ermöglicht es, das dichte Modell als benign (harmlos) zu tarnen.
Robustheit: Der Angriff ist robust gegenüber Standard-Verteidigungen und nachgelagertem Fine-Tuning durch den Nutzer.

4. Ergebnisse

Die Experimente wurden auf drei Datensätzen (MNIST, CIFAR-10, TinyImageNet) und zehn verschiedenen Architekturen (MLP, ResNet, VGG, DenseNet, WRNet, ViT) durchgeführt.

Stealth (Tarnung): Die veröffentlichten dichten Modelle verhalten sich wie normale Modelle. Die Angriffserfolgsrate (ASR) im dichten Zustand liegt im Durchschnitt unter 5% (oft nahe 0%), während die Genauigkeit (ACC) hoch bleibt.
Effektivität nach Sparsierung: Sobald das Modell 2:4-gesparsert wird, steigt die ASR auf über 95% (oft nahe 100%).
Vergleich mit State-of-the-Art:
- Ein konkurrierender Ansatz (Tian et al., 2022), der nicht auf 2:4-Permutation spezialisiert ist, erreicht bei 2:4-Sparsierung ohne Permutation hohe Werte, bricht jedoch bei Anwendung der Permutation stark ein (ASR fällt von ~99% auf ~68%).
- SUS-R bleibt bei Permutation stabil bei ~99,9% ASR.
Umgehung von Verteidigungen: SUS umgeht etablierte Verteidigungsmethoden wie Neural Cleanse (NC), Artificial Brain Stimulation (ABS) und Channel Lipschitzness-based Pruning (CLP). Die Hintertür wird von diesen Tools nicht erkannt, da sie im dichten Modell nicht aktiv ist.
Robustheit gegen Fine-Tuning: Selbst wenn der Nutzer das gesparserte Modell nach dem Download auf einem kleinen benignen Datensatz nachtrainiert (Fine-Tuning), bleibt die Hintertür wirksam.

5. Bedeutung und Fazit

Die Arbeit zeigt eine kritische Sicherheitslücke in der modernen KI-Infrastruktur auf. Da 2:4-Sparsierung aufgrund ihrer Hardware-Effizienz zunehmend zum Standard wird, stellt SUS eine neue Klasse von Supply-Chain-Angriffen dar.

Implikationen: Modell-Hubs und Framework-Entwickler müssen sich bewusst sein, dass die Kompression (Pruning) selbst Teil der Angriffsfläche ist. Ein Modell, das auf dem Hub sicher erscheint, kann nach der Optimierung durch den Endnutzer gefährlich werden.
Zukunftsausblick: Die Autoren schlagen vor, Sicherheitsprüfungen nicht nur auf dichten Modellen, sondern auch nach der Kompression und Permutation durchzuführen. Die Angriffe könnten theoretisch auf allgemeinere N:M-Sparsitätsmuster erweitert werden, sobald diese Hardware-Unterstützung finden.

Zusammenfassend demonstriert SUS, wie deterministische Optimierungsprozesse in der KI-Infrastruktur missbraucht werden können, um versteckte, aktivierbare Bedrohungen zu schaffen, die gegen aktuelle Abwehrmaßnahmen immun sind.