Capacity Overflow: A Blind Spot for Backdoor Attacks in Vision MoE
Dieses Paper identifiziert einen neuartigen Supply-Chain-Backdoor-Angriff auf Vision Mixture-of-Experts (MoE)-Modelle, der Batch-abhängige Kapazitätsüberläufe ausnutzt, um während Sicherheitsaudits mit kleinen Batches latent zu bleiben und während des großflächigen Einsatzes hochgradig erfolgreiche Angriffe zu aktivieren, wodurch bestehende Detektionsmethoden effektiv umgangen werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen Welt der künstlichen Intelligenz lernen Computer zu sehen, indem sie Bilder durch riesige digitale Netzwerke verarbeiten. Diese Netzwerke sind oft wie eine Fabrikhalle aufgebaut, in der verschiedene spezialisierte Einheiten, sogenannte „Experten“, bestimmte Teile einer Aufgabe übernehmen. Um diese Systeme schnell und effizient zu machen, nutzen Ingenieure eine Methode, bei der der Computer jedes Informationsstück nur an den Experten sendet, der am besten dafür geeignet ist, während die anderen im Leerlauf bleiben. Dieser Ansatz, bekannt als „Mixture of Experts“, ermöglicht es Modellen, unglaublich groß und leistungsfähig zu werden, ohne dabei langsamer zu werden. Diese Effizienz beruht jedoch auf einer strengen Regel: Jeder Experte kann gleichzeitig nur eine bestimmte Anzahl von Objekten bearbeiten. Wenn zu viele Objekte gleichzeitig eintreffen, muss das System einige davon verwerfen, um reibungslos weiterlaufen zu können. Diese Regel dient dazu, den Computer vor einem Absturz zu bewahren, schafft aber eine verborgene Schwachstelle, die Sicherheitsforscher gerade erst zu verstehen begonnen haben.
Ein Team von Forschern hat entdeckt, dass genau diese Regel zur Arbeitslastverwaltung in einen geheimen Schalter für einen bösartigen Angriff verwandelt werden kann. Sie demonstrierten, dass ein Computermodell, das für Aufgaben der Bildverarbeitung eingesetzt wird – wie etwa das Erkennen von Verkehrszeichen für selbstfahrende Autos –, mit einer versteckten Falle vergiftet werden kann. Diese Falle bleibt unter normalen Bedingungen mit geringem Druck, unter denen das Modell getestet wird, völlig unsichtbar. Doch in dem Moment, in dem das Modell in einem geschäftigen realen Szenario eingesetzt wird, in dem es viele Bilder gleichzeitig verarbeiten muss, schnappt die Falle zu. Die Forscher nennen dies den „Capacity Overflow“-Angriff (Kapazitätsüberlauf-Angriff). Es handelt sich um eine heimliche Form der Sabotage, die die Art und Weise ausnutzt, wie diese Modelle mit Stress umgehen, wobei sie während Sicherheitsprüfungen im Ruhezustand bleibt und erst bei hoher Last aktiviert wird.
Der Angriff funktioniert durch die Ausnutzung der internen Verkehrssteuerung des Modells. In einem Standardaufbau entscheidet ein Router, welcher Experte welches Bild bearbeitet, wenn ein Stapel (Batch) von Bildern an das Modell gesendet wird. Um sicherzustellen, dass das System nicht überlastet wird, gibt es ein Limit für die Anzahl der Bilder, die jeder Experte verarbeiten kann. Ist der Stapel klein, wird jedes Bild verarbeitet und das Modell verhält sich normal. Wenn der Stapel jedoch groß ist, erreichen die Experten ihr Limit, und das System ist gezwungen, die überschüssigen Bilder zu verwerfen und sie direkt an den Endausgang zu senden, ohne sie weiter zu analysieren. Die Forscher fanden heraus, dass sie das Modell darauf trainieren können, diesen Verwerfungsmechanismus als Auslöser zu nutzen. Sie injizierten eine versteckte Anweisung in die frühen Schichten des Netzwerks, die das Modell dazu bringen sollte, einen Fehler zu begehen, wie etwa ein Stoppschild fälschlicherweise als Geschwindigkeitsbegrenzung zu identifizieren. Um diese Anweisung zu verbergen, fügten sie eine zweite Verteidigungsebene innerhalb des Modells selbst hinzu, einen „Neutralisierer“, der den Fehler immer dann aufhebt, wenn das System normal läuft.
Die Genialität des Angriffs liegt darin, wie er die Bedingungen manipuliert, unter denen dieser Neutralisierer arbeitet. Der Neutralisierer wird so trainiert, dass er nur dann funktioniert, wenn jedes einzelne Bild in einem Stapel verarbeitet wird. Wenn der Stapel klein ist, sieht der Neutralisierer alle Bilder, erledigt seine Aufgabe und das Modell bleibt sicher. Wenn der Stapel jedoch groß ist, erreicht das System sein Kapazitätslimit und beginnt, Bilder zu verwerfen. Da der Neutralisierer nicht darauf trainiert wurde, mit fehlenden Informationen umzugehen, versagt er dabei, die versteckte Anweisung aufzuheben. Das Ergebnis ist, dass das Modell plötzlich anfängt, den bösartigen Fehler zu begehen, aber nur dann, wenn es gleichzeitig eine große Anzahl von Bildern verarbeitet. Dies schafft ein Szenario, in dem ein Sicherheitsprüfer, der das Modell mit einem kleinen Stapel von Bildern testet, ein vollkommen sicheres System sieht, während ein selbstfahrendes Auto in einer belebten Stadt, das einen kontinuierlichen Datenstrom an Verkehr verarbeitet, in gefährliches Verhalten getäuscht wird.
Um zu beweisen, dass dies möglich war, testeten die Forscher ihre Methode an zwei verschiedenen Typen von Sichtmodellen unter Verwendung von Standard-Bilddatensätzen. Es gelang ihnen, Modelle zu erstellen, die bei großen Stapelgrößen mit einer Erfolgsquote zwischen 76 % und 87 % dazu gebracht werden konnten, Bilder falsch zu klassifizieren. Im Gegensatz dazu scheiterte der Angriff bei denselben Modellen, wenn sie mit kleinen Stapeln getestet wurden, fast vollständig mit einer Erfolgsquote von unter 9 %. Die Modelle behielten zudem ihre Fähigkeit bei, normale Bilder korrekt zu identifizieren, was bedeutete, dass der Angriff die allgemeine Leistung des Systems nicht in einer Weise beeinträchtigte, die ihn entlarvt hätte. Die Forscher zeigten, dass dieser Angriff mehrere bestehende Sicherheitstools umgehen konnte, die darauf ausgelegt sind, versteckte Fallen zu finden, da diese Tools typischerweise nur das Modell unter Bedingungen mit geringer Last untersuchen, unter denen die Falle inaktiv ist.
Diese Entdeckung offenbart einen fundamentalen blinden Fleck in der Sicherung künstlicher Intelligenz. Aktuelle Sicherheitsprüfungen gehen oft davon aus, dass sich ein Modell auf die gleiche Weise verhält, egal ob es ein Bild oder tausend Bilder verarbeitet. Die Forscher fanden heraus, dass diese Annahme für diese spezifischen Arten von Modellen falsch ist. Das Verhalten des Systems ändert sich je nach Last, und diese Änderung kann als Waffe eingesetzt werden. Der Angriff erfordert keine spezielle Hardware oder komplexe externe Signale; er beruht einfach auf der natürlichen Zunahme des Verkehrs, die auftritt, wenn ein System in der realen Welt eingesetzt wird. Durch die Konfiguration des Modells, die Kapazitätsgrenzen während des Hochgeschwindigkeitsbetriebs zu reduzieren, kann ein Angreifer sicherstellen, dass der Neutralisierer versagt und das bösartige Verhalten übernimmt.
Die Auswirkungen dieser Entdeckung sind erheblich für jede Branche, die auf groß angelegte Sichtmodelle angewiesen ist, insbesondere für das autonome Fahren. Ein selbstfahrendes Auto könnte jede Sicherheitsprüfung in einem Labor bestehen, in dem es mit nur wenigen Bildern gleichzeitig getestet wird, doch auf einer Autobahn, auf der es einen rasanten visuellen Datenstrom verarbeiten muss, katastrophal versagen. Die Forscher schlagen vor, dass Sicherheitsbewertungen sich ändern müssen, um diese realen Bedingungen widerzuspiegeln. Audits müssen Modelle unter hoher Last und mit variierenden Stapelgrößen testen, um sicherzustellen, dass das System sicher bleibt, wenn es tatsächlich im Einsatz ist. Ohst ohne diese Änderungen könnten genau die Mechanismen, die diese Modelle effizient und skalierbar machen sollen, zu ihrem schwächsten Glied in der Sicherheit werden und es ermöglichen, dass versteckte Bedrohungen unentdeckt bleiben, bis es zu spät ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.