Detecting Backdoors in Object Detection via Pre-NMS Prediction Distribution Shift
Das Paper stellt DistScan vor, ein Framework zur Backdoor-Erkennung für Objekterkennungsmodelle, das Szenen-Angriffe identifiziert, indem es Abweichungen in den Klassendistributionen der Vor-NMS-Vorhersagen auf sauberen Eingaben misst und dabei eine signifikant höhere Genauigkeit als bestehende Methoden erreicht, ohne dass Trigger-Wissen oder Modellzugriff erforderlich sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen Welt arbeiten Kameras und Computer zusammen, um die physische Welt zu sehen. Sie identifizieren Autos, Fußgänger und Schilder in Echtzeit – eine Technologie, die selbstfahrende Fahrzeuge steuert und die öffentliche Sicherheit überwacht. Diese Systeme verlassen sich auf Modelle der künstlichen Intelligenz, die darauf trainiert wurden, bestimmte Objekte zu erkennen. Diese Modelle können jedoch heimlich kompromittiert werden, noch bevor sie jemals eingesetzt werden. Ein böswilliger Akteur kann den Trainingsprozess vergiften und einen Auslöser (Trigger) verstecken, der das Modell dazu zwingt, sich bei Sichtung eines bestimmten Musters, wie etwa einem kleinen Aufkleber oder einer bestimmten Farbe, seltsam zu verhalten. An normalen Tagen funktioniert das System perfekt, aber in dem Moment, in dem der verborgene Auslöser erscheint, versagt es unter Umständen dabei, eine Person zu sehen oder ein nicht existierendes Objekt zu erfinden. Dies ist ein Backdoor-Angriff. Die Gefahr besteht darin, dass das Modell normal aussieht und sich auch normal verhält, bis der Auslöser präsent ist, was es durch Standardtests nahezu unmöglich macht, ihn zu entdecken.
Forscher kämpfen schon lange darum, diese verborgenen Schwachstellen zu finden, insbesondere in komplexen Systemen, die viele Objekte gleichzeitig erkennen. Bestehende Methoden versuchen oft, den verborgenen Trigger rückwärts zu entwickeln (Reverse-Engineering) oder nach spezifischen Eigenheiten im Aufbau der Software zu suchen, aber diese Ansätze scheitern häufig, wenn der Angriff eine ganze Szene betrifft, anstatt nur ein einzelnes Objekt. Eine neue Studie führt einen anderen Weg vor, um diese Probleme aufzuspüren. Anstatt nach dem verborgenen Trigger selbst zu suchen, untersuchten die Forscher die internen Gewohnheiten des Modells. Sie entdeckten, dass die internen Vorhersagen eines Modells auf eine Weise verschoben sind, die seine Ausbildung verrät, wenn es vergiftet wurde – selbst wenn es gerade ein vollkommen sauberes Bild ohne Trigger betrachtet.
Das Team unter der Leitung von Longtian Wang und Zhengyu Zhao entwickelte eine Methode namens DistScan, um diese kompromittierten Modelle zu entlarven. Ihr Ansatz stützt sich auf eine einfache Beobachtung darüber, wie diese Computer-Vision-Systeme lernen. Wenn ein Modell auf einem großen Satz von Bildern trainiert wird, lernt es nicht nur, wie Objekte aussehen, sondern auch, wie häufig jedes Objekt vorkommt. Wenn ein Datensatz viele Bilder von Autos und sehr wenige von Fahrrädern enthält, erwartet das Modell ganz natürlich, mehr Autos zu sehen. Diese Erwartung wird Teil der internen Logik des Modells. Die Forscher fanden heraus, dass bei der Injektion einer Backdoor durch einen Angreifer dieses interne Gleichgewicht gestört wird. Das Modell beginnt, bestimmte Objekte häufiger oder seltener vorherzusagen, als es sollte, selbst wenn es ein normales, sicheres Bild betrachtet.
Um dies zu testen, mussten die Forscher nicht wissen, wie der verborgene Trigger aussah, noch mussten sie die ursprünglichen Trainingsdaten kennen oder Zugriff auf den internen Code des Modells haben. Sie speisten einfach eine kleine Anzahl sauberer Bilder in das Modell ein und beobachteten, was das Modell vor seiner endgültigen Entscheidung vorhersagte. Sie zählten, wie oft das Modell jeweils einen Objekttyp vorhersagte. In einem gesunden Modell entsprachen diese Vorhersagen der natürlichen Häufigkeit der in der realen Welt vorkommenden Objekte. In einem vergifteten Modell waren die Vorhersagen verzerrt und zeigten ein Ungleichgewicht auf, das dort nicht hingehörte. Durch den Vergleich der Vorhersagen des Modells mit den bekannten Statistiken der Trainingsdaten konnte das System ein Modell als gefährlich einstufen, wenn die Zahlen nicht stimmten.
Die Forscher testeten diese Methode an zwei großen Arten von Detektionssystemen und zwei großen, weltweit von Wissenschaftern genutzten Standard-Datensätzen. Sie erstellten hunderte von Modellen, von denen einige sauber und andere heimlich mit drei verschiedenen Arten von Angriffen vergiftet worden waren. Diese Angriffe beinhalteten Tricks, die Objekte verschwinden ließen, Tricks, die das Modell Dinge sehen ließen, die nicht da waren, und Tricks, die ein Objekt in etwas anderes umbenannten. Die neue Methode, DistScan, identifizierte die vergifteten Modelle mit einer durchschnittlichen Genauigkeit von fast 97 Prozent. Im Gegensatz dazu scheiterten die besten bestehenden Methoden in vielen dieser Szenarien vollständig und schnitten oft nicht besser ab als beim bloßen Raten. Die Studie zeigte, dass DistScan gleichermaßen gut auf verschiedenen Arten von Modellarchitekturen funktionierte, was beweist, dass die Verschiebung in den Vorhersagemustern ein universelles Zeichen für eine Backdoor ist.
Eine der bedeutendsten Erkenntnisse war, dass diese Methode selbst dann funktioniert, wenn der Angriff darauf ausgelegt ist, für traditionelle Erkennungswerkzeuge unsichtbar zu sein. Einige moderne Angriffe sind „Szenen-basiert“ (scene-level), was bedeutet, dass ein einziger verborgener Trigger das Modell dazu bringt, über das gesamte Bild hinweg falsch zu reagieren und jedes Objekt, das es sieht, gleichzeitig zu beeinflussen. Frühere Werkzeuge scheiterten hierbei, weil sie darauf ausgelegt waren, einen einzelnen, lokalisierten Trigger zu finden, der ein einzelnes Objekt betrifft. DistScan war erfolgreich, weil es das große Ganze betrachtete: die Gesamtverteilung dessen, was das Modell zu sehen glaubte. Die Forscher visualisierten diese Unterschiede und fanden heraus, dass die Vorhersagen der vergifteten Modelle eine deutliche Gruppe (Cluster) bildeten, die weit entfernt von den Vorhersagen gesunder Modelle lag, was eine klare Trennung ermöglichte, die leicht messbar war.
Die Studie untersuchte auch, wie man den Test am effektivsten gestaltet, indem man anpasst, wie die Bilder dem Modell präsentiert werden. Sie fanden heraus, dass für einige Arten von Systemen die Eingabe ganzer Bilder am besten funktionierte, während für andere das Zeigen von Ausschnitten einzelner Objekte zuverlässiger war. Dies stellte sicher, dass der Test mit der Art und Weise übereinstimmte, wie das Modell ursprünglich trainiert wurde, um die Welt zu sehen. Sie ermittelten zudem das richtige Maß an Konfidenz, um schwache Vorhersagen herauszufiltern, um sicherzustellen, dass nur aussagekräftige Vorhersagen gezählt wurden. Durch diese sorgfältigen Anpassungen blieb die Methode über alle getesteten Szenarien hinweg robust und genau.
Diese Arbeit bietet ein praktisches Werkzeug für jeden, der die Sicherheit eines Objekterkennungssystems vor dessen Einsatz überprüfen muss. Es erfordert kein Spezialwissen über den Angriff, keinen Zugriff auf die internen Gewichte des Modells und keine zusätzliche Trainingszeit. Indem es einfach prüft, ob die internen Erwartungen des Modells mit der Realität der Daten übereinstimmen, mit denen es trainiert wurde, bietet DistScan einen zuverlässigen Weg, um verborgene Gefahren aufzuspüren. Die Forscher hoffen, dass dieser Ansatz die Sicherheitsforschung hin zu diesen distributiven Signalen lenken wird, um eine breitere und fundiertere Verteidigung gegen die wachsende Bedrohung durch Backdoor-Angriffe in sicherheitskritischen Anwendungen zu bieten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.