Faults That Fortify: CNN Adversarial Robustness via GPU Undervolting

Moderne Computer sind bemerkenswert gut darin geworden, zu sehen. Sie können einen Tumor in einem medizinischen Scan identifizieren, einen Fußgänger auf einer belebten Straße erkennen oder Millionen von Fotos durchsuchen, um ein bestimmtes Gesicht zu finden. Diese Fähigkeit stammt von einer Art von Software namens neuronales Netz, das darauf ausgelegt ist, die Art und Weise nachzuahmen, wie das menschliche Gehirn Informationen verarbeitet. Diese Systeme lernen, indem sie riesige Mengen an Daten betrachten und ihre internen Einstellungen anpassen, bis sie genaue Vorhersagen treffen können. Dieser Lernprozess ist jedoch unglaublich anspruchsvoll. Er erfordert leistungsstarke, energiehungrige Computerchips, die erhebliche Hitze erzeugen und große Mengen an Elektrizität verbrauchen. Darüber hinaus sind diese Systeme fragil. Eine Person kann eine winzige, fast unsichtbare Änderung an einem Bild vornehmen – etwas, das ein Mensch niemals bemerken würde – und der Computer könnte plötzlich davon überzeugt sein, dass ein Stoppschild ein Tempolimit-Schild ist. Diese Anfälligkeit, bekannt als adversarieller Angriff (adversarial attack), stellt ein ernstes Risiko für sicherheitskritische Anwendungen wie selbstfahrende Autos dar. Forscher suchen schon lange nach Wegen, diese Systeme sowohl sicherer gegen solche Tricks als auch effizienter im Energieverbrauch zu machen, wobei sie diese beiden Ziele oft als getrennte Herausforderungen behandeln.

Ein Team von Forschern der George Mason University und anderer Institutionen hat einen Weg entdeckt, beide Probleme gleichzeitig anzugehen, indem sie etwas tun, das kontraintuitiv klingt: Sie haben den Computerchip während des Lernens absichtlich geschwächt. Anstatt den Grafikprozessor mit seiner standardmäßigen Volllast zu betreiben, haben sie die zugeführte elektrische Spannung gesenkt. In der Welt der Elektronik ist Spannung der Druck, der Elektrizität durch einen Schaltkreis drückt. Wenn man diesen Druck reduziert, werden die Transistoren innerhalb des Chips, die als winzige Schalter fungieren, weniger zuverlässig. Sie könnten etwas zu früh oder zu spät ein- oder ausschalten, was kleine, zufällige Fehler in den Berechnungen verursacht. Normalerweise gehen Ingenieure weite Wege, um diese Fehler zu verhindern, da sie dazu führen können, dass ein System abstürzt oder fehlerhafte Daten produziert. In dieser speziellen Studie behandelten die Forscher diese Fehler jedoch nicht als Ausfälle, sondern als ein Merkmal.

Das Team führte eine Reihe von Experimenten mit drei verschiedenen Arten von Bilderkennungsmodellen durch, die von einem einfachen, klassischen Design bis hin zu einem komplexeren, modernen Design reichten. Sie trainierten diese Modelle mit zwei Standarddatensätzen von Bildern: einem, das handgeschriebene Zahlen enthielt, und einem anderen, der kleine, farbenfrohe Bilder alltäglicher Objekte wie Katzen, Hunde und Flugzeuge enthielt. Für jedes Modell führten sie zwei Versionen des Trainingsprozesses durch. In der ersten Version lief der Computerchip mit seiner normalen, stabilen Spannung. In der zweiten Version senkten die Forscher die Spannung vorsichtig gerade so weit ab, dass ein stetiger Strom kleiner, zufälliger Rechenfehler entstand, aber nicht so stark, dass das Training vollständig fehlschlagen würde. Sie fanden heraus, dass der Chip mit einer Spannung von etwa 0,8 Volt statt der standardmäßigen 1,03 Volt funktionieren konnte, ohne zu brechen. Diese Reduzierung des elektrischen Drucks führte zu einer signifikanten Senkung des Energieverbrauchs, wobei die effizientesten Modelle fast 39 Prozent weniger Strom verbrauchten als ihre Standard-Gegenstücke.

Die Ergebnisse dieses Ansatzes waren überraschend. Als die Forscher ihre Modelle gegen ausgeklügelte Angriffe testeten, die darauf ausgelegt waren, sie zu täuschen, schnitten die mit der schwächeren, „verrauschten“ Spannung trainierten Modelle konsistent besser ab als jene, die unter normalen Bedingungen trainiert wurden. Die während der Lernphase eingeführten zufälligen Fehler wirkten wie eine Form eines unsichtbaren Trainingsgewichts. Genau wie ein Gewichtheber, der mit etwas ungleichmäßigen Gewichten trainiert und dadurch vielleicht eine bessere Balance und Kraft entwickelt, lernte das neuronale Netz, kleine Störungen zu ignorieren und sich auf die wesentlichen Merkmale der Bilder zu konzentrieren. Dies machte das fertige Modell viel schwerer zu täuschen. Die Forscher testeten dies, indem sie den Modellen tausende leicht veränderte Bilder zuführten, die darauf ausgelegt waren, den Computer zu verwirren, und die mit reduzierter Spannung trainierten Modelle behielten ihre Genauigkeit viel länger bei als die Standardmodelle.

Diese Verbesserung blieb auch dann bestehen, wenn die Modelle bereits mit fortgeschrittenen Sicherheitstechniken trainiert wurden, die speziell darauf ausgelegt sind, Angriffe abzuwehren. Normalerweise macht das Hinzufügen zusätzlicher Sicherheitsmaßnahmen ein System langsamer und teurer im Betrieb. Hier fanden die Forscher heraus, dass der einfache Akt des Senkens der Spannung das Sicherheitstraining sogar effektiver machte. Die Modelle, die unter der niedrigeren Spannung trainiert wurden, waren nicht nur robuster gegenüber Angriffen, sondern benötigten auch weniger Energie, um erstellt zu werden. Die Forscher beobachteten, dass die durch die niedrigere Spannung verursachten Fehler sehr spezifisch waren. Sie betrafen hauptsächlich die unbedeutendsten Teile der Zahlen, die der Computer berechnete, und erzeugten ein sanftes, zufälliges Rauschen statt eines katastrophalen Ausfalls. Dieses Rauschen war klein genug, dass der Computer immer noch die richtigen Antworten lernen konnte, aber häufig genug, um das System zu einem stabileren Denken über die Daten zu zwingen.

Die Studie legt nahe, dass es einen „Sweet Spot“ im Betrieb der Hardware gibt, an dem ein wenig Instabilität tatsächlich zu größerer Zuverlässigkeit führen kann. Durch die Akzeptanz eines kontrollierten Maßes an Fehlern während der Trainingsphase konnten die Forscher Systeme bauen, die sowohl widerstandsfähiger als auch grüner sind. Dieser Ansatz erfordert keine Änderung des Softwarecodes oder der Algorithmen, die den Computer lehren; es beinhaltet lediglich das Drehen an einem Regler der Hardware, um die Leistung zu senken. Während die Forscher anmerkten, dass die Vorteile in den größten und komplexesten Modellen etwas weniger ausgeprägt waren – wahrscheinlich, weil diese Modelle mehr Schichten haben, um die kleinen Fehler abzufangen –, war der Gesamttrend klar. Die Arbeit eröffnet einen neuen Weg, um künstliche Intelligenz resilienter und nachhaltiger zu machen, und zeigt, dass man manchmal ein System stärken muss, indem man es beim Lernen ein wenig stolpern lässt.