Enhancing Deep Neural Network Resilience Through Integrated Reliability-Aware Design and Fault-Aware Training

Tiefe neuronale Netze sind die unsichtbaren Motoren, die einige der kritischsten Entscheidungen des modernen Lebens antreiben, vom Helfen von Flugzeugen bei der Vermeidung von Kollisionen bis hin zur Unterstützung von Ärzten bei der Diagnose von Krankheiten. Diese Systeme sind darauf ausgelegt, Muster zu erkennen und Vorhersagen mit einer Genauigkeit zu treffen, die der menschlicher Experten in nichts nachsteht. Die Hardware jedoch, auf der diese komplexen Berechnungen laufen, ist nicht perfekt. Die winzigen Chips in Computern, die in Skalen arbeiten, die so klein sind, dass sie in Milliardstel eines Meters gemessen werden, sind anfällig für unsichtbare Bedrohungen. Kosmische Strahlen und andere natürliche Strahlung können gelegentlich auf eine Speicherzelle oder eine Recheneinheit treffen und einen vorübergehenden Fehler verursachen. In einem Standardcomputer könnte ein solcher Fehler dazu führen, dass sich eine einzige Zahl umkehrt, aber in einem tiefen neuronalen Netz kann dieser einzelne Fehler durch das gesamte System rollen und das Endergebnis korrumpieren, ohne jemals einen Alarm auszulösen. Dieses Phänomen, bekannt als Silent Data Corruption (stille Datenkorruption), ist besonders gefährlich, weil das System weiterarbeitet und ein falsches Ergebnis liefert, das für den Benutzer vollkommen korrekt aussieht.

Jahrelang waren die Lösungen für dieses Problem schwierige Kompromisse. Ingenieure konnten spezielle, teure Hardware bauen, die immun gegen diese Fehler ist, aber dies erfordert maßgeschneiderte Siliziumchips, die in Standardcomputern nicht verfügbar sind. Alternativ konnten sie Softwareprüfungen hinzufügen, die Fehler abfangen, aber diese Prüfungen verlangsamen das System erheblich und machen es zu langsam für Echtzeitaufgaben wie die Steuerung eines Fahrzeugs oder die Verwaltung des Flugverkehrs. Forscher der Puducherry Technological University haben nun einen anderen Weg vorgeschlagen. Sie entwickelten ein neues Framework namens ResilientNet, das das neuronale Netz selbst gegen diese Hardwarefehler stärkt, ohne spezielle Chips zu benötigen oder die Verarbeitung zu verlangsamen. Ihr Ansatz kombiniert vier spezifische Designänderungen, die zusammenwirken, um Fehler zu stoppen, bevor sie sich ausbreiten, und lehrt das Netzwerk effektiv, das durch Strahlung verursachte Rauschen zu ignorieren.

Der Kern dieser neuen Methode besteht darin, zu ändern, wie das Netzwerk die von ihm verarbeiteten Zahlen handhabt. In einem typischen neuronalen Netz wird, wenn ein Strahlenschlag eine Zahl unmöglich groß macht, das System diese riesige Zahl an die nächste Stufe weitergeben, wo sie die gesamte Berechnung überwältigen kann. Die Forscher ersetzten die standardmäßige Art der Handhabung dieser Zahlen durch eine Methode, die eine strikte Obergrenze festlegt. Wenn ein Wert versucht, dieses Limit zu überschreiten, wird er einfach gedeckelt, was verhindert, dass er außer Kontrolle gerät. Dies allein war jedoch nicht ausreichend. Die Forscher fanden heraus, dass die Reihenfolge, in der das Netzwerk seine Berechnungen durchführt, ebenso wichtig war wie die Limits selbst. Durch die Umstrukturierung der Sequenz der Operationen, sodass die Deckelung erfolgt, bevor die Daten normalisiert werden, verhinderten sie, dass das System Fehler verstärkt. Diese Umstrukturierung, kombiniert mit einem Filter, der unmögliche mathematische Werte sofort durch Null ersetzt, schafft eine Barriere, die die Ausbreitung der Korruption stoppt.

Um sicherzustellen, dass diese Änderungen tatsächlich funktionierten, verließ sich das Team nicht auf Computersimulationen oder theoretische Modelle. Stattdessen führten sie eine massive Serie von realen Tests durch. Sie nahmen sechs verschiedene Versionen eines neuronalen Netzes, die von einem Basissystem bis zum vollständig gehärteten ResilientNet reichten, und setzten sie fast fünfzehntausend separaten Fehlereinspritzungen aus. In jedem Test korrumpierten sie die Daten absichtlich, um genau die Muster von Fehlern nachzuahmen, die in realen Strahlungsexperimenten beobachtet werden, einschließlich Single-Bit-Flips, korrumpierter Datenreihen und Blöcken beschädigter Informationen. Sie maßen, wie oft diese Fehler zu einer falschen Vorhersage führten, eine Metrik, die als Rate der stillen Datenkorruption bekannt ist. Die Ergebnisse waren beeindruckend. In dem unveränderten Netzwerk führte eine bestimmte Art von Fehler, der durch ungültige Zahlen verursacht wurde, zu einer Korruptionsrate von zweiundneunzig Prozent. Mit den neuen Filtern und Designänderungen sank diese Rate auf nur siebzehn Prozent. Darüber hinaus performte das Netzwerk, das darauf trainiert wurde, diese Fehler zu erwarten, tatsächlich besser bei seiner primären Aufgabe als das ursprüngliche Netzwerk und erreichte eine Klassifizierungsgenauigkeit von sechsundneunzig Komma sechs sieben Prozent im Vergleich zu dem Ausgangswert von zweiundneunzig Komma fünf Prozent.

Die Studie zeigte auch, dass nicht alle Teile des Netzwerks gleichermaßen anfällig sind. Die Forscher kartierten, wo Fehler am wahrscheinlichsten zu einem Ausfall führen würden, und fanden heraus, dass die frühesten Schichten des Netzwerks am empfindlichsten waren, mit einer Vulnerabilitätsrate, die fast das Eineinhalbfache der späteren Schichten betrug. Dies deutet darauf hin, dass in ressourcenbeschränkten Umgebungen Schutzmaßnahmen auf den Beginn der Verarbeitungskette konzentriert werden könnten. Entscheidend war, dass all diese Verbesserungen mit null zusätzlicher Zeitkosten während des Betriebs einhergingen. Die Änderungen am Code erforderten keine zusätzlichen Schritte, die die Ergebnisse verzögert hätten, und der einzige geringfügige Anstieg war in der Anzahl der internen Register, die vom Prozessor verwendet werden – eine Änderung, die keine messbaren Auswirkungen auf die Geschwindigkeit hatte. Obwohl die Tests an einem relativ kleinen Datensatz handgeschriebener Ziffern durchgeführt wurden, wurden die Prinzipien mittels echter Codeausführung statt Annäherungen verifiziert, was einen vielversprechenden Bauplan bietet, um sicherheitskritische Systeme ohne die Notwendigkeit teurer Hardware-Upgrades zuverlässiger zu machen.