Event-triggered Implicit Perturbation for Zeroth-Order Fine-Tuning of Spiking Transformers
Dieses Paper schlägt eine ereignisgesteuerte Architektur für implizite Perturbationen (IPZO) zur Zeroth-Order-Feinabstimmung von Spiking-Transformern auf In-Memory-Computing-Beschleunigern vor, welche kostspielige Read-Modify-Write-Operationen eliminiert und den Hardware-Overhead reduziert, indem Perturbationen nur für spike-aktivierte Gewichte generiert werden und dabei ein XOR-Rekombinationsschema verwendet wird, um eine mit softwarebasierten Zufallszahlengeneratoren vergleichbare Genauigkeit aufrechterhalten zu können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich schnell entwickelnden Welt der künstlichen Intelligenz ist ein spezieller Typ von Computerprogramm, bekannt als Transformer, zur dominierenden Kraft geworden, die alles von der Sprachübersetzung bis hin zur Bilderkennung antreibt. Diese Systeme sind unglaublich leistungsstark, aber auch unglaublich hungrig nach Energie und Speicherplatz, da sie oft riesige Rechenzentren benötigen, um zu laufen. Um diese Intelligenz auf kleinere, alltägliche Geräte wie Smartphones oder Sensoren zu bringen, haben Ingenieure einen anderen Ansatz gewählt, der vom menschlichen Gehirn inspiriert ist: Spiking Neural Networks (Spiking-Neuronale-Netzwerke). Im Gegensatz zu herkömmlichen Programmen, die Informationen kontinuierlich verarbeiten, arbeiten diese Netzwerke ereignisbasiert und feuern nur, wenn es notwendig ist, was sie von Natur aus effizient macht. Es war jedoch ein hartnäckiges Problem, diesen Netzwerken beizubringen, neue Aufgaben direkt auf dem Gerät zu erlernen. Die Standardmethode für das Training dieser Netzwerke, bei der berechnet wird, wie jede einzelne Verbindung im Netzwerk angepasst werden muss, ist zu komplex und speicherintensiv für kleine Chips. Eine einfachere Alternative existiert, die schätzt, wie das System verbessert werden kann, indem winzige, zufällige Impulse an seine Verbindungen gegeben werden und beobachtet wird, ob das Ergebnis besser wird, aber diese Methode hat ihre eigenen schwerwiegenden Hardware-Hürden, die sie bisher unpraktikabel gemacht haben.
Ein Forschungsteam hat nun eine neue Architektur entworfen, die diese Hürden überwindet und es ermöglicht, dass diese gehirnähnlichen Netzwerke direkt auf spezialisierten Computerchips lernen, ohne ständig ihren internen Speicher umschreiben zu müssen. Die zentrale Herausforderung bestand darin, dass die Standardmethode für diese zufälligen Impulse erfordert, dass der Chip seine gespeicherten Informationen wiederholt liest, verändert und wieder zurückschreibt. Dieser Prozess, bekannt als Read-Modify-Write (Lesen-Ändern-Schreiben), ist langsam und zehrt den Akku aus, was die Energieeinsparungen, für die die spezialisierten Chips eigentlich konzipiert wurden, effektiv zunichtemacht. Darüber hinaus würde die Erzeugung der riesigen Anzahl an Zufallszahlen, die für diese Impulse für jede einzelne Verbindung des Netzwerks benötigt wird, einen Zufallszahlengenerator erfordern, der so groß wäre, dass er mehr Platz als der Speicher selbst einnehmen würde. Die Forscher schlugen einen klugen Umweg vor: Anstatt die gespeicherten Gewichte direkt zu verändern, injizieren sie die zufälligen Änderungen direkt in den Berechnungsprozess selbst, genau dort, wo die Zahlen aufsummiert werden. Dies hält die gespeicherten Gewichte unberührt und stationär, wodurch die Effizienz des Chips bewahrt wird.
Um dies umzusetzen, baute das Team eine spezialisierte Einheit, die diese zufälligen Impulse nur für die Teile des Netzwerks erzeugt, die in jedem Moment tatsächlich aktiv sind. Da diese gehirnähnlichen Netzwerke von Natur aus spärlich besetzt sind (sparse), was bedeutet, dass die meisten ihrer Verbindungen in einem einzelnen Augenblick stillstehen, muss diese Einheit nur einen Bruchteil der Größe des gesamten Netzwerks haben. Doch die bloße Wiederverwendung desselben kleinen Satzes von Zufallszahlen für verschiedene Teile des Netzwerks erzeugt ein verborgenes Problem: Die Impulse werden sich einander zu ähnlich, was dazu führt, dass der Lernprozess stecken bleibt oder ungenau wird. Um dies zu lösen, führten die Forscher ein Mischverfahren ein, das diese wiederverwendeten Zahlen auf eine spezifische Weise basierend auf ihrem Standort kombiniert, um sicherzustellen, dass jeder Teil des Netzwerks einen einzigartigen und unabhängigen Impuls erhält. Dieser Mischprozess, den sie „Address-driven XOR Recombination“ (adressgesteuerte XOR-Rekombination) nennen, stellt die statistische Unabhängigkeit wieder her, die für das effektive Lernen des Systems erforderlich ist.
Als das Team dieses neue Design testete, waren die Ergebnisse beeindruckend. In Simulationen und Hardwaretests unter Verwendung eines Standard-Chipfertigungsverfahrens erreichte ihr System die gleiche hohe Genauigkeit wie softwarebasierte Methoden, die perfekte, unabhängige Zufallszahlen verwenden. Im Gegensatz dazu versagte eine einfachere Version, die die Zufallszahlen ohne das Mischverfahren wiederverwendete, signifikant, verlor fast zehn Prozentpunkte an Genauigkeit bei Bilderkennungsaufgaben und benötigte wesentlich mehr Zeit zum Lernen. Das neue Design erwies sich auch als bemerkenswert energieeffizient. Da es den kostspieligen Prozess des Umschreibens des Speichers vermeidet, verbraucht es weniger als die Hälfte der Energie der traditionellen Methode, wenn es unter typischen Einstellungen läuft. Obwohl die neue Mischeinheit etwas zusätzliche Hardware hinzufügt, senkt die Geschwindigkeit, mit der das System lernt, den Gesamtenergieverbrauch während des gesamten Trainingsprozesses im Vergleich zur einfacheren Wiederverwendungsmethode um die Hälfte. Diese Arbeit zeigt, dass es durch die Verlagerung der zufälligen Anpassungen vom Speicherbereich in den Berechnungsbereich und die Verwendung einer intelligenten Mischtechnik möglich ist, komplexe, gehirninspirierte KI-Modelle direkt auf energiebeschränkter Hardware zu trainieren, was die Tür für intelligentere, adaptivere Geräte öffnet, die unterwegs lernen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.