Optimizing Transformer Neural Network for Real-Time Outlier Detection on FPGAs

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, einen Dieb in einer überfüllten Stadt aufzuspüren. Die Stadt ist ein Fluss aus Zahlen, der ständig fließt – die Preise von Aktien, die Temperatur von Servern oder die Anzahl der Menschen in einer Taxischlange. Meistens fließt dieser Fluss ruhig, aber gelegentlich springt ein riesiger Fels – ein „Glitch“ oder ein „Ausreißer“ – in den Strom und verursacht eine Kaskade, die alles im Abstrom ruinieren könnte. In der Welt der Finanzen und der Datenwissenschaft sind diese Kaskaden gefährlich; sie können Computer dazu verleiten, schlechte Entscheidungen zu treffen. Lange Zeit war das Aufspüren dieser Kaskaden langsam, als versuche man, eine Nadel im Heuhaufen mit der Hand zu finden. Aber vor kurzem haben Wissenschaftler einen superintelligenten Detektiv namens „Transformer“ erschaffen. Stellen Sie sich einen Transformer wie einen genialen Bibliothekar vor, der in der Lage ist, eine Million Bücher gleichzeitig zu lesen und sich sofort zu merken, wie eine Geschichte von Seite eins mit der von Seite tausend zusammenhängt. Dieser Bibliothekar ist großartig darin, seltsame Muster zu erkennen, aber es gibt einen Haken: Der Bibliothekar ist so schwerfällig und langsam, dass er nicht schnell genug rennen kann, um den Dieb in Echtzeit zu fangen.

Hier kommt das FPGA ins Spiel, das wie ein maßgeschneiderter, superschneller Rennwagenmotor ist, den man im Flug neu konfigurieren kann. Die große Frage, die dieses Paper behandelt, lautet: Können wir unseren genialen, schweren Bibliotheker (den Transformer) dazu bringen, diesen Rennwagen (das FPGA) zu fahren, damit er die schlechten Daten sofort aufspürt? Die Autoren Ilia Sobakinskikh und Paul Alexander Bilokon wollten herausfinden, ob sie dieses riesige Gehirn so weit schrumpfen können, dass es in einen kleinen, rekonfigurierbaren Chip passt, ohne dabei seine Intelligenz zu verlieren. Sie wollten beweisen, dass man keinen massiven Supercomputer benötigt, um diese finanziellen Glitches zu finden; man kann es auf einem winzigen Board tun, schnell genug, um eine Katastrophe zu verhindern, bevor sie eintritt.

Das Rennen, um den Glitch zu fangen

Die Autoren begannen mit der Untersuchung des Problems der „Anomalieerkennung“. Vereinfacht gesagt geht es dabei nur darum, die seltsamen Zahlen in einer Liste zu finden. Sie konzentrierten sich auf „Punktanomalien“, die wie plötzliche Sprünge in einem Aktienkurs sind – denken Sie an eine Aktie, die in einem Bruchteil einer Sekunde von 100 $ auf 101 $ springt, obwohl sie das nicht sollte. Um diese zu fassen, verwendeten sie einen speziellen Typ von KI namens Transformer. Im Gegensatz zu älteren KI-Modellen, die Daten Schritt für Schritt lesen (wie beim Lesen eines Buches Wort für Wort), betrachten Transformer das gesamte Bild auf einmal und verstehen, wie der Preis von heute mit einem Preis von vor Wochen zusammenhängt.

Das Ausführen dieser Transformer ist jedoch normalerweise langsam und teuer. Die Autoren entschieden sich, sie auf einem FPGA laufen zu lassen, speziell auf einem Board namens PYNQ-Z2. Um dies zu ermöglichen, mussten sie sehr geschickt bei der Programmierung des Chips vorgehen. Sie behandelten die Mathematik innerhalb des Transformers wie ein Fließband in einer Fabrik. Anstatt darauf zu warten, dass eine Berechnung abgeschlossen ist, bevor die nächste beginnt, nutzten sie eine Technik namens „Pipelining“. Stellen Sie sich eine Autowaschanlage vor, in der das erste Auto noch eingeseift wird, während das zweite bereits unter der Spülrinne ist; dies hält die Linie schnell in Bewegung. Sie verwendeten auch „Unrolling“, was so ist, als hätte man zehn Arbeiter, die dieselbe Aufgabe exakt gleichzeitig erledigen, anstatt eines, der die Aufgabe zehnmal hintereinander ausführt.

Die Ergebnisse: Geschwindigkeit vs. Intelligenz

Das Team testete zwei Versionen ihres KI-Detektivs. Die erste war der „Vanilla Transformer“, die standardmäßige, schwere Version. Die zweite war ein „Linearer Transformer“, eine leichtere, schnellere Version, die einige der schweren Berechnungen überspringt. Sie ließen diese Modelle auf dem FPGA laufen und verglichen sie mit einem Standard-Computerprozessor (CPU).

Die Ergebnisse waren eine Geschichte von zwei verschiedenen Kompromissen. Der Standard-Transformer wurde, wenn er für das FPGA optimiert wurde, unglaublich schnell. Er konnte Daten in nur 37,14 Mikrosekunden verarbeiten (das sind 0,000037 Sekunden!). Ohne diese speziellen Optimierungen dauerte dieselbe Aufgabe 347,45 Mikrosekunden, also zehnmal länger. Der Lineare Transformer war sogar noch schneller und erreichte 29,86 Mikrosekunden.

Aber Geschwindigkeit hatte ihren Preis. Um diese Geschwindigkeit zu erreichen, musste der Chip viel härter arbeiten. Der optimierte Transformer nutzte 90 % der verfügbaren „LUTs“ (die winzigen Logikschalter innerhalb des Chips) und 30 % der „FFs“ (Speicherbits), während die langsame, unoptimierte Version jeweils nur 10 % und 2 % beanspruchte. Es ist, als würde man ein Fahrrad zu einem Motorrad aufwerten: Man fährt viel schneller, braucht aber einen viel größeren Motor und mehr Treibstoff.

Hat der Detektiv seinen Job immer noch erledigt?

Geschwindigkeit ist großartig, aber ist der Detektiv immer noch intelligent? Die Autoren testeten ihre Modelle mit realen Daten, darunter die Nachfrage nach Taxis in New York City, Server-Leistungsprotokolle und Hochfrequenz-Aktienkurse. Sie verglichen ihre KI mit einem einfachen „Linearen Regressionsmodell“, das wie ein Detektiv ist, der nur auf die aktuellste Zahl schaut und basierend darauf rät.

Die Ergebnisse zeigten, dass die Transformer im Allgemeinen viel besser darin waren, Anomalien aufzuspüren, als das einfache Modell. Beim KPI-Datensatz (Serverprotokolle) erreichte der Standard-Transformer eine Genauigkeit von 0,98 bei den Trainingsdaten und 0,97 bei den Validierungsdaten, mit einem F1-Score (einem Gleichgewicht zwischen dem Aufspüren von schlechten Dingen und dem Vermeiden von Fehlalarmen) von 0,71 bzw. 0,76. Der Lineare Transformer war etwas weniger genau, aber immer noch stark. Bei den Börsendaten (FI2010) hatten die Modelle jedoch etwas mehr Schwierigkeiten, wobei die F1-Scores auf 0,06 und 0,09 fielen, was darauf hindeutet, dass sie zwar schnell sind, aber nicht perfekt darin, jeden einzelnen Glitch in jeder Art von Daten zu finden.

Interessanterweise fanden die Autoren heraus, dass einige Merkmale, die für Transformer normalerweise als essenziell gelten, wie etwa das „Positional Encoding“ (eine Methode, um der KI die Reihenfolge der Zahlen mitzuteilen), das Training in ihrem spezifischen Setup instabil und schlechter machten. Sie mussten diese Funktionen ausschalten, um die Modelle auf dem Chip ordnungsgemäß zum Laufen zu bringen.

Das Fazit

Dieses Paper behauptet nicht, das Rätsel der Anomalieerkennung für immer gelöst zu haben. Stattdessen legt es nahe, dass wir diese leistungsstarken KI-Modelle erfolgreich so weit schrumpfen können, dass sie auf kleine, schnelle Chips passen. Die Autoren haben gezeigt, dass man durch den Einsatz cleverer Programmier-Tricks wie Pipelining und Unrolling einen Transformer 10-mal schneller auf einem FPGA laufen lassen kann. Während diese Geschwindigkeit mit hohen Kosten in Bezug auf die Ressourcen des Chips einhergeht, beweist es, dass eine Anomalieerkennung in Echtzeit und mit hoher Geschwindigkeit möglich ist, ohne dass man ein massives Rechenzentrum benötigt. Es ist ein Proof of Concept dafür, dass die Zukunft des Aufspürens finanzieller Glitches vielleicht nicht in einem riesigen Serverraum liegt, sondern in einem winzigen, rekonfigurierbaren Chip, der mit Lichtgeschwindigkeit durch die Daten rast.