Optimizing Transformer Neural Network for Real-Time Outlier Detection on FPGAs

Stel je voor dat je een detective bent die een dief probeert op te sporen in een drukke stad. De stad is een rivier van getallen, die constant stroomt met de prijzen van aandelen, de temperatuur van servers, of het aantal mensen in een taxilijn. Meestal stroomt deze rivier soepel, maar af en toe springt er een enorme rots — een "glitch" of een "outlier" — in de stroom, wat een spat veroorzaakt die alles stroomafwaarts kan verpesten. In de wereld van finance en data science zijn deze spatten gevaarlijk; ze kunnen computers misleiden om slechte beslissingen te nemen. Lange tijd was het vangen van deze spatten traag, als het zoeken naar een naald in een hooiberg met de hand. Maar onlangs hebben wetenschappers een superintelligente detective gebouwd genaamd een "Transformer". Denk aan een Transformer als een geniale bibliothecaris die een miljoen boeken tegelijk kan lezen en zich direct kan herinneren hoe een verhaal op pagina één verbonden is met pagina duizend. Deze bibliothecaris is geweldig in het opsporen van vreemde patronen, maar er is een addertje onder het gras: de bibliothecaris is zo zwaar en traag dat hij niet snel genoeg kan rennen om de dief in realtime te vangen.

Ontmoet de FPGA, die als een op maat gemaakte, supersnelle racewagenmotor is die je on the fly kunt herconfigureren. De grote vraag die dit artikel aanpakt is: Kunnen we onze geniale, zware bibliothecaris (de Transformer) leren om deze racewagen (de FPGA) te besturen, zodat ze de dief direct kunnen vangen? De auteurs, Ilia Sobakinskikh en Paul Alexander Bilokon, gingen op onderzoek uit om te zien of ze deze enorme hersenen konden verkleinen zodat ze in een kleine, herconfigureerbare chip passen zonder hun intelligentie te verliezen. Ze wilden bewijzen dat je geen massieve supercomputer nodig hebt om deze financiële glitches te vinden; je kunt het op een klein bord doen, snel genoeg om een ramp te voorkomen voordat deze gebeurt.

De race om de glitch te vangen

De auteurs begonnen door te kijken naar het probleem van "anomaliedetectie". In eenvoudige termen is dit gewoon het vinden van de vreemde getallen in een lijst. Ze concentreerden zich op "punt-anomalieën", die lijken op plotselinge pieken in een aandelenkoers — denk aan een aandeel dat in een fractie van een seconde van $100 naar $101 springt terwijl dat niet zou moeten gebeuren. Om deze te vangen, gebruikten ze een specif으로 type AI genaamd een Transformer. In tegen tegenstelling tot oudere AI-modellen die data stap voor stap lezen (zoals het lezen van een boek woord voor woord), bekijken Transformers het hele plaatje in één keer, waarbij ze begrijpen hoe een prijs van vandaag relateert aan een prijs van weken geleden.

Het draaien van deze Transformers is echter meestal traag en duur. De auteurs besloten om te proberen ze te draaien op een FPGA, specifiek een bord genaamd de PYNQ-Z2. Om dit werkend te krijgen, moesten ze zeer slim zijn in hoe ze de chip programmeerden. Ze behandelden de wiskunde binnen de Transformer als een fabrieksassemblagelijn. In plaats van te wachten tot één berekening klaar is voordat de volgende begint, gebruikten ze een techniek genaamd "pipelining". Stel je een autowasstraat voor waarbij de eerste auto nog wordt ingezet met zeep terwijl de tweede auto al in de spoelcyclus zit; dit houdt de lijn snel in beweging. Ze gebruikten ook "unrolling", wat lijkt op het hebben van tien werkers die exact dezelfde taak tegelijkertijd uitvoeren in plaats van één werker die de taak tien keer achter elkaar doet.

De resultaten: Snelheid versus Slimheid

Het team testte twee versies van hun AI-detective. De eerste was de "Vanilla Transformer", de standaard, zware versie. De tweede was een "Lineaire Transformer", een lichtere, snellere versie die sommige van de zware berekeningen overslaat. Ze draalden deze modellen op de FPGA en vergeleken ze met een standaard computerprocessor (CPU).

De resultaten vertelden een verhaal van twee verschillende trade-offs. De standaard Transformer werd, wanneer geoptimaliseerd voor de FPGA, ongelooflijk snel. Het kon data verwerken in slechts 37,14 microseconden (dat is 0,000037 seconden!). Zonder deze speciale optimalisaties duurde dezelfde taak 347,45 microseconden, wat tien keer langzamer is. De Lineaire Transformer was zelfs nog sneller, met een tijd van 29,86 microseconden.

Maar snelheid kwam met een prijs. Om die snelheid te krijgen, moest de chip veel harder werken. De geoptimaliseerde Transformer gebruikte 90% van de beschikbare "LUT's" (de kleine logische schakelaars binnen de chip) en 30% van de "FF's" (geheugenbits), terwijl de trage, niet-geoptimaliseerde versie respectievelijk slechts 10% en 2% gebruikte. Het is alsof je een fiets upgradet naar een motorfiets: je gaat veel sneller, maar je hebt een veel grotere motor en meer brandstof nodig.

Heeft de detective de klus nog wel geklaard?

Snelheid is geweldig, maar is de detective nog steeds slim? De auteurs testten hun modellen op echte data, inclusclusief de vraag naar taxi's in New York City, serverprestatielogs en hoogfrequente aandelenkoersen. Ze vergeleken hun AI met een simpel "Lineair Regressie"-model, wat een soort detective is die alleen naar het meest recente getal kijkt en op basis daarvan een gok doet.

De resultaten lieten zien dat de Transformers over het algemeen veel beter waren in het opsporen van anomalieën dan het simpele model. Op de KPI-dataset (serverlogs) behaalde de standaard Transformer een nauwkeurigheid van 0,98 op de trainingsdata en 0,97 op de validatiedata, met een F1-score (een balans tussen het vangen van slecht nieuws en niet onnodig alarm slaan) van respectievelijk 0,71 en 0,76. De Lineaire Transformer was iets minder nauwkeurig maar nog steeds sterk. Echter, op de aandelenmarktdata (FI2010) hadden de modellen meer moeite, waarbij de F1-scores daalden naar 0,06 en 0,09, wat suggereert dat hoewel ze snel zijn, ze niet perfect zijn in het opsporen van elke enkele glitch in elk type data.

Interessant genoeg ontdekten de auteurs dat sommige kenmerken die gewoon als essentieel voor Transformers worden beschouwd, zoals "positional encoding" (een manier om de AI de volgorde van de getallen te vertellen), het trainen in hun specifieke opstelling juist instabiel en slechter maakten. Ze moesten deze functies uitzetten om de modellen goed op de chip te laten werken.

De conclusie

Dit artikel beweert niet dat het het mysterie van anomaliedetectie voor altijd heeft opgelost. In plaats daarvan suggereert het dat we deze krachtige AI-modellen succesvol kunnen verkleinen om op kleine, snelle chips te passen. De auteurs lieten zien dat je door slimme programmeertrucs zoals pipelining en unrolling een Transformer 10 keer sneller kunt laten draaien op een FPGA. Hoewel deze snelheid een zware prijs heeft in termen van de middelen van de chip, bewijst het dat real-time, hoge-snelheid anomaliedetectie mogelijk is zonder een massieve datacenter nodig te hebben. Het is een bewijs van concept dat de toekomst van het vangen van financiële glitches niet in een enorme serverruimte ligt, maar in een kleine, herconfigureerbare chip die met lichtsnelheid door de data raast.