Optimizing Transformer Neural Network for Real-Time Outlier Detection on FPGAs

Immagina di essere un detective che cerca di individuare un ladro in una città affollata. La città è un fiume di numeri, che scorre costantemente con i prezzi delle azioni, la temperatura dei server o il numero di persone in fila per un taxi. La maggior parte del tempo questo fiume scorre regolarmente, ma occasionalmente una roccia gigante — un "glitch" o un "outlier" — salta nel flusso, causando uno schizzo che potrebbe rovinare tutto a valle. Nel mondo della finanza e della scienza dei dati, questi schizzi sono pericolosi; possono trarre in inganno i computer portandoli a prendere decisioni errate. Per molto tempo, catturare questi schizzi è stato lento, come cercare un ago in un pagliaio a mano. Ma recentemente, gli scienziati hanno costruito un detective super intelligente chiamato "Transformer". Pensa a un Transformer come a un bibliotecario geniale che può leggere un milione di libri contemporaneamente e ricordare istantaneamente come una storia a pagina uno si colleghi a una storia a pagina mille. Questo bibliotecario è incredibile nel notare schemi strani, ma c'è un problema: il bibliotecario è così pesante e lento che non riesce a correre abbastanza velocemente da catturare il ladro in tempo reale.

Entra in scena l'FPGA, che è come un motore da auto da corsa su misura, super veloce e riconfigurabile al volo. La grande domanda che questo articolo affronta è: possiamo prendere il nostro geniale e pesante bibliotecario (il Transformer) e insegnargli a guidare questa auto da corsa (l'FPGA) in modo che possa individuare i dati errati istantaneamente? Gli autori, Ilia Sobakinskikh e Paul Alexander Bilokon, si sono posti l'obiettivo di vedere se potevano rimpicciolire questo cervello gigante per farlo stare all'interno di un piccolo chip riconfigurabile senza perdere la sua intelligenza. Volevano dimostrare che non serve un supercomputer massiccio per trovare questi glitch finanziari; si può fare su una piccola scheda, abbastanza velocemente da fermare un disastro prima che accada.

La corsa per catturare il Glitch

Gli autori hanno iniziato esaminando il problema dell' "anomaly detection" (rilevamento delle anomalie). In termini semplici, si tratta solo di trovare i numeri strani in un elenco. Si sono concentrati sulle "point anomalies" (anomalie puntuali), che sono come picchi improvvisi nel prezzo di un'azione — pensa a un'azione che passa da 100 a 101 dollari in una frazione di secondo quando non dovrebbe. Per catturare questi eventi, hanno utilizzato un tipo specifico di IA chiamato Transformer. A differenza dei vecchi modelli di IA che leggono i dati un passo alla volta (come leggere un libro parola per parola), i Transformer guardano l'intera immagine insieme, comprendendo come il prezzo di oggi sia correlato a un prezzo di settimane fa.

Tuttavia, eseguire questi Transformer è solitamente lento e costoso. Gli autori hanno deciso di provare a eseguirli su un FPGA, nello specifico una scheda chiamata PYNQ-Z2. Per far funzionare questo processo, hanno dovuto essere molto astuti nel modo in cui programmavano il chip. Hanno trattato la matematica all'interno del Transformer come una catena di montaggio di una fabbrica. Invece di aspettare che un calcolo finisse prima di iniziarne un altro, hanno usato una tecnica chiamata "pipelining". Immagina un autolavaggio dove la prima auto sta ancora ricevendo il sapone mentre la seconda è già sotto il ciclo di risciacquo; questo mantiene la linea in movimento veloce. Hanno anche usato l' "unrolling" (sviluppo), che è come avere dieci lavoratori che svolgono lo stesso compito esattamente nello stesso momento invece di un singolo lavoratore che lo svolge dieci volte di seguito.

I Risultati: Velocità vs Intelligenza

Il team ha testato due versioni del loro detective IA. La prima era il "Vanilla Transformer", la versione standard e pesante. La seconda era un "Linear Transformer", una versione più leggera e veloce che salta parte della matematica pesante. Hanno eseguito questi modelli su un FPGA e li hanno confrontati con un normale processore per computer (CPU).

I risultati sono stati un racconto di due diversi compromessi. Il Transformer standard, quando ottimizzato per l'FPGA, è diventato incredibilmente veloce. Poteva elaborare i dati in soli 37,14 microsecondi (ovvero 0,000037 secondi!). Senza queste speciali ottimizzazioni, lo stesso compito richiedeva 347,45 microsecondi, ovvero dieci volte più lento. Il Linear Transformer era ancora più veloce, segnando 29,86 microsecondi.

Ma la velocità aveva un prezzo. Per ottenere questa velocità, il chip doveva lavorare molto di più. Il Transformer ottimizzato utilizzava il 90% dei "LUT" disponibili (i piccoli interruttori logici all'interno del chip) e il 30% degli "FF" (bit di memoria), mentre la versione lenta e non ottimizzata ne utilizzava rispettivamente solo il 10% e il 2%. È come passare da una bicicletta a una motocicletta: vai molto più veloce, ma hai bisogno di un motore molto più grande e di più carburante.

Il Detective ha fatto il suo lavoro?

La velocità è ottima, ma il detective è ancora intelligente? Gli autori hanno testato i loro modelli su dati del mondo reale, inclusi la domanda di taxi di New York City, i log delle prestazioni dei server e i prezzi delle azioni ad alta frequenza. Hanno confrontato la loro IA con un modello semplice di "Linear Regression" (regressione lineare), che è come un detective che guarda solo il numero più recente e indovina basandosi su quello.

I risultati hanno mostrato che i Transformer erano generalmente molto più bravi a individuare le anomalie rispetto al modello semplice. Sul dataset KPI (log dei server), il Transformer standard ha raggiunto un'accuratezza di 0,98 sui dati di addestramento e 0,97 sui dati di validazione, con un punteggio F1 (un equilibrio tra il catturare le cose brutte e il dare falsi allarmi) rispettivamente di 0,71 e 0,76. Il Linear Transformer era leggermente meno accurato ma comunque forte. Tuttavia, sui dati del mercato azionario (FI2010), i modelli hanno faticato un po' di più, con punteggi F1 che scendevano a 0,06 e 0,09, suggerendo che, sebbene siano veloci, non sono perfetti nel rilevare ogni singolo glitch in ogni tipo di dato.

Interessante notare che gli autori hanno scoperto che alcune caratteristiche solitamente considerate essenziali per i Transformer, come la "positional encoding" (un modo per dire all'IA l'ordine dei numeri), in realtà rendevano l'addestramento instabile e peggiore nella loro configurazione specifica. Hanno dovuto disattivare queste caratteristiche per far funzionare correttamente i modelli sul chip.

In sintesi

Questo articolo non sostiene di aver risolto il mistero del rilevamento delle anomalie per sempre. Al contrario, suggerisce che possiamo riuscire a rimpicciolire questi potenti modelli di IA per farli stare su chip piccoli e veloci. Gli autori hanno dimostrato che, usando trucchi di programmazione intelligenti come il pipelining e l'unrolling, è possibile far girare un Transformer 10 volte più velocemente su un FPGA. Sebbene questa velocità comporti un costo elevato in termini di risorse del chip, dimostra che il rilevamento delle anomalie in tempo reale e ad alta velocità è possibile senza la necessità di un enorme data center. È una prova di concetto che il futuro del rilevamento dei glitch finanziari potrebbe non risiedere in una gigantesca sala server, ma in un piccolo chip riconfigurabile che corre attraverso i dati alla velocità della luce.