Optimizing Transformer Neural Network for Real-Time Outlier Detection on FPGAs

Imaginez que vous êtes un détective essayant de repérer un voleur dans une ville bondée. La ville est un fleuve de chiffres, un flux constant de prix d'actions, de températures de serveurs ou du nombre de personnes dans une file d'attente de taxis. La plupart du temps, ce fleuve coule paisiblement, mais occasionnellement, un rocher géant — un « glitch » ou une « anomalie » — saute dans le courant, provoquant un éclaboussement qui pourrait tout ruiner en aval. Dans le monde de la finance et de la science des données, ces éclaboussures sont dangereuses ; elles peuvent tromper les ordinateurs et les pousser à prendre de mauvaises décisions. Pendant longtemps, attraper ces éclaboussures était lent, comme essayer de trouver une aiguille dans une botte de foin à la main. Mais récemment, des scientifiques ont construit un détective super intelligent appelé « Transformer ». Considérez le Transformer comme un bibliothécaire de génie capable de lire un million de livres à la fois et de se souvenir instantanément comment une histoire de la page un se connecte à une histoire de la page mille. Ce bibliothécaire est incroyable pour repérer les motifs étranges, mais il y a un piège : le bibliothécaire est si lourd et lent qu'il ne peut pas courir assez vite pour attraper le voleur en temps réel.

Entrez l'FPGA, qui est comme un moteur de voiture de course sur mesure, super rapide et que l'on peut reconfigurer à la volée. La grande question que cet article aborde est la suivante : pouvons-nous prendre notre bibliothécaire de génie et de poids lourd (le Transformer) et lui apprendre à conduire cette voiture de course (l'FPGA) afin qu'il puisse repérer les mauvaises données instantanément ? Les auteurs, Ilia Sobakinskikh et Paul Alexander Bilokon, ont cherché à voir s'ils pouvaient réduire ce cerveau géant pour qu'il tienne dans une petite puce reconfigurable sans perdre son intelligence. Ils voulaient prouver qu'on n'a pas besoin d'un supercalculateur massif pour trouver ces glitches financiers ; on peut le faire sur une petite carte, assez vite pour arrêter un désastre avant qu'il ne se produise.

La course pour attraper le glitch

Les auteurs ont commencé par examiner le problème de la « détection d'anomalies ». En termes simples, il s'agit de trouver les chiffres bizarres dans une liste. Ils se sont concentrés sur les « anomalies ponctuelles », qui sont comme des pics soudains dans le prix d'une action — imaginez une action passant de 100 $à 101$ en une fraction de seconde alors qu'elle ne le devrait pas. Pour attraper ces anomalies, ils ont utilisé un type spécifique d'IA appelé Transformer. Contrairement aux anciens modèles d'IA qui lisent les données étape par étape (comme lire un livre mot par mot), les Transformers regardent l'image globale à la fois, comprenant comment le prix d'aujourd'hui est lié à un prix d'il y a plusieurs semaines.

Cependant, faire fonctionner ces Transformers est généralement lent et coûteux. Les auteurs ont décidé d'essayer de les faire fonctionner sur un FPGA, plus précisément une carte appelée PYNQ-Z2. Pour que cela fonctionne, ils ont dû être très habiles dans la programmation de la puce. Ils ont traité les mathématiques à l'intérieur du Transformer comme une chaîne de montage d'usine. Au lieu d'attendre qu'un calcul se termine avant de commencer le suivant, ils ont utilisé une technique appelée « pipelining » (mise en pipeline). Imaginez un lavage auto où la première voiture est encore en train d'être savonnée pendant que la deuxième est déjà sous le cycle de rinçage ; cela permet de maintenir la ligne en mouvement rapide. Ils ont également utilisé l'« unrolling » (déroulement), ce qui revient à avoir dix travailleurs effectuant la même tâche exactement au même moment au lieu d'un seul travailleur la faisant dix fois de suite.

Les résultats : Vitesse vs Intelligence

L'équipe a testé deux versions de leur détective IA. La première était le « Vanilla Transformer », la version standard et lourde. La seconde était un « Linear Transformer », une version plus légère et plus rapide qui saute certaines des mathématiques lourdes. Ils ont fait tourner ces modèles sur l'FPGA et les ont comparés à un processeur d'ordinateur standard (CPU).

Les résultats sont un récit de deux compromis différents. Le Transformer standard, lorsqu'il est optimisé pour l'FPGA, devient incroyablement rapide. Il peut traiter les données en seulement 37,14 microsecondes (soit 0,000037 seconde !). Sans ces optimisations spéciales, la même tâche prenait 347,45 microsecondes, soit dix fois plus de temps. Le Linear Transformer était encore plus rapide, affichant 29,86 microsecondes.

Mais la vitesse a un prix. Pour obtenir cette vitesse, la puce doit travailler beaucoup plus dur. Le Transformer optimisé utilisait 90 % des « LUTs » disponibles (les minuscules commutateurs logiques à l'intérieur de la puce) et 30 % des « FFs » (bits de mémoire), tandis que la version lente et non optimisée n'utilisait respectivement que 10 % et 2 %. C'est comme passer d'un vélo à une moto : vous allez beaucoup plus vite, mais vous avez besoin d'un moteur beaucoup plus gros et de plus de carburant.

Le détective a-t-il quand même fait le travail ?

La vitesse est une bonne chose, mais le détective est-il toujours intelligent ? Les auteurs ont testé leurs modèles sur des données réelles, incluant la demande de taxis à New York, des journaux de performance de serveurs et des prix d'actions à haute fréquence. Ils ont comparé leur IA à un modèle simple de « Régression Linéaire », qui est comme un détective qui ne regarde que le chiffre le plus récent et devine en fonction de celui-ci.

Les résultats ont montré que les Transformers étaient généralement bien meilleurs pour repérer les anomalies que le modèle simple. Sur le jeu de données KPI (journaux de serveurs), le Transformer standard a atteint une précision de 0,98 sur les données d'entraînement et de 0,97 sur les données de validation, avec un score F1 (un équilibre entre la capture des mauvaises choses et le fait de donner l'alerte inutilement) de 0,71 et 0,76 respectivement. Le Linear Transformer était légèrement moins précis, mais restait performant. Cependant, sur les données du marché boursier (FI2010), les modèles ont eu un peu plus de mal, les scores F1 chutant à 0,06 et 0,09, suggérant que bien qu'ils soient rapides, ils ne sont pas parfaits pour repérer chaque glitch dans chaque type de données.

Étonnamment, les auteurs ont découvert que certaines caractéristiques généralement considérées comme essentielles pour les Transformers, comme l'« encodage positionnel » (une façon de dire à l'IA l'ordre des nombres), rendaient en fait l'entraînement instable et moins bon dans leur configuration spécifique. Ils ont dû désactiver ces fonctionnalités pour que les modèles fonctionnent correctement sur la puce.

L'essentiel

Cet article ne prétend pas avoir résolu le mystère de la détection d'anomalies pour toujours. Au lieu de cela, il suggère que nous pouvons réussir à réduire ces puissants modèles d'IA pour qu'ils tiennent sur de petites puces rapides. Les auteurs ont démontré qu'en utilisant des astuces de programmation ingénieuses comme le pipelining et l'unrolling, on peut faire fonctionner un Transformer 10 fois plus vite sur un FPGA. Bien que cette vitesse ait un coût important en termes de ressources de la puce, elle prouve que la détection d'anomalies en temps réel et à haute vitesse est possible sans avoir besoin d'un centre de données massif. C'est une preuve de concept que l'avenir de la détection des glitches financiers ne se trouve peut-être pas dans une immense salle de serveurs, mais dans une petite puce reconfigurable fonçant à travers les données à la vitesse de l'éclair.