Optimizing Transformer Neural Network for Real-Time Outlier Detection on FPGAs

あなたは、混雑した都市の中で泥棒を見つけ出そうとしている探偵だと想像してください。その都市は、株価、サーバーの温度、あるいはタクシーの行列の人数といった数字が絶え間なく流れる「数字の川」です。ほとんどの場合、この川は滑らかに流れていますが、時折、巨大な岩――「グリッチ（不具合）」や「アウトライヤー（外れ値）」――が流れに飛び込み、下流のすべてを台無しにしかねない水しぶきを上げることがあります。金融やデータサイエンスの世界において、これらの水しぶきは危険です。コンピュータに誤った判断を下させる可能性があるからです。長い間、これらの水しぶけを捕まえることは、手作業で干し草の山から針を探すように、非常に時間がかかる作業でした。しかし最近、科学者たちは「トランスフォーマー（Transformer）」と呼ばれる超スマートな探偵を作り上げました。トランスフォーマーを、百万冊の本を同時に読み、1ページの物語が1000ページの物語とどのように繋がっているかを瞬時に記憶できる天才的な司書だと考えてください。この司書は奇妙なパターンを見つけ出すことには長けていますが、一つ問題があります。司書があまりにも重厚で動作が遅いため、リアルタイムで泥棒を捕まえるほど速く走ることができないのです。

ここで、FPGAの登場です。これは、即座に再構成可能な、カスタムメイドの超高速レースカーエンジンのようなものです。この論文が取り組んでいる大きな問いは、「この天才的で重厚な司書（トランスフォーマー）を、このレースカー（FPGA）に乗せるように教え込み、異常なデータを瞬時に見つけ出せるようにできるか？」という点です。著者であるイリア・ソバキンスキーとポール・アレクサンダー・ビロコンは、この巨大な脳を、その賢さを失うことなく、小さな再構成可能なチップの中に収まるように縮小できるかどうかを検証しました。彼らは、金融のグリッチを見つけるために巨大なスーパーコンピュータは必要なく、災害が発生する前に食い止めることができるほど速い、小さなボード上でも実現できることを証明したいと考えたのです。

グリッチを捕まえるためのレース

著者たちはまず、「アノマリー検知（異常検知）」という問題に着目しました。簡単に言えば、これはリストの中から奇妙な数字を見つけ出すことです。彼らは「ポイント・アノマリー（点異常）」に焦点を当てました。これは、株価が本来あるべきではない瞬間に100ドルから101ドルへ跳ね上がるような、突然のスパイクのようなものです。これらを捕まえるために、彼らはトランスフォーマーと呼ばれる特定の種類のAIを使用しました。従来のAIモデルがデータを一歩ずつ読み進める（本を一語一語読むような）のに対し、トランスフォーマーは全体像を一度に見渡し、今日の価格が数週間前の価格とどのように関連しているかを理解します。

しかし、これらのトランスフォーマーを実行することは、通常、低速で高コストです。著者たちは、これらをFPGA、具体的にはPYNQ-Z2と呼ばれるボード上で実行することを試みました。これを実現するために、彼らはチップのプログラミング方法において非常に巧妙である必要がありました。彼らは、トランスフォーマー内部の数学的処理を「工場の組立ライン」のように扱いました。次の計算を開始する前に現在の計算が終わるのを待つのではなく、「パイプライン化」と呼ばれる手法を用いました。これは、最初の車がまだ洗剤をかけられている間に、二台目の車がすでにすすぎのサイクルに入っている洗車機のようなもので、ラインを高速で動かし続けます。また、「アンローリング（展開）」も使用しました。これは、一人の作業員が同じタスクを10回繰り返すのではなく、10人の作業員が全く同時に同じタスクを行うようなものです。

結果：スピード vs 知能

チームは、二つのバージョンのAI探偵をテストしました。一つ目は「バニラ・トランスフォーマー（Vanilla Transformer）」、つまり標準的で重厚なバージョンです。二つ目は「リニア・トランスフォーマー（Linear Transformer）」、つまり重い計算をスキップする、より軽量で高速なバージョンです。彼らはこれらのモデルをFPGA上で実行し、標準的なコンピュータプロセッサ（CPU）と比較しました。

結果は、二つの異なるトレードオフの物語となりました。最適化されたFPGA上の標準的なトランスフォーマーは、驚異的な速さを実現しました。わずか37.14マイクロ秒（0.000037秒！）でデータを処理することができました。これらの特別な最適化を行わない場合、同じタスクには347.45マイクロ秒かかり、10倍遅くなります。リニア・トランスフォーマーはさらに速く、29.86マイクロ秒を記録しました。

しかし、スピードには代償が伴いました。そのスピードを得るために、チップはより激しく働かなければなりませんでした。最適化されたトランスフォーマーは、利用可能な「LUT（論理素子）」の**90%と、「FF（フリップフロップ/メモリビット）」の30%を使用しましたが、最適化されていない低速なバージョンは、それぞれわずか10%と2%**しか使用しませんでした。これは、自転車をオートバイにアップグレードするようなものです。より速く進めますが、より大きなエンジンと多くの燃料が必要になります。

探偵は任務を遂行できたのか？

スピードは素晴らしいですが、探偵は依然として賢いのでしょうか？著者たちは、ニューヨーク市のタクシー需要、サーバーのパフォーマンスログ、高頻度取引の株価を含む、現実世界のデータを用いて彼らのモデルをテストしました。彼らは、AIを、直近の数字だけを見てそれに基づいて推測する、いわば「線形回帰（Linear Regression）」モデルと比較しました。

結果は、トランスフォーマーが単純なモデルよりも一般的に異常の特定において優れていることを示しました。KPIデータセット（サーバーログ）において、標準的なトランスフォーマーは、学習データで0.98、検証データで0.97の精度を達成し、F1スコア（異常を捉えることと、空振りに終わらないことのバランス）はそれぞれ0.71と0.76でした。リニア・トランスフォーマーは精度こそわずかに劣りましたが、依然として強力でした。しかし、株式市場のデータ（FI2010）では、モデルは少し苦戦し、F1スコアは0.06と0.09に低下しました。これは、高速ではあっても、あらゆる種類のデータにおいてすべてのグリッチを完璧に捉えられるわけではないことを示唆しています。

興味深いことに、著者たちは、「ポジショナル・エンコーディング（数値の順序をAIに伝える方法）」のような、通常トランスフォーマーに不可欠とされる特徴が、彼らの特定のセットアップにおいては学習を不安定にし、むしろ悪化させることを発見しました。チップ上でモデルを適切に機能させるために、彼らはこれらの機能をオフにする必要がありました。

結論

この論文は、異常検知の謎を永遠に解明したと主張しているわけではありません。代わりに、強力なAIモデルを小さくて高速なチップに収まるように縮小することが可能であることを示唆しています。著者たちは、パイプライン化やアンローリングといった巧妙なプログラミング技術を用いることで、トランスフォーマーをFPGA上で10倍速く実行できることを示しました。このスピードはチップのリソース消費という重い代償を伴いますが、巨大なデータセンターを必要とせずに、リアルタイムかつ高速な異常検知が可能であることを証明しています。これは、金融のグリッチを捕まえる未来が、巨大なサーバー室にあるのではなく、データを電光石火の速さで駆け抜ける、小さく再構成可能なチップの中にあるかもしれないという概念実証なのです。