🤖 AI

Accelerating Vision Transformers on Brain Processing Unit

本論文は、線形層を畳み込み演算子に置き換えることでモデルを再構成し、再学習なしでの重みの継承を可能にしつつ、CNNに最適化された脳処理ユニット（BPU）上でVision Transformerを加速させる新しい手法を提案しており、精度低下を最小限に抑えながら大幅な推論速度の向上を実現している。

原著者： Jinchi Tang, Yan Guo

公開日 2026-02-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jinchi Tang, Yan Guo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、超効率的で専門化された工場作業員である**BPU（Brain Processing Unit）を想像してみてください。この作業員は、4Dレゴブロック（高さ、幅、カラーチャンネル、バッチを表す標準的な画像データ）を組み立てるマスターです。人工知能の世界において、この作業員はCNN（畳み込みニューラルネットワーク）**を構築するための「レンガ積み職人」として定評があります。

しかし、**Vision Transformer（ViT）**という、非常に革命的な新しい設計士が登場しました。ViTは4Dレゴブロックを使って組み立てるのではなく、3Dの紙のスタック（データのシーケンス）を使って作業を行います。ViTは非常に賢く、しばしばより優れた結果を生み出しますが、話す言語が異なります。あなたがBPUの工場作業員にViTの構築を依頼しようとすると、彼らは混乱してしまいます。作業員はレンガを積み上げるように設計されており、紙のスタックを仕分けることはできないからです。その結果、ViTははるかに低速な汎用作業員（CPU）によって構築されることになり、超高速なBPUは手持ち無沙汰な状態で放置されてしまいます。

「紙」による解決策：「形を変える」トリック

論文の著者であるJinchi Tang氏とYan Guo氏は、巧妙な回避策を考案しました。彼らはBPUに紙のスタックの読み方を教えようとはしませんでした（それは困難であり、システム全体の再学習を必要とするからです）。代わりに、彼らは紙のスタックをレゴブロックのように見えるよう、形を作り変えたのです。

彼らがどのように行ったのか、簡単な比喩を用いて説明します：

線形層（Linear Layer）の問題： 標準的なViTでは、脳は情報を処理するために「線形層」を使用します。これは、単語のリストを読み取り、新しいリストを出力する翻訳者のようなものです。BPUはリストを読むことができず、4Dグリッドしか理解できません。
- 解決策： 著者たちは、この「翻訳者」を取り上げ、その指示を1x1のレゴブロックに見えるように再構成しました。数学的には全く同じ仕事をこなしますが、これでBPUの工場に完璧に適合するようになりました。それは、地図の内容を変えることなく、特定のチューブに収まるように平らな地図を円柱状に丸めるようなものです。
レイヤー正規化（Layer Normalization）の問題： ViTには、データのバランスを保つために（部屋の温度を適切に保つサーモスタットのように）「レイヤー正規化」というステップがあります。BPUには、組み込まれたサーモスタットがありません。
- 解決策： 著者たちは、BPUの既存のレゴブロックを使って「サーモスタット」を構築しました。彼らは、平均と分散を計算する特別な小さなブロック（1x1畳み込み）の連鎖を作り上げ、BPUがすでに持っているツールのみを使用して、実質的にサーモスタットを模倣したのです。

「再学習なし」のマジック

通常、建物の設計図を変更する場合、一度解体してゼロから建て直さなければなりません。しかし、著者たちが作成した「レゴブロック」が元の「紙のスタック」と数学的に同一になるよう細心の注意を払ったため、元の設計図（重み）は完璧に機能します。

彼らはモデルを再学習させたり、新しいことを教えたりする必要はありませんでした。単に、事前学習済みの「DeiT」モデル（効率的なViTの人気バージョン）を取り込み、彼らの形を変えるトリックを適用し、それをBPUに渡しただけです。BPUは即座に新しい形式を認識し、フルスピードで作業を開始しました。

結果：速度 vs 精度

チームは、2つの異なるタスクでこれをテストしました：数千の物体を認識する（ImageNet）、および花の分類です。

トレードオフ： モデルをこの専用ハードウェアで実行するように変換する場合、通常、わずかな精度低下が発生します（高精細な写真を、少し圧縮されたJPEGに切り替えるようなものです）。
- 大規模なImageNetテストにおいて、DeiT-Baseモデルの精度低下はわずか1.4%（81.8%から80.4%へ）でした。
- 花のテストでは、低下はさらに小さく、わずか**0.5%**でした。
見返り： このわずかな精度低下と引き換えに、モデルははるかに高速になりました。
- 最大のモデル（DeiT-Base）は、標準的なCPU上で動作する場合よりも、BPU上で3.8倍速く動作しました。
- より小さなモデルも、1.3倍から2.1倍の範囲でスピードアップが見られました。

面白い発見

テスト中、著者たちは興味深いことに気づきました。時として、テスト画像の公式ラベルが間違っていることがあります（例：ライオンの写真がサルとラベル付けされている）。元のDeiTモデルはライオンを正しく識別しましたが、システムは誤ったラベルのためにそれをエラーとしてマークしました。著者たちの新しい高速モデルも、ライオンを正しく識別しました。これは、モデルが公式のスコアが示唆するものよりも実際にはさらに賢いことを示唆しています。なぜなら、モデルはテストデータの「タイポ（誤植）」を見抜くことができるからです。

要約

この論文は、Vision Transformer（「紙のスタック」の設計士）を、設計図をゼロから作り直すことなく、専用のBrain Processing Unit（「レゴ」の工場）で実行させることに成功した初めての事例です。数学をハードウェアに適合するように巧みに形を変えることで、彼らは3.8倍のスピードアップを、知能の損失をほとんどなしに達成しました。これは、これらの高度なAIモデルが、ついに専用の組み込みチップ上で効率的に動作できることを証明しています。

技術要約：Brain Processing UnitにおけるVision Transformerの加速化

問題提起
本論文は、特化したニューラル・プロセッシング・ハードウェアと、現代のVision Transformer (ViT) モデルとの間にある決定的なアーキテクチャの不一致に対処している。具体的には、Horizon Brain Processing Unit (BPU) は、畳み込みニューラルネットワーク (CNN) に典型的な4次元畳み込み演算（INT8量子化）に最適化されている。しかし、Data-efficient Image Transformer (DeiT) のようなViTモデルは、3次元データストリーム上で動作する線形層（Linear Layer）やレイヤー正規化（LayerNorm）に大きく依存している。この不一致により、BPUがViTのコア計算を加速することができず、結果としてこれらのモデルは汎用CPUでの実行を余儀なくされ、ハードウェアの加速能力を享受できない状態となっている。

手法
モデルの再学習を必要とせずにこの不適合性を解決するため、著者らはDeiTアーキテクチャの構造的再構成を提案している。核心となる手法は、非畳み込み演算を、BPUが加速可能な数学的に等価な畳み込み演算に置き換えることである：

線形層の変換: 通常、3Dデータ $(B, N, C)$ を処理する線形層を、ポイントワイズ畳み込みへと変換する。これは、重み行列 $W \in \mathbb{R}^{O \times I}$ を unsqueeze 操作によって 4D テンソル $W' \in \mathbb{R}^{O \times I \times 1 \times 1}$ へと変形させることで実現される。入力テンソルも同様に、BPUの4Dデータストリームの要件に合わせるため、 $(B, N, C)$ から $(B, C, 1, N)$ へと転置される。
LayerNormの再定式化: レイヤー正規化操作を、一連の $1 \times 1$ 畳み込み演算へと分解する。平均値は、重みを $1/H$ （ $H$ は隠れ層の次元）に設定した畳み込みを用いて計算され、分散は、平均を減算し、その結果を二乗し、第二の畳み込みを適用することによって算出される。学習可能なパラメータ $\gamma$ と $\beta$ は、入力の次元に一致するように再形成される。
重みの継承: このアプローチの極めて重要な側面は、再構成されたモデルが再学習やファインチューニングを必要としない点である。標準的なDeiTチェックポイントから得られた元の学習済み重みが、再構成された畳み込み層に直接継承される。
量子化: 修正されたモデルは、Horizon BPUアルゴリズムツールチェーンを通じて処理され、最小値・最大値戦略（min-max strategy）とキャリブレーションデータセットを用いた事後学習量子化（PTQ）を用いて、INT8精度へと変換される。

主な貢献

初の成功したデプロイメント: 著者らは、これがBPUプラットフォーム上で、そのハードウェア加速能力を完全に活用した、Vision Transformerの初の実装成功例であると主張している。
アーキテクチャの適応: 線形層およびLayerNorm層を等価な畳み込み演算に置き換えることで、アーキテクチャの損失なしにINT8加速を可能にする、DeiTを再構成するための新しい手法を提案している。
再学習なしのデプロイメント: この手法は、学習済み重みの直接的な継承を可能にし、新しい演算構造のための再学習やファインチューニングに伴う計算コストと複雑さを排除する。
広範な検証: 本アプローチは、大規模なImageNetデータセットと、より小規模な花分類データセットの2つの異なるデータセットを用いて検証されている。

実験結果
論文では、オリジナルのDeiTモデルと、提案されたBPU最適化・量子化バージョンとの比較に関する広範な実験結果が報告されている：

ImageNetにおける性能:
- 精度: 量子化されたDeiT-Baseモデルは、ImageNetにおいて**80.4%**のTop-1精度を達成しており、これはオリジナルの81.8%からわずか1.4%の低下である。蒸留（Distilled）バリアントはさらに高い耐性を示し、DeiT-Base Dist.は81.7%の精度を維持している（1.7%の低下）。
- 異常検知: 著者らは、オリジナルモデルと量子化モデルの両方が、公式のアノテーションで誤ラベルであると判明しているImageNet検証セット内のいくつかの画像に対して、正しくラベルを予測したことを観察した。これは、モデルの真の精度が報告された指標よりもわずかに高い可能性を示唆している。
花分類の性能:
- 5種の花クラスを持つデータセットにおいて、量子化されたDeiT-Smallモデルは、フル精度版からの低下をわずか0.3%に抑え、**97.4%**の精度を達成した。
推論速度の向上:
- 量子化されたモデルは、BPUハードウェア上で浮動小数点版と比較して、大幅な推論速度の向上を示した。
- DeiT-Base: 3.82倍の高速化を達成。
- DeiT-Small: 2.16倍の高速化を達成。
- DeiT-Tiny: 1.30倍の高速化を達成。
- これらの結果は、量子化とハードウェア加速の恩恵が、より大きなモデルアーキテクチャにおいてより顕著であることを示している。

意義と主張
本論文は、Transformerベースのコンピュータビジョンモデルと、特化した組み込みハードウェアとの間の溝を埋めるための極めて重要なステップとして、本研究を位置づけている。ViTを最小限の精度低下と大幅な速度向上とともにBPUにデプロイできることを実証することで、著者らは、彼らの手法が現実世界のエッジデプロイメントシナリオに対する実用的なソリューションを提供すると主張している。学習済み重みを利用できる能力は、効率性の大きな向上として強調されており、リソース制約のある環境へのハードウェア加速型Transformerへの移行を現実的なものにしている。著者らは、これがDeiTモデルのBPU加速を完全に活用するための最初の成功例であると控えめに主張している。

技術要約：Brain Processing UnitにおけるVision Transformerの加速化

関連論文