🤖 AI

DeVIT: Low-Power Vision Transformer Acceleration Using Delta Computation

本論文は、量子化モデルにおける値の局所性を利用して差分演算による乗算器レスの行列演算を可能にする、Vision Transformerのための低電力加速手法であるDeVITを提案する。

原著者： Reyhaneh Hosseinzadeh, Parham Zilouchian Moghaddam, Mehdi Modarressi

公開日 2026-08-04

📖 1 分で読めます☕ さくっと読める

原著者： Reyhaneh Hosseinzadeh, Parham Zilouchian Moghaddam, Mehdi Modarressi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットに写真の認識方法（例えば、木の中にいる猫や、通りにある車を見つけることなど）を教えようとしていると想像してください。これを行うために、私たちは「Vision Transformer（ビジョン・トランスフォーマー）」と呼ばれる、脳のような特別なコンピュータ・プログラムを使用します。これらのプログラムは非常に強力ですが、巨大で、食欲旺盛な獣のようです。写真を一度見るたびに、数十億回もの微細な数学的計算を行う必要があり、膨大な量のメモリとバッテリー電力を消費します。このため、スマートフォンやドローンのような小型デバイスにこれらを搭載することは、オーバーヒートしたり電力が切れたりする恐れがあるため、非常に困難です。

この食欲旺盛な獣を飼いならすために、科学者たちは数学をより単純にする方法を試してきました。一つの人気のあるトリックは「量子化（クオンタイゼーション）」であり、これはロボットが使用する数値を丸めることに似ています。精密な小数を使う代わりに、ロボットは0、1、2、最大255といった、限られた整数のセットのみを使用します。これによりスペースは節約できますが、ロボットが数十億回の掛け算を行うことを止めることはできません。しかし、この丸め処理には隠れたボーナスがあります。ロボットは限られた特定の数値しか使えないように強制されるため、同じ数値を何度も繰り返し使うことになるのです。これは、もしシェフが5つの食材しか持っていなければ、同じスパイスの瓶を繰り返し使うようなものです。大きな疑問は、ロボットが次に同じスパイスを使おうとしていることに気づき、その作業をスキップしてエネルギーを節約できる仕組みを作れるか、ということです。

これこそが、DeVIT（Delta-coded Vision Transformer）の開発者たちが解決しようとした問題です。彼らは、これらの「Vision Transformer」は限られた数値の使用を強制されるため、重み（ロボットに何を探すべきかを伝える数値）が値として隣り合っていることが多いということに気づきました。例えば、ロボットが数値を5、次に6、次に7と掛ける必要がある場合、3つの別々の難しい計算を行う必要はありません。最初の計算を行い、次に少しだけ足し、さらに少しだけ足していくという方法で済ませることができます。

DeVITチームは、ロボットがこの「少しずつ足していく」トリックを行えるように、数値を整理する巧妙な方法を考案しました。彼らは数値を小さい順に並べて保存し、それらの間の「差分（デルタ）」のみを保存します。もし差が小さければ、ロボットは複雑な掛け算を行う代わりに、数値を「シフト（2や4を掛けるような操作）」して足すことができます。もし差がゼロ（つまり、前の数と同じ）であれば、ロボットは何もしなくて済みます。単に前の答えを再利用するだけです。

この手法を用いることで、研究者たちは、ロボットが行うべき計算量を最適化されていないバージョンのわずか0.53倍にまで削減できることを示しました。つまり、ロボットは半分以下の仕事量で済むのです。彼らのテストでは、この新しい設計は、一つの主要な計算ステップに対して159.57 nJ（ナノジュール）のエネルギーを使用しました。これは、彼らが比較対象とした既存の最高の「シフト・アンド・アド（シフトして足す）」手法よりも、約**5.5%**エネルギーが少ない数値です。

しかし、落とし穴もあります。これを機能させるために、研究者は数値を並べ替え、それらがどこに属するかについての追加情報を保存する必要があり、これが少し余分なメモリ空間を消費します。また、差分を近似しているため、精度にわずかなトレードオフが生じます。彼らの実験における異なるモデルでは、画像分類で最大3.11パーセントポイント、物体検出で2.53 mAPポイントの精度低下が見られました。これほど大きなエネルギー節約ができる一方で、これは非常に小さな代償ではありますが、この手法がまだあらゆる状況において完璧であるわけではないことを意味しています。

要するに、DeVITはロボットに「参照シート」を与えるようなものです。毎回数学の問題を一から計算し直す代わりに、ロボットはソートされた数値のリストを見て、次の数値がほんの少し先にあることを確認し、ショートカットを利用します。これにより、ロボットはより速く、よりエネルギー効率よく動作できるようになり、強力なAIをバッテリーを消耗させることなく日常的なデバイスで動かすという目標に一歩近づきました。

技術要約：DeVIT – デルタ計算を用いた低電力ビジョン・トランスフォーマーの加速化

問題提起
Vision Transformer (ViT) は、自己注意機構（self-attention）を利用して長距離の依存関係をモデル化することで、コンピュータビジョンにおいて最先端の性能を達成してきました。しかし、リソース制約のあるデバイスへの展開においては、膨大な計算量とメモリ要件が障壁となっています。CNNとは異なり、ViTは自己注意におけるシーケンス長に対して二次的な複雑さを持ち、大量の積和演算（MAC）負荷を引き起こします。例えば、ViT-B/16モデルは、単一の224×224画像に対して176億回のMACを必要とし、これはResNet-50が必要とする41億回のMACを大幅に上回ります。量子化（例：8ビット）はモデルのサイズと複雑さを削減するための標準的な手法ですが、これによって二次的な特性である**値の局所性（value locality）**が導入されます。低ビット量子化された行列では、重みは限定された離散値の範囲に制限されるため、行内の多くの重みが同一の値であったり、非常に近い値であったりします。既存のハードウェアアクセラレータは、この局所性を十分に活用して冗長な乗算を排除できておらず、特にViTの計算の大部分を占める高密度な線形層（プロジェクションおよびフィードフォワードネットワーク）において顕著です。

手法：DeVIT
本論文では、高価な乗算をシフト加算操作に置き換える差分計算を活用した加速手法であるDeVIT（Delta-coded Vision Transformer）を提案しています。コアとなる手法は、以下の3つのステップで構成されます。

重みのソートとデルタ符号化：
重みの絶対値を保存する代わりに、DeVITは重み行列の各行内の重みを昇順にソートします。そして、重みそのものではなく、連続するソート済み重みの間の差分（ $\Delta W$ ）を保存します。

デルタ計算： 入力要素 $a$ とソート済み重み $W_2$ の積は、 $a \times W_2 = (a \times W_1) + (a \times \Delta W)$ として計算されます（ここで $W_1$ は直前の重み）。
シフト加算： 値の局所性により、 $\Delta W$ の値は通常小さく（多くの場合0、1、または2）、これらの小さな差分は2のべき乗として近似できるため、 $a \times \Delta W$ の乗算を単純なビットシフト操作に置き換えることができます。
ゼロ・デルタ・スキッピング： 連続する重みが同一である場合、 $\Delta W = 0$ となります。システムはこれらのインスタンスに対する計算をスキップし、直前の部分積を再利用することで、冗長な重みによる演算を事実上排除します。

入力ステイショナリ・データフロー：
乗算結果の再利用を可能にするために、DeVITは入力ステイショナリ（input-stationary）型の実行順序を採用しています。入力要素は逐次的にフェッチされ、特定の重み行に関連するすべての計算に対して再利用されます。これにより、単一の入力オペランドが、一連のソート済み重みに対して乗算されることが保証され、差分アプローチが可能になります。
パーティショニング戦略：
バッファサイズと消費電力を管理するために、重み行列はソートおよび符号化の前に小さなブロック（例：64または16要素）に分割されます。

トレードオフ： 小さなパーティションは、デスティネーション・インデックスおよび出力バッファに必要なストレージを削減しますが、デルタの大きさがわずかに増加し（ゼロや小さなデルタの頻度が減少する）、精度に影響を与える可能性があります。
インデックス符号化： 各デルタには、正しい出力順序を復元するための元の列位置を示すインデックスがペアで付与されます。符号化には、4ビットのデルタコード（符号 + 2のべき乗を表す3ビットの大きさ）と、パーティションサイズに応じた可変幅のインデックスが使用されます。

主な貢献

ViTのためのデルタベースの加速： DeVITは、差分計算（以前は $\Delta$ NNのようなCNNで探索されていたもの）を、Vision Transformer特有の密なトークンベースのデータフローに適合させた最初のアーキテクチャです。
乗算器レスの行列乗算： 重み行列をデルタ符号化形式に変換することで、ViTにおける支配的なGEMM（行列乗算）操作を基本的なシフト加算プロセスへと変換します。
システム認識型最適化： 本論文は、スパース性やアテンション機構に焦点を当てた先行研究とは異なり、ViTの密なプロジェクション層およびフィードフォワード層に特化した特定のデータフロー、パーティショニング戦略、およびインデックス管理スキームを導入しています。
ハードウェア実装： 著者らは、15nmプロセス技術で合成されたRTL設計を提示し、このアプローチの実用的な実現可能性を実証しています。

実験結果
著者らは、ViT-B/16、DeiT、Swin Transformer、およびDETR-ResNet-50を含む複数のベンチマークを用いて、8ビット量子化重みによる評価を行いました。

計算負荷： DeVITは、正規化された計算負荷を最適化されていないベースラインの0.53まで削減しました。これは、FACTのattention-skip（0.70）およびFC1-skip（0.61）の設定よりも低くなっていますが、FACTの最も積極的なFC2-skip（0.47）よりはわずかに高い値です。
エネルギー効率： 測定された単一GEMMエネルギーは159.57 nJでした。これは、比較対象に含まれるShiftAddLLM構成（168.84 nJ）よりも約5.5%低くなっています。
精度： 本手法は、最小限の劣化で高い精度を維持しています。例えば、ViT-B/16のTop-1精度は、FP32の83.71%からDeVIT $\Delta$ -64の83.48%へと低下しました。観察された最大の精度低下は、32要素のパーティション構成におけるSwinのTop-1で3.11パーセントポイント、DETRのmAPで2.53ポイントでした。

意義と主張
本論文は、DeVITが量子化のみから達成できるレベルを超えて、計算負荷とエネルギー消費の両方を削減することにより、幅広いデバイスにおける画像処理タスクへのTransformerモデルの展開の現実性を大幅に高めると主張しています。差分計算を通じて値の局所性を活用することで、DeVITは、複雑な動的スケジューリングや入力ごとの予測を必要とせずに、Transformer層における不可欠な行列乗算操作をシフト加算プロセスへと簡素化します。著者らは、DeVITを、ViTの主要なボトルネックである密な線形層をターゲットとした、システム認識型の補完的な最適化として位置づけており、ハードウェア効率、メモリ使用量、およびモデル精度のバランスの取れたトレードオフを提供しています。

関連論文