💻 computer science

FTerViT: Fully Ternary Vision Transformer

本論文は、すべての重みと正規化パラメータを量子化して大幅なメモリ圧縮を実現し、競合する ImageNet-1K 精度を維持しながらマイクロコントローラー上での効率的なオンデバイス展開を可能にする、完全に三値化された Vision Transformer である FTerViT を紹介する。

原著者： Szymon Ruciński, Pietro Bonazzi, Engin Türetken, Simon Narduzzi, Michele Magno, Nadim Maamari

公開日 2026-05-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Szymon Ruciński, Pietro Bonazzi, Engin Türetken, Simon Narduzzi, Michele Magno, Nadim Maamari

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが、画像を見てそれが何であるかを正確に教えてくれる、非常に優秀で高学歴の司書（ビジョン・トランスフォーマー、またはViT）を持っていると想像してください。この司書は非常に賢いのですが、頭の中には膨大な数の本を携えています。もしこの司書を、スマートウォッチや安価なカメラのようなマイクロコントローラーという小さなバックパックに入れようとすると、本が重すぎてスペースを取りすぎるため、バックパックは裂けてしまいます。

通常、スマートな AI を小さなデバイスに収めるために、エンジニアは本を縮小させようとします。テキストを短いコードに変換することがありますが、最も重要で繊細なページ（表紙、目次、最終的な要約など）は、元のかさばった形式のままにされることが多いです。この論文は、中章だけを縮小して重い百科事典をポケットに収めようとするようなものだと主張しています。表紙と目次は依然として重すぎるからです。

ここで、FTerViTの著者たちが解決のために何を行ったかを見てみましょう。

1. 「三色」の辞書

複雑な数値（3.14159...など）を使って情報を保存する代わりに、著者たちは AI に**-1、0、+1という3 つの単純な記号**のみを使用させるようにしました。

これは、すべての単語が赤、緑、青のドットに置き換えられた辞書のようなものです。
この 3 つの選択肢のみを使用することで、情報を驚くほど高密度に詰め込むことができます。巨大な地図を小さな正方形に折りたたむようなものです。
彼らはこれを三値（Ternary、「3」を意味する）と呼んでいます。

2. 「壊れやすい」部分

以前の AI モデルの縮小試みは不完全でした。彼らは主要な脳（「エンコーダー」）を縮小しましたが、パッチ埋め込み（AI が画像の最初の瞬間を見る方法）、レイヤーノーマライゼーション（AI が思考をバランスさせる方法）、そして分類器（最終的な意思決定者）は、重く完全なサイズの形式のまま残しました。

著者たちは、小さなデバイスにおいて、これらの「残された」重い部分が、数が少ないにもかかわらず、実際には最も多くのスペースを占めていることに気づきました。
FTerViTは、これらの壊れやすい部分を含め、すべてを単純な -1、0、+1 の形式に縮小した最初の試みです。

3. 「チューターと生徒」のトリック

巨大な脳を小さな脳に縮小すると、通常、思考の仕方を忘れさせ、愚かな間違いを犯すことになります。これを修正するために、著者たちは知識蒸留と呼ばれる技術を使用しました。

元の重い AI であるマスターシェフが、小さく縮小された AI であるジュニアシェフに教える様子を想像してください。
「これは猫だ」と言うだけでなく、マスターシェフはジュニアシェフに、猫をどのように見ているかを示します。「耳、ひげ、形を見て」と。
ジュニアシェフは、最終的な答えだけでなく、マスターの思考プロセスを模倣して学びます。これにより、小さな AI は絶対的な最小サイズに縮小された後も、賢明さを保つことができました。

4. 結果：10 ドルのカメラの中のスマート AI

著者たちは、約 10 ドル程度のデバイスに搭載されているESP32-S3と呼ばれる非常に安価で一般的なマイクロコントローラーチップでこれをテストしました。

以前：元の AI は 88.3 MB でした。チップに収めることさえできませんでした。
以後：彼らの新しいFTerViTモデルはわずか5.81 MBです。完璧に収まります。
性能：小さくても、非常に賢いです。画像を正しく識別する割合は約**79.6%**です。これは、しばしば 74% 以下に低下していた以前の AI 縮小試みよりもはるかに優れています。

5. なぜそれがあなたのポケットにとって重要なのか

この論文は、スマートなビジョンを実行するためにスーパーコンピュータは必要ないことを示しています。あなたは8 MB のメモリ（小さなテキストファイルほどのサイズ）を持つデバイスで実行できます。

速度：データが非常に小さいため、デバイスは情報を取得するためにそれほど頑張る必要がありません。より高速に動作し、バッテリーを節約します。
効率性：著者たちは、インターネットやクラウドサーバーに接続する必要なく、この小さな AI をチップ上で完全に実行するカスタム「エンジン」（ソフトウェア）を構築しました。

要約すると：この論文は、最も高度な画像認識 AI モデルを小さな小石ほどのサイズに縮小する方法を紹介しており、以前は処理能力が不足していた安価でバッテリー駆動のデバイスで実行できるようにします。彼らは、数学を 3 つの数字に単純化し、「チューター」を使って小さなモデルに正しい思考方法を教えることでこれを実現しました。

技術概要：FTerViT：完全三値ビジョントランスフォーマー

問題提起

ビジョントランスフォーマー（ViT）は強力な画像分類器であるが、その膨大なメモリフットプリントのため、一般的にマイクロコントローラクラスのデバイスには不向きである。DeiT-Small のような標準的なコンパクトな ViT は、FP32 精度で約 88.3 MB を必要とするのに対し、一般的なマイクロコントローラユニット（MCU）が提供する外部 RAM は数メガバイトに過ぎない。このミスマッチにより、クラウドへのオフローディングなしにエッジデバイス上で常時稼働する低電力ビジョンアプリケーションを配備することは不可能である。

三値量子化（重みを $\{-1, 0, +1\}$ に制限する）は FP32 に対して理論上 16 倍の圧縮を提供するが、既存の最先端手法はトランスフォーマーエンコーダ層のみを三値化している。パッチ埋め込み、LayerNorm パラメータ、分類器ヘッドは、FP32 または低ビット整数（INT8）のまま保持されている。コンパクトなモデルにおいて、これらの残存する全精度コンポーネントは支配的なボトルネックとなり、パラメータ数の小さな割合を占めるにもかかわらず、モデルサイズの最大 38% を消費する。さらに、これらの敏感なコンポーネントを完全に三値化しようとする以前の試み（TerViT など）は、最初の層と最後の層が量子化に対して既知の敏感性を持つことにより、大幅な精度低下（最大 22.4 ポイント）を招いた。

手法

著者は、すべての重み行列と正規化パラメータを $\{-1, 0, +1\}$ に制限する、世界初の完全三値化ビジョントランスフォーマーであるFTerViTを提案する。このアプローチは、新しい三値演算子と専門的なトレーニングプロトコルの 2 つの柱で構成される。

1. 三値プリミティブ

FP32 ボトルネックを排除するため、著者は標準的なコンポーネントを専用の三値モジュールに置き換える：

TernaryBitLinear: 全結合層に使用される。重みをテンソルごとの絶対平均（$absmean $）スケーリングとクリップド・ラウンディングを用いて$ {-1, 0, +1}$ に量子化する。活性化値は、トークンごとの絶対最大スケーリングを用いて 8 ビット整数に量子化する。
TernaryBitConv2d: パッチ埋め込み層のために特別に設計された。異質なフィルタの大きさを処理するためにチャネルごとのスケーリングを適用し、先行研究が最も重要なコンポーネントとして特定したパッチ埋め込み層の敏感性に対処する。
TernaryLayerNorm: LayerNorm の学習可能なアフィンパラメータ（ $\gamma$ と $\beta$ ）を同じ $absmean$ 方式を用いて三値化する。トークンごとの統計量（平均と分散）とバイアスは、パラメータ数が無視できるため FP32 のまま残すが、これらを三値化すると位置情報が破壊される。

2. トレーニングプロトコル

モデルは、2 フェーズの知識蒸留（KD）戦略を用いてトレーニングされる：

フェーズ 1（トレーニング）: 三値の学生モデルは事前学習済みの FP32 教師モデルから初期化され、学習率 $10^{-4}$ （コサイン減衰）で 250 エポック、量子化感知蒸留（QAD）を用いてトレーニングされる。損失関数は、低ビットネットワークにおいて KL 分散と競合する可能性があるクロスエントロピーを避け、学生と教師のロジット間の前方 KL 分散項のみを利用する。
フェーズ 2（回復）: 学習率を $10^{-5}$ （コサイン減衰）で再開し、10 エポック行う軽量な微調整フェーズである。このフェーズにより、フェーズ 1 の初期飽和中に失われたスケールの再較正と精度の回復が可能となる。

主な貢献

世界初の完全三値 ViT: 著者は、ViT の最も脆弱なコンポーネント（パッチ埋め込み、LayerNorm、分類器ヘッド）が、知識蒸留を用いてトレーニングされれば、 $\{-1, 0, +1\}$ に成功裏に三値化できることを実証し、これまでに量子化可能と考えられていた範囲の境界を押し広げた。
新規演算子: エンコーダ層以外の特定の敏感性に対処するための、チャネルごとのスケーリングを備えた TernaryBitConv2d と TernaryLayerNorm の導入。
トレーニング戦略: 先行する三値 ViT 手法と比較して、より高速な収束と著しく高い最終精度を実現する、シンプルかつ効果的な 2 フェーズトレーニング戦略（高学習率トレーニングに続く低学習率回復）。
オンデバイス実装: 資源制約のあるデュアルコア ESP32-S3 マイクロコントローラ（8 MB PSRAM）上での、スタンドアロンの三値ビジョントランスフォーマーの最初の C 実装。

実験結果

この手法は ImageNet-1K および他のベンチマークで評価された：

精度と圧縮:
- FTerViT-DeiT-III-S (384 $\times$ 384): 6.09 MB（14.6 倍の圧縮）で**82.43%**のトップ 1 精度を達成し、FP32 教師モデルと比較して 2.42 ポイントの損失のみ。これは先行する三値 ViT 手法（TerViT など）を最大 8 ポイント上回る。
- FTerViT-DeiT-III-S (224 $\times$ 224): 5.81 MBで**79.64%**のトップ 1 精度を達成。
- FTerViT-DeiT-S (224 $\times$ 224): 5.81 MBで**77.47%**のトップ 1 精度を達成し、TerViT-DeiT-S を 3.27 ポイント上回る。
- CIFAR ベンチマーク: DeiT-Tiny 変種は、わずか 1.53 MB のストレージで CIFAR-10 で 97.43%、CIFAR-100 で 86.01% を達成。
コンポーネント敏感性分析:
- タaylor 1 次およびヘッシアン・トレース分析により、LayerNorm とパッチ埋め込みがパラメータ数の 0.2% 未満を占めるにもかかわらず、モデルの重要性を支配している（それぞれ 34–39% と 4.6%）ことが確認された。これは、先行手法がこれらをより高い精度で残した理由と、それらの成功した三値化がなぜ重要なのかを説明する。
オンデバイス配備（ESP32-S3）:
- 5.81 MB のモデルは ESP32-S3 の 8 MB PSRAM に完全に収まり、カメラと LCD バッファ用に約 4.5 MB が空き容量として残る。
- パフォーマンス: 前方パスには 21.06 秒を要する。
- 効率性: FP32 と比較し、パッキングされた 2 ビット三値推論は1.71 倍高速（特定の層において 1376 ms 対 804 ms）であり、アイドル状態以上のエネルギー消費を**55%**削減する（130 mJ 対 59 mJ）。

意義

本論文は、FTerViT が標準的な ViT の精度とマイクロコントローラ規模の配備における厳格なメモリ制約との間のギャップを大幅に狭めると主張している。以前は「触れてはならない」とされていたパッチ埋め込みや正規化層を含むアーキテクチャ全体を成功裏に三値化することで、著者は安価な低コスト（10 ドル）の MCU 上で高精度ビジョンモデルを配備可能にした。この研究は、適切なトレーニング戦略（同一アーキテクチャ KD と 2 フェーズ回復）を用いることで、これらのコンポーネントの敏感性を管理でき、完全三値 ViT をエッジ AI の実用的な現実のものにすることを検証している。著者は、FP32 に対する精度のギャップはモデル容量に反比例し、より大きなモデル（DeiT-III-S384）はより小さなモデルよりも相対的な精度損失が少ないと指摘している。