技術概要：TinySSL（CA-DSSL）

問題定義

本論文は、マイクロコントローラ（MCU）クラスモデル（通常、50 万未満のパラメータと 1 メガバイト未満のメモリフットプリントで動作）における自己教師あり学習（SSL）の決定的な欠落に焦点を当てている。SSL は大規模モデル（例：ResNet-50、ViT-B）の表現学習に革命をもたらしたが、標準的な手法は MCU スケールでは壊滅的に失敗する。著者らは、小型バックボーンにおける 3 つの具体的な失敗モードを特定した：

1. 投影ヘッドの支配： 標準的な SSL 投影ヘッド（例：2048 次元の MLP）は、しばしば学生バックボーン全体よりも多くのパラメータを含み、最適化が特徴抽出器ではなくヘッドに焦点を当ててしまう。
2. 表現のボトルネック： 小型バックボーン（例：最終段階で約 112 チャンネルを持つ MobileNetV2-0.35×）は、標準的な対照的または非対照的目的が要求する微細な不変性を符号化する能力が不足している。
3. データ拡張への感度： 大規模モデルには有益な強力なデータ拡張が、トレーニング初期に小型ネットワークを圧倒し、表現の崩壊（クラッシュ）を引き起こす。

その結果、BYOL や DINO などの標準的な SSL 手法は MCU 上ではほぼランダムな性能に崩壊し、SimCLR などの対照的手法も著しく性能が低下する。

手法：CA-DSSL

著者らは、サブメガバイトモデル向けに設計された教師ガイド型のフレームワークである**容量感知蒸留自己教師あり学習（CA-DSSL）**を提案する。核心的な洞察は、学習された表現を小型学生に圧縮するために大規模で凍結された教師を利用し、学生が独自に不変性を発見する必要性を回避することにある。

構造と構成要素

• 学生バックボーン： MobileNetV2-0.35×モデル（396K パラメータ）。
• 教師： 凍結された DINO ViT-S/16（22M パラメータ）。事前学習中にのみ使用され、デプロイ時には破棄される。
• 容量比例投影： 巨大な MLP ヘッドの代わりに、CA-DSSL は単一の線形層（$W_p$）を使用して特徴を 256 次元に投影し、バックボーンに比例した約 328K パラメータのみを追加する。2 番目の線形層（$W_a$）は、学生の投影を教師の CLS トークン次元（384）に整合させる。
• マルチスケール特徴蒸留（MSFD）： 下流の検出に不可欠な空間情報を保持するため、この手法は 3 つのバックボーン段階で特徴を蒸留し、$L_2$正規化された平均二乗誤差を介して学生と教師の空間トークンを整合させる。
• 段階的拡張カリキュラム： 早期の崩壊を防ぐため、拡張強度は 100 エポックにわたって 3 つのフェーズ（軽度 $\to$ 中程度 $\to$ 完全）で徐々に増加する。

損失関数

総損失は 3 つの項を組み合わせる（デフォルトの重み $\lambda_{ms}=0.5, \lambda_{reg}=0$）：
$$L_{total} = L_{cls} + \lambda_{ms}L_{ms} + \lambda_{reg}L_{reg}$$

• $L_{cls}$： 教師の CLS トークンを学生のグローバル投影に蒸留（コサイン類似度）。
• $L_{ms}$： マルチスケール特徴蒸留（正規化された空間特徴間の MSE）。
• $L_{reg}$： オプションの自己対照的正則化（InfoNCE）。著者らは、キューノイズによりこの項が小規模データセット（CIFAR-100）では有害であると見出しているが、大規模なコーパスでは役立つ可能性を示唆している。

主な貢献

1. MCU スケール SSL の体系的な研究： 本論文は、標準的な SSL 手法（BYOL、DINO）が 50 万未満のパラメータスケールで完全に崩壊し、対照的手法（SimCLR）は学習するが性能が劣ることを確立しており、質的に異なるアプローチが必要であることを示している。
2. CA-DSSL フレームワーク： 容量制約モデル向けに調整された、教師ガイド型蒸留、マルチスケール特徴整合、段階的拡張カリキュラムの新奇な組み合わせ。
3. パラメータ効率： CA-DSSL は、トレーニング時の投影ヘッドを SEED ベースラインより 10 倍小さく（426K 対 315 万パラメータ）しながら、精度を同等かそれ以上に達成し、最先端の結果を達成する。
4. デプロイの可行性： 事前学習パイプラインからの推論オーバーヘッドをゼロとし、トレーニンググラフ全体を MCU メモリ予算内に収めることで、デバイス上での微調整と連合学習を可能にする。

実験結果

実験は主に CIFAR-100（5 万画像）で行われ、Flowers102、Food101、Core50、Pascal VOC への転移評価が行われた。

• 分類（線形プローブ）： 396K MobileNetV2-0.35×バックボーンにおいて、CA-DSSL は**62.7% $\pm$ 0.5%の精度を達成する。これは SimCLR-Tiny より 18 パーセントポイント（pp）上回り、パラメータを大幅に削減しながら SEED ベースライン（61.7%）と同等の性能を発揮し、教師あり学習の上限の94.0%**に達する。対照的に、BYOL-Tiny と DINO-Tiny は約 5% の精度に崩壊する。
• 検出転移： Pascal VOC において、CA-DSSL は7.69% mAP@50を達成し、ランダム初期化に対して 2.3 倍、SEED ベースラインに対して +3.0 pp の改善を示す。SimCLR-Tiny はこの mAP（7.78%）と同等であるが、CA-DSSL はヘッドパラメータを 10 倍削減してこれを達成している。
• 転移学習： CA-DSSL バックボーンは Flowers102 と Food101 によく一般化し、標準的な SSL ベースラインを上回り、Food101 においては教師あり事前学習をも凌駕する。
• スケーリングの限界： ImageNet-100 での予備実験により、CA-DSSL の容量比例型ヘッドは SEED のより大きなヘッドほどスケーリングしないことが明らかになった。ImageNet-100 において SEED は CA-DSSL より 20 pp 上回り、CA-DSSL は小データ領域向けに最適化されていることを示している。

意義と主張

本論文は、CA-DSSL をクラウド接続やラベル付きデータなしでエッジデバイスに高品質なコンピュータビジョンを可能にする TinyML にとって不可欠な進化として位置づける。

• 実用的影響： デプロイされたバックボーンはわずか**378 KB（INT8）**を占有し、SSL パイプラインからの推論オーバーヘッドなしで、さまざまな MCU（STM32H7、ESP32-S3、MAX78000）上で動作する。
• 設計のトレードオフ： 著者らは CA-DSSL を明示的にトレーニングメモリが制約される小データ領域の解決策として位置づける。大規模事前学習（例：ImageNet-1K）では、より大きな投影ヘッド（SEED など）が優れていることを認めているが、CA-DSSL はスケーラビリティを犠牲にして、デプロイに関連するパラメータ効率を優先している。
• 安定性： 学生が自身のターゲットを生成する自己教師あり手法と比較して、外部教師の使用は（シード間の分散が低く）はるかに安定したトレーニングを提供する。

本研究は、MCU スケールにおける SSL は単なる小規模モデル SSL の量的な外挿ではなく、特に教師ガイド型蒸留と容量感知アーキテクチャという根本的に異なる設計選択を必要とするものであると結論づけている。