Data-Efficient Stream-Based Active Distillation for Scalable Edge Model Deployment

技術要約：スケーラブルなエッジモデル展開のための、データ効率的なストリームベースの能動的蒸留

問題提起
エッジカメラシステムは、多様な視覚ドメインをカバーするために急速に拡大しており、分布の変化や新しい環境に適応するための頻繁なモデル更新が必要となっています。しかし、エッジデバイスは計算能力やメモリが限られているため、デプロイされる深層ニューラルネットワーク（DNN）のサイズと性能には制約があります。中央サーバーは、エッジでの軽量な「生徒（Student）」モデルの学習のために、データを擬似ラベル化する複雑な「教師（Teacher）」モデルをホストできますが、すべての生ビデオフレームをアノテーションのために送信することは、帯域幅の制約やストレージコストのため不可能です。既存のストリームベース能動的蒸留（SBAD）手法は、ノイズを減らすために高信頼度の予測に基づいて画像を選択しますが、このアプローチは冗長なデータセットと不要なデータ転送を招くことが多く、限られた送信予算の有用性を最大化できていません。

手法
著者らは、モデルの品質と送信コストのトレードオフを最適化するために設計された、2段階の選択フレームワークである D-SBAD（Data-Efficient Stream-Based Active Distillation）を提案しています。このシステムは、クライアントとサーバーの動的な関係で動作します。

1. クライアント側（エッジ）: 軽量な生徒モデルがビデオストリームをリアルタイムで処理します。一定数のフレームを即座に送信するのではなく、クライアントは SELECT 戦略（具体的には TOP-CONFIDENCE）を用いて、時間窓内でより大きな「候補セット」($S$) を特定します。これらの候補はデバイス上に一時的にバッファリングされます。
2. フィルタリング段階: エッジ上の軽量なフィルタリングモジュールが、候補セット $S$ を処理して、最終的な多様なサブセット $F$（送信予算 $B$ のサイズ）を選択します。このステップの目的は、冗長性を減らし、選択されたサンプルがカメラのドメインを効果的に代表するようにすることです。論文では、以下を含むいくつかのラベルフリーのフィルタリング戦略をベンチマークしています。
   • Farthest First (FF): 潜在空間内の最も密な領域から最初のサンプルを選択し、既に選択されたセットに対する最大コサイン類似度を最小化するように反復的にサンプルを追加していく決定論的アルゴリズムであり、多様性を最大化します。
   • Training-Free Dataset Pruning (TFDP): 検出ボックスの周囲長と面積に基づく形状複雑度スコア（Shape Complexity Score）を使用します。
   • Moderate Coreset: 潜在空間におけるデータセット中心からの距離の中央値に最も近いサンプルを選択します。
   • Least Confidence: 生徒モデルの信頼度が最も低いサンプルを選択します。
3. サーバー側: フィルタリングされたサブセット $F$ がサーバーに送信され、強力な教師モデルが擬似ラベルを生成します。その後、生徒モデルはこれらの擬似ラベル付きサンプルを使用して微調整（ファインチューニング）されます。

主な貢献

• 2段階選択パイプライン: 論文は、初期サンプリングと送信の間にフィルタリング段階を挿入することで、SBADフレームワークに新しい修正を加えたことを導入しています。これにより、システムは、少数の高品質なサブセットを送信する前に、より大きなデータプール（$|S| = \gamma B$）を探索することが可能になります。
• 多様性に基づくフィルタリング: 高信頼度サンプリングと多様性ベースのアプローチ（具体的にはFarthest Firstアルゴリズム）を組み合わせることで、信頼度のみに基づいたベースラインと比較して、モデルの品質が大幅に向上することを著者らは示しています。
• ラベルフリーの効率性: 提案されたフィルタリング戦略は、グラウンドトゥルース（正解ラベル）なしで動作するため、手動アノテーションが利用できない教師なしまたは半教師ありのエッジ学習シナリオに適しています。
• スケーラビリティ: 本フレームワークは、モデルの性能を維持または向上させつつ、帯域幅と学習コストを削減するように設計されており、スケーラブルなエッジ展開における重要なボトルネックに対処しています。

実験結果
実験は、車両の循環を捉える15台のカメラからの映像を含む、Watch and Learn Time-lapse (WALT) データセットを用いて行われました。セットアップにはYOLO11アーキテクチャを使用し、YOLO11n（3.2Mパラメータ）を生徒、YOLO11x（68.2Mパラメータ）を教師として用いました。

• ベースラインとの性能比較: Farthest First (FF) 戦略が最高の性能を示しました。FFは、未フィルタリングのSBAD-$\gamma$ ベースライン（収集された全セットを送信するもの）よりも8倍少ない画像を使用しているにもかかわらず、同等のmAP50−95スコアを達成しました。
• 学習済みモデルとの比較: FF戦略で学習された生徒モデルは、200イテレーションから事前学習済みのYOLO11n生徒モデルを上回り、最終的には3200イテレーションで事前学習済みのYOLO11x教師モデルをも上回りました。
• 収穫逓減: 候補セットのサイズ倍率（$\gamma$）を1（探索なし）から2（中程度の探索）に増やすと、大幅な性能向上が見られました。しかし、$\gamma$ をさらに大きく（最大12まで）しても収穫逓減が見られ、中程度の収集セットサイズにおいて最適なトレードオフが存在することを示唆しています。
• 効果的な戦略: この特定のユースケースでは、TFDPおよびModerate Coresetは未フィルタリングのベースラインを下回る性能となり、すべてのプルーニング戦略が普遍的に有効であるわけではないことを示しました。

意義と主張
本論文は、D-SBADが埋め込みの多様性を最大化しつつオーバーヘッドを最小限に抑えることで、エッジ学習システムのスケーラビリティを高めることを主張しています。著者らは、彼らのアプローチにより、最小限のデータセットクエリと低減された送信コストで高品質なモデルをデプロイできると述べています。また、フィルタリング段階において、エッジ適合型のVision Transformer (ViT) モデル（DINOv2など）によって生成されたコンパクトな埋め込みを使用することの実用性を強調しています。結論として、高信頼度のストリームベース戦略を多様性ベースのフィルタリングアプローチと組み合わせることで、テスト時にラベルデータを使用することなく、高品質なモデルを最小限のデータセットクエリで生成できることが示されました。今後の課題として、サーバーへの依存を完全に排除するために、エッジデバイス上で完全に実行可能な軽量な自己教師ありパイプラインを調査することが提案されています。