Improving Diversity in Black-box Few-shot Knowledge Distillation

Tri-Nhan Vo 氏らによる論文「Improving Diversity in Black-box Few-shot Knowledge Distillation」の詳細な技術的サマリーを以下に示す。

1. 問題定義

本論文は、**ブラックボックス・フューショット知識蒸留（KD）**の課題に取り組む。

• 背景: 標準的な KD は、大規模な「教師」モデルから小規模な「学生」モデルへ知識を転移する。しかし、従来の KD は大規模な訓練データセットと、教師モデルの内部パラメータへの完全なアクセス（ホワイトボックス）を必要とする。
• 制約: 現実のシナリオ（例えば、Google の FaceNet や ChatGPT などのプロプライエタリモデルの蒸留）において、学生モデルの開発者は通常、以下の制約に直面する：
  1. ブラックボックスアクセス: 教師モデルの最終的な予測確率のみが利用可能であり、内部の勾配、logits、またはパラメータは隠されている。
  2. フューショットデータ: 学生モデルの訓練に利用可能なラベル付き画像は非常に少数（$N$）であり、真のデータ多様体（manifold）を表現するには不十分である。
• 既存ソリューションの限界: 現在のフューショット KD 手法は、多くの場合ホワイトボックス教師に依存するか、MixUp などの単純なデータ拡張を用いるが、これらによって生成される合成画像は多様性や現実的な意味論に欠ける。変分オートエンコーダ（CVAE）を用いる他の手法は、ぼやけアーティファクトに悩まされ、多様性の明示的な促進に失敗している。

2. 手法：DivBFKD

著者らは、教師の内部にアクセスすることなく、教師の元の訓練分布を模倣する多様な合成画像を生成するための 2 フェーズフレームワークであるDivBFKD（Diverse Black-box Few-Shot Knowledge Distillation）を提案する。

フェーズ 1: 生成（高信頼度選択を伴う WGAN）

核心的な革新は、多様性が高く高品質な合成画像を生成するために**Wasserstein 生成敵対ネットワーク（WGAN）**を訓練することにある。

• 高信頼度画像: 生成された画像のすべてを使用するのではなく、教師の信頼度に基づいて合成画像をフィルタリングする。教師の最大予測確率 $c_{\tilde{x}}$ が閾値 $\tau$ を超える場合、画像 $\tilde{x}$ は「高信頼度」とみなされる。
• 適応的閾値（$\tau$）: 固定閾値は、教師がクラス固有のバイアス（例：「シャツ」よりも「ズボン」を高い確信度で予測するなど）を示すため、効果的ではない。著者らは、フューショットのリアル画像からの信頼度スコアの $q$-quantile（例：$q=0.1$）を用いてクラスごとに計算される適応的閾値を提案する。これにより、閾値は各特定のクラスに対する教師の振る舞いに対して相対的なものとなる。
• オンザフライ敵対的訓練:
  • WGAN 生成器（$G$）が合成画像を生成する。
  • 識別器（$D$）は、リアル画像（フューショットセット $D$ から）と高信頼度合成画像（前回のイテレーションから選択されたもの）を区別するように訓練される。
  • フィードバックループ: 高信頼度合成画像を識別器にとっての「リアル」として扱うことで、生成器は教師が確信を持って分類するより多様な画像を生成するように誘導される。これにより、生成セットの多様性を拡大するポジティブフィードバックループが生まれる。

フェーズ 2: 蒸留

• データセット構築: 蒸留用データセット（$D_{KD}$）は、元のフューショットのリアル画像（$N$）と、訓練済みの WGAN によって生成された合成画像の予算（$M$）を組み合わせることで構築される。
• クラスバランス: バイアスを防ぐため、合成画像はリジェクトサンプリングによるクラスバランスを伴って生成される。
• 訓練: 学生ネットワークは、教師の予測（ソフトラベル）に対する標準的なクロスエントロピー損失を用いて $D_{KD}$ で訓練される。

3. 主要な貢献

1. WGAN 用の新規訓練スキーム: 敵対的学習ループに高信頼度画像をオンザフライで注入するメカニズムを導入する。これにより、教師を監督者として利用し、生成器を教師の未知の訓練分布へと導くことが可能になる。
2. 適応的閾値: クラス固有でデータセット非依存の「高信頼度」の定義を、quantile ベースの閾値を用いて提案する。これにより教師のバイアスを軽減し、異常な画像の選択を防ぐ。
3. 多様なブラックボックス・フューショット KD（DivBFKD）: フューショット KD における重要なボトルネックである合成データの多様性欠如に対処する完全なフレームワーク。
4. 最先端のパフォーマンス: さまざまなデータセットおよびアーキテクチャにおいて、既存のフューショット KD 手法を大幅に上回る性能を実証。

4. 実験結果

本手法は、LeNet、AlexNet、ResNet、VGG などのさまざまなアーキテクチャを用いて、7 つのデータセット（MNIST、FMNIST、SVHN、CIFAR10、CIFAR100、Tiny-ImageNet、Imagenette）で評価された。

• 性能向上:
  • 単純なデータセット: DivBFKD は、FMNIST および CIFAR10 において、2 番目に良いブラックボックス手法（FS-BBT）を約 2% 上回った。CIFAR10 においては、Standard-KD を 17% 改善した。
  • 複雑なデータセット: CIFAR100 において、DivBFKD は**59.91%の精度を達成し、FS-BBT（56.28%）を約 3.6% 上回った。高解像度の Imagenette においては86.48%**に達し、「Student-Full」の上限との差を大幅に縮小した。
  • クロスアーキテクチャ: 教師と学生が異なるアーキテクチャを持つ場合（例：ResNet 教師から VGG 学生へ）でも手法は堅牢であり、Standard-KD に対して 14〜22% 精度を向上させた。
• 多様性と品質指標:
  • カバレッジ: 合成画像は教師の訓練画像近傍の**42%**をカバーし、フューショット画像の 18% や標準的な WGAN 出力の 29% と比較して優れていた。
  • FID/IS: ベースラインの中で最良の Fréchet Inception Distance（13.96）および Inception Score（4.42）を達成し、高い多様性と品質を示した。
• アブレーション研究: **適応的閾値（AT）とクラスバランス（CB）**の両方が不可欠なコンポーネントであることを確認。特に AT は多様性の向上に最も大きな寄与をした。
• データフリー KD との比較: DivBFKD は、データフリー（ゼロショット）KD 手法を大幅に上回り、少量のリアルデータ（2K 画像）と多様な合成データを組み合わせることが、リアルデータが全くない場合よりも優れていることを証明した。

5. 意義

本論文は、モデル圧縮とプライバシー保護 AI の分野に重要な貢献をする：

• 実用性: プライバシーや知的財産権の懸念により、組織が大規模なデータセットやモデル重みを共有できないという重要な現実世界の課題を解決する。
• 多様性への焦点: 単に「任意の」合成データを生成することから、「多様性があり」「教師と整合する」データを生成することへと焦点を移す。これはデータ不足環境における効果的な蒸留の鍵である。
• 効率性: 提案手法は、単純な閾値処理とオンザフライ選択という追加計算オーバーヘッドをほぼ増やすことなく、最先端の結果を提供する。
• 汎用性: このアプローチはアーキテクチャに依存せず、単純から複雑な画像分類タスクまで機能するため、制約のある環境で軽量モデルを配備するための多目的ツールとなる。