技術要約：最小限の情報損失による大規模データセットの直接凝縮（CIM）

1. 問題提起

データセット蒸留（Dataset Distillation: DD）は、膨大な訓練データセットを、汎化性能を維持しつつ小さな合成データセットへと圧縮することを目的としている。大規模データセット（例：ImageNet-1K）における近年の最先端（SOTA）のアプローチ（例：SRe2L）は、デカップルされた3段階のプロセス、すなわち、Squeeze（事前学習済みモデルへのデータのエンコード）、Recover（モデルパラメータを画像空間へ逆転復元）、Relabel（事前学習済みモデルを用いたラベルの再割り当て）に基づく「情報抽出パイプライン」に依存している。

著者らは、これら抽出ベースの手法における2つの決定的なボトルネックを特定している：

1. 過大な計算オーバーヘッド： 「Recover」段階では、モデルパラメータを逆転させるために複雑かつ反復的な最適化が必要であり、高い時間的・メモリ的コストを要する。
2. 不十分なクロスアーキテクチャ汎化性能： 蒸留された画像は、特定のネットワークに特化した非現実的なテクスチャやセマンティクスを示す傾向がある。
3. 根本原因： 著者らは、暗黙的な二重圧縮プロセス（データ $\to$ モデル $\to$ 画像）が本質的に深刻な情報損失を引き起こすと主張している。この損失は、元のデータと合成データの間に分布シフトを生じさせる。その結果、広く採用されているRelabel戦略は信頼性を欠くことになる。つまり、元の分布で学習された事前学習済みモデルが、シフトした合成サンプルに対して「信頼できないラベル付け器」として機能してしまい、サブオプティマルなラベルをもたらし、性能を損なわせるのである。

2. 手法：CIMフレームワーク

これらの課題に対処するため、著者らはCIM (Condensing Information with Minimal loss) を提案する。これは、欠陥のある二重圧縮パラダイムを放棄した、新しいメトリック駆動型フレームワークである。データをモデルに押し込み、それを復元するのではなく、CIMは元のデータセットと蒸留されたデータセットの間の情報ギャップを直接最小化する。

コア概念

• 有効情報ギャップ（Effective Information Gap）： 著者らは、サンプルの有効情報を、一連のオブザーバー（例：様々な変換を加えた事前学習済みモデル）によって抽出された特徴量の分布として定義する。そして、元のサンプル $x_i$ と蒸留されたサンプル $\tilde{x}_j$ の間のペアワイズ有効情報ギャップ（Pairwise Effective Information Gap, $I_G$）を、カルバック・ライブラー（KL）ダイバージェンスを用いて定式化する。
• 理論的境界： 直接的なKL推定は困難であるため、著者らは、オブザーバーグループによって抽出された特徴ベクトルの期待平方ユークリッド距離によって情報ギャップを抑え込む定理を導出している。
• 最適化目的関数： 蒸留プロセスは、ランダムなクロップと変換によって拡張された、$N$ 個の元の画像と単一の蒸留画像 $\tilde{x}_j$ の間の期待特徴量距離を最小化する：
  $$\mathcal{L} = \mathbb{E}_{(\xi_k \sim \mathcal{G})} \left\| \zeta_k \circ \phi_{\theta_T}(x_i) - \zeta_k \circ \phi_{\theta_T}(\tilde{x}_j^{(i)}) \right\|^2$$
  ここで、$\phi_{\theta_T}$ は事前学習済みオブザーバーモデルであり、$\zeta_k$ は変換を表す。

主要な技術コンポーネント

1. 直接的なアライメント（Direct Alignment）： CIMは、元のデータ分布と蒸留されたデータセットの分布を明示的に一致させる。これにより、中間ステップである「Recover」を経ることなく、高忠実度な情報の保持を実現する。
2. セマンティクスとテクスチャのバランス： 深いセマンティックな特徴を整列させる際に生じやすいテクスチャの詳細の喪失を防ぐため、CIMはアライメントの目的関数として最終的なロジットではなく、中間モデルの特徴量を利用する。
3. 改善されたリラベル（Improved Relabeling）： 標準的なワンショット・ラベリングとは異なり、CIMは変換を考慮したソフト・ラベリング戦略を採用する。蒸留された画像の複数の変換されたビューに基づいてソフトラベルを生成することで、より多様で堅牢な知識注入を実現する。
4. サブセット選択（Subset Selection）： CIMは、事前学習済みモデルによって最も正確にリラベルされる、元のデータセット内の主要なサンプルを特定するためのサブセット選択メカニズム（デフォルトはRDED）を採用しており、蒸留セットが高品質で代表的なデータから始まることを保証する。

3. 主な貢献

1. 理論的洞察： 本論文は、既存の抽出ベースの手法における二重圧縮プロセスが深刻な情報損失と分布シフトを引き起こし、それが根本的にRelabel戦略の有効性を損なうことを厳密に明らかにしている。
2. 新規フレームワーク (CIM)： 元のデータセットと蒸留されたデータセットの間の情報ギャップを明示的に定量化し最小化するメトリック駆動型のアプローチを提供し、計算コストの高い復元プロセスを排除した。
3. 最先端の性能（SOTA）： 広範な実験により、CIMが様々なスケールとアーキテクチャにおいて新たなSOTAを確立したことが示されている。
   • ImageNet-1K (IPC=10): 単一のRTX-4090 GPUを用い、わずか80分でResNet-18において48.7%のTop-1精度を達成。
   • 向上幅： 従来のSOTA手法であるNRR-DD (+2.6%) や DELT (+2.9%) を上回る。
   • 汎化性能： 多様なバックボーン（ResNet, ViT, MobileNetなど）にわたって高い性能を維持し、優れたクロスアーキテクチャ汎化性能を示す。
4. 効率性： 反復的な復元段階を回避することで、CIMは最適化ベースのベースラインと比較して、性能を維持または向上させつつ、計算オーバーヘッドとメモリ使用量を大幅に削減している。

4. 実験結果

• 小規模データセット： CIMは、CIFAR-10およびCIFAR-100において、様々なIPC設定（1, 10, 50）および様々なアーキテクチャ（ConvNet, ResNet-18, ResNet-50）にわたり、ベースライン（SRe2L, G-VBSM, RDED等）を凌駕する。
• 大規模データセット： Tiny-ImageNetおよびImageNet-1Kにおいて、CIMは最高の精度を達成している。特に、IPC=10のImageNet-1Kにおいて48.7%の精度に達しており、これはDELTの46.1%やNRR-DDの45.8%からの顕著な飛躍である。
• クロスアーキテクチャ汎化： ResNet-18で蒸留され、未知のアーキテクチャ（例：EfficientNet-B0, ViT-T/16）でテストされた際も、CIMは一貫して他の手法を上回り、セマンティクスとテクスチャの両方の情報を保持する能力を証明している。
• 継続学習（Continual Learning）： 5ステップのクラス増分学習の設定において、CIMはSRe2Lを有意に改善しており、破滅的忘却を防ぐための高忠実度な合成データの有用性を示している。
• アブレーション研究： 以下の点を確認している：
  • 中間層の特徴量アライメントが、セマンティクスとテクスチャの最適なバランスをもたらす。
  • 4つの元の画像を1つの蒸留画像に圧縮する（$N=4$）ことが、最適なトレードオフとなる。
  • 本フレームワークは、圧縮イテレーション数（$M$）やサブセット選択戦略に対して頑健である。

5. 意義と主張

本論文は、CIMがデータセット蒸留におけるパラダイムシフトを象徴すると主張している。「Squeeze-Recover」というヒューリスティックから脱却することで、CIMは性能のボトルネックの根本原因である情報損失と分布シフトに直接対処している。

著者らは、彼らのアプローチが以下を実現することを強調している：

• 信頼性の回復： 分布の近接性を確保することで、Relabel戦略が意図した通りに機能することを可能にし、事前学習済みモデルを再び信頼できるラベラーへと戻す。
• スケーラビリティ： 前例のないスピード（80分）と効率性で、大規模なデータセット（ImageNet-1K）の蒸留を可能にする。
• 汎用性： 以前の抽出ベースの手法の大きな制限であった、異なるネットワークアーキテクチャ間での堅牢な合成データセットの生成を実現する。

結論として、情報ギャップを直接最小化することが、大規模なアプリケーションに向けた高忠実度、高効率、かつ汎用性の高いデータセット蒸留を解き放つ鍵である。