技術要約：堅牢な軌跡蒸留 (Robust Trajectory Distillation)

問題提起

データセット蒸留 (Dataset Distillation, DD) は、大規模なデータセットをコンパクトで情報量の多い合成サブセットへと凝縮し、効率的なモデル訓練と再利用を可能にすることを目的としている。しかし、既存の DD フレームワークは、クリーンな教師ラベルが存在することを暗黙的に仮定している。ノイズの混入したラベル（クラウドソーシングの誤り、人間のバイアス、または意味的な曖昧性に起因するもの）が特徴的な実世界のシナリオでは、標準的な DD 手法は、有用な信号とともに破損した関連性までをも凝縮してしまうリスクがあり、結果として堅牢性と汎化性能の低下を招く。

現在のノイズラベル学習技術（サンプル選択、損失の重み付け、ラベル修正など）を DD に適用する場合、以下の3つの制限に直面することが多い：

1. 密結合 (Tight Coupling): ノイズ推定とモデルの最適化が密接に結合しており、確証バイアスを増幅させる自己参照的なフィードバックループを生み出してしまう。
2. クリーンなアンカーへの依存 (Dependency on Clean Anchors): 多くの場合、クリーンな検証用サブセットや重い反復的な精緻化を必要とし、スケーラビリティを制限する。
3. 容量の制約 (Capacity Constraints): 通常、固定サイズの画像テンソルとしてパラメータ化される蒸留データセットは、表現能力が制限されているため、ノイズとクリーンな信号を分離する前に情報の圧縮が早期に進行してしまう。

核心となる課題は、ラベルの再付与やクリーンなサブセットを必要とせずに、ノイズのある教師あり学習下において、蒸留データの品質（合成データの忠実度）と容量（吸収される高品質な教師信号の量）の両方を向上させることである。

手法

著者らは、軌跡マッチング型の DD パイプラインに統合された2つの補完的なモジュールを通じて、ノイズを抑制しつつ転移可能な知識を保持するフレームワークである堅牢な軌Treatory蒸留 (Robust Trajectory Distillation) を提案する。このフレームワークは、ノイズを含む実データ $D_{real}$ で訓練された教師モデルの学習ダイナミクスに学生モデルが一致するように最適化される、バイレベル最適化スキームを通じて動作する。

1. 選択的ガイダンス重み付け (Selective Guidance Reweighting, SGR)

SGR は、信頼性の推定値に基づいてサンプル固有の重みを割り当てることで教師の軌跡を精緻化し、教師がよりクリーンなガイダンス信号を提供することを保証する。これは、以下のハイブリッド推定器を用いる：

• 動的整合性 (Dynamic Consistency, $W_{knn}$): 特徴空間における K-最近傍法 (KNN) に基づく。あるサンプルの観測されたラベルと、その近傍の予測ラベルとの間の合意度を、イェンセン・シャノン・ダイバージェンスを用いて測定する。
• 静的事前分布 (Static Prior, $W_{ssft}$): 「第2分割忘却時間 (Second-Split Forgetting Time, SSFT)」から導出される。サンプルの難易度を定量化するために、サンプルが正しく分類された最初のエポック ($t_{learn}$) と、その後に誤分類された最初のエポック ($t_{forget}$) を記録する。学習が遅く、忘却が早いサンプルには低い重みが割り当てられる。

これらのスコアは、訓練の進行に伴って静的事前分布から動的整合性へと遷移する、時間依存の凸補間 ($W_t$) を通じて融合される。この漸進的な重み付けにより、教師の軌跡に沿ってクリーンな教師あり学習を優先させる。

2. 教師に触発された補助ターゲット (Teacher-Inspired Auxiliary Targets, TIAT)

SGR が教師の信号の質を向上させる一方で、TIAT はこれらの信号の「吸収」に対処する。これは、表現空間において蒸留データがクリーンな教師あり学習と整合し続けることを保証するために、補助的な正則化を注入する。

• 確率的信頼度集計 (Probabilistic Confidence Aggregation): 本フレームワークは、複数の教師の軌跡にわたって信頼性重みを集計し、サンプルの全体的な信頼度を推定する。
• 不確実性を考慮した選択 (Uncertainty-Aware Selection): 高い静的信頼性と、軌跡間における信頼度スコアの低分散に基づき、信頼できるサンプルのサブセット ($D_{sub}$) が選択される。
• 補助損失 (Auxiliary Loss): 教師モデルは $D_{sub}$ で微調整され、「よりクリーンな」チェックポイント ($\theta^{ft}$) を生成する。標準的な軌跡マッチング損失に加えて、学生の軌跡をこの精緻化されたチェックポイントに整合させるための補助損失が計算される。

全目的関数は、標準的な軌跡整合損失 ($\mathcal{L}_{match}$) と、係数 $\beta$ によってバランスされた補助損失 ($\mathcal{L}_{aux}$) を組み合わせたものである。

主な貢献

1. 漸進的ハイブリッド重み付け: 動的（KNNベース）および静的（忘却時間ベース）なサンプル重み付けを統合するメカニズムの導入。これにより、補完的な教師の軌跡信号を融合し、ラベルの再付与なしにラベルノイズを堅牢に抑制する。
2. 補助ガイダンス正則化: 蒸留中にクリーンな軌跡との一貫性を強制する新しいモジュール (TIAT) の提案。不確実性を考慮した選択と、中間的な教師のダイナミクスから導出された補助ターゲットを利用することで、クリーンな信号の影響を増幅し、エラーの増幅を軽減する。
3. ラベル保存型かつ軽量な設計: 本フレームワークはラベルの再付与やコストの高い再学習スケジュールを必要とせず、大規模で現実世界のノイズを含むデータセットに対して実用的である。
4. 実証的検証: 対称ノイズ、非対称ノイズ、および実世界のノイズデータセット (CIFAR-N) の下で、既存の最先端 DD ベースライン (例: DATM, DANCE) に対する一貫した改善を実証した。

実験結果

本手法は、対称（20%, 40%）および非対称ノイズのレジームにおける CIFAR-10, CIFAR-100, CIFAR-N, Tiny-ImageNet で評価された。

• 性能向上: 提案手法は、強力なベースラインを一貫して上回っている。例えば、40% の対称ノイズを含む CIFAR-10 (1000 IPC) において、DATM の 76.7% に対し 81.4% の精度を達成した。40% の非対称ノイズの下では、75.0% (DATM の 71.4% に対し) に達した。
• 実世界のノイズ: CIFAR-N (人間によるアノテーションノイズ) において、本手法は優れた回復力を示し、特にノイズ率が高まるにつれて（例: 約40% のノイズがある "Worst" ケース）、高い IPC において最良のベースラインに対して 3% 以上の差を維持した。
• アブレーション研究:
  • ベースラインに SGR を追加することで、すべてのノイズタイプにおいて安定した利得が得られ、特に深刻なノイズシナリオ（例: 40% ノイズ時の 10 IPC で +4.7%）で顕著な改善が見られた。
  • TIAT を追加することで、特に高ノイズレジームにおいて性能がさらに向上し、不確実性フィルタリングされた補助的な教師あり学習の有用性が確認された。
  • 多様なサンプリング: 様々な静的・動的バランス係数 ($\alpha_{max}$) を持つ複数の教師の軌跡を訓練することは、固定されたサンプリング戦略よりも堅牢であった。
• 効率性: 本手法は、追加のピーク GPU メモリをほとんど消費しない。計算オーバーヘッドは中程度であり（例: CIFAR-10, 500 IPC において実行時間は約 1.5 倍）、これは主に信頼性推定と補助ターゲットの構築によるものである。

意義

本論文は、ノイズのある教師あり学習下でのデータセット蒸留という、未開拓の問題に対する解決策を提示している。軌跡ベースの重み付けと補助的な正則化を通じて、最適化ループからノイズ推定を切り離すことで、本フレームワークは高品質な合成データセットを生成するための堅牢でプラグアンドプレイ可能なアプローチを提供する。著者らは、これがクリーンな教師あり学習が利用できない場合でも、効率的なモデルの再学習とデータ共有を可能にする、ノイズに強いデータセット蒸留の将来の研究への道を開くものであると主張している。