技術的サマリー：方策誘導拡散インペインティングによる能動的表データ拡張

1. 問題定義：忠実度と有用性のギャップ

本論文は、医療や金融などデータが極端に不足する領域における表データのためのデータ拡張の課題に取り組む。生成モデル（GAN、VAE、拡散モデル）は、実データと統計的に類似した合成サンプルを生成する高い分布忠実度を達成しているが、著者らはこれが必ずしも下流タスクのモデル性能向上に直結しないことを指摘する。

核心的な課題は忠実度 - 有用性ギャップとして特定される：

• 忠実度：生成器は通常、学習者が既に確信を持っている高密度領域からサンプリングすることで、結合分布 $P(X, Y)$ に一致するように訓練される。
• 有用性：効果的な拡張には、学習者のホールドアウト評価損失を削減するサンプルの注入が必要である。こうした高有用性のサンプルは、モデルが不確実である領域（例えば、決定境界や未カバーのサブグループ）といった低密度領域に存在することが多い。
• 帰結：高忠実度の生成器は、下流での利益が限定的な冗長なサンプルを生成しがちであり、一方で不確実なサンプルを単純に注入すると、偽の関係を導入したり、ドメイン制約に違反したりして、性能を低下させる可能性がある。

本論文は、拡張を受動的なサンプリングではなく、学習者の進化状態に条件付けられた能動的制御プロセスとして捉えるべきであると提唱する。つまり、「何を」生成し、「いつ」注入するかを学習するプロセスである。

2. 手法：TAP（Tabular Augmentation Policy）

著者は、拡散インペインティングと軽量な学習者条件付き方策を結合し、安全性を確保しつつ高有用性領域への生成を誘導するフレームワークTAPを提案する。

2.1. 中核コンポーネント

1. 拡散インペインティング（提案メカニズム）：

   • TAP は、事前学習された拡散モデル（TabDiff）を凍結されたバックボーンとして使用する。
   • 完全なレコードを生成するのではなく、インペインティングを行う。すなわち、現在のデータセットから実の「アンカー」レコードを取得し、列のサブセット（ラベルを含む）を固定し、残りの列を再生成する。
   • これによりソフトな実現可能性（サンプルがデータ多様体の近くに留まること）が保証され、列間の依存関係が尊重される。

2. 状態条件付き方策：

   • 学習可能な方策 $\pi$ は、現在の学習者状態 $s_t$ を行動 $a_t = (c, \eta, \rho)$ にマッピングする。
   • 状態 ($s_t$)：ターゲットとなる不足（未カバーのクラス/ビン）、予測不確実性、最近のゲート通過率、サンプルの多様性を符号化する。
   • 行動：
     • $c$：ターゲット条件（特定のクラスまたは四分位ビンなど）を選択する。
     • $\eta$：マスクテンプレート（探索的か保守的か）を選択する。
     • $\rho$：探索の強度（再生成する列の数）を制御する。
   • 方策は、行動が学習者を改善したかどうかをフィードバックするプラグイン有用性推定器を用いたKL 正則化付き選好学習によって最適化される。

3. 安全性メカニズム（実現可能性とコミットメント）：

   • ポイントワイズゲーティング：ドメイン制約（無効なカテゴリ値、範囲外の数値など）に違反する候補を拒否するハードフィルタ。これによりハードな実現可能性が強制される。
   • ウィンドウ付きコミットメント：サンプルを即座に注入するのではなく、TAP は $K$ ステップのウィンドウにわたって承認された候補をプールに蓄積する。プールの推定有用性が閾値 $\tau$ に較正された誤差マージン $\epsilon_t$ を加えた値を超えた場合にのみ、プールのサンプルがトレーニングセットにコミットされる。これにより、ノイズの多い有用性推定に起因する有害な注入を防ぐ。

2.2. 最適化目的

目的は、一連の意思決定ステップにわたる最終的な期待有用性（下流損失の削減）を最大化することである。有用性はコミットメントの時点で telescoping（項が相殺される）するため、方策は高有用性領域の探索と、保守的注入による安全性のバランスを取る軌道を学習できる。

3. 主要な貢献

1. 忠実度 - 有用性ギャップの形式化：分布一致と下流有用性の間の乖離を形式的に定義し、拡張を進化中の学習者下での逐次制御問題として枠組み化した。
2. TAP フレームワーク：ターゲット、テンプレート、探索制御を用いて拡散インペインティングを誘導する状態条件付き方策を導入した。データ不足下での安全な注入を確保するため、ハードゲーティングとウィンドウ付きコミットメントを統合した。
3. 実証的検証：7 つの実世界データセットと 5 つのデータ不足レベルにわたって一貫した改善を実証した。TAP は、SMOTE、TVAE、CTGAN、TabDDPM などの強力な生成ベースラインおよび受動的サンプリング戦略を上回る性能を示した。

4. 実験結果

実験は、トレーニングセットサイズが 20 から 500 サンプルの範囲にある 7 つのデータセット（MiceProtein、Credit-G、Steel、Insurance など）で行われた。

• 性能向上：TAP は、強力なベースラインと比較して、下流の分類精度を最大15.6 パーセントポイント向上させ、回帰 RMSE を最大**32%**削減した。
• 頑健性：極端なデータ不足下で性能を低下させる（負の有用性をもたらす）ことがあるベースラインとは異なり、TAP はすべてのテストシナリオで正の有用性向上を維持した。
• メカニズム分析：
  • 学習可能性対情報性：診断により、TAP が決定境界付近の「情報的」かつ現在のモデルと整合性の取れた「学習可能な」サンプルを適切にターゲットとし、曖昧な境界サンプルの「有害な尾部」を回避していることが示された。
  • アブレーション研究：方策（固定戦略の使用）、ゲーティング、またはウィンドウ付きコミットメントを除去すると、性能が大幅に低下するか、尾部リスクが増大することが確認され、すべてのコンポーネントの必要性が裏付けられた。
  • 推定器の独立性：オンライン有用性推定器（TabPFN）をより単純なアンサンブルに置き換えてもフレームワークは有効であった。これは、方策が特定の推定器に過剰適合するのではなく、一般的な注入パターンを学習していることを示している。

5. 意義と主張

本論文は、TAP が受動的サンプリング（$P(X,Y)$ の模倣）から能動的制御（$P(Y|X)$ の改善の最適化）へのパラダイムシフトを通じて、低データ環境における信頼性の高い拡張を進展させると主張する。

• 信頼性：多様体局所拡散とハード実現可能性ゲート、および保守的なウィンドウ付きコミットメントを組み合わせることで、金融や医療といった高リスク領域において重要な、有害な合成データのリスクを軽減する。
• 効率性：方策学習にトレーニング不要の評価器（TabPFN）を使用しており、各ステップで下流モデルを再学習する計算コストを回避する。
• 限界：著者は、逐次注入はワンショット生成に比べてオーバーヘッドをもたらすことを認めているが、ウィンドウレベルのキャッシングによってこれを緩和している。また、TAP は有害な注入のリスクを低減するものの、トレーニングデータに存在する歴史的な不平等を拡散させないよう、高リスク環境では合成データ拡張を慎重に適用する必要があるとも指摘している。

この研究は、効果的な拡張には単に現実的なデータを生成するだけでなく、学習者とのフィードバックループを通じて有用なデータを生成することを学習する必要があると結論づけており、TAP は方策誘導拡散によってこの能力を実証している。