Active Learning for Conditional Generative Compressed Sensing

問題定義
生成圧縮センシング（GCS）は、信号が事前学習された生成モデル $G$ の値域の近傍にあると仮定することで、未サンプリング測定から構造化信号を復元する。既存の理論は、ガウス測定の下での無条件モデルに対する復元保証を確立しているが、実用的な応用では、構造化された部分サンプリングユニタリ変換（例えば MRI におけるフーリエ測定）を伴うことが多く、取得時または推論時に利用可能な補助情報を持つことが多い。本論文は、生成モデルがプロンプト（例えばテキスト記述、メタデータ）に条件付けられる条件付き生成圧縮センシングにおけるギャップに対処する。核心的な課題は、条件付けが三項相互作用を導入することである。すなわち、真の信号を定義するプロンプト（$c^*$）、サンプリング分布を設計するために使用されるプロンプト（$c_s$）、そして復元モデルを定義するために使用されるプロンプト（$c_r$）である。これらのプロンプト間の不一致は、最適でないサンプリング戦略やバイアスのかかった再構成をもたらす可能性があるが、既存の枠組みでは、条件付けをセンシングと復元の両方に対する動的な設計変数としてではなく、静的な事前分布として扱う傾向が強い。

手法
著者は、部分サンプリングフーリエ測定の下でのプロンプト条件付き能動学習の枠組みを定式化し、機械学習のためのクリストッフェルサンプリング（CS4ML）アプローチを適用する。

1. プロンプト条件付きモデルクラス: 信号空間は、潜在ベクトル $z$ とプロンプト $c$ を持つ条件付き生成器 $G(z, c)$ によって定義される。著者は 3 つのプロンプトを区別する。

   • $c^*$: 真の信号プロンプト（$f^* \in F_{c^*}$ の場合）。
   • $c_r$: 候補集合 $F_{c_r}$ を定義する復元プロンプト。
   • $c_s$: サンプリング分布 $\mu_{c_s}$ を構築するために使用されるサンプリングプロンプト。

2. プロンプト適合性因子（$\Lambda$）: これらのプロンプト間の相互作用を定量化するために、著者はプロンプト適合性因子を定義する。
   $$\Lambda(c_1, c_2, c_3) = \max_{i \in D} \frac{K(F_{c_1} - F_{c_2})(i)}{\mu_{c_3}(i)}$$
   ここで、$K$ はクラス内の信号を区別するためのフーリエ座標の「情報量」を測定する一般化されたクリストッフェル関数であり、$\mu$ はサンプリング分布である。

   • $\Lambda(c_r, c_r, c_s)$ は、安定した復元に必要なサンプル複雑性を制御する。
   • $\Lambda(c^*, c_r, c_s)$ は、真の信号が復元プロンプトと一致しない場合の再構成誤差（近似誤差）を制御する。

3. 理論的解析: 本論文は、2 種類の条件付き生成器に対するサンプル複雑性の上限を導出する。

   • ReLU ネットワーク: バイアスなし、深さ $d$ のフィードフォワード ReLU ネットワークを仮定。
   • リプシッツ生成器: 生成器が潜在ボール上で $L$-リプシッツであると仮定。
     いずれの場合も、測定数 $m$ は $\Lambda$、生成器の複雑性（ReLU の場合は幅/深さ、リプシッツ生成器の場合はリプシッツ定数 $L$）、および最小サンプリング確率 $\mu$ に比例してスケーリングすることが示される。

4. 復元保証: 集合制限固有値条件（S-REC）の下で、著者は再構成誤差が、$\sqrt{\Lambda(c^*, c_r, c_s)}$ によって増幅された復元クラス内での最良近似誤差、およびノイズと最適化誤差に関する項によって有界であることを証明する。

主な貢献

• 定式化: サンプリング設計と復元モデリングにおけるプロンプトの役割を明示的に分離する、プロンプト条件付き GCS の統合枠組み。
• 理論的指標: サンプリングと復元の不一致、および信号と復元の不一致の分析を、サンプル複雑性と誤差上限の両方を支配する単一の統計量に統合するプロンプト適合性因子 $\Lambda$ の導入。
• サンプル複雑性の上限: ReLU およびリプシッツ条件付き生成器に対する明示的な上限。プロンプトの不一致が、サンプリング幾何学と復元幾何学の間の発散に比例してペナルティ（増加したサンプル複雑性）を課すことを示す。
• 実証的検証: Stable Diffusion 1.5（SD15）を用いた実験により、以下の点が示された。
  • プロンプトはクリストッフェルサンプリング分布を意味的に再構成し（異なるフーリエ周波数に質量を集中させる）。
  • サンプリングプロンプトと復元プロンプト間の不一致（$c_s \neq c_r$）は、適合性因子 $\Lambda$ を増加させる。
  • 再構成性能はこれらの不一致に敏感であるが、著者は特定の実験設定において、無条件復元（$c_r = \text{""}$）がしばしば頑健に機能したと指摘しており、これは無条件モデルの柔軟性または特定の最適化ダイナミクスによる可能性があるとされる。

結果

• 理論的: 測定数が $\Lambda(c_r, c_r, c_s)$ に比例してスケーリングする場合、高い確率で安定した復元が可能であることを証明。$c_s = c_r$ の場合、$\Lambda$ は標準的なクリストッフェル複雑性定数に帰着する。$c_s \neq c_r$ の場合、$\Lambda$ は増加し、$c_s$ ベースのサンプリングにおいて過小評価されている $c_r$ に関連する信号特徴を捕捉するために、より多くのサンプルが必要であることを反映する。
• 実験的:
  • サンプリング分布: 異なるプロンプト（例：「サンセットビーチ」対「猫」）は、一致するペアが $\Lambda$ を最小化する中で、明確に異なるサンプリング分布を誘発する。
  • 再構成: 「インレンジ」実験（真の信号がモデルによって生成される場合）において、意味的に類似したプロンプト（$c_s$ が $c^*$ に近い）でサンプリングを行うことは、不一致のプロンプトと比較して PSNR と SSIM を改善した。
  • CFG アブレーション: 著者は、高い Classifier-Free Guidance（CFG）値（例：7.5）が生成器を過度に制限し、低い CFG 値（例：1）と比較して劣る再構成性能をもたらすことを発見した。これは、「実効的」な復元クラスがハイパーパラメータに強く依存することを示唆している。

意義と主張
本論文は、プロンプトは設計変数として扱われるべきであり、センシング（サンプリング分布）、近似（復元クラス）、およびそれらの相互作用に対して明確な効果を持つことを確立すると主張する。主な意義は、GCS 理論を条件付き設定に拡張し、以下の点を示すことにある。

1. 能動学習はプロンプト依存である: 最適なサンプリング戦略は、信号クラスだけでなく、復元に使用される特定のプロンプトに依存する。
2. 不一致のペナルティ: サンプリングプロンプトが復元プロンプトと整合しない場合、サンプル複雑性と誤差増幅の面で明示的な理論的コストが存在する。
3. 実用的含意: 理論は理想化された生成器を仮定しているが、Stable Diffusion を用いた実験は、プロンプト条件付けが誘発されるサンプリング分布を大幅に変化させ、再構成品質に影響を与える可能性を示唆している。ただし、最適化ハイパーパラメータ（CFG など）との相互作用は複雑である。

著者は、自らの理論が理想化された生成器クラス（ReLU/リプシッツ）に適用されるものであり、現代の拡散モデルはこれらのクラスの複雑な抽象化であることを率直に指摘している。今後の研究として、$\Lambda$ の発散ベースのバージョンを調査し、変化する CFG スケール下での実用的な拡散モデルの有効なリプシッツ定数をよりよく特徴づけるべきであると提案している。