Learning Binary Sampling Patterns for Single-Pixel Imaging using Bilevel Optimisation

論文要約：バイレベル最適化を用いたシングルピクセルイメージングのためのバイナリサンプリングパターンの学習

1. 背景と問題設定 (Problem)

シングルピクセルイメージング (SPI) は、単一の検出器を用いて、構造化照明（structured light）パターンを順次照射することで物体を再構成する技術です。従来のカメラ（ピクセルアレイ型）に比べ、コストを抑えられ、赤外線やテラヘルツ帯などの特殊な波長域での利用に適しているという利点があります。

しかし、SPIには以下の重要な課題があります：

• サンプリングパターンの設計: 少ない測定回数（高圧縮）で高品質な画像を再構成するには、適切な照明パターンを選択する必要があります。
• ハードウェアの制約: 実用的なSPI装置（DMDなど）は、照明パターンとして**バイナリ値（0または1、あるいは-1または1）**しか扱えません。
• 最適化の困難さ: バイナリ制約は離散的かつ非微分的であるため、勾配ベースの最適化手法を直接適用することができず、探索空間も膨大（組合せ爆発）です。
• データ効率: 既存の深層学習手法（DCANなど）は、パターンの学習と再構成ネットワークの学習を同時に行うため、数万枚規模の膨大な学習データを必要とします。

2. 提案手法 (Methodology)

本論文では、タスク特化型のバイナリ照明パターンをデータから直接学習するための、**バイレベル最適化（Bilevel Optimisation）**フレームワークを提案しています。

主な技術的アプローチ:

• バイレベル最適化の定式化:
  • 上層問題 (Upper-level): 再構成誤差（MSE）を最小化するように、照明パターン $A$ と正則化重み $\alpha$ を最適化する。
  • 下層問題 (Lower-level): 与えられたパターン $A$ と重み $\alpha$ に基づき、変分正則化（Variational Regularisation）を用いて画像を再構成する。
• Straight-Through Estimator (STE) の採用: バイナリ制約による非微分性を解決するため、STEを用います。潜在的な実数値行列 $Z$ を持ち、$A = \text{sgn}(Z)$ とすることでバイナリ化し、逆伝播時には勾配の消失を防ぐための「代理勾配（surrogate gradient）」を使用します。
• 学習の分離 (Decoupling): 従来の「パターンと再構成器の同時学習」とは異なり、本手法では**学習済みの強力な正則化関数（TDVやWCRR）**を固定して使用します。これにより、パターンの最適化とネットワークの訓練を切り離し、学習データの必要量を劇的に削減しました。
• Jacobian-Free Backpropagation (JFB): 計算コストの高いヤコビアンの計算を避けるため、ゼロ次ニュートン級数近似を用いた効率的な勾配近似を採用しています。

3. 主な貢献 (Key Contributions)

1. バイナリ最適化の効率化: STEを用いることで、離散的なバイナリ空間における勾配ベースの最適化を可能にした。
2. データ効率の劇的な向上: 再構成器を事前に学習済みのものに固定することで、数万枚必要だった学習データを、わずか250〜1000枚程度まで削減することに成功した。
3. 理論的解釈の提供: STEで用いられる代理勾配（Clipped STEやTanh STE）が、特定のノイズ分布を用いた平滑化関数の微分として解釈できることを数学的に示した。

4. 実験結果 (Results)

CytoImageNet（細胞顕微鏡画像データセット）を用いた実験により、以下の成果が示されました：

• 再構成品質の向上: 学習されたパターンは、従来の固定パターン（GaussianやScrambled Hadamard）よりも大幅に高いPSNRおよびSSIMを達成しました。特に、極端な低サンプリング条件下（測定回数が非常に少ない場合）でその効果が顕著です。
• サンプリング効率: 学習されたパターンを使用することで、従来のHadamardパターンと同等の品質を得るために必要な測定回数を、約4分の1に削減できることが示されました。
• 堅牢性 (Robustness): 学習時とテスト時でノイズレベルが異なる場合でも、高い性能を維持する堅牢性を示しました。
• 既存手法との比較: End-to-endの深層学習手法（DCAN）と比較して、データが少ない設定（Low-data regime）において圧倒的に優れた性能を発揮しました。

5. 意義 (Significance)

本研究は、実用的なハードウェア制約（バイナリ制約）を考慮しつつ、データ効率の高い学習フレームワークを構築した点に大きな意義があります。これにより、学習データが限られている生物医学分野などの実用的なアプリケーションにおいて、高速かつ高精度なシングルピクセルイメージングを実現するための強力な基盤を提供しています。