技術的概要：DynGhost

問題定義

ゴーストイメージングは、構造化された照明パターンとスカラー強度測定値との相関関係を用いて、単一ピクセル（バケット）検出器から空間情報を再構成する計算手法である。深層学習は静的なシーンの再構成を進展させたが、2 つの決定的な限界が、ゴーストイメージングの動的かつ実世界のシナリオへの応用を妨げている。

1. 時間モデルの欠如: 既存のアーキテクチャ（CNN や静的な Ghost-GPT などの Transformer を含む）は、シーンを純粋に静的なものとして扱う。これらはフレーム間の時間的コヒーレンスを活用できず、その結果、深刻なモーションアーティファクトが生じるか、あるいは移動するフレームを破棄せざるを得なくなる。
2. 不正確なノイズモデル: 現在の深層学習アプローチは、加法的ガウスノイズを仮定している。これは、ポアソン統計の下で動作し、ダークカウント、アフターパルス、クロストークといった特定のアーティファクトを示す単一光子量子検出器（SNSPD、SPAD、SiPM など）の物理的現実と矛盾する。この分布のシフトにより、ガウスデータで訓練されたモデルは、現実的なハードウェア制約下で失敗する。

手法：DynGhost アーキテクチャ

著者らは、時間的および物理的モデルのギャップの両方を解決するために設計されたフレームワークであるDynGhost（Dynamic Ghost Imaging Transformer）を提案する。

1. アーキテクチャ

DynGhost は、バケット測定値の系列 $B \in \mathbb{R}^{T \times M}$ を処理し、再構成されたフレーム $\hat{X} \in \mathbb{R}^{T \times H \times W}$ を出力する。

• トークン埋め込み: 入力は、照明マスク ($H_i$) とバケット測定値 ($b_i$) の学習済み射影を連結し、学習済み空間および時間的位置符号を付加して形成される。
• 交互アテンションブロック: 中核的な革新は、2 つのモードを交互に実行する $L$ 個のトランスフォーマーブロックの系列である。
  • 空間アテンション: 単一のフレーム内の情報豊富なパターンをモデル化する（$O(M^2)$ の計算量）。
  • 時間アテンション: 特定の運動コヒーレンスを活用するために、特定のパターンに対してフレーム間を横断して情報を伝播させる（$O(T^2)$ の計算量）。
• 出力: 射影層が、最終的なトークン表現を空間画像ドメインにマッピングする。

2. 訓練目的

モデルは、複合損失関数を用いて最適化される。
$$\mathcal{L} = \mathcal{L}_{MSE} + 0.5 \mathcal{L}_{SSIM} + 0.1 \mathcal{L}_{temp}$$

• $\mathcal{L}_{MSE}$: ピクセルごとの再構成誤差。
• $\mathcal{L}_{SSIM}$: 知覚的構造的類似性損失。
• $\mathcal{L}_{temp}$: 連続する再構成フレーム間の差分が、真値フレーム間の差分と一致することを強制する時間的一貫性損失であり、滑らかな運動伝播を確保する。

3. 量子意識型訓練フレームワーク

シミュレーションとハードウェア間のギャップを埋めるため、著者らは物理的に正確な検出器シミュレーションパイプラインを導入する。

• 検出器シミュレーション: 訓練データ生成には、光子カウントのためのポアソン統計に加え、SNSPD、SPAD、SiPM 向けの特定のハードウェアアーティファクト（ダークカウント率、デッドタイム、アフターパルス、クロストーク）が組み込まれる。
• 分散安定化正規化: ポアソンノイズが異分散性（分散が平均に比例する）であることを認識し、著者らはAnscombe 変換（$f(n) = 2\sqrt{n + 3/8}$）またはFreeman–Tukey 変換を適用する。これらの変換は、ポアソン分布に従うカウントを、ほぼ単位分散を持つガウス変数に変換し、入力分布を MSE 損失関数の暗黙的な仮定と整合させる。

主要な貢献

1. 初の動的ゴーストイメージング・トランスフォーマー: DynGhost は、空間 - 時間アテンションと時間的一貫性損失を通じて運動コヒーレンスを明示的に活用する最初のアーキテクチャであり、動的シーンに対して著しく滑らかな予測をもたらす。
2. 量子検出器の評価と分布シフトの軽減: 本論文は、真の量子検出器シミュレーションの下で訓練および評価された最初のフレームワークを提示する。それは、ガウスで訓練されたモデルが実ハードウェア上で壊滅的な分布シフトを受けることを特定し、正しいノイズモデルと分散安定化を通じてこれを解決することで、実ハードウェアシミュレーションにおいて**+33.4% の SSIM 向上**を達成した。
3. 動作領域の特性評価: 7 つの正規化戦略と各種検出器タイプをベンチマークすることにより、著者らは量子モデルが古典的代替手段を明確に凌駕する特定の動作領域を定義した。$\ge$100 光子/測定、ダークカウント率 (DCR) < 10,000 Hz、および効率 > 60%。

実験結果

実験は、Moving MNIST、Moving CIFAR-10、および実世界の赤外線ビデオであるKvasir 内視鏡データセットの 3 つのベンチマークで行われた。

• ベースラインとの性能比較: DynGhost は、古典的手法（DGI、疑似逆行列、FISTA）および最新の深層学習ベースライン（U-Net、CNN、静的 Ghost-GPT）を大幅に上回った。
  • Moving MNISTにおいて、DynGhost は静的 Ghost-GPT と比較して、MSE を 45% 削減し、SSIM を 16% 改善した。
  • FISTA などの反復ソルバーよりも130 倍高速に動作する。
• 動的ロバスト性: このモデルは、物体速度が 10 ピクセル/フレームまでで高い構造的忠実度（SSIM > 0.90）を維持する。性能は、フレーム内モーションブラーという物理的限界（アルゴリズムの失敗ではない）により、極端な速度（50 ピクセル/フレーム）で徐々に低下する。
• ノイズロバスト性: DynGhost は、15 dB の SNR まで許容可能な再構成品質（SSIM > 0.5）を維持し、低 SNR で壊滅的に失敗する古典的ソルバーを大幅に上回る。
• アブレーション研究:
  • 時間アテンションブロックを除去すると MSE が2.3 倍増加し、時間的コヒーレンスが性能の主要な駆動力であることを確認した。
  • MSE 損失のみに依存すると SSIM が著しく低下（0.917 から 0.670 へ）し、知覚的および時間的損失の必要性を浮き彫りにした。
• 正規化の影響: 分散安定化変換（Anscombe、Freeman–Tukey）は、単一光子データにおいて標準的な正規化（Min-max、Z スコア）を劇的に凌駕し、SNSPD シミュレーションにおいて SSIM を約 0.73 から約 0.84 に向上させた。

意義と主張

本論文は、DynGhost が光子不足の実世界環境における高速ゴーストイメージングの展開のための堅牢で原理的な青写真を提供すると主張している。その意義は以下の点にある。

1. 動的ボトルネックの解決: 時間的コヒーレンスを暗黙的な再構成事前分布として扱うことで、移動するフレームを破棄することなく動的ゴーストイメージングを解可能にする。
2. 物理的ギャップの架橋: 単一光子検出器のポアソン性を無視することが非最適性能につながることを示し、分散安定化変換が深層学習モデルを物理的ハードウェア制約と整合させるために不可欠であることを実証する。
3. ハードウェア要件の定義: この研究は、再構成品質にとって検出器効率よりもダークカウント率 (DCR) が重要であることを明確にし、効果的な展開のための具体的な閾値を提供する。

認められた限界:
著者らは、評価が Moving MNIST/CIFAR などの合成データセットに大きく依存しており、実世界の複雑さを完全に捉えていない可能性を指摘している。時間アテンションの二次スケーリングによりモデルは短い系列（$T=8$）に制限され、正規化は固定光子束に対して較正されているため、可変照明下では性能が低下する可能性がある。物理的なリアルタイムハードウェアでの検証は、依然として未解決のステップである。