TF-UNet: Resolving Complex Speckles for Single-Shot Reconstruction of 512^2-Matrix Images Using a Micron-Sized Optical Fiber

技術要約：512×512画像の単一ショット再構成に向けた、マイクロメートル径テーパー型光ファイバーを用いたTF-UNet

問題提起
テーパー型光ファイバー（TF）は、直径が数百マイクロメートルからマイクロスケールへと減少する構造を持ち、従来の平坦型ファイバー（FF）や大型のGRINレンズと比較して、低侵襲なバイオイメージング、オプトジェネティクス、およびバイオセンシングにおいて大きな利点を提供します。しかし、TFの軸方向に変化する幾何学的形状は、複雑なモード間結合を誘発し、異なるモードの伝搬定数がファイバー長に沿って変化します。これにより、空間非定常なスペックルパターンが生じ、入力と出力の関係性が歪められます。FFではマッピングが比較的定常であるのに対し、TFは非局所的かつクロススケールな依存性を示し、これが既存の画像再構成手法の性能を低下させます。標準的なU-Netのような既存のディープラーニング手法は、これらの空間非定常なマッピングを効果的に捉えることができないことが多く、一方でアテンションベースのモデル（例：Transformer）は、高解像度（512×512）において計算コストが極めて高くなります。さらに、既存の多くの手法は、物理的な制約を反映していない大規模なデータセットや簡略化されたベンチマークに依存しています。

手法：TF-UNetアーキテクチャ
これらの課題に対処するため、著者らは、TFの空間非定常なスペックルデコーディングのために特別に設計された、物理学に着想を得たディープラーニングアーキテクチャであるTF-UNetを提案しています。核心となる革新は、標準的なU-Netのスキップ接続を**階層的グループ化MLP融合（hierarchical grouped-MLP fusion）**モジュールで拡張した点にあります。

• 物理学に基づいた設計： TFにおけるモード間結合が非局所的な依存性を生み出すことを認識し、著者らはグループ化された多層パーセプトロン（MLP）をスキップパスウェイに統合しました。これらのMLPは、高次のクロスチャネルおよびクロス空間混合を実行し、デコーダで融合される前に、複数のエンコーダスケールから幾何学に関連する特徴を捉えることができます。
• 効率性： グループ化MLPの設計により、計算複雑性を$O(CN^2)$（チャネルあたり）から、約$O(GN^2)$（ここで$G$はグループ数、$N$は空間次元）へと低減させています。これにより、フルアテンションメカニズムに伴う二次関数的またはそれ以上のコストではなく、二次的な複雑さで高解像度再構成（512×512）が可能になります。
• 直交正則化： モードの物理的な分離と一致するようにモードのデタングリング（分離）を促進するため、最も深いエンコーダ特徴に対して直交損失が適用されます。これにより、チャネル間の統計的独立性が促進され、学習された表現が正確な逆変換に必要な物理的なモード分離と一致するようになります。
• 訓練プロトコル： モデルは、自然画像（ImageNet）および生物学的データセットから導出された、強度のみのバイナリ・スペックルマスクのペアを用いて訓練されます。損失関数は、平均二乗誤差（MSE）と直交正則化項を組み合わせたものです。

実験設定およびデータセット
本研究では、532 nmの連続波レーザー、パターン生成用のデジタルマイクロミラーデバイス（DMD）、および先端径5 µmのテーパー型光ファイバー（NA = 0.39、有効長 = 2.5 mm）を用いたカスタム実験セットアップを使用しています。

• 主要データセット： 自然画像から生成された13,440組のスペックルマスクペア（TF用6,720組、FF用6,720組）を使用し、8:1:1の訓練/検証/テストセットに分割しました。
• 生物学的検証： 合成マスクを超えた汎用性をテストするため、著者らは2つの特定の生物学的データセットを用いてモデルを検証しました。
  1. 神経細胞データ： 深部皮質カルシウムイメージングからの4,440フレーム（64階調）。
  2. 血管データ： 二光子顕微鏡スタックから得られた、齧歯類脳血管の4,000枚の二値化画像。

主な結果
TF-UNetの性能は、複数の指標（PSNR、SSIM、MS-SSIM、LPIPS、およびピアソン相関係数）にわたって、5つの最先端アーキテクチャ（UNet、R2-UNet、TransUNet、VQVAE2、およびMSMDFNet）と比較検証されました。

• TFにおける定量的性能： TF-UNetは、最も高い構造的類似度（SSIM: 0.24）およびマルチスケールSSIM（0.32）を達成し、すべてのベースラインを上回りました。ピアソン相関係数（0.50）ではTransUNetと並んで最高値を記録しましたが、競争力のあるPSNR（9.17 dB）とLPIPS（0.64）も維持しました。特筆すべきは、TransUNetが512×512の解像度で二次的なアテンションの複雑さにより苦戦する一方で、TF-UNetは大幅に低いメモリ消費量と計算コストでこれらの結果を達成したことです。
• 生物学的検証：
  • 神経細胞イメージング： TF-UNetは、カルシウムイメージングデータから連続的な神経細胞形態（解像度 約15 µm）の再構成に成功しましたが、ベースラインのUNetは断片的な構造しか生成できませんでした。再構成された時系列トレースは、グラウンドトゥルースとの高い一致（$\Delta F/F_0$ トレースのピアソン相関 0.81）を示し、信頼性の高い関心領域（ROI）の定義を可能にしました。
  • 血管イメージング： モデルは数十マイクロメートルのスケールでの微細な血管ネットワークを解明し、学習された逆マッピングが構造化された生物学的形態に対して転移可能であることを示しました。
• 光子被覆率の分析： 本研究は、光子被覆率と知覚品質の間の非単調な関係を明らかにしました。中間半径のアニュラス（環状領域）における強い非断熱結合のため、被覆率が約70%の時に知覚的指標（SSIM、LPIPS）が低下しており、空間適応的な取得戦略が性能をさらに最適化できる可能性を示唆しています。

意義および主張
論文は、TF-UNetが、テーパー型幾何学におけるモード間結合の複雑さによってこれまで制限されていた、マイクロメートル径の光ファイバーを通じたスキャニングフリーかつ単一ショットの画像再構成のための堅牢なソリューションを提供すると主張しています。

• 物理的解釈性： 物理学に着想を得た融合（グループ化MLP）と正則化（直交性）をネットワークアーキテクチャに直接組み込むことで、本手法は膨大なデータセットや複雑なキャリブレーションを必要とせずに、TFの空間非定常な性質を効果的に処理できます。
• 高解像度能力： このアプローチは、先端径わずか5 µmのファイバーを用いて512×512行列の再構成を可能にします。これは、従来の手法が通常、より低い解像度（例：28×28から120×120）や大きなファイバーコアに制限されていたことと比較して、大きな飛躍です。
• 生物医学的ポテンシャル： 神経細胞のカルシウムダイナミクスや血管構造の再構成成功は、本フレームワークが慢性的な低侵襲深部脳イメージングに対して持つ潜在能力を実証しています。著者らは、本手法が能動的なスキャニングや波面整形を不要にし、システムの複雑さと電力需要を軽減することを強調しており、これは長期的なインプラント用途において極めて重要です。

著者らは、現在の研究は単色強度測定に限定されているものの、ニューラルモジュールと光学伝搬原理の共同設計は、計算光学における空間非定常な逆問題を解決するための転移可能なフレームワークを提供し、天文学、リモートセンシング、産業検査などの分野への応用が可能であると結論付けています。