技術要約：大規模人工生成ボリュームデータセットにおけるステッチングと次元性の影響

問題提起

深層学習ベースの画像生成、特にスタイル転送タスクにおいては、大規模な科学的データセット（例：クライオ電子顕微鏡ボリューム）を処理する際の固有の計算上の制約に直面する。現在のハードウェアは、単一のフォワードパスで処理可能なデータサイズを制限しているため、大きなボリュームを小さなパッチに分割し、個別に処理してから再組み立てるプロセス、すなわち「ステッチング（縫い合わせ）」が必要となる。

この組み立てプロセスは、パッチ間の独立した処理、正規化、または非固有のピクセル情報をもたらすパディング付き畳み込みの使用に起因して、隣接するパッチの境界が完全に一致しないという「ステッチング・アーティファクト（継ぎ目跡）」を生じさせる。これらのアーティファクトはセグメンテーション・タスクに影響を与えることが知られているが、スタイル転送やダウンストリームの科学的解析における生成モデルへの具体的な影響については、十分に理解されていない。さらに、研究者はパッチの次元性に関する重要な決定、すなわち、ボリュームを2Dスライスから組み立てるか（スライスごと）、あるいは3Dパッチから組み立てるべきかという問題に直面する。3Dアプローチはより多くのコンテキスト情報を提供するが、計算コストとメモリ制限が大きく、トレーニングを不安定にする可能性があるため、バッチサイズの縮小を余儀なくされることが多い。

手法

著者らは、CycleGANモデルを用いて、クライオ電子顕微鏡（cryoEM）データセット（ラットとヒトのミトコンドリア・ボリューム間の変換を行うMitoEMデータセット）を用いて調査を行い、openorganelleデータセットで検証を行った。

実験設計

本研究では、主に以下の3つの変数を体系的に評価した：

1. ステッチング戦略：
   • Tile-and-Stitch（タイル・アンド・ステッチ）： トレーニングおよび推論時に有効な畳み込み（valid convolutions、パディングなし）を使用する。出力パッチはダウンサンプリング係数に従ってクロップ（切り出し）され、境界のアーティファクトを除去する。隣接するパッチは、クロップサイズに合わせてシフトされ、重なりがないことを保証する。
   • 平均化オーバーラップを用いたパディング付き畳み込み： 推論時にゼロパディングと反射パディングによる「ハロー（光輪）」を使用する。パッチは重なりを持って組み立てられ、重なり領域は継ぎ目を軽減するために平均化される。
   • オーバーラップのない有効な畳み込み： 有効な畳み込みを使用するが、ステップサイズに対して元の入力パッチサイズを維持するため、オーバーラップもクロップも行わない。
2. パッチの次元性： 2Dモデル（スライスごとに処理）と3Dモデル（ボリュームパッチを処理）の比較。第3のアプローチとして、3つの直交する2D方向からの予測をアンサンブルするOrthosliceをテストした。
3. 評価指標：
   • 知覚的品質： 生成されたボリュームとターゲットドメイン間のフレシェ・インセプション距離（FID）を使用して測定。
   • ダウンストリーム性能： 生成されたボリュームを用いたセマンティック・セグメンテーション・タスク（ミトコンドリア・セグメンテーション）におけるIntersection-over-Union（IoU）を3D U-Netを用いて測定。

モデルアーキテクチャとトレーニング

• 生成器（Generators）： ストライド付き畳み込みを用いた5段階のダウンサンプリング工程を持つUNetベースのアーキテクチャ。
• トレーニングの調整： パッチ固有の正規化アーティファクトを防ぐため、推論時にはインスタンス正規化の統計量を固定した。構造的特徴を保持するために、追加の構造的類似性（SSIM）損失を組み込んだ。
• データ処理： バリアンスが低いパッチ（主に背景）はトレーニング中に除外された。パッチ間の整合性を確保するため、トレーニング中にグローバルな正規化統計量を収集し、推論時にはこれを固定した。

主な結果

1. 知覚的指標（FID）の限界

本研究では、ダウンストリームのタスクに関連する文脈において、生成された科学的ボリュームの品質を評価するためのFIDスコアは不十分であることを発見した。

• FIDは、ダウンストリームのセグメンテーション性能に大きく影響を与える微妙なステッチング・アーティファクトを検出できなかった。
• （ターゲットドメインに知覚的に最も近い）最高のFIDスコアを持つボリュームが、必ずしも最高のセグメンテーション結果をもたらすわけではなかった。逆に、FIDスコアが低いボリュームが、時として低いセグメンテーション性能と相関することもあり、この指標はタスク固有の有用性を予測する信頼できる指標ではなかった。

2. ステッチングがダウンストリーム・タスクに与える影響

• アーティファクトの伝播： 確率マップ上では肉眼では見えない微細なステッチング・アーティファクトであっても、最終的なセグメンテーション・マスクへと伝播し、パッチ境界に沿ったエラーを引き起こした。
• 最適なステッチング： Tile-and-Stitchアプローチ（有効な畳み込みとクロップを使用）は、オーバーラップ平均化法やオーバーラップなしの手法よりも一貫して堅牢なダウンストリーム・セグメンテーション結果を生み出し、優れた性能を示した。
• 3D対2Dのステッチング： ステッチング・アーティファクト（例：オーバーラップ平均化法におけるもの）による負の影響は、2Dモデルよりも3Dモデルにおいてより顕著であった。

3. 次元性とトレーニングの安定性

• トレーニングの安定性： 大きなバッチサイズでトレーニングされた2Dモデルは、メモリ制約によりバッチサイズが1に制限されることが多い3Dモデルよりも大幅に安定していた。この安定性は、2Dトレーニングにおいてより一貫したFIDスコアと、極端な外れ値の減少をもたらした。
• 性能のトレードオフ： アーティファクトのないステッチング（Tile-and-Stitch）を用いた3Dモデルは、ダウンストリームのセグメンテーション・タスクにおいて2Dモデルをわずかに上回ったが、その改善は極めて小さかった（差はしばしばIoUの小数点第3位または第4位にのみ現れる）。著者らは、このわずかな利点が、3Dモデルのトレーニングおよび保存に伴う追加の計算コストを正当化するにはほとんど不十分であると結論づけている。
• アンサンブル（Orthoslice）： 3つの直交する方向からの予測をアンサンブルすることは、低品質なボリューム（初期アーティファクトを持つもの）の品質を向上させたが、すでに高品質な出力に対しては恩恵を与えなかった。

重要性と主張

本論文は、大規模な3Dバイオメディカル・データセットのスタイル転送において、ステッチング戦略、パッチの次元性、およびそれらの組み合わせが知覚的指標とダウンストリームの科学的タスクの両方に与える影響を体系的に調査した最初の研究であると主張している。

著者らは、以下の3つの主要な貢献を強調している：

1. 指標の妥当性： バイオメディカル・イメージングにおけるドメイン適応を評価する際、最終目標がダウンストリームの分析タスクである場合、FIDのような知覚的指標は不適切であることを示した。評価にはダウンストリームの性能指標を含める必要がある。
2. ベストプラクティス： 目に見えるアーティファクトがなくても、ダウンストリームの性能を最大化するためには、アーティファクトのないステッチング（有効な畳み込みとクロップによるもの）が不可欠であることを確立した。また、パッチ固有のアーティファクトを防ぐために、グローバルな正規化統計量を推奨している。
3. 実用的なガイダンス： 本研究は、3Dモデルが増加したコンテキストを通じて理論的な優位性を提供する一方で、小さなバッチサイズによって引き起こされるトレーニングの不安定さがその利点を打ち消すことが多いことを示唆している。ほとんどのアプリケーションにおいて、厳格なステッチング・プロトコルを備えた安定した2Dモデルの方が、より効率的な選択肢となる場合が多い。

最後に、著者らは、透明性が高くアーティファクトのないステッチングを促進するために設計された、Zarr形式を介して任意の大きさのデータセットを扱えるメモリ効率の良い改訂版CycleGANコードベースを公開し、バイオイメージング・コミュニティに提供している。