Texture Regenerating and Grafting Using Genome-Driven Neural Cellular Automata

技術的概要：ゲノム駆動型ニューラルセルラオートマトンを用いたテクスチャの再生と接合

問題定義
テクスチャ合成は、コンピュータグラフィックスにおける計算集約的なタスクであり、従来はマルコフ確率場、ウェーブレット分解、および CNN、GAN、Transformer などの現代の深層学習モデルなどの手法によって対処されてきた。これらの生成モデルは高い視覚的忠実度を達成する一方で、しばしば莫大な計算コストを要し、特定のタスクごとに異なるアーキテクチャを必要とする。さらに、テクスチャの再生（損傷領域のインペインティング）やテクスチャの接合（異なるテクスチャをシームレスに組み合わせる）といった専門的な領域は、未だ十分に探求されていない。既存のニューラルセルラオートマトン（NCA）アプローチは効率的であるものの、通常、各テクスチャごとに個別のオートマトンを訓練する必要があり、これがシームレスな補間を妨げ、明示的な継ぎ目に依存することが多い接合操作を複雑化している。

手法
著者らは、[13] で紹介されたフレームワークに基づき、ゲノム駆動型 NCA の拡張を提案する。コアアーキテクチャは、各セルが $n$ 次元ベクトルである 2 次元グリッド上の NCA を定義する。最初の 3 つのチャネルは RGB 色を表し、残りのチャネルには「ゲノム」チャネルと隠れチャネルが含まれる。ゲノムチャネルは、対象テクスチャインデックスの二進表現をエンコードし、単一の NCA が複数の異なるテクスチャ（$n_g$ 個のゲノムチャネルに対して $2^{n_g}$ 個のテクスチャ）を生成することを可能にする。

この手法は、2 つの主要な革新を導入する：

1. 再生適応型トレーニング: 多テクスチャ設定において損傷したテクスチャの堅牢な自己再生を可能にするため、著者らは標準的なプーリングトレーニング戦略を修正する。提案されるアルゴリズム 1 では、トレーニングプールはすべての対象テクスチャのシードで初期化される。各エポックにおいて、アルゴリズムは特定のゲノムの最高スコア（最低損失）の状態を、劣化を防ぐためにそのシード状態に置き換える。重要なのは、NCA に損傷修復を教えるため、バッチ内の 2 つの最低スコアの状態が、円形領域（半径 15〜25 ピクセル）内でセル状態をランダム化することによって「損傷」される点である。その後、NCA はこの破損状態から元のテクスチャを再構築するように進化させる。このプロセスは、事前学習された VGG 識別器とスライス・ワッサーシュタイン損失（SWL）を通じて損失を計算する前に、複数の進化ステップで繰り返される。

2. ゲノムベースの接合: 本論文は、再トレーニングなしに推論段階で動作する接合技法を導入する。単一の NCA グリッドを、特定の空間領域（例えば、左右の半分、または同心円）に割り当てられた異なるゲノム値で初期化することで、複数のテクスチャが共存し相互作用するように強制する。境界での滑らかな遷移を確保するため、インターフェースにあるセルのゲノムチャネルは、中間値（二進ゲノムコード間を補間する値）で初期化される。その後、NCA は反復的に進化し、テクスチャが一緒に成長して統一された一貫性のある表面を形成する。

主要な貢献

• 堅牢な多テクスチャ再生: この研究は、適応型プーリング戦略で訓練された単一の NCA が、トレーニングセット内の任意のテクスチャの損傷領域を成功裡に再生できることを実証している。これは、NCA の自己組織化特性を、単なる合成から動的な自己修復へと拡張するものである。
• 再トレーニングなしのシームレスな接合: 著者らは、推論中に異なるテクスチャを新しいパターンに組み合わせる多用途な接合技法を提示する。これは、NCA セルの初期ゲノムチャネルを操作することで達成され、専門的な再トレーニングや複雑な継ぎ目アルゴリズムの必要性を排除する。
• 効率的なパラダイム: このアプローチは、NCA が持つ局所的なパターン生成と自己組織化の特性を活用し、大規模な生成モデルに代わる計算負荷の低い代替手段を提供しつつ、複雑なテクスチャ合成を処理する能力を維持する。

結果

• 定量的性能: 構造的類似性（SSIM）、学習済み知覚画像パッチ類似性（LPIPS）、グラム行列距離（GMD）を用いた評価により、再生適応型 NCA は [13] のベースライン NCA と競争力のある性能を示し、再生のための適応が生成品質を劣化させていないことが示された。
• 再生能力: このモデルは、半径 25 ピクセルまでの損傷を伴うテクスチャの再構築に成功した。大規模なパターンは復元されるが、著者らは、より大きな損傷（35 ピクセル以上）の場合、微細な詳細が代替の局所構成に収束する可能性があり、知覚的なシームレスさにもかかわらず局所メトリックのスコアが低下すると指摘している。
• 接合結果: 実験は、2 つおよび 3 つの異なるテクスチャの成功裡な組み合わせを実証した。NCA は、滑らかなグラデーションから明確な障壁まで、一貫した境界遷移を生成する。しかし、結果は「ゲノム競争」も浮き彫りにしており、長い進化時間において、より安定したテクスチャが不安定なものを侵食し、境界のドリフトを引き起こす可能性がある。この不安定性は、テクスチャ次元を増やすことで緩和される。

意義と主張
本論文は、堅牢な自己再生を可能にするトレーニング手法と、再トレーニングなしでシームレスなテクスチャの組み合わせを可能にする接合技法を導入することで、多テクスチャ合成を大幅に進展させると主張している。著者らは、これを自律システムにおける動的なテクスチャ合成と自己修復のための強力で効率的なパラダイムとして位置づけている。

その意義は、コンピュータグラフィックスだけでなく、自己組織化システム（物理学、ロボット工学、生物学）を探求するより広範な分野においても位置づけられている。この研究は、NCA の基本的な特性を浮き彫りにし、単一の軽量アーキテクチャが多様なテクスチャを処理し、損傷を修復し、複雑な接合操作を実行できることを実証している。著者らは控えめに限界を認め、モデルはピクセル単位の正確な再現ではなく、スタイルの本質を捉えるものであり、ゲノム競争は長期的なシミュレーションにおいて不安定性を引き起こし得ると指摘している。将来の研究については、忠実度を向上させるための階層的アーキテクチャの調査と、多クラス自己組織化システムの安定性をより深く理解するための境界動力学の理論的解析が提案されている。