技術要約：インタラクティブなストロークベースのニューラルSDFスカルプティング

問題提起

Implicit Neural Representations (INR)、特にNeural Signed Distance Functions (SDF) は、任意の解像度で連続的な曲面を表現できる能力により、3D形状のモデリングにおいて強力なツールとして台頭しています。しかし、その編集性には重大なボトルネックが存在します。メッシュベースの表現では頂点を直接操作できるのに対し、ニューラルSDFのパラメータはネットワークの重みの中にグローバルに埋め込まれています。このグローバルな依存関係により、局所的な修正が困難になっています。

既存のニューラルSDF編集手法は、形状コードや潜在空間の変更に依存することが多く、これらはきめ細かな制御や即時的なフィードバックに欠けることが頻繁にあります。点ベースの編集手法（例：3DNS）も存在しますが、これらは局所的なスポット編集に限定されています。ストロークベースのスカルプティングを模倣するために、点ベースの編集を逐次的に適用しようとすると、計算コストが高くなり、レイテンシの増大、冗長な評価、およびサンプリング密度の不均一を招きます。その結果、ニューラルSFAに対する高性能でインタラクティブなストロークベースのスカルプティング・ツールキットが不足しており、直感的なリアルタイム操作を必要とする芸術的・設計的ワークフローへの採用を妨げてきました。

手法

著者らは、学習済みニューラルSDFに対して直接ストロークベースのスカルプティングを可能にするインタラクティブなフレームワークを提案しています。本システムは、ユーザーが定義したストロークに沿った管状の近傍内（tubular neighborhood）でポイントをサンプリングし、ゼロレベルセットが望ましい変形に一致するようにニューラルネットワークを微調整することで動作します。

1. 座標系とブラシの定義

直感的な制御を容易にするため、本手法はストロークの経路に沿った局所的な u-v-n 座標フレーム を確立します。

• u (ストローク方向): ストローク曲線の接線。
• v (ブラシプロファイル方向): ストロークに対して垂直で、かつ曲面に接する方向。
• n (法線方向): 両方に直交し、曲面から外側に向かう方向。

ブラシ は、$v$ 方向において作用する $C^1$ 関数 $b_P(v)$ として定義されます。ユーザーは、制御点をCatmull-Romスプラインで補間することでカスタムプロファイルを作成したり、解析関数（線形、三次、五次）を選択したりできます。ブラシの強度と半径は独立してパラメータ化されており、彫刻（負の変位）と押し出し（正の変位）の両方を可能にします。

2. 変調とストローク表現

ストロークは、$u \in [0,1]$ でパラメータ化された連続曲線 $\gamma(u)$ として表現されます。変形の強度は、変調関数 (modulation function) $m(u)$ を通じてストロークに沿って動的に変化させることができます。これにより、追加の計算コストなしに、線形フォールオフ、中央のピーク、あるいは正弦波パターン（例：スケール）などの効果を実現できます。変調はストロークのパラメータ化に直接適用されます。

3. 管状サンプリング戦略 (Tubular Sampling Strategy)

本研究の核心的な技術的貢献は、管状サンプリング戦略 です。全表面をサンプリングしたり、離散的な点投影に頼ったりする代わりに、本システムはストロークの周囲にある管状領域内にサンプルを生成します。

• ポイントは、ストロークの軌跡（$u$ 方向）に沿って一様にサンプリングされます。
• 各ポイントに対して、半径 $r$ 以内の $v$ 方向へのオフセットが適用されます。
• これらのオフセットポイントは、管状の近傍を捉えるために曲面上に投影されます。

このアプローチにより、相互作用領域全体で一貫したブラシ効果が保証されます。著者らは、この戦略が、3DNSのような点ベースの手法が同等のカバレッジを得るために10万個以上のサンプルを必要とするのに対し、大幅に少ないサンプル数（安定化のために計~10,000個）で済むことを指摘しており、これにより最適化のバッチサイズを劇的に削減しています。

4. 最適化と損失関数

編集プロセスでは、変形損失を最小化するようにニューラルSDFの重み ($\theta$) を微調整します。ターゲットとなる位置 $p'$ は、ブラシプロファイルと変調に基づいて、表面上の点 $p$ を法線方向 $n$ に沿ってオフセットすることで計算されます。
$$p' = p + s \cdot b_P(v(p)) \cdot m(u) \cdot n(u(p))$$

ネットワークは、新しいゼロレベルセットがこれらの変位した点を通るように最適化されます。総損失関数は、3DNSフレームワークから採用されたいくつかの項を組み合わせたものです。

• 回帰損失 ($L_{regression}$): 変位した点におけるSDF値を最小化します。
• アイコナル損失 ($L_{eikonal}$): 勾配ノルムを1に強制し、SDFの特性を維持します。
• 法線損失 ($L_{normal}$): 予測された勾配を表面の法線に合わせます。
• 境界正規化 ($L_{boundary}$): バウンディングボックスの端付近でのアーティファクトを防ぎます。

主な貢献

1. インタラクティブなストロークベースのツールキット: 点ベースの編集の限界を超え、ニューラルSDFに対してリアルタイムでストロークベースの修正を行うことを可能にするフレームワークの導入。
2. カスタマイズ可能なブラシと変調: 制御点によるユーザー定義のブラシプロファイルや、ストロークに沿った変調関数をサポートし、彫刻されたストローク、非対称な形状、リズムパターンなどの複雑な効果を可能にする柔軟なシステム。
3. 効率的な管状サンプリング: 相互作用領域に焦点を当てたパフォーマンス重視のサンプリング戦略により、点ベースの手法（3DNS）と比較して最大 15倍の高速化 を達成しつつ、編集の忠実度を維持。
4. 統一された表現: 同一のニューラル暗黙的表現内で複雑な形状を表現・編集できる能力。これにより、メッシュとニューラル表現の切り替えを不要にします。

実験結果

本手法は、NVIDIA GeForce RTX 4070 GPUを使用し、6つの3D形状（Stanford Bunny、胸像、カボチャを含む）のデータセットを用いて評価されました。

• 速度とインタラクティビティ: 提案手法は、様々なストローク密度において、編集時間を1秒未満に抑えています。論文の表1は、ストロークポイントの数が増えるにつれて、3DNSと比較して 1.18倍から15.01倍 の範囲の高速化を実現していることを示しています。この効率性は、相互作用領域に必要なサンプル数が減少したことによるものです。
• 幾何学的精度: Chamfer Distanceを指標として用いた結果、本手法は3DNSの点ベースの編集および粗いメッシュへの直接編集の両方を上回りました。全表面の平均Chamfer距離は、テストされたすべての形状において、提案手法の方が一貫して低い値を示しました（例：球体において7.279 vs 7.394）。
• 視覚的品質: システムは滑らかで連続的な変形を生み出します。高周波の詳細は基礎となるMLPの容量（SIREN）に依存しますが、本手法は、バニーにロボットの特徴を追加したり、カボチャに複雑な模様を彫り込んだりといった、3DNSの重なり合う点ベースの編集では困難または不可能な複雑な編集を正常に処理できます。

意義と主張

本論文は、伝統的な3Dスカルプティングのワークフローと現代のニューラル暗黙的表現との間の架け橋となることを目的としています。著者らは、本フレームワークがニューラルSDFにおける決定的な「編集性の欠如」という課題に対処していると主張しています。直感的なストロークベースの操作を可能にし、暗黙的表現の滑らかな性質やインタラクティブな性能を損なうことなく、ニューラルSDFの芸術的・設計的領域への応用範囲を広げます。

著者らは、限界についても謙虚に述べています。特に、高周波のディテール（MLPの深さに依存してぼやける可能性がある）を伴う非常に振動の激しいブラシプロファイルに関する問題や、PythonベースのPyTorch実装による計算オーバーヘッドについてです。しかし、低〜中程度の強度の編集を伴う一般的なスカルプティングのワークフローにおいて、本フレームワークは多用途でレスポンスの良いツールを提供すると断言しています。