技術要約：グラフプロセッサ上での3Dガウス・スプラッティングのレンダリング

問題提起

3Dガウス・スプラッティング（3DGS）は、フォトリアリスティックなレンダリングと完全な微分可能性を提供し、リアルタイムの新規視点合成における主要な手法として確立されている。しかし、現在の実装はGPUアーキテクチャに高度に最適化されており、これらは大規模なオフチップDRAM、高メモリ帯域幅、およびグローバルアドレス空間に依存している。GPUにおいて、3DGSのレンダリングはメモリバウンドである。すなわち、支配的なコストは演算計算ではなく、メモリ階層（DRAMから共有メモリへのロード）を通じたガウスデータの繰り返しの移動である。

このようなグローバルメモリへのアクセスへの依存は、ローカルメモリのみを備えた「オンセンサ」コンピューティングが望ましい、ARグラスやモバイルロボットのような、新たなリソース制約のあるプラットフォームにとっては非効率的である。本論文は、グローバルアドレス空間やランダムアクセスメモリを欠き、データの移動を明示的かつ局所的に強制されるDRAMフリー・アーキテクチャへの3DGSの適応という課題に取り組んでいる。

手法

著者らは、1,472個の独立したタイルで構成される大規模並列プロセッサであるGraphcoreの**インテリジェンス・プロセッシング・ユニット（IPU）上で、初の3DGSレンダラーを実装した。各タイルは624 KBのローカルSRAM、6つのハードウェアスレッドを備え、外部DRAMは持たない。このアーキテクチャは、明示的かつコンパイル時に定義された通信チャネルを備えたバルク同期並列（BSP）**モデルに従っている。

パイプラインの概要

レンダリングパイプラインは、3DGSの4つのステージをIPUのBSP実行モデルにマッピングし、局所的な計算とタイル間通信を交互に行う：

1. 投影 (局所計算): 各タイルは、ローカルに格納された3Dガウスを2Dスクリーン空間に投影し、平均、共分散（conics）、およびバウンディングボックスを計算する。
2. ルーティング (計算 + 交換): 投影された平均値がタイルのローカルなスクリーン領域外に位置するガウスは、破棄される。それらは、NEWS（North-East-West-South）グリッド上のマンハッタン距離ホップを介して、自身の「アンカータイル」（ガウスの平均値を含むスクリーン領域を所有するタイル）へとルーティングされる。このプロセスは、すべてのガウスがアンカータイルに到達するまで、複数のBSPスーパーステップにわたって繰り返される。
3. ブルーム (計算 + 交換): ガウスがアンカータイルに到達すると、それはオーバーラップする隣接するタイルのスクリーン領域へと伝播される。循環的なコピーやチャネルの飽和を防ぐため、著者らはツリーパターン伝播を採用している。すなわち、アンカータイルが水平方向にコピーを送信し、それらのタイルが垂直方向にコピーを転送する。
4. コンポジット (局所計算): 各タイルは、自身のローカルなガウスを深度順にソートし、フレームバッファのスライスに対してフロント・トゥ・バックのアルファ・コンポジットを行う。

主要なアーキテクチャ上の制約

• グローバルメモリなし: シーンデータはオンチップSRAMから離れることはない。全3Dガウスマップはタイル間に分散されており、単一のタイルがシーン全体を保持することはない。
• 明示的なデータ移動: 全スレッドが任意のグローバルアドレスをロードできるGPUとは異なり、IPUタイルはコンパイル時に定義されたデータのみを送信/受信できる。アルゴリズムはプリミティブの移動を明示的に管理しなければならない。
• メモリ予算: 約1,472個のタイルがあるため、集約メモリは中規模なシーンには十分であるが、個々のタイルには厳格な制限がある（バッファを考慮すると、ガウスデータ用に利用可能なのは約192 KBである）。

主な貢献

1. 初のSRAM専用3DGS実装: 本論文は、シーンデータに対する外部DRAMアクセスを排除し、オンチップSRAMのみに依存するMIMD（Multiple Instruction, Multiple Data）プロセッサ・アーキテクチャ上での初の3Dガウスレンダリングを提示している。
2. コンパイル時ルーティング・スキーム: 固定されたコンパイル時通信チャネルの制約内で動作する、スクリーン空間の所有権に基づくガウス・プリミティブのタイル間分散のための新しいメカニズム。
3. パフォーマンスとボトルネック分析: システムの性能を詳細に評価し、DRAMフリー・レンダリングに固有の特定のボトルネックを特定した：
   • タイル間帯域幅の飽和: 高密度な領域では、すべてのガウス・コピーが伝播する前に、出力チャネルが満杯になり、レンダリング画像に「タイリング・アーティファクト」（矩形の穴）が生じる。
   • タイルごとのSRAM圧迫: 特定のスクリーン領域におけるガウス密度が高いと、単一タイルのバッファ容量を超過し、データ損失を引き起こす。
   • ワークロードの不均衡: ガウス密度の不均一性により、一部のタイルが他のタイルよりも大幅に遅くなり、BSPバリア全体を停止させる。
4. 将来のアーキテクチャへの洞察: GPUにおける明示的なSM（Streaming Multiprocessor）間通信がDRAMアクセスを減少させ得ることを示唆しており、3D表現が空間的および時間的な局所性をより良く活用できるように設計されるべきであることを示している。

結果

• 視覚的品質: 中程度の密度を持つシーン（例：25k–90k個のガウス）において、IPUによるレンダリングはGPUのベースラインと視覚的にほぼ同一であり、テキストや細い構造などの微細なディテールを保持している。
• スループット: 単一のIPU上で、小規模から中規模のシーンに対してインタラクティブなフレームレート（約20 FPS）を達成している。しかし、非常に高密度なシーン（例：273k個のガウス）では、前述のボトルネックにより性能が低下する。
• 電力効率: IPUの生の（FPSとしての）スループットは高性能GPU（GTX 1080, RTX 4090）よりも低いが、消費電力は大幅に低い（約27W 対 約75–90W）。このアーキテクチャは、3DGSが完全にオンチップで動作可能であることを実証しており、ホスト通信が実行時間のわずか1.6%を占めている。
• データ局所性: システムは時間的局所性を効果的に活用している。カメラの増分的な動き（SLAM/ARに典型的）の場合、「チャーンレート（入れ替わり率）」（再ルーティングを必要とするガウスの割合）は非常に低い（<12%）が、ランダムなテレポートの場合はほぼ100%の再ルーティングが必要となる。

重要性と主張

本論文は、IPUがGPUと比較して優れた汎用レンダリングエンジンであると主張しているのではない。むしろ、3DGSは根本的にDRAMを必要としないことを示すための実験的プラットフォームとしてIPUを使用している。

著者らは、グローバルアドレス空間を取り除くことで、明示的なデータ移動の必要性が明らかになると主張している。これにより、以下のことが判明した：

1. 局所性が鍵である: レンダリングは、データ移動を最小限に抑えるときに最も効率的になる。IPUの設計は、増分的な視聴シナリオ（ロボティクス、AR）において、ほとんどのプリミティブが以前のスクリーン空間の位置の近くに留まるという事実を活用することを強制する。
2. アルゴリズムへの影響: 観察されたボトルネック（帯域幅、容量、不均衡）は、将来のGPUカーネル設計に情報を提供し得るトレードオフを浮き彫りにしている。具体的には、すべてのクロスブロック・データをDRAM経由でルーティングするのではなく、GPU上での直接的なSM間通信を行うことで、3DGSの支配的なメモリコストを削減できる可能性があると示唆している。
3. 将来の方向性: 本研究は、微分可能レンダリングのための「オンセンサ」およびエッジ・アーキテクチャの開発を動機付けるものである。これは、将来の3D表現とハードウェアが、空間的および時間的なコヒーレンスを活用するように共同設計され、グローバルメモリへのアクセスを回避することで、電力とレイテンシを低減できる可能性を示唆している。