AdaGScale: Viewpoint-Adaptive Gaussian Scaling in 3D Gaussian Splatting to Reduce Gaussian-Tile Pairs

1. Problemstellung

3D Gaussian Splatting (3D-GS) hat sich als leistungsstarke Methode für die Synthese neuer Ansichten etabliert, die NeRFs in Bezug auf Rendering-Geschwindigkeit oft übertrifft. Dennoch erreicht die ursprüngliche Implementierung auf High-End-GPUs (z. B. Nvidia A6000) bei hohen Auflösungen (z. B. 4K) oft nicht die für AR/VR-Anwendungen erforderlichen 90–120 Bilder pro Sekunde (FPS).

Der Hauptengpass liegt im Rendering-Prozess, insbesondere in den Phasen der Generierung von Gaussian-Tile-Paaren, dem Sortieren und der Rasterisierung. Diese Schritte sind stark von der Anzahl der Paare abhängig, die zwischen den 3D-Gauss-Funktionen und den Bild-Tiles (Flächen auf dem GPU-Speicher) bestehen.

• Bisherige Ansätze: Methoden wie GSCore oder FlashGS versuchen, unnötige Paare durch genauere geometrische Berechnungen (z. B. Orientierte Bounding Boxes oder Ellipsen) zu eliminieren. Diese Ansätze sind jedoch „verlustfrei" und entfernen nur Paare mit exakt null Beitrag.
• Die Lücke: Es wurde bisher ignoriert, dass Gaussian-Tile-Paare, die den peripheren Rand eines Gauss treffen, einen vernachlässigbaren Beitrag zur endgültigen Pixel-Farbe leisten. Diese Paare verursachen jedoch dennoch Rechenkosten. Das Ziel ist es, diese unwichtigen Paare selektiv zu entfernen, ohne die Bildqualität signifikant zu beeinträchtigen.

2. Methodik: AdaGScale

Die Autoren schlagen AdaGScale vor, eine viewpoint-adaptive Technik zur Skalierung von Gauss-Funktionen, die auf der Beobachtung basiert, dass periphere Regionen wenig zur Farbsättigung beitragen.

Kernkonzepte:

1. Peripherer Score (Peripheral Score):

   • Definiert als die Summe der Farbbeiträge ($Contribution(P_k, G_i)$) aller Pixel im peripheren Bereich eines Gauss, wo der $\alpha$-Wert zwischen einem Schwellenwert $\tau$ (1/255) und einem höheren Schwellenwert $x$ liegt.
   • Ein hoher Score bedeutet, dass der Rand des Gauss wichtig ist; ein niedriger Score bedeutet, dass der Rand entfernt werden kann.

2. Effiziente Approximation im Preprocessing:
   Da die Berechnung des exakten Scores während des Preprocessing-Phasen unmöglich ist (da die Transparenz $T_i$ von der Sortierreihenfolge abhängt, die erst später bekannt ist), entwickeln die Autoren eine dreistufige Approximationsstrategie:

   • Transparenz-Approximation: Statt des pixel-spezifischen $T_i$ wird für jeden Gauss ein konstanter Maximalwert ($\max(T_i)$) verwendet.
   • Tiefenbasierte Obergrenze: Da $\max(T_i)$ mit der Tiefe korreliert (ferne Gauss sind eher verdeckt), wird eine stückweise konstante Obergrenze $T_{Upper}^i(depth)$ verwendet, die offline auf einem Kalibrierungsdatensatz gelernt wird.
   • Geschlossene Form (Riemann-Summe): Die diskrete Summe der Beiträge wird durch ein Integral über den annularen Bereich angenähert. Dies führt zu einer geschlossenen Formel für den maximalen zulässigen $\alpha$-Schwellenwert $Th_i$:
     $$Th_i = \frac{K}{T_{Upper}^i(depth) \cdot 2\pi\sqrt{\det(G_{cov}^i)}} + \tau$$
     Hierbei ist $K$ ein benutzerdefinierter Parameter, der die akzeptable Qualitätsminderung (peripherer Verlust) steuert.

3. Dual-Size-Strategie (Der entscheidende Trick):

   • Für den Schnitttest (Intersection Test): Die Größe des Gauss wird dynamisch basierend auf $Th_i$ skaliert. Wenn $Th_i > \tau$ ist, wird der effektive Radius des Gauss verkleinert. Dies führt dazu, dass weniger Tiles im Schnitttest als „überschneidend" erkannt werden.
   • Für die Farbakkumulation (Rasterization): Sobald ein Tile-Paar generiert wurde, wird immer der ursprüngliche $\alpha$-Schwellenwert ($\tau = 1/255$) und die ursprüngliche Größe verwendet, um die Farbe zu berechnen.
   • Ergebnis: Unwichtige Paare werden frühzeitig eliminiert (weniger Sortier- und Rasterisierungsaufwand), aber die verbleibenden Paare werden mit voller Genauigkeit gerendert. Dies verhindert visuelle Artefakte.

3. Hauptbeiträge

• Neue Metrik: Einführung des „Peripheren Scores" zur Quantifizierung der Wichtigkeit von Gaussian-Tile-Paaren basierend auf ihrem Farbbeitrag.
• Effiziente Approximation: Entwicklung einer Methode, um diesen Score während des Preprocessing mit minimalem Overhead zu approximieren, ohne die Sortierphase abzuwarten.
• AdaGScale Pipeline: Eine viewpoint-adaptive Skalierungstechnik, die die Anzahl der Paare reduziert, ohne das Modell neu zu trainieren (No-Retraining).
• Dual-Size-Ansatz: Eine Strategie, die die Reduktion der Rechenlast (durch kleinere Bounding-Boxen im Schnitttest) von der visuellen Genauigkeit (durch Beibehaltung der Originalgröße bei der Farbberechnung) entkoppelt.

4. Experimentelle Ergebnisse

Die Methode wurde auf verschiedenen Datensätzen (Tanks&Temples, DeepBlending, Mip-NeRF360, UrbanScene3D) und mit verschiedenen Modellen (Original 3D-GS, GaussianSpa, CityGaussian, Scaffold-GS) auf einer Nvidia A6000 GPU evaluiert.

• Geschwindigkeit:
  • Auf Original 3D-GS erzielt AdaGScale eine geometrische mittlere Beschleunigung von 5,46-fach bei einer PSNR-Verringerung von nur 0,5 dB.
  • Auf City-scale Szenen (CityGaussian) wird eine Beschleunigung von bis zu 13,8-fach erreicht.
  • Auch auf bereits komprimierten Modellen (GaussianSpa) und MLP-basierten Pipelines (Scaffold-GS) wurden signifikante Geschwindigkeitsgewinne (bis zu 1,65-fach im Rendering-Teil) erzielt.
• Reduktion der Paare:
  • Die Anzahl der Gaussian-Tile-Paare konnte im Vergleich zu FlashGS um bis zu 43 % reduziert werden.
• Qualität:
  • Die PSNR-Verringerung bleibt kontrolliert und liegt in der Regel unter dem Zielwert (z. B. < 0,5 dB), was für visuelle Anwendungen als vernachlässigbar gilt.

5. Bedeutung und Fazit

AdaGScale adressiert das fundamentale Problem der Ineffizienz in 3D-GS durch die Ausnutzung der Tatsache, dass nicht alle Berechnungen gleich wichtig sind.

• Kein Retraining: Die Methode ist ein Plugin, das in bestehende Pipelines integriert werden kann, ohne die Trainingszeit zu erhöhen oder die Modelle neu zu trainieren.
• Skalierbarkeit: Sie funktioniert besonders gut bei hochauflösenden, komplexen Szenen (Stadtlandschaften), wo die Anzahl der Paare traditionell den Flaschenhals darstellt.
• Echtzeitfähigkeit: Durch die drastische Reduktion der Rechenlast (Sortieren und Rasterisieren) macht AdaGScale 3D-GS für anspruchsvolle Echtzeitanwendungen wie AR/VR (Apple Vision Pro) auf aktuellen Hardware-Plattformen viel näher an die geforderten 90–120 FPS heran.

Zusammenfassend bietet AdaGScale einen eleganten Kompromiss zwischen Rechenkomplexität und visueller Qualität, indem es „unwichtige" periphere Berechnungen eliminiert, während die Kernvisualisierung intakt bleibt.