GoDe: Gaussians on Demand for Progressive Level of Detail and Scalable Compression

1. Problemstellung

Die vorliegende Arbeit adressiert eine fundamentale Einschränkung bestehender Kompressionsmethoden für explizite Radiance-Field-Repräsentationen, insbesondere für 3D Gaussian Splatting (3DGS).

• Einzel-Raten-Limitierung (Single-Rate): Aktuelle Ansätze sind inhärent „single-rate". Das bedeutet, dass für jedes gewünschte Kompressionsziel (z. B. eine bestimmte Dateigröße oder Speicherbandbreite) ein separat optimiertes Modell trainiert oder feinabgestimmt werden muss. Dies führt zu einer Sammlung diskreter, unabhängiger Betriebspunkte statt einer wirklich skalierbaren Repräsentation.
• Praktische Hürden: In realen Einsatzszenarien variieren Speicher, Bandbreite und Rechenleistung dynamisch zwischen Geräten oder über die Zeit. Das Speichern oder Übertragen mehrerer spezialisierter Modelle für verschiedene Szenarien ist unpraktisch und ineffizient.
• Fehlende Skalierbarkeit: Es fehlt eine Methode, die es erlaubt, aus einem einzigen trainierten Modell multiple Betriebspunkte auf der Rate-Distortion-Kurve abzuleiten, ohne das Modell neu zu trainieren oder strukturell zu ändern.

2. Methodik: GoDe (Gaussians on Demand)

GoDe ist ein Framework, das Skalierbarkeit als intrinsische Eigenschaft der Repräsentation selbst formuliert. Es organisiert die Gauß-Primitive eines trainierten 3DGS-Modells in eine feste, progressive Hierarchie. Der Prozess gliedert sich in drei Hauptschritte:

A. Aufbau einer progressiven Hierarchie (Gradient-basierte Maskierung)

Anstatt die Primitive zufällig oder basierend auf statischen Metriken zu entfernen, nutzt GoDe die aggregierte Gradientenempfindlichkeit der Primitive während des Trainings als Ordnungskriterium.

• Idee: Das Optimierungsverhalten von 3DGS induziert eine natürliche Ordnung: Primitive mit hoher Gradientenempfindlichkeit tragen maßgeblich zur groben Struktur und globalen Rekonstruktion bei, während solche mit niedrigerer Empfindlichkeit feinere, lokale Details hinzufügen.
• Algorithmus:
  1. Startend mit dem vollständigen Modell ($G_{L-1}$) werden in einem iterativen, top-down-Ansatz Enhancement-Sets ($E_l$) identifiziert.
  2. In jedem Schritt werden die Gradienten des Rekonstruktionsverlusts bezüglich aller Parameter eines Gaußs (Position, Opazität, Skalierung, Rotation, SH-Koeffizienten) akkumuliert.
  3. Die $k$ Primitive mit den niedrigsten aggregierten Gradientennormen werden als die am wenigsten wichtigen für den aktuellen Schritt ausgewählt und in das Enhancement-Set der aktuellen Ebene verschoben.
  4. Dieser Prozess wird wiederholt, bis eine Hierarchie von $L$ Ebenen (LoD 0 bis LoD $L-1$) entsteht, wobei jede Ebene eine disjunkte Menge von Primitive hinzufügt.

B. Quantization-Aware Fine-Tuning

Um Konsistenz über alle Ebenen hinweg sicherzustellen und Artefakte bei niedriger Präzision zu minimieren, wird ein einzelner gemeinsamer Feinabstimmungsschritt durchgeführt.

• Während dieses Trainings werden die Ebenen zufällig gesampelt, und das Modell wird nur mit den Primitive der gewählten Ebene optimiert.
• Dies zwingt die Parameter der unteren (grundlegenden) Ebenen, robust zu bleiben, auch wenn sie später mit höheren Ebenen kombiniert werden.
• Zusätzlich wird eine Sparsity-Strafe ($\ell_1$-Penalty) auf die Erscheinungskoeffizienten angewendet, um den Speicherbedarf weiter zu reduzieren.
• Die Quantisierung wird simuliert (z. B. 8-Bit für SH, 16-Bit für Geometrie), um die Effekte der späteren Speicherung vorwegzunehmen.

C. Skalierbare Kompression und Adaptive Wiedergabe

• Kompression: Nach dem Fein-Tuning werden die Basis-Ebene ($G_0$) und die Enhancement-Sets ($E_l$) unabhängig voneinander komprimiert (z. B. mit Zstandard und geteilten Wörterbüchern). Dies erzeugt einen skalierbaren Bitstream.
• Decodierung: Ein Decoder kann die Basis-Ebene laden (grobe Darstellung) und schrittweise Enhancement-Ebenen hinzufügen, um die Qualität zu verbessern, ohne das gesamte Modell neu zu laden.
• Adaptive Wiedergabe: Beim Rendern kann die Anzahl der geladenen Ebenen dynamisch an die verfügbare Bandbreite oder GPU-Speicher angepasst werden. Um „Pop-in"-Artefakte beim Wechsel zwischen Ebenen zu vermeiden, wird eine Opazitäts-Interpolation verwendet: Neue Primitive werden zunächst mit Opazität 0 eingefügt und gleiten langsam in ihren Zielwert über.

3. Hauptbeiträge

1. Skalierbare Kompression aus einem einzigen Trainings-Pipeline: GoDe leitet multiple diskrete Kompressionsstufen aus einem einzigen vortrainierten Modell ab, ohne dass für jede Stufe ein separates Modell trainiert werden muss.
2. Gradient-induzierte hierarchische Organisation: Eine iterative, gradienteninformierte Maskierungsstrategie, die eine stabile und effektive LoD-Hierarchie konstruiert, die von groben Strukturen zu feinen Details fortschreitet.
3. Modell-agnostisches Design: Der Ansatz basiert ausschließlich auf generischen Optimierungssignalen und Standard-Techniken und ist somit auf verschiedene 3DGS-Varianten (explizit, neural, hierarchisch) anwendbar, ohne die Architektur zu ändern.
4. Praktische Einsatzfähigkeit: Durch quantisierungsbewusstes Fein-Tuning, Opazitäts-Interpolation und schnelle Entropie-Kodierung ermöglicht GoDe effizientes Speichern, progressives Decodieren und adaptives Rendern in heterogenen Szenarien.

4. Ergebnisse

Die Autoren evaluieren GoDe auf Standard-Benchmarks (Mip-NeRF360, Tanks&Temples, DeepBlending) und verschiedenen 3DGS-Backbones (vanilla 3DGS, Scaffold-GS, Octree-GS).

• Rate-Distortion-Leistung: GoDe erreicht eine Leistung, die mit dem Stand der Technik (SOTA) bei einzelnen Kompressionsraten (Single-Rate-Methoden wie HAC, Context-GS, RDO) vergleichbar ist, oft sogar leicht überlegen, insbesondere auf Mip-NeRF360.
• Einzigartiger Vorteil: Im Gegensatz zu SOTA-Methoden bietet GoDe echte Skalierbarkeit. Ein einziges Modell deckt einen weiten Bereich von Dateigrößen (z. B. von 4 MB bis 60 MB) und PSNR-Werten ab.
• Performance:
  • FPS: Niedrige LoDs ermöglichen extrem hohe Frameraten (z. B. >800 FPS bei sehr kleinen Modellen), während hohe LoDs hohe Qualität bieten.
  • Decodierung: GoDe zeigt Decodier-Geschwindigkeitsvorteile von bis zu 1762-fach im Vergleich zu vorherigen Methoden, was progressives Streaming praktikabel macht.
  • Training: Da alle Betriebspunkte aus einem einzigen Training stammen, ist der Gesamtkomputationsaufwand für die Bereitstellung mehrerer Stufen deutlich geringer als bei Methoden, die separate Modelle trainieren müssen.
• Ablationsstudien:
  • Die gradientenbasierte Priorisierung ist überlegen gegenüber reinen Opazitäts- oder Positions-basierten Pruning-Strategien.
  • Der iterative Aufbau der Hierarchie ist entscheidend für die Stabilität (im Vergleich zu einem „One-Shot"-Ansatz).
  • Der Vergleich mit nicht-hierarchischen Varianten zeigt, dass der Qualitätsverlust durch die Hierarchie-Bedingung gering ist (0,42 bis 0,96 dB BD-PSNR), was durch die enormen Vorteile in der Deployability und Speichereffizienz mehr als kompensiert wird.

5. Bedeutung und Fazit

GoDe demonstriert, dass skalierbare Kompression und adaptives Rendering in 3D Gaussian Splatting erreicht werden können, ohne spezialisierte Architekturen oder pro-Rate-Trainingsverfahren einzuführen. Indem generische Optimierungssignale (Gradienten) in eine kohärente, wiederverwendbare hierarchische Repräsentation erhoben werden, löst GoDe das Problem der starren Single-Rate-Kompression.

Dies ermöglicht neue Anwendungsfälle, bei denen ein einziges 3D-Modell dynamisch an wechselnde Netzwerkbedingungen, Geräteleistungen oder Speicherbeschränkungen angepasst werden kann, während die Rekonstruktionsqualität auf einem hohen Niveau bleibt. Es stellt einen wichtigen Schritt hin zu effizienten, universell einsetzbaren 3D-Inhaltssystemen dar.