💻 computer science

LocusGS: Spatially Grounded Tokens for Feed-Forward 3D Gaussian Splatting

LocusGS verbessert das Feed-Forward 3D Gaussian Splatting durch die Einführung expliziter 3D-Ankerzustände (Zentrum und Radius) für Gaussian-Abfragen, welche eine räumlich kohärente Merkmalsaggregation und Dekodierung leiten, um die Renderqualität und strukturelle Ausrichtung im Vergleich zu rein latenten Repräsentationen zu verbessern.

Ursprüngliche Autoren: Wenyu Li, Sidun Liu, Tongrui Hu, Peng Qiao, Yong Dou

Veröffentlicht 2026-08-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Wenyu Li, Sidun Liu, Tongrui Hu, Peng Qiao, Yong Dou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine riesige, komplizierte Lego-Burg allein durch den Blick auf ein paar Fotos aus verschiedenen Blickwinkeln wieder aufzubauen. In der Welt des Computer Vision ist dies eine klassische Herausforderung, die „3D-Rekonstruktion“ genannt wird. Lange Zeit mussten Computer für jede neue Burg mühsam Millionen winziger virtueller Steine einzeln anpassen, ein Prozess, der langsam und teuer war. Vor kurzem kam eine clevere Abkürzung namens „3D Gaussian Splatting“ auf den Markt. Anstatt mit starren Blöcken zu bauen, nutzt diese Methode Millionen von weichen, unscharfen 3D-„Wolken“ (genannt Gaussians), die gestaucht, gestreckt und eingefärbt werden können, um der Form und dem Aussehen der Szene perfekt zu entsprechen. Diese Wolken können sofort in neue Fotos gerendert werden, was sie perfekt für Virtual Reality und Robotik macht.

Es gibt jedoch einen Haken bei der neuesten, schnellsten Version dieser Technologie. Um den Prozess noch schneller zu machen, begannen einige Forscher, einen „abfragebasierten“ (query-based) Ansatz zu verwenden. Stellen Sie sich das wie das Einstellen eines Teams von unsichtbaren Detektiven (genannt „Tokens“) vor, die die Form der Burg herausfinden sollen. Jeder Detektiv soll die Fotos betrachten, Hinweise sammeln und dann eine spezifische Gruppe von unscharfen Wolken ausrufen, um einen Teil der Burg zu bauen. Idealerweise sollte Detektiv A die Eingangstür bauen und Detektiv B das Dach. Aber das Problem ist, dass die Detektiven in den aktuellen Methoden durcheinanderkommen. Detektiv A könnte gleichzeitig Wolken für die Eingangstür, das Dach und den Schornstein ausrufen und sie über die gesamte Burg verstreuen. Das Ergebnis ist eine unordentliche, verschwommene Rekonstruktion, bei der die Wolken nicht an den richtigen Stellen haften und die Szene ein wenig wie ein Traum wirkt, in dem Objekte an den falschen Stellen schweben.

Hier tritt das Paper „LocusGS“ an, um den Tag zu retten. Die Autoren, ein Team der National University of Defence Technology, erkannten, dass diese unsichtbaren Detektive eine entscheidende Information vermissen ließen: eine physische Adresse. In ihrem neuen System, LocusGS, geben sie jedem Detektiv einen „3D-Anker“. Dies ist nicht nur eine vage Vorstellung; es ist eine spezifische Koordinate im 3D-Raum (ein Mittelpunkt) und ein Radius (wie groß ihre „Verantwortungszone“ ist). Während die Detektive arbeiten, raten sie nicht nur; sie verfeinern ständig ihre Adresse. Wenn ein Detektiv der Eingangstür zugewiesen ist, hält ihn sein Anker genau dort fest und verhindert, dass er zum Dach abdriftet. Dieses „räumliche Fundament“ (spatial grounding) zwingt die unscharfen Wolken dazu, in ordentlichen, kompakten Gruppen zu bleiben, die tatsächlich der Form des Objekts entsprechen, das sie darstellen sollen.

Das Paper legt nahe, dass diese einfache Hinzufügung eines physischen Ankers einen riesigen Unterschied macht. Als sie ihre Methode an Standard-Datensätzen wie RealEstate10K und DL3DV testeten, stellten sie fest, dass LocusGS schärfere, klarere Bilder als die bisher besten Methoden erzeugte, selbst wenn sie exakt die gleiche Anzahl an unscharfen Wolken verwendeten. Die „Detektive“ (Tokens) hörten auf, ihre Wolken überall zu verstreuen, und bauten stattdessen dichte, organisierte Cluster, die der Geometrie der Szene perfekt folgten. Die Autoren maßen dies, indem sie zeigten, dass die von einem einzelnen Token erzeugten Wolken viel näher beieinander lagen (kompakter waren) und dass die gesamte 3D-Struktur kohärenter war. Sie fanden auch heraus, dass die Anker selbst ein logisches „Gerüst“ (Scaffold) durch die Szene bildeten und effektiv kartierten, wo sich die verschiedenen Teile des Objekts befanden, noch bevor die endgültigen Details gezeichnet wurden.

Kurz gesagt argumentiert das Paper, dass man, indem man diesen digitalen Erbauern einen klaren, physischen Ort gibt, verhindert, dass sie sich verlaufen und ihre Arbeit verstreuen. Das Ergebnis ist eine 3D-Szene, die realer aussieht, mit weniger schwebenden Artefakten und besser definierten Formen. Die Autoren zeigen, dass dieser Ansatz gut mit unterschiedlichen Anzahlen von Kameraperspektiven funktioniert und nicht erfordert, dass das System langsamer wird oder mehr Rechenleistung benötigt, um bessere Ergebnisse zu erzielen. Es ist eine Erinnerung daran, dass der beste Weg, eine chaotische digitale Welt zu organisieren, manchmal darin besteht, allem einen klaren Platz zum Stehen zu geben.

Technisches Resümee: LocusGS

Problemstellung

Neuere Feed-Forward 3D-Gaussian-Splatting-Methoden (3DGS) sind von der kostspieligen pro-Szene-Optimierung zur direkten Vorhersage aus Eingangsansichten übergegangen. Unter diesen stellen query-basierte Ansätze (z. B. TokenGS) eine Szene durch eine feste Menge lernbarer Abfragen (Tokens) dar. Jeder Token aggregiert Multi-View-Evidenz über einen Transformer-Decoder und wird in eine Gruppe von 3D-Gaussians dekodiert.

Die Autoren beobachten jedoch eine kritische Einschränkung bestehender query-basierter Methoden: schwache räumliche Kohärenz. Während idealerweise verschiedene Queries in unterschiedlichen, kohärenten lokalen Regionen der Szene spezialisiert sein sollten, verteilen sich die aus einem einzelnen latenten Query dekodierten Gaussians oft über weit entfernte, nicht zusammenhängende Szenenregionen. Dies führt zu einer räumlich diffusen Verteilung, die schlecht mit der zugrunde liegenden Szenenstruktur übereinstimmt. Die Autoren führen dieses Versagen auf die rein latente Repräsentation bestehender Gaussian-Queries zurück, denen ein explizites Verständnis dafür fehlt, wo in einem 3D-Raum eine Query operiert oder wie groß eine Region ist, die sie abdeckt. Infolgedessen sind die durch eine Query aggregierte Multi-View-Evidenz und die resultierenden Gaussians nicht auf eine kohärente lokale Region beschränkt.

Methodik: LocusGS

Um dies zu adressieren, schlagen die Autoren LocusGS (Spatially Grounded Tokens) vor, welches jede Gaussian-Query um einen expliziten 3D-Anker-Zustand erweitert. Dieser Zustand besteht aus einem 3D-Zentrum ( $\mu$ ) und einem Support-Radius ( $r$ ).

Kernkomponenten

Explizite 3D-Anker-Zustände:
Anstatt eine Query lediglich als latenten Merkmalsvektor darzustellen, assoziiert LocusGS jeden Token $i$ in Decoder-Schicht $l$ mit einem Anker-Zustand $a^l_i = (\mu^l_i, r^l_i)$ .
- Zentrum ( $\mu$ ): Gibt den aktuellen 3D-Referenzort der Query an.
- Radius ( $r$ ): Definiert die Ausdehnung des lokalen Support-Bereichs der Query. Der Radius wird über eine unbeschränkte Variable $\rho$ parametrisiert, die durch eine softplus-Funktion geleitet wird, um Positivität zu gewährleisten.
- Diese Zustände sind lernbar, szenenunabhängig und werden über die Decoder-Schichten hinweg progressiv verfeinert.
Anker-gesteuerter Decoder:
Der Decoder nutzt die Anker-Zustände, um sowohl Selbst-Aufmerksamkeit (Self-Attention) als auch Kreuz-Aufmerksamkeit (Cross-Attention) zu steuern:
- Anker-bewusste Selbst-Aufmerksamkeit: Ein aus dem Anker-Zentrum $\mu$ abgeleitetes Positions-Embedding wird in die Token-Merkmale injiziert. Dies ermöglicht Interaktionen zwischen Gaussian-Tokens, die von deren relativen 3D-Positionen abhängen, nicht nur von der latenten Ähnlichkeit der Merkmale.
- Anker-zu-Strahl-Geometrie-Bias (Kreuz-Aufmerksamkeit): Um Multi-View-Evidenz zu aggregieren, führt die Methode einen geometrischen Bias ein, der auf dem Abstand zwischen dem Anker-Zentrum $\mu^l_i$ $μ_{i}^{l}$ der Query und den Kamera-Strahlen $\ell_j$ $ℓ_{j}$ der Bild-Tokens basiert.
  - Der Bias ist definiert als $b^l_{ij} = -\frac{1}{2} \left( \frac{D(\mu^l_i, \ell_j)}{\sigma_0 r^l_i} \right)^2$ , wobei $D$ die euklidische Distanz vom Punkt zum Strahl ist.
  - Dieser Bias bestraft Bild-Tokens, deren Strahlen weit vom Anker entfernt sind, und leitet die Query dadurch effektiv dazu an, sich auf geometrisch relevante Beobachtungen zu konzentrieren. Der Radius $r^l_i$ steuert die Bandbreite dieser räumlichen Präferenz.
Dynamische Anker-Verfeinerung:
Nach jeder Decoder-Schicht sagen die Token-Merkmale Residuen-Updates ( $\Delta \mu, \Delta \rho$ ) für das Anker-Zentrum und den Radius voraus. Dies ermöglicht es dem Anker-Zustand, seinen 3D-Ort und seine Support-Skala an die spezifische Eingabeszene anzupassen, während der Decoder fortschreitet.
Anker-zentrierte Gaussian-Dekodierung:
In der finalen Dekodierungsphase werden Gaussians nicht vollkommen unbeschränkt vorhergesagt. Stattdessen sagt das Modell lokale Offsets ( $\delta$ ) relativ zum final verfeinerten Anker-Zentrum voraus. Das finale Gaussian-Zentrum wird berechnet als:
$\mu^G_{i,k} = \mu^L_i + r^L_i \delta_{i,k}$
Hier liefert das Anker-Zentrum die globale Referenz, und der Radius skaliert die lokalen Offsets. Diese Formulierung erzwingt, dass die aus einem einzelnen Token dekodierten Gaussians eine kompakte lokale Gruppe um den Anker bilden, anstatt frei zu streuen.
Multi-Layer-Rendering-Supervision:
Das Trainingsziel umfasst die Rendering-Supervision in Zwischenschichten des Decoders (zusätzlich zur finalen Schicht). Der Loss kombலைert Bildrekonstruktion (MSE + SSIM) mit Sichtbarkeits-Regularisierung, die sowohl auf die dekodierten Gaussian-Zentren als auch auf die Anker-Zentren angewendet wird, um eine kohärente räumliche Organisation während des gesamten Dekodierungsprozesses zu fördern.

Zentrale Beiträge

Räumliche Erdung der Queries: Die Einführung expliziter 3D-Anker-Zustände (Zentrum und Radius) für query-basierte 3DGS, wodurch die rein latenten Repräsentationen überwunden werden.
Anker-bewusste Mechanismen: Das Design von geometrischen Biases für die Kreuz-Aufmerksamkeit (Anker-zu-Strahl) und Positions-Embeddings für die Selbst-Aufmerksamkeit, die den Anker-Zustand nutzen, um räumliche Kohärenz zu erzwingen.
Strukturierte Gaussian-Generierung: Eine Dekodierungsstrategie, die lokale Offsets skaliert durch den Anker-Radius vorhersagt und so sicherstellt, dass Tokens räumlich kompakte Gaussian-Gruppen erzeugen.
Progressive Verfeinerung: Ein Mechanismus zur iterativen Verfeinerung von Anker-Lokationen und Support-Radien über die Decoder-Schichten hinweg, der es dem Modell ermöglicht, sich an die Szenengeometrie anzupassen.

Experimentelle Ergebnisse

Die Autoren evaluieren LocusGS auf Benchmarks für die Synthese neuer Ansichten, spezifisch RealEstate10K (RE10K) und DL3DV, im Vergleich zu Baselines wie TokenGS, MVSplat und DepthSplat.

Rendering-Qualität: Unter identischen Token- und Gaussian-Budgets übertrifft LocusGS die query-basierten Baselines (TokenGS) konsistent in PSNR, SSIM und LPIPS. Beispielsweise erreicht LocusGS (4096 Tokens) auf DL3DV mit 4 Eingangsansichten ein PSNR von 24,80 im Vergleich zu 23,44 bei TokenGS.
Räumliche Organisation: Qualitative und quantitative Analysen zeigen, dass LocusGS signifikant strukturiertere Gaussian-Verteilungen erzeugt.
- Token-Kompaktheit: Das Paper führt eine Metrik $C_{centroid}$ ein, um die Dispersion von Gaussians innerhalb eines Tokens zu messen. LocusGS reduziert diese Dispersion drastisch (z. B. von 5,11 auf 0,19 auf RE10K), was darauf hindeutet, dass Gaussians aus einem einzelnen Token eng gruppiert sind.
- Anker-Layouts: Die gelernten Anker bilden ein grobes, kohärentes räumliches Gerüst über der Szene, das Hauptstrukturen abdeckt und ihre Radien an die lokale Komplexität anpasst (größere Radien in spärlichen Regionen, kleinere in detaillierten Bereichen).
Generalisierung: Das Modell behält ein festes Gaussian-Budget bei, das unabhängig von der Anzahl der Eingangsansichten ist, im Gegensatz zu dichten pixel-ausgerichteten Methoden. Es zeigt eine robuste Leistung bei Tests mit variierenden Anzahlen von Kontext-Ansichten (2, 4 und 6 Ansichten) auf DL3DV.
Effizienz: Obwohl LocusGS eine etwas höhere Parameteranzahl (241,5M gegenüber 222,0M für TokenGS) und eine höhere Forward-Latenz aufweist, erzielt es eine überlegene Rekonstruktionsqualität, ohne die Anzahl der vorhergesagten Gaussians zu erhöhen.

Bedeutung und Ansprüche

Das Paper behauptet, dass explizite 3D-Anker-Zustände einen effektiven räumlichen Prior für query-basierte Feed-Forward 3DGS bieten. Durch die Erdung der Queries im 3D-Raum transformiert LocusGS Gaussian-Tokens von impliziten latenten Embeddings in interpretierbare räumliche Rekonstruktions-Queries.

Die Autoren argumentieren, dass dieser Ansatz nicht nur die Rendering-Genauigkeit verbessert, sondern grundlegend die räumliche Organisation und Interpretierbarkeit der Repräsentation steigert. Die Ergebnisse zeigen, dass explizite räumliche Zustände die Queries dazu bewegen, sich in kohärenten lokalen Regionen zu spezialisieren, was zu strukturierteren Gaussian-Verteilungen führt, die besser mit der Szenengeometrie übereinstimmen. Die Arbeit legt nahe, dass die Integration geometrischer Zustände in den Query-Mechanismus ein entscheidender Schritt hin zu robusteren und strukturierteren 3D-Szenenrekonstruktionen ist.