One2Scene: Geometric Consistent Explorable 3D Scene Generation from a Single Image

Das Paper stellt One2Scene vor, ein Framework, das aus einem einzigen Bild erkundbare 3D-Szenen erzeugt, indem es die Aufgabe in die Generierung von Ankeransichten, den Aufbau eines geometrischen Gerüsts mittels Gaussian Splatting und die Erzeugung neuer Ansichten zerlegt, um so stabile und geometrisch konsistente Ergebnisse auch bei großen Kamerabewegungen zu gewährleisten.

Das Wesentliche

Das große Problem: Ein Foto ist wie ein gefrorener Moment

Stell dir vor, du hast ein wunderschönes Foto von einem Zimmer oder einer Landschaft. Es ist toll, aber es ist starr. Wenn du versuchst, dich auf dem Bild „nach links" zu bewegen, passiert nichts. Du kannst nicht um eine Ecke schauen oder hinter einen Baum gehen.

Bisherige KI-Methoden haben versucht, aus diesem einen Foto eine 3D-Welt zu bauen, damit man sich darin bewegen kann. Aber das ging oft schief:

• Der „Spaghetti-Effekt": Wenn man sich im Bild bewegt, verziehen sich Wände und Objekte wie gekochte Nudeln.
• Der „Halluzinations-Effekt": Die KI erfindet Dinge, die gar nicht da sind, oder vergisst, wie ein Stuhl aussieht, sobald man ihn nicht mehr direkt ansieht.

Die Lösung: One2Scene – Der dreistufige Baumeister

Die Forscher von der Hong Kong Polytechnic University haben eine neue Methode namens One2Scene entwickelt. Sie bauen eine begehbare 3D-Welt aus nur einem einzigen Bild. Statt alles auf einmal zu errichten, teilen sie das Problem in drei einfache Schritte auf.

Stell dir das wie den Bau eines Hauses vor:

Schritt 1: Der 360-Grad-Blick (Das Panorama)

Stell dir vor, du stehst in der Mitte des Raumes und drehst dich langsam um 360 Grad. Du siehst alles um dich herum.

• Was die KI macht: Sie nimmt dein einzelnes Foto und „erweitert" es virtuell zu einem riesigen 360-Grad-Panorama. Sie füllt die Lücken, die du auf dem Originalfoto nicht sehen konntest (z. B. was hinter dir war).
• Die Analogie: Es ist wie wenn du ein kleines Fenster in eine Wand hast und die KI die ganze Wand um das Fenster herum malt, damit du den ganzen Raum siehst.

Schritt 2: Das Gerüst (Der 3D-Skelett-Bau)

Jetzt haben wir ein flaches Bild, das sich um uns dreht. Aber ein flaches Bild hat keine Tiefe. Wenn du dich jetzt bewegst, bleibt das Bild einfach nur flach wie ein Poster.

• Was die KI macht: Sie nimmt dieses Panorama und baut daraus ein sichtbares 3D-Gerüst (ein „Scaffold"). Sie berechnet genau, wie weit die Wände, der Boden und die Möbel entfernt sind.
• Der Trick: Statt das Panorama als ein einziges Bild zu betrachten, zerlegt die KI es in sechs kleine Fenster (wie die Seiten eines Würfels). Sie nutzt diese, um wie ein Stereosehen (mit zwei Augen) die Tiefe zu berechnen.
• Die Analogie: Stell dir vor, du hast eine leere Schachtel. Die KI füllt sie nicht mit Farbe, sondern baut erst ein stabiles Holzgerüst hinein. Dieses Gerüst sagt der KI genau: „Hier ist der Boden, dort ist die Decke, und der Stuhl steht genau 2 Meter entfernt." Ohne dieses Gerüst würde das Haus später zusammenfallen.

Schritt 3: Das Bemalen (Die neue Perspektive)

Jetzt haben wir ein stabiles 3D-Gerüst. Aber es sieht noch aus wie ein Drahtgitter oder eine grobe Skizze.

• Was die KI macht: Jetzt kommt der Künstler ins Spiel. Die KI nutzt das stabile Gerüst als Anleitung, um neue Bilder aus jeder beliebigen Perspektive zu malen. Weil das Gerüst die Abstände festlegt, weiß die KI genau, wie groß ein Objekt sein muss, egal aus welchem Winkel man es betrachtet.
• Die Analogie: Es ist wie bei einem Maler, der eine Skizze auf der Leinwand hat. Er weiß genau, wo die Linien sind. Wenn er nun ein neues Bild aus einem anderen Blickwinkel malt, verzerrt er die Proportionen nicht, weil das Gerüst ihn „im Zaum hält".

Warum ist das so besonders?

1. Kein „Wackeln" mehr: Bei alten Methoden passte sich die Welt nicht an, wenn man sich bewegte. Bei One2Scene bleibt die Welt stabil, weil das 3D-Gerüst (Schritt 2) die Geometrie festhält.
2. Keine Erfindungen: Da die KI auf dem Gerüst aufbaut, erfindet sie keine neuen Möbel oder Wände, wenn sie um eine Ecke schaut. Sie weiß, was dort sein muss.
3. Geschwindigkeit: Das ganze System ist so optimiert, dass es in weniger als einer Sekunde das Gerüst baut. Das ist wie der Unterschied zwischen einem Handwerker, der Tage braucht, und einem 3D-Drucker, der es in Sekunden schafft.

Zusammenfassung in einem Satz

One2Scene nimmt ein einzelnes Foto, baut daraus erst eine 360-Grad-Umgebung, errichtet darauf ein stabiles 3D-Skelett, damit die Welt nicht wackelt, und malt dann darauf basierend neue, realistische Bilder aus jedem beliebigen Blickwinkel – so, als würdest du tatsächlich durch das Bild laufen können.

Das Ergebnis sind 3D-Welten, die so aussehen, als wären sie echt, und in denen man sich sicher bewegen kann, ohne dass die Wände zu Spaghetti werden.

Technische Zusammenfassung

Problemstellung

Die Generierung vollständig erkundbarer 3D-Szenen aus einem einzigen Eingabebild ist eine der schwierigsten Aufgaben im Bereich des 3D-Computersehens. Bestehende Methoden leiden unter erheblichen Einschränkungen:

• Geometrische Verzerrungen: Bei großen Kamerabewegungen (Viewpoint-Extrapolation) entstehen oft severe geometrische Artefakte und Verzerrungen.
• Mangelnde Konsistenz: Iterative Ansätze (z. B. basierend auf Inpainting oder Video-Diffusion) neigen zu kumulativen Fehlern, was zu einem „semantischen Drift" (Verlust der globalen Semantik) und inkonsistenten Schleifen führt.
• Skalenambiguität: Viele generative Modelle können die wahre räumliche Skalierung nicht korrekt ableiten, was dazu führt, dass Objekte ihre Größe ändern oder physikalisch unmögliche Szenen entstehen (z. B. Kameras, die durch Wände fliegen).
• Datenmangel: Die meisten rekonstruktionsbasierten Methoden benötigen hunderte von Bildern, während generative Ansätze oft keine expliziten 3D-Priors nutzen.

Methodik: Das One2Scene-Framework

One2Scene löst dieses schlecht gestellte Problem durch eine systematische Zerlegung in drei aufeinanderfolgende, handhabbare Teilaufgaben, wie in Abbildung 2 des Papers dargestellt:

1. Panorama-Generierung (Initialisierung)

Um das Informationsdefizit eines einzelnen Bildes zu überwinden, wird zunächst ein Panorama generiert.

• Ein spezialisierter Bild-zu-Panorama-Generator (basierend auf Hunyuan-Pano-DiT) wandelt das einzelne Eingabebild in eine 360°-panoramische Darstellung um.
• Dies bietet einen umfassenden visuellen Kontext und dient als Basis für die nachfolgenden Schritte.

2. Feed-Forward 3D Geometrisches Gerüst (Scaffold)

Dies ist der Kerninnovationsschritt. Anstatt das Panorama als einzelnes Bild zu rekonstruieren, wird es in mehrere sparse Ankeransichten (Anchor Views) projiziert.

• Projektion: Das 360°-Panorama wird in sechs perspektivische Cubemap-Ansichten zerlegt. Um Korrespondenzen zu ermöglichen, wird das Sichtfeld (FoV) jeder Ansicht auf 95° erweitert, was eine 2,5°-Überlappung an den Rändern erzeugt.
• Multi-View Stereo Matching: Das Problem der monokularen Tiefenschätzung wird als Multi-View-Stereo-Matching-Problem zwischen diesen extrem spärlichen Ankeransichten reformuliert. Dies ermöglicht die Nutzung robuster geometrischer Priors aus großen Multi-View-Datensätzen.
• Bidirektionaler Fusionsmodul: Da die Überlappung gering ist, wird ein bidirektionaler Fusionsmechanismus in ein vortrainiertes VGGT-Modell (Visual Geometry Grounded Transformer) integriert.
  • C2E (Cube-to-Equirectangular): Features der sechs Ansichten werden in einen einheitlichen equirektangularen Latent-Raum projiziert und fusioniert.
  • E2C (Equirectangular-to-Cube): Die fusionierten globalen Features werden zurück in den kubischen Raum projiziert und über Residualverbindungen mit den ursprünglichen Ansichten kombiniert.
  • Dies erzwingt geometrische Konsistenz über die Ankeransichten hinweg, ohne detailspezifische Informationen zu verlieren.
• 3D Gaussian Splatting (3DGS): Ein feed-forward Netzwerk sagt für jedes Pixel des Panoramas die Parameter der 3D-Gauss-Funktionen (Position, Opazität, Kovarianz, Farbe) voraus. Das Ergebnis ist ein explizites, geometrisch konsistentes 3D-Gerüst (Scaffold), das in 0,5 Sekunden erstellt wird.

3. 3D-Gerüst-gesteuerte Neuansichtssynthese (NVS)

Das finale Ziel ist die Generierung photorealistischer Ansichten aus beliebigen Kamerapositionen.

• Dual-LoRA Training: Um sowohl die hochwertige Erscheinung der Ankeransichten als auch die starken geometrischen Priors des 3D-Gerüsts zu nutzen, wird eine spezielle Dual-LoRA-Trainingsstrategie verwendet. Zwei separate LoRA-Module verarbeiten die Ankeransichten und die vom Gerüst gerenderten Ansichten (die Artefakte enthalten können, aber geometrisch korrekt sind) unabhängig voneinander.
• 3D-Aware Attention: Die Features beider Bedingungen werden über einen 3D-Aufmerksamkeitsmechanismus mit dem latenten Rauschen fusioniert.
• Memory Condition: Für die Erzeugung langer, kontinuierlicher Sequenzen wird eine Speicherbedingung eingeführt, die den vorherigen Frame mit der ähnlichsten Kameraposition nutzt, um zeitliche und räumliche Konsistenz zu gewährleisten.

Wichtige Beiträge

1. Neues Paradigma: Zerlegung der „Single-Image-to-Scene"-Aufgabe in drei spezialisierte Subaufgaben (Panorama, 3D-Scaffold, Synthese), was die Stabilität bei großen Kamerabewegungen drastisch erhöht.
2. Feed-Forward 3DGS mit Bidirektionaler Fusion: Entwicklung eines effizienten Modells, das monokulare Tiefenschätzung als Multi-View-Problem löst und durch bidirektionale Fusion geometrische Konsistenz auch bei extrem spärlichen Überlappungen sicherstellt.
3. Dual-LoRA Strategie: Eine innovative Methode zur Kombination von qualitativ hochwertigen, aber geometrisch mehrdeutigen Ansichten mit groben, aber geometrisch präzisen Renderings, um die Generierung zu steuern.
4. State-of-the-Art Ergebnisse: Das Framework erreicht neue Bestwerte in der Erkundbarkeit von 3D-Szenen, insbesondere in Bezug auf geometrische Stabilität und Skalengenauigkeit.

Ergebnisse

Die Evaluierung erfolgte auf einem adaptierten WorldScore-Benchmark sowie auf Standard-Datensätzen (Matterport3D, Stanford2D3D, DL3DV).

• Qualitative Überlegenheit: Im Vergleich zu SOTA-Methoden wie DreamScene360, WonderJourney, SEVA und VMem generiert One2Scene Ansichten ohne die typischen geometrischen Verzerrungen oder den „Loop-Closure"-Zusammenbruch. Die Szenen bleiben auch bei großen Kamerabewegungen physikalisch plausibel.
• Quantitative Metriken:
  • Visuelle Qualität: Bessere NIQE (4.43 vs. 4.53 bei SEVA) und Q-Align (4.13 vs. 3.20) Scores.
  • Semantische Konsistenz: Höherer CLIP-I Score (89.95), was eine bessere Übereinstimmung mit dem Eingabebild zeigt.
  • Geometrische Stabilität: Deutlich geringere Fehler bei Rotation (RotErr: 0.107), Translation (TransErr: 0.326) und Kamerabewegung (CamMC: 0.389) im Vergleich zu VMem (CamMC 0.998).
• Tiefenschätzung: Das Modell erreicht auf Stanford2D3D im Zero-Shot-Setting SOTA-Ergebnisse und verbessert sich durch Fine-Tuning um über 50% bei den AbsRel-Metriken.
• Effizienz: Die Erstellung des 3D-Gerüsts dauert nur 0,5 Sekunden auf einer H20 GPU (5,6x schneller als vergleichbare dichte Methoden).

Bedeutung

One2Scene stellt einen bedeutenden Fortschritt in der 3D-Generierung dar, da es das Problem der geometrischen Inkonsistenz bei der Erkundung von Szenen aus einem einzigen Bild effektiv löst. Durch die explizite Einführung eines 3D-Geometrie-Gerüsts als starken Prior überwindet das Framework die Limitierungen rein generativer oder sequenzieller Ansätze. Dies ermöglicht erstmals die Erstellung von immersiven, erkundbaren 3D-Welten mit hoher photorealistischer Qualität und physikalischer Plausibilität, was Anwendungen in Mixed Reality, Videospiele und 3D-Content-Erstellung erheblich voranbringen könnte.