💻 computer science

InvSplat: Inverse Feed-Forward Scene Splatting

InvSplat ist ein Feed-Forward-Multi-View-Rekonstruktionsframework, das direkt eine strukturierte 3D-Gaussian-Repräsentation mit intrinsischen Materialattributen vorhersagt und dadurch physikalisch fundiertes Inverse Rendering, eine präzise Materialrückgewinnung sowie eine stabile Synthese neuer Ansichten in einem einzigen Vorwärtspass ermöglicht.

Ursprüngliche Autoren: Polina Karpikova, Wenjing Bian, Haofei Xu, Hendrik Lensch, Andreas Geiger

Veröffentlicht 2026-07-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Polina Karpikova, Wenjing Bian, Haofei Xu, Hendrik Lensch, Andreas Geiger

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine Reihe von Fotos aufgenommen, die einen Raum aus verschiedenen Winkeln zeigen. Normalerweise haben Sie zwei Möglichkeiten, wenn Sie aus diesen Fotos ein 3D-Modell erstellen wollen:

Der langsame, perfekte Weg: Sie verbringen Stunden (oder Tage) damit, das 3D-Modell manuell zu verfeinern, bis es perfekt aussieht. Das ist wie das Schnitzen einer Statue von Hand, bei dem man langsam Material abträgt. Es ist genau, aber es dauert für jeden neuen Raum eine Ewigkeit.
Der schnelle, „flache“ Weg: Sie verwenden eine intelligente KI, die aus den Fotos sofort ein 3D-Modell ausspuckt. Aber dieses Modell ist oft nur eine „Haut“, die mit Farben bemalt wurde. Es versteht nicht wirklich, dass ein glänzender Ball aus Metall besteht oder eine Wand aus rauem Putz. Wenn Sie versuchen, die Kamera zu bewegen oder das Licht zu ändern, sieht das Modell seltsam aus oder bricht zusammen.

InvSplat ist eine neue Methode, die die Geschwindigkeit des zweiten Ansatzes mit dem tiefen Verständnis des ersten kombiniert. Denken Sie an InvSplat als einen superschnellen, sofortigen 3D-Bildhauer, der auch Physik versteht.

So funktioniert es, erklärt anhand einiger Alltagsanalogien:

1. Die „magische Wolke“ aus winzigen Orben

Anstatt ein 3D-Modell aus Dreiecken aufzubauen (wie ein Low-Poly-Videospielcharakter), baut InvSplat die Szene aus Millionen winziger, unsichtbarer 3D-Wolken (genannt Gaussians).

Stellen Sie sich einen nebligen Raum vor, in dem jeder einzelne Nebeltröpfchen genau weiß, wo er ist, wie groß er ist und wie er sich dreht.
In der Vergangenheit wussten diese „Wolken“ nur, wie sie Licht reflektieren, um wie ein Bild auszusehen.
Der InvSplat-Kniff: Jede dieser winzigen Wolken ist nun „intelligent“. Sie trägt einen vollständigen Ausweis mit spezifischen Eigenschaften:
- Albedo: Welche Farbe hat das Objekt, wenn es keine Schatten gäbe? (Wie die wahre Farbe eines roten Apfels).
- Metallizität: Ist es glänzend wie ein Auto oder matt wie ein Stein?
- Rauheit: Ist es glatt wie Glas oder uneben wie Sandpapier?
- Geometrie: Wo befindet es sich und welche Form hat es?

2. Das „Ein-Klick“-Rezept

Alte Methoden, die versuchten, diese Eigenschaften (wie „ist das glänzend?“) zu ermitteln, mussten für jede einzelne Szene eine langsame, schrittweise Berechnung durchführen. Es war wie ein Koch, der eine Suppe probiert, Salz hinzufügt, erneut probiert und das eine Stunde lang wiederholt.

InvSplat ist wie eine Hochtechnologie-Mikrowelle. Sie geben die Fotos hinein (die „Zutaten“), drücken einen Knopf und es serviert Ihnen in 1,5 Sekunden eine voll durchgegarte 3D-Mahlzeit. Es probiert nicht ständig nach; es nutzt eine riesige Wissensbibliothek (die auf tausenden von Szenen trainiert wurde), um das Rezept sofort zu erraten.

3. Warum „Konsistenz“ wichtig ist

Wenn Sie einen glänzenden Löffel auf einem Foto betrachten, malt eine „flache“ KI vielleicht die Reflexion auf den Löffel. Aber wenn Sie den Kopf bewegen, sollte sich die Reflexion bewegen. Flache KIs werden hier oft verwirrt und lassen die Reflexion wie einen Aufkleber aussehen, der sich nicht korrekt bewegt.

Da InvSplat ein echtes 3D-Objekt mit echten Materialien baut, verhalten sich Reflexionen und Schatten korrekt, egal wo man steht.

Die Analogie: Stellen Sie sich ein flaches Gemälde eines Spiegels gegenüber einem echten Spiegel vor. Wenn Sie an dem Gemälde vorbeigehen, bleibt die Reflexion im Gemälde gleich. Wenn Sie an einem echten Spiegel vorbeigehen, verändert sich die Reflexion. InvSplat baut den „echten Spiegel“, sodass sich die Reflexionen natürlich aktualisieren, während Sie sich bewegen.

4. Die „Relighting“-Superkraft

Weil die KI das Material (woraus das Objekt besteht) vom Licht (woher das Licht kommt) trennt, können Sie etwas Magisches tun: Relighting (Neu-Beleuchtung).

Stellen Sie sich vor, Sie haben ein Foto eines Raumes mit einer Lampe aufgenommen. InvSplat findet heraus, dass die Wand „weiße Farbe“ ist und die Lampe „hellgelb“ ist.
Sobald es das weiß, können Sie dem Computer sagen: „Okay, schalte diese Lampe aus und schalte ein blaues Neonlicht an.“
Der Computer berechnet sofort neu, wie das blaue Licht auf die weiße Farbe trifft, und erstellt ein brandneues Bild, das physikalisch echt aussieht, ohne dass Sie ein neues Foto machen müssen.

Zusammenfassung dessen, was es tut

Input: Ein paar Fotos einer Szene mit bekannten Kamerapositionen.
Prozess: Ein einzener, schneller Durchlauf durch ein neuronales Netzwerk (kein langsames Warten).
Output: Eine 3D-Szene aus „intelligenten Wolken“, die ihre eigene Farbe, ihren Glanz und ihre Rauheit kennen.
Ergebnis: Sie können durch diese 3D-Szene gehen, das Licht ändern und realistische Reflexionen sowie Schatten sehen, die in Echtzeit generiert werden.

Kurz gesagt ist InvSplat das erste Werkzeug, das aus ein paar Fotos augenblicklich eine physikalisch genaue 3D-Welt bauen kann, die Sie bearbeiten und erkunden können – und das in Sekunden erledigt, wofür man früher Stunden brauchte oder was unmöglich war.

Technisches Resümee: InvSplat: Inverse Feed-Forward Scene Splatting

Problemstellung

Das Inverse Rendering zielt darauf ab, 3D-Geometrie und physikalisch bedeutsame Oberflächenreflexion aus Bildern zu rekonstruieren, was eine Voraussetzung für Anwendungen wie Relighting, Materialbearbeitung und realistische AR/VR-Inhalte ist. Bestehende Methoden stehen vor einem Kompromiss zwischen Effizienz, physikalischer Interpretierbarkeit und Multi-View-Konsistenz:

Optimierungsbasierte Ansätze (z. B. IRIS) erreichen eine hohe Wiedergabetreue, erfordern jedoch ein rechenintensives pro-Szene-Fitting, was den praktischen Nutzen einschränkt.
Lernbasierte Ansätze (z. B. DiffusionRenderer, MVInverse) bieten eine schnellere Inferenz, operieren jedoch überwiegend im Bildraum. Ihnen fehlt eine explizite 3D-Szenenrepräsentation, was zu Inkonsistenzen zwischen verschiedenen Ansichten führt und die Fähigkeit zur robusten Synthese neuer Ansichten oder einer physikalisch fundierten Bearbeitung verhindert.
Feed-Forward-3D-Rekonstruktionsmethoden (z. B. pixelSplat, MVSplat) erzeugen effizient explizite 3D-Repräsentationen (wie 3D-Gaussians), konzentrieren sich jedoch auf die Synthese des RGB-Aussehens statt auf die Entkopplung intrinsischer Materialeigenschaften (Albedo, Metallizität, Rauheit). Sie scheitern oft daran, scharfe spekulare Highlights zu reproduzieren oder ein explizites Relighting zu ermöglichen.

Methodik

InvSplat führt ein Feed-Forward-Framework ein, das direkt eine strukturierte 3D-Gaussian-Repräsentation mit intrinsischen Materialattributen aus posed Multi-View-Bildern in einem einzigen Forward-Pass vorhersagt.

Szenenrepräsentation

Die Szene wird durch $M$ 3D-Gaussian-Primitive repräsentiert. Im Gegensatz zum Standard-3DGS, das Spherical Harmonics für das Aussehen verwendet, ist jede Gaussian $j$ in InvSplat durch folgende Parameter definiert:

Geometrie: Mittelwert ( $\mu_j$ ), Rotation ( $q_j$ ), Skalierung ( $s_j$ ), Opazität ( $\sigma_j$ ) und Oberflächennormale ( $n_j$ ).
Intrinsische Materialien: Diffuse Albedo ( $a_j$ ), Metallizität ( $m_j$ ) und Rauheit ( $r_j$ ).

Dies ermöglicht eine entkoppelte, physikalisch fundierte Repräsentation, bei der die Beleuchtung von den Materialeigenschaften getrennt ist.

Architektur

Das Modell verwendet ein duales Branch-Feed-Forward-Netzwerk:

Geometrie-Branch: Inspiriert von ReSplat, nutzt es ein ResNet-Backbone zur Extraktion multiskaliger Merkmale. Ein Multi-View Geometry Encoder (Transformer) aggregiert Cross-View-Informationen, gefolgt von einem Multi-View Feature Matching Modul, das ein Depth-Candidate Cost Volume konstruiert.
Intrinsik-Branch: Verwendet ein DINOv2 ViT-L/14 Backbone zur Kodierung der Eingangsansichten. Ein Multi-View Intrinsic Translator (ein 36-Block-Transformer) verfeinert diese Merkmale durch Intra-View- und Inter-View-Self-Attention, um Cross-View-intrinsische Merkmale zu extrahieren.
Decoding Heads: Die Merkmale beider Branches werden durch sechs Decoding Heads verarbeitet:
- Tiefe (Depth): Wird mittels eines DPT-Heads über kombinierte Merkmale geschätzt.
- Gaussian-Parameter: Rotation, Skalierung und Opazität werden unter Verwendung eines Point Transformers verfeinert, der 2D-Merkmale basierend auf der vorhergesagten Tiefe in einen 3D-Kontext hebt.
- Materialien & Normalen: Albedo, Metallizität, Rauheit und Normalen werden über DPT-Heads vorhergesagt. Die Albedo-Vorhersage beinhaltet Skip-Connections zu hochauflösenden Bildmerkmalen.
Unprojection & Rendering: Die vorhergesagten Tiefenkarten werden in den 3D-Raum unprojiziert, um die Zentren der Gaussians zu bilden. Die Szene wird mit einem differenzierbaren Gaussian-Rasterisierer gerendert, um Karten für Albedo, Metallizität, Rauheit, Normalen und Tiefe zu erzeugen.

Training

Das Modell wird auf dem InteriorVerse-Datensatz unter Verwendung einer Kombination aus Pixel-weisen und perzeptuellen Verlusten trainiert:

Material-Supervision: $L_1$ - und LPIPS-Verluste für Albedo, Metallizität und Rauheit.
Tiefen-Supervision: Ein affin-invarianter Verlust (inspiriert von MoGe), um die Skalenambiguität zu handhaben.
Normalen-Supervision: Cosinus-Ähnlichkeitsverlust.
Das Training optimiert gemeinsam den Geometrie-Encoder, den Intrinsic-Translator und die Decoding Heads.

Zentrale Beiträge

Erstes Feed-Forward Inverse Rendering Framework: InvSplat ist die erste Methode, die physikalisch basierte 3D-Gaussian-Primitive mit intrinsischen Materialparametern aus Multi-View-Bildern in einem einzigen Forward-Pass vorhersagt und somit eine per-Szene-Optimierung überflüssig macht.
Vereinheitlichte 3D-Repräsentation: Durch die Integration von Priors aus bildbasierten Materialschätzungen und 3D-Rekonstruktionsmodellen erzeugt es hochwertige 3D-Materialeigenschaften mit starker Generalisierung auf reale Daten.
Ermöglicht Relighting und konsistente NVS: Die entkoppelte 3D-Gaussian-Repräsentation unterstützt die Synthese neuer Ansichten mit dekomponierten Materialien, was ein physikalisch basiertes Relighting und die Modellierung ansichtsabhängiger Effekte ermöglicht, die über verschiedene Blickwinkel hinweg konsistent sind.

Ergebnisse

Experimente wurden auf synthetischen (InteriorVerse, Structured3D) und realen Datensätzen (RealEstate10K, DL3DV) durchgeführt.

Quantitative Leistung: Auf dem InteriorVerse-Testset erreicht InvSplat eine Leistung, die in Bezug auf PSNR, SSIM und LPIPS für Albedo und Normalen mit 2D-Baselines (wie MVInverse) vergleichbar ist, während es gleichzeitig eine explizite 3D-Repräsentation bereitstellt.
Multi-View-Konsistenz: Auf dem Structured3D-Datensatz zeigt InvSplat eine überlegene Cross-View-Konsistenz (geringerer Reprojektions-RMSE) im Vergleich zu 2D-Methoden, insbesondere bei anspruchsvollen Attributen wie Metallizität und Rauheit.
Qualitative Ergebnisse: Visualisierungen zeigen, dass InvSplat Reflexionen nicht in die Albedo "einbackt", wodurch feinere Details und konsistentere Vorhersagen über verschiedene Ansichten hinweg erzielt werden als bei 2D-Baselines, die oft um reflektierende Oberflächen driften.
Effizienz: Die Methode erreicht die Rekonstruktion in etwa 1,5 Sekunden, was ein Echtzeit-Rendering ermöglicht.

Bedeutung

Das Paper behauptet, dass InvSplat die Lücke zwischen effizienter Feed-Forward-Inferenz und hochpräzisem Inverse Rendering schließt. Durch den Übergang von bildraumbasierten Vorhersagen zu einer expliziten 3D-Gaussian-Repräsentation mit intrinsischen Parametern überwindet die Methode die Probleme der Multi-View-Inkonsistenz früherer lernbasierter Ansätze sowie die Rechenengpässe optimierungsbasierter Methoden. Dies ermöglicht eine instantane Szenendekomposition und erleichtert nachgelagerte Anwendungen wie Relighting und Materialbearbeitung, die mit Feed-Forward-Modellen zuvor schwer zu realisieren waren.