💻 computer science

360Anything: Geometry-Free Lifting of Images and Videos to 360°

360Anything ist ein geometriefreies Framework, das vortrainierte Diffusion-Transformer nutzt, um Perspektivbilder und -videos auf rein datengesteuerte Weise in 360°-Panoramen zu überführen, wodurch die Notwendigkeit von Kamerametadaten entfällt und gleichzeitig eine State-of-the-Art-Leistung erzielt sowie Randartefakte durch eine neuartige Circular Latent Encoding-Technik löst.

Ursprüngliche Autoren: Ziyi Wu, Daniel Watson, Andrea Tagliasacchi, David J. Fleet, Marcus A. Brubaker, Saurabh Saxena

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ziyi Wu, Daniel Watson, Andrea Tagliasacchi, David J. Fleet, Marcus A. Brubaker, Saurabh Saxena

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein Foto, das mit einer Standardkamera aufgenommen wurde. Es fängt einen schmalen Ausschnitt der Welt ein, wie der Blick durch ein Schlüsselloch. Nun stellen Sie sich vor, Sie möchten dieses einzelne, flache Bild in eine vollständige 360-Grad-Panoramaansicht verwandeln, bei der Sie nach links, rechts, oben und unten schauen können, als stünden Sie direkt dort im Geschehen.

Genau das macht das Paper 360Anything. Es nimmt ein normales Foto oder Video und „hebt“ es in eine vollständige, immersive 360-Grad-Welt. Hier ist die Funktionsweise, einfach erklärt:

1. Der alte Weg: Den Versuch, ein quadratisches Loch mit einem runden Steckers zu füllen

Früher versuchten Computer dies, indem sie eine strikte mathematische Karte verwendeten. Sie nahmen das schmale Foto und versuchten, es mathematisch auf eine riesige, flache Weltkarte (eine sogenannte „äquirektanguläre Projektion“) zu dehnen und zu verzerren.

Um dies zu tun, musste der Computer die exakten Details der Kamera kennen, die das Foto aufgenommen hat: Wie breit war das Objektiv? War die Kamera geneigt? In welche Richtung zeigte sie?

Das Problem: Die meisten Fotos im Internet (oder von Ihrem Handy) besitzen diese Informationen nicht. Wenn der Computer falsch rät, sieht das Ergebnis fehlerhaft oder verzerrt aus. Es ist, als würde man versuchen, ein Puzzle zusammenzusetzen, ohne das Bild auf dem Karton zu haben, und sich nur auf eine Bedienungsanleitung verlassen, die man gar nicht besitzt.

2. Der neue Weg: Lernen durch Beispiele (Der „360Anything“-Ansatz)

Die Autoren dieses Papers sagen: „Hören wir auf, die Mathematik manuell zu erzwingen.“ Stattdessen haben sie ein System namens 360Anything entwickelt, das die Beziehung zwischen einem schmalen Foto und einem vollständigen Panorama lernt, indem es einfach tausende von Beispielen betrachtet.

Die Analogie: Stellen Sie sich vor, Sie bringen einem Kind bei, ein ganzes Zimmer basierend auf einer kleinen Skizze zu zeichnen. Anstatt ihm ein Lineal und einen Geodreieck zu geben (die Kamera-Mathematik), zeigen Sie ihm tausende Paare von „kleinen Skizzen“ und „vollständigen Zimmer“-Zeichnungen. Schließlich lernt das Kind das Muster intuitiv. Es muss nicht die genaue Winkelstellung der Kamera kennen; es weiß einfach: „Wenn ich hier in der kleinen Skizze eine Tür sehe, muss die restliche Wand so weitergehen wie dies.“
Das Ergebnis: 360Anything funktioniert mit „In-the-wild“-Daten – also Fotos und Videos, die von jedem, überall und mit jedem beliebigen Gerät aufgenommen wurden. Das System erkennt den Kamerawinkel und die Position von selbst.

3. Das Problem mit der „Naht“ lösen

Wenn man ein flaches Bild um eine Kugel wickelt, um eine 360-Grad-Ansicht zu erstellen, müssen die linke und die rechte Kante perfekt aufeinandertreffen. Wenn sie das nicht tun, sieht man eine hässliche „Naht“ oder einen Riss im Bild, wie bei einer schlecht zusammengenähten Decke.

Der alte Fix: Frühere Methoden versuchten, dies nachdem das Bild erstellt wurde zu beheben, indem sie Tricks anwandten, um die Naht zu verwischen oder das Bild während der Generierung zu rotieren.
Der 36xAnything-Fix: Die Autoren erkannten, dass das Problem schon vor der Erstellung des Bildes begann. Der interne „Übersetzer“ des Computers (ein sogenannter VAE) behandelte die Ränder des Bildes wie eine Wand und setzte eine „Null“ (einen leeren Raum) daneben. Dies erzeugte einen Fehler.
Die Lösung: Sie änderten den Übersetzer so, dass er „Circular Padding“ verwendet. Stellen Sie sich das Bild wie einen geschlossenen Gürtel vor. Anstatt am Ende eine leere Wand zu setzen, verbindet der Computer die rechte Kante direkt mit der linken Kante, noch bevor die Verarbeitung stattfindet. Dies stellt sicher, dass die „Naht“ von vornherein glatt und unsichtbar ist, was zu einem perfekten Kreis führt.

4. Was kann es leisten?

Das Paper zeigt, dass diese Methode unglaublich leistungsstark ist:

Für Fotos: Es kann ein einzelnes Foto nehmen und ein vollständiges 360-Grad-Bild generieren, das realistisch aussieht, selbst wenn das Originalfoto in einem seltsamen Winkel oder mit einem Weitwinkelobjektiv aufgenommen wurde.
Für Videos: Es kann einen kurzen Videoclip nehmen und ihn in ein vollständiges 360-Grad-Video verwandeln. Wenn Sie in dem Video vorwärts gehen, generiert das System die Welt vor Ihnen. Wenn Sie nach oben schauen, generiert es den Himmel.
3D-Rekonstruktion: Da die generierten 360-Grad-Videos so konsistent sind, können Sie sie nutzen, um ein 3D-Modell des Raumes oder der Straße zu bauen. Sie können dann durch die Szene „fliegen“, also die Umgebung aus Winkeln erkunden, die im ursprünglichen Video gar nicht enthalten waren.

5. Warum es eine große Sache ist

Das Paper behauptet, dass 360Anything besser ist als bisherige Methoden, selbst solche, die über die perfekten Kamera-Informationen verfügten. Durch den Verzicht auf Kameradaten und die Behebung des Naht-Problems direkt an der Wurzel, schafft es sauberere, genauere und immersivere 3D-Welten aus einfachen, alltäglichen Fotos und Videos.

Kurz gesagt: Es verwandelt eine flache, begrenzte Sicht auf die Welt in ein vollständiges, begehbares 360-Grad-Erlebnis – und das ganz ohne Handbuch oder Landkarte.

Technisches Resümee: 360Anything

Problemstellung

Die Erzeugung fotorealistischer 3D-Welten aus Perspektivbildern und -videos ist eine kritische Grenze für immersive Anwendungen in den Bereichen Robotik, AR/VR und Gaming. Während jüngste Fortschritte bei visuellen generativen Modellen die Synthese von Perspektivansichten verbessert haben, erzeugen Standardgeneratoren ein enges Sichtfeld (Field-of-View, FoV), was deren Nutzen für die Erstellung vollständig immersiver 360°-Umgebungen einschränkt.

Bestehende Ansätze zur Überführung von Perspektiv-Inputs in 360°-Panoramen verlassen sich typischerweise auf eine explizite geometrische Ausrichtung. Diese Methoden projizieren den Perspektiv-Input in den Raum der Äquirektangulären Projektion (ERP), um ein pixel-ausgerichtetes Konditionierungssignal bereitzustellen. Diese Strategie setzt jedoch bekannte Kamera-Metadaten (Sichtfeld, Yaw, Pitch, Roll) voraus. In „In-the-wild“-Szenarien, wie etwa bei fehlenden Kalibrierungsdaten, sind diese Informationen oft nicht vorhanden oder verrauscht. Folglich haben aktuelle Modelle Schwierigkeiten mit unkalibrierten Inputs oder scheitern bei der Abhängigkeit von fragilen externen Schätzern. Darüber hinaus leiden generierte Panoramen häufig unter Nahtartefakten (Seam Artifacts) an den ERP-Grenzen – ein Problem, das vorangegangene Arbeiten durch Inferenz-Tricks zu mildern versuchen, anstatt die Ursache zu bekämpfen.

Methodik

Die Autoren schlagen 360Anything vor, ein geometriefreies Framework, das auf vortrainierten Diffusion Transformers (DiT) basiert und die Notwendigkeit expliziter Kamera-Informationen eliminiert.

1. Geometriefreie Sequenzkonkatenation

Im Gegensatz zu früheren Arbeiten, die räumliche Korrespondenz durch die Projektion von Inputs in den ERP-Raum erzwingen, behandelt 360Anything den Perspektiv-Input und das Ziel-Panorama einfach als Token-Sequenzen.

Mechanismus: Der Perspektiv-Input ( $X_{pers}$ ) wird in latente Tokens ( $x_{pers}$ ) kodiert und mit den verrauschten Ziel-Latent-Tokens ( $y^t_{equi}$ ) entlang der Sequenzdimension konkateniert.
Lernen: Das DiT führt eine globale Self-Attention auf dieser kombinierten Sequenz durch. Das Modell lernt die Perspektiv-zu-Äquirektangular-Abbildung rein datenbasiert und inferiert implizit Kamera-Intrinsika und -Extrinsika, um den Input auf einer 360°-Leinwand zu „platzieren“.
Kanonisierung: Um eine konsistente Trainings- und Generierung zu gewährleisten, erzwingt das Framework eine Kanonische Koordinaten-Beschränkung. Das Modell wird darauf trainiert, Panoramen in einer standardisierten, durch die Gravitation ausgerichteten aufrechten Orientierung zu generieren, unabhängig von der Pose der Eing Kammera. Dies erfordert eine zweistufige Daten-Vorverarbeitungspipeline für reale Videos:
1. Stabilisierung: Verwendung von COLMAP zur Schätzung der pro Frame vorhandenen Posen und Rotation der Frames, um Inter-Frame-Rotationen zu eliminieren.
2. Gravitationsausrichtung: Verwendung von GeoCalib zur Schätzung der globalen Gravitationsrichtung und Rotation des Videos, sodass die Gravitation mit der vertikalen Achse übereinstimmt.

2. Zirkuläre latente Kodierung für nahtlose Generierung

Das Paper identifiziert die Ursache für Nahtartefakte in der ERP-Generierung in der Zero-Padding-Methode der konvolutionalen Schichten des Variational Autoencoders (VAE), der für die latente Kodierung verwendet wird. Standardmäßiges Zero-Padding führt zu Diskontinuitäten an den Grenzen in der latenten Repräsentation, welche das Diffusionsmodell zu replizieren lernt.

Lösung: Die Autoren schlagen eine Zirkuläre latente Kodierung vor. Vor der Kodierung werden Spalten von der linken und rechten Seite des Panorama-Bildes ausgeschnitten und auf die gegenüberliegenden Seiten aufgefüllt (Circular Padding). Nach der Kodierung werden die latenten Repräsentationen, die diesen aufgefüllten Regionen entsprechen, verworfen.
Ergebnis: Dies stellt sicher, dass die latente Repräsentation eine zirkuläre Kontinuität besitzt, wodurch die Diskontinuität, die Nähte verursacht, ohne zusätzlichen Overhead für die Sequenzlänge oder die Inferenzzeit zu erzeugen, eliminiert wird.

Kernbeiträge

360Anything Architektur: Ein neuartiges DiT-basiertes Framework für die „In-the-wild“ Perspektiv-zu-Panorama-Generierung, das Kamera-Parameter implizit inferiert und die Abhängigkeit von Kamera-Kalibrierung aufhebt.
Ursachenanalyse der Nähte: Identifizierung des VAE Zero-Padding als Quelle von Nahtartefakten und Einführung der Circular Latent Encoding als prinzipielle Lösung auf der Trainingsstufe.
State-of-the-Art Performance: Die Methode erzielt überlegene Ergebnisse in sowohl Bild- als auch Videogenerierungs-Benchmarks und übertrifft Baselines, die Ground-Truth-Kamera-Informationen nutzen.
Zero-Shot Geometrisches Verständnis: Das Modell demonstriert kompetente Genauigkeit in der Zero-Shot Kamera-FoV- und Orientierungsschätzung, was beweist, dass es trotz fehlender expliziter Metadaten tiefe geometrische Korrespondenzen lernt.

Experimentelle Ergebnisse

Panoramische Bildgenerierung

Evaluierung auf den Datensätzen Laval Indoor und SUN360; 360Anything übertrifft Baselines (einschließlich CubeDiff, PanoDiffusion und Diffusion360) hinsichtlich der visuellen Qualitätsmetriken (FID, KID, FAED).

FAED-Verbesserung: Das Modell reduziert den FAED-Fehler im Vergleich zum Stand der Technik um fast 50 %, was auf eine signifikant bessere globale Geometrie und 360°-Konsistenz hindeutet.
Qualitativ: Im Gegensatz zu Cubemap-basierten Methoden, die Objekte verzerren, wenn der Eingangs-FoV von 90° abweicht, inferiert 360Anything korrekt FoV und Orientierung und erzeugt unverzerrte Objekte.

Panoramische Videogenerierung

Evaluierung auf dem Argus-Datensatz unter Verwendung sowohl simulierter als auch realer Kamera-Trajektorien.

Metriken: 360Anything erreicht die besten Werte in PSNR, LPIPS, FVD und VBench-Metriken (Bildqualität, ästhetische Qualität, Bewegungsglätte).
Konsistenz: Das Modell generiert stabile, kanonisierte Videos, die aufrecht und verzerrungsfrei bleiben, selbst bei großen Kamerabewegungen, während Baselines oft rotierte oder verzerrte Outputs produzieren.
3D-Rekonstruktion: Die generierten Panorama-Videos ermöglichen eine hochwertige 3D-Szenenrekonstruktion mittels 3D Gaussian Splatting (3DGS), was eine starke geometrische Konsistenz für Fly-Through-Explorationen belegt.

Zero-Shot Kamera-Kalibrierung

Trotz des Trainings ausschließlich für Outpainting erreicht das Modell kompetitive Ergebnisse in der Zero-Shot Kamera-Parameter-Schätzung:

FoV-Schätzung: Belegt Spitzenplätze (Top-3) auf NYUv2, ETH3D und iBims-1, übertrifft mehrere überwachte Baselines und liegt nur leicht hinter spezialisierten SOTA-Methoden (DUSt3R, MoGe) zurück.
Orientierungsschätzung: Übertrifft die meisten überwachten Baselines auf MegaDepth und LaMAR bei der Schätzung von Roll und Pitch, mit Fehlern, die nur etwa 0,5 Grad über dem SOTA GeoCalib liegen.

Bedeutung und Behauptungen

Das Paper behauptet, dass eine explizite geometrische Ausrichtung für eine hochwertige Panorama-Generierung nicht notwendig ist. Durch die Nutzung der Repräsentationskraft von Diffusion Transformers und die Behandlung der Aufgabe als Sequenz-zu-Sequenz-Problem erreicht 360Anything Robustheit in „In-the-wild“-Szenarien, in denen eine Kalibrierung unmöglich ist.

Die Arbeit zeigt auf, dass:

Datengesteuertes Lernen geometrischer Beziehungen expliziten, oft verrauschten geometrischen Priors überlegen sein kann.
Nahtartefakte ein architektonisches Problem im latenten Raum sind und nicht nur ein Inferenz-Artefakt, und durch Circular Latent Encoding gelöst werden können.
Das Framework über ein tiefes geometrisches Verständnis verfügt, das in der Lage ist, Kamera-Parameter zu inferieren und eine 3D-Konsistenz aufrechtzuerhalten (was 3DGS-Rekonstruktion ermöglicht), ohne explizite Überwachung zu benötigen.

Die Autoren kommen zu dem Schluss, dass dieser Ansatz die Skalierung von Modellen und Daten für die immersive 3D-Weltgenerierung ermöglicht und über die Grenzen von perspektiv-basierten Generatoren und kalibrierungsabhängigen Pipelines hinausgeht.