UniWorld-View: Large-Baseline View Synthesis via Video Diffusion Models

Stellen Sie sich vor, Sie halten ein Smartphone in der Hand und nehmen ein kurzes Video Ihres Wohnzimmers auf, während Sie umhergehen. Stellen Sie sich nun einen Zaubertrick vor, bei dem Sie dieses Video sofort an einen völlig anderen Ort teleportieren könnten – sagen wir, schwebend nahe der Decke oder durch ein Fenster spähend, das Sie nie gefilmt haben – und den Raum von diesem neuen Standpunkt aus mit perfekler Klarheit sehen könnten. Dies ist der Traum der „Novel View Synthesis“ (Synthese neuer Ansichten), einem Bereich der Informatik, der versucht, Maschinen beizubringen, wie sie 3D-Räume aus flachen, 2D-Bildern verstehen. Lange Zeit waren Computer schlecht darin. Wenn man sie fragte, was sich hinter einem Stuhl in einem Foto befindet, raten sie oft falsch und erzeugten seltsame, verzerrte Klumpen oder unsichtbare Löcher. Sie benötigten entweder hunderte Fotos aus jedem erdenklichen Winkel (was langweilig und mühsam ist) oder sie versuchten, die fehlenden Teile zu „halluzinieren“, was oft zu geometrischen Albträumen führte, bei denen Wände wie Gummi verbogen wurden. Aber was wäre, wenn wir das Beste aus beiden Welten kombinieren könnten: die strengen Regeln der Geometrie (damit die Wände gerade bleiben) mit der kreativen Kraft moderner KI (damit die fehlenden Teile echt aussehen)? Das ist die große Frage, mit der sich Forscher beschäftigen, um Virtual Reality, Gaming und soziale Medien wirklich immersiv zu machen.

Hier kommt UniWorld-View ins Spiel, eine neue Methode, die von Forschern der Peking University und Rabbitpre AI entwickelt wurde und wie ein superintelligenter Regisseur für diese 3D-Filme fungiert. Das Kernproblem, das sie gelöst haben, ist das, was passiert, wenn man versucht, eine Szene aus einem sehr anderen Winkel zu betrachten als dem, aus dem man sie gefilmt hat. Denken Sie daran wie beim Versuch, eine Karte einer Stadt zu zeichnen, die man nur von einer Straßenecke aus gesehen hat. Wenn man versucht zu erraten, was sich auf der anderen Seite eines Gebäudes befindet, zeichnet man vielleicht versehentlich die Vordertür des Gebäudes an die Rückwand oder zieht einen Baum über den Himmel. Frühere KI-Methoden machten diese „Tearing“-Fehler (Reißfehler), weil sie nicht wussten, welche Teile der Szene verdeckt (okkludiert) und welche sichtbar waren.

UniWorld-View behebt dies mit einer cleveren Zwei-Schritte-Strategie. Zuerst baut es eine grobe 3D-„Punktwolke“ (eine digitale Wolke aus Punkten, die die Szene repräsentiert) aus Ihrem Video auf. Aber anstatt diese Punkte einfach auf einen neuen Bildschirm zu projizieren, nutzt es einen „Triple-Reprojection“-Trick. Stellen Sie sich vor, man macht ein Foto von einem Schatten, dann ein Foto des Schattens seines Reflexionsbildes und vergleicht schließlich beide, um genau zu bestimmen, was sich hinter dem Objekt verbirgt. Dies ermöglicht es der KI, eine perfekte „Maske“ zu erstellen, die ihr genau sagt, welche Pixel echt sind und welche nur leere Löcher. Es prüft auch die „Normalen“ (die Richtung, in die eine Oberfläche zeigt), um sicherzustellen, dass sie nicht versehentlich die Rückseite einer Wand zeigt.

Sobald die KI diese saubere, geometrisch akkurate Karte davon hat, was dort sein sollte, nutzt sie ein leistungsstarkes „Video-Diffusionsmodell“ (eine Art von KI, die Videos generiert, indem sie Rauschen langsam in ein klares Bild verwandelt), um die Lücken zu füllen. Aber der Clou ist: Sie rät nicht einfach. Sie nutzt ein „Dual-Stream“-System. Ein Stream betrachtet die geometrische Karte, um sicherzustellen, dass sich die Kamera exakt so bewegt, wie man es möchte, und der andere Stream betrachtet Ihr Originalvideo, um Texturen und Farben zu kopieren. Dies stellt sicher, dass, wenn Sie die Kamera an einen neuen Ort bewegen, die Objekte solide bleiben und die Beleuchtung echt aussieht, anstatt zu einer Suppe aus Pixeln zu schmelzen.

Die Forscher testeten dies auf dem „WorldScore“-Benchmark, einem anspruchsvollen Test dafür, wie gut eine KI Kamerabewegungen steuern und 3D-Szenen konsistent halten kann. UniWorld-View erreichte die höchsten Werte bei „statischen“ Szenen (85,53) und war bei dynamischen Szenen zweitbeste, wobei es andere Top-Modelle schlug. Es zeigte auch, dass es hochwertige neue Ansichten aus einzelnen Videos generieren kann, ohne dafür speziell auf diese Szenen neu trainiert werden zu müssen (Zero-Shot-Learning). Kurz gesagt: UniWorld-View lehrt die KI, die Regeln der Physik und Geometrie zu respektieren und gleichzeitig kreativ genug zu sein, um zu erahnen, was hinter dem Vorhang liegt – was den Weg für realistischere virtuelle Welten ebnet, in denen man sich frei umsehen kann, selbst wenn das ursprüngliche Video nur ein kurzes Selfie war.