Visko Orbis 1.0: A Live Model for Real-Time Interactive Long Video Generation
Visko Orbis 1.0 ist ein lebendiges, interaktives Modell, das in der Lage ist, Echtzeit-Videos von einstündiger Dauer in 4K mit 24 FPS zu generieren, die dynamisches Prompt-Wechseln ermöglichen und durch ein begrenztes Multi-Scale-Speichersystem eine konsistente Qualität und einen konsistenten Stil beibehalten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie schauen einen Film, aber anstatt sich zurückzulehnen und die Geschichte geschehen zu lassen, sind Sie Regisseur, Drehbuchautor und Hauptdarsteller zugleich. Sie können „Schnitt!“ rufen und die Handlung mitten in einer Szene ändern, und der Film aktualisiert die nächste Szene sofort basierend auf Ihrer neuen Idee. Dies ist der Traum der interaktiven Echtzeit-Videogenerierung. Lange Zeit war das Erstellen von Videos mit Computern wie das Backen eines Kuchens: Man mischte die Zutaten (den Prompt), wartete, bis er gebacken war (die Generierung), und sobald er aus dem Ofen kam, war er fertig. Wenn man mehr Schokostückchen hinzufügen wollte, musste man von vorne anfangen. Aber was wäre, wenn man während des Backens in den Ofen greifen und das Rezept ändern könnte, und der Kuchen sich sofort anpasst? Das ist die Welt der „Live-Modelle“. Dies sind Computerprogramme, die nicht nur eine Frage beantworten und dann aufhören; sie laufen weiter, wie ein beständiger Charakter in einem Videospiel, bereit, in der Sekunde zu reagieren, in der Sie Ihre Befehle geben. Die große Herausforderung bestand immer darin, die Konsistenz der Geschichte zu bewahren. Wenn man die Geschichte halbwegs ändert, vergisst der Charakter dann, wer er ist? Verwandelt sich der Hintergrund in ein verschwommenes Chaos? Bleibt das Video in einer Endlosschleife stecken? Wissenschaftler haben versucht, ein System zu bauen, das diese langen, sich verändernden Geschichten bewältigen kann, ohne den Verstand oder den Stil zu verlieren.
Hier kommt Visko Orbis 1.0 ins Spiel, ein neues System, das wie ein superintelligenter, unermüdlicher Videoregisseur wirkt, der niemals schläft. Stellen Sie es sich wie einen magischen Geschichtenerzähler vor, der eine Videogeschichte eine Stunde lang weiterspinnen kann, und wenn Sie plötzlich entscheiden: „Eigentlich, mach den Himmel lila und lass den Hund fliegen“, dann stürzt das Video nicht ab oder startet neu. Stattdessen webt es Ihre neue Idee nahtlos in die laufende Geschichte ein und zeigt die Änderung in weniger als einer Sekunde. Das Team hinter diesem System hat ein System gebaut, das nicht nur kurze 5-Sekunden-Clips erstellt; es baut einen „Live-Stream“ von Video, der Stunden gehen kann. Sie nennen es ein „Live-Modell“, weil es lebendig und aktiv bleibt und sich an das erinnert, was in der letzten Minute und der letzten Stunde passiert ist, sodass die Charaktere und die Umgebung konsistent bleiben, selbst wenn die Handlung Wendungen nimmt.
Wie funktioniert dieser Zaubertrick also? Stellen Sie sich vor, das Video wird nicht auf einmal erstellt, sondern in winzigen, unsichtbaren Lego-Blöcken namens „Chunks“. Das System baut einen Chunk, dann den nächsten, und dann den nächsten. Das Geheimrezept ist eine spezielle „Gedächtnisbank“, die die wichtigen Details festhält – wie die Farbe des Hemdes des Hauptcharakters oder den Stil des Waldes – ohne überladen zu werden. Während das Video länger wird, komprimiert das System die älteren, ferneren Erinnerungen (wie „was vor 30 Minuten passierte“) zu einer Zusammenfassung, während es die jüngste Vergangenheit (die letzten paar Sekunden) in High Definition behält. Dies ermöglicht es dem Video, stundenlang zu laufen, ohne dass der Computer verwirrt wird oder die Farben in seltsame Grüntöne driften.
Die Arbeit zeigt, dass dieses System 4K-Video (das super scharf und klar ist) mit 24 Bildern pro Sekunde (der Standardgeschwindigkeit für flüssige Filme) in Echtzeit generieren kann. Das bedeutet, dass Sie das Video auf Ihrem Bildschirm erscheinen sehen können, während es entsteht, und Sie jederzeit einen neuen Prompt eingeben können – egal, ob Sie einen Cartoon, einen Livestream oder einen virtuellen Begleiter erstellen – und das Video aktualisiert sich sofort. Die Forscher haben dies gegen andere Top-Systeme getestet und festgestellt, dass Visko Orbıs 1.0 am besten darin war, das Video gut aussehen zu lassen, Anweisungen zu befolgen und über lange Zeiträume stabil zu bleiben. Tatsächlich wählten Menschen bei einem Spiel, bei dem sie das beste Langzeitvideo aus einer Auswahl wählen mussten, Visko Orbis 1.0 häufiger als jedes andere System und lobten besonders, wie beständig und zuverlässig es über die Zeit war.
Das Team hat nicht nur die Engine gebaut; es hat sie auch gelehrt, aus einer riesigen Videobibliothek zu lernen, indem es die schlechten herausfilterte und die guten organisierte, damit die KI lernen kann, Geschichten zu erzählen, die Sinn ergeben. Sie haben sogar einen speziellen „Physik-Check“ hinzugefügt, um sicherzustellen, dass, wenn ein Ball geworfen wird, er wie ein echter Ball nach unten fällt und nicht wie ein schwebender Ballon. Das Ergebnis ist ein Werkzeug, das die Videogenerierung von einer statischen, einmaligen Aufgabe in ein lebendiges, atmendes Gespräch zwischen einem Menschen und einer Maschine verwandelt. Es geht nicht nur darum, ein Video zu machen; es geht darum, eine Geschichte am Leben zu erhalten, bereit, die Richtung zu ändern, wann immer Sie wollen, ohne jemals den Faden zu verlieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.