Video = World + Event Stream

Stellen Sie sich vor, Sie schauen einen Film, aber anstatt nur entspannt zurückzusitzen und zuzusehen, befinden Sie sich mitten in der Szene, sprechen mit den Charakteren und diese antworten Ihnen sofort. Dies ist die aufregende Welt der Echtzeit-Künstlichen-Intelligenz, in der Computer versuchen, uns zu verstehen und auf uns zu reagieren, so schnell wie ein menschlicher Freund. Um dies zu tun, muss eine KI drei Dinge gleichzeitig jonglieren: was sie sieht (Video), was sie hört (Audio) und was sie sagt oder tut (Text und Handlungen). Lange Zeit war es, eine KI all das ohne Verzögerung machen zu lassen, als würde man versuchen, einen Marathon zu laufen, während man einen schweren Rucksack trägt; es war langsam und klobig. Die große Frage, die sich Forscher gestellt haben, lautete: Wie können wir eine KI lehren, die „Bühne“, auf der sie sich befindet, und die „Aktion“, die dort stattfindet, zu verstehen, damit sie natürlich und sofort reagieren kann?

Hier kommt Wan-Streamer v0.3 ins Spiel, eine neue Kreation des Wan-Teams von der Alibaba Group. Betrachten Sie dieses Paper als ein cleveres Rezept für einen super-schnellen, super-schlauen digitalen Schauspieler. Die Autoren erkannten, dass wir ein Video, anstatt es als ein riesiges, verwirrendes Chaos aus sich ändernden Pixeln zu behandeln, in zwei einfache Teile zerlegen können: eine Welt und einen Ereignisstrom (Event Stream). Die „Welt“ ist das Beständige – der Raum, in dem Sie sich befinden, die Möbel, das Gesicht einer Person und die Hintergrundgeräusche. Es ändert sich kaum etwas. Der „Ereignisstrom“ ist alles, was sich tatsächlich verändert – die Person, die geht, spricht oder winkt, oder das Auto, das vorbeifährt. Indem sie der KI beibrachten, dass ein Video einfach eine „Welt“ plus einen „Strom von Ereignissen“ ist, fanden sie einen Weg, die KI viel intelligenter und schneller darin zu machen, vorherzusagen, was als Nächstes passiert.

Die große Idee: Die Bühne und das Stück

Das Paper schlägt eine neue Art vor, ein Video zu betrachten. Stellen Sie sich ein Theater vor. Die Welt ist das Bühnenbild: die bemalte Kulisse, die Beleuchtung, die Requisiten und das Kostüm des Schauspielers. Sobald das Stück beginnt, bleiben diese Dinge weitgehend gleich. Der Ereignisstrom ist das Stück selbst: der Schauspieler, der über die Bühne läuft, einen Satz ruft, eine Requisite fallen lässt oder sich umdreht.

In der Vergangenheit versuchten KI-Modelle, das ganze Stück und das ganze Bühnenbild gleichzeitig zu lernen, was schwierig war. Wan-Streamer v0.3 schlägt einen einfacheren Trick vor: Lehren Sie der KI das Bühnenbild einmal, und konzentrieren Sie sich dann nur noch auf das Stück.

Die Forscher trainierten ihr Modell mit einer gewaltigen Menge an realen Videos. Sie baten die KI nicht einfach nur darum, den nächsten Frame zu erraten; sie lehrten sie, auf eine „Welt“ (wie eine sonnige Vorstadtstraße oder einen Hühnerstall) zu schauen und dann den „Ereignisstrom“ (wie einen Roboter, der die Straße hinunterläuft, oder eine Frau, die Hühner füttert) vorherzusagen. Das Modell lernte, dass, wenn ein Roboter auf einem Bürgersteig ist, er vielleicht auf ein Auto zusteuert, die Tür öffnet und wegfährt. Wenn eine Frau in einem Hühnerstall ist, geht sie vielleicht zu einem Eimer und schöpft Futter auf. Durch das Erlernen dieser Muster baut die KI ein „Weltwissen“ darüber auf, wie sich Dinge plausiblerweise bewegen und verändern.

Der magische Trick: Gleichzeitig sprechen und handeln

Was bewirkt das also eigentlich? Das Team testete diese Idee bei einer Echtzeit-, Full-Duplex-Audio-Visuellen Interaktion. „Full-Duplex“ ist ein schicker Begriff dafür, dass die KI gleichzeitig sprechen und zuhören kann, genau wie in einem echten Gespräch, ohne darauf zu warten, dass Sie fertig sind.

In dieser neuen Version (v0.3) ist der KI-Agent nicht nur ein sprechender Kopf. Er kann nun freie Verhaltensweisen (free-form behavior) zeigen.

• Der alte Weg: Die KI könnte einfach nur nicken oder Sie ansehen, während sie spricht.
• Der neue Weg: Die KI kann sagen: „(hebt eine Kaffeetasse auf und nimmt einen Schluck) Danke für die Erinnerung,“ oder „(zieht die Stirn leicht in Falten) Was meintest du damit?“

Das Paper erklärt, dass die KI ihre Antwort in einem speziellen „Rollenspiel-Format“ schreibt. Sie mischt gesprochene Worte mit Handlungen, die in Klammern gesetzt sind. Da die KI die „Welt“ (die Umgebung und den Charakter) gelernt hat, weiß sie, dass wenn sie sagt „(hebt eine Tasse auf)“, der Videogenerator tatsächlich den Charakter zeigen wird, der eine Tasse aufhebt, die in die Szene passt. Dies geschieht in Echtzeit, und die Sprache, die Handlung und das Video bleiben perfekt synchronisiert.

Die Geschwindigkeit: Schnell genug, um sich echt anzufühlen

Einer der beeindruckendsten Teile dieses Papers ist, dass die Autoren für diese neue Intelligenz nicht die Geschwindigkeit geopfert haben. Die Autoren zeigen, dass Wan-Streamer v0.3 die gleiche blitzschnelle Performance wie ihre vorherige Version (v0.2) beibehält.

• Videoqualität: Es gibt immer noch Video mit einer Auflösung von 640×368 aus.
• Geschmeidigkeit: Es läuft mit 25 FPS (Frames pro Sekunde), was flüssig genug ist, um natürlich auszusehen.
• Geschwindigkeit: Die KI benötigt etwa 200 Millisekunden, um nachzudenken und eine Antwort zu generieren. Wenn man die Zeit hinzurechnet, die es dauert, bis das Internet die Daten hin und her schickt (ein Budget von 350 Millisekunden), beträgt die gesamte Wartezeit auf eine Antwort etwa 550 Millisekunden.

Um das einzuordnen: 550 Millisekunden sind weniger als eine Sekunde. Es ist schnell genug, dass sich das Gespräch wie ein echter Chat mit einem Freund anfühlt und nicht wie ein Roboter, der auf einen Ladebalken wartet.

Was das bedeutet (und was es nicht bedeutet)

Das Paper legt nahe, dass wir durch die Trennung von „Welt“ und „Ereignissen“ eine flexiblere KI erschaffen können. Sie kann auf jeder Art von Video trainiert werden und dann für verschiedene Aufgaben spezialisiert werden, wie etwa ein Roboter, der durch einen Raum navigiert, oder ein Charakter in einem Videospiel. Die Autoren zeigen, dass dieser Ansatz für ihren spezifischen Testfall funktioniert: einen digitalen Charakter, der in Echtzeit spricht und handelt.

Das Paper stellt jedoch auch klar, dass dies eine spezifische Demonstration ist. Sie haben gezeigt, dass das Modell dies kann, und sie haben die Geschwindigkeit und Qualität gemessen. Sie behaupten nicht, jedes Problem in der KI gelöst zu haben, noch haben sie jede mögliche zukünftige Verwendung aufgelistet. Sie präsentieren schlichtweg einen neuen Weg, über die Generierung von Videos nachzudenken, der die KI klüger darüber macht, wie die Welt funktioniert, während sie gleichzeitig schnell genug bleibt, um jetzt mit Ihnen zu chatten.

Kurz gesagt: Wan-Streamer v0.3 ist wie ein digitaler Schauspieler, der ein Skript erhält, das besagt: „Hier ist die Bühne, hier ist dein Kostüm und hier ist die Geschichte. Jetzt geh spielen, rede und bewege dich – und zwar alles, bevor ich überhaupt blinzeln kann.“ Und dank dieses neuen „Welt + Ereignis“-Tricks scheint es genau das zu tun.