Aero Realtime: Fully Aligned Input-Output Streams for Low-Latency Streaming Multimodal Generation
Das Papier stellt Aero Realtime vor, ein 4B-Streaming-Multimodales-Modell, das eine vollständig ausgerichtete, duplexartige Input-Output-Interaktion auf einem gemeinsamen zeitlichen Gitter erreicht und dadurch eine latenzarme, proaktive Generierung mit effizienter KV-Cache-Wiederverwendung und einer Verarbeitungsverzögerung von unter 200 ms ermöglicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, ein Gespräch mit einem Freund zu führen, der mit Ihnen zusammen einen Film schaut. In einem normalen Chat warten Sie, bis Ihr Freund seinen Satz beendet hat, bevor Sie sprechen. Aber in einem wirklich natürlichen Gespräch könnten Sie ihn mitten im Satz mit einem kurzen „Wow!“ unterbrechen, oder Sie bleiben still, während er einen komplexen Handlungsstrang erklärt, nur um in genau dem Moment einzuspringen, in dem Sie etwas Neues verstehen. Dies ist der heilige Gral der „Echtzeit“-Interaktion: die Fähigkeit, gleichzeitig zuzuhören und zu sprechen, ohne den Anschluss zu verlieren.
Lange Zeit waren Computer darin schrecklich. Die meisten KI-Modelle funktionieren wie ein sehr höfliches, aber etwas langsames Spiel von „Heißer Kartoffel“. Sie warten, bis Sie Ihre gesamte Geschichte (den Input) erzählt haben, verarbeiten sie auf einmal und beginnen dann zu sprechen (den Output). Sie können nicht wirklich „zuhören“, während sie „sprechen“. Wenn man versucht, ihnen neue Informationen zuzuführen, während sie mitten in einem Satz sind, werden sie verwirrt oder müssen neu starten. Diese Arbeit befasst sich mit dem Problem, eine KI zu bauen, die wirklich „duplex“ sein kann – also in der Lage ist, gleichzeitig neue Dinge zu hören und neue Dinge auszusprechen, genau wie ein Mensch es tut, und das alles, während sie einen schnelllebigen Videostream mitverfolgt.
Die Forscher hinter dieser Arbeit, von der University of Hong Kong und anderen Institutionen, haben ein neues KI-Modell namens Aero Realtime entwickelt. Denken Sie an ein Modell, das nicht nur in Sätzen spricht, sondern in winzigen, rhythmischen „Schlägen“ der Zeit. Anstatt auf ein ganzes Video zu warten, unterteilt Aero Realtime die Zeit in winzige 80-Millisekunden-Segmente. Für jedes einzelne Segment an Audio, das es hört, muss es eine blitzschnelle Entscheidung treffen: „Soll ich genau jetzt ein Wort sagen oder soll ich schweigen?“
Dies ist ein gewaltiger Wandel gegenüber der Funktionsweise anderer Modelle. Normalerweise muss eine KI ihre „Denkphase“ abschließen, bevor sie mit ihrer „Sprachphase“ beginnt. Aero Realtime tut beides gleichzeitig. Es legt das Video, das Audio und seine eigenen Worte auf eine einzige, gemeinsame Zeitlinie. Stellen Sie sich ein Förderband vor, auf dem alle 80 Millisekunden ein neues Stück Video und Audio ankommt. In genau diesem Moment entscheidet die KI, ob sie ein Wort auf das Band legt oder ein „Silence Token“ (einen Platzhalter für Schweigen) abwirft. Dies ermöglicht es der KI, auch während sie mitten in der Generierung eines Satzes ist, neue Teile des Videos weiter zu hören. Sie unterbricht den Fluss nie, um „aufzuholen“.
Die Arbeit argumenttiert, dass frühere Versuche, KI „proaktiv“ (bereit zu sprechen) zu machen, klobig waren. Einige Systeme nutzten eine „Mikro-Turn“-Methode, bei der die KI ständig innehielt, um sich selbst zu fragen: „Soll ich jetzt sprechen?“ Das ist wie ein Autofahrer, der an jeder einzelnen Kreuzung anhält, um auf die Karte zu schauen, bevor er weiterfährt. Andere nutzten externe „Gates“ oder Schalter, um zu entscheiden, wann sie sprechen sollten, was das System komplizierter und langsamer machte. Aero Realtime lehnt diese Methoden ab. Stattdessen lernt das Modell das Timing auf natürliche Weise. Das Modell wird darauf trainiert, „Schweigen“ als ein gültiges Wort zu behandeln, genau wie „Hallo“ oder „Katze“. Das bedeutet, dass die KI keinen separaten Schalter benötigt, um zu entscheiden, wann sie spricht; die Entscheidung zu sprechen oder zu schweigen ist direkt in denselben Prozess eingebettet, der auch die Wörter auswählt.
Um dies zu ermöglichen, mussten die Entwickler knifflige technische Rätsel lösen. Sie entwickelten eine spezielle Methode, um das Modell unter Verwendung einer Mischung aus Echtzeit-Videodaten und Standard-Videofragen zu trainieren. Sie entwarfen zudem eine neue Art, das Modell auf Computern auszuführen, die Speicherplatz und Geschwindigkeit spart. Anstatt bei jedem neuen Frame das gesamte Video immer wieder neu zu lesen, erinnert sich das Modell daran, was es bereits verarbeitet hat, und fügt nur den neuen „Informationsschnitt“ hinzu. Das ist wie das Lesen eines Buches, bei dem man nicht jedes Mal das erste Kapitel neu lesen muss, wenn man eine Seite umblätelt; man merkt sich einfach, wo man aufgehört hat, und macht weiter.
Die Ergebnisse sind beeindruckend für ein Modell dieser Größe. Die Forscher testeten Aero Realtime in einem kontinuierlichen 20-minütigen Videostream. Selbst während das Video weiterlief, gelang es dem Modell, seinen „Lag“ – die Verzögerung zwischen dem, was im Video passiert, und dem, was die KI sagt – auf einen Median von 84 Millisekunden zu halten. Das ist weniger als ein Augenzwinkern. Selbst beim 95. Perzentil (was bedeutet, dass dies in 95 % der Fälle zutrifft) betrug die Verzögerung nur 173 Millisekunden. Das bedeutet, dass die KI innerhalb von 200 Millisekunden der „echten“ Zeitlinie bleibt und somit effektiv in Echtzeit zuhört und spricht.
Die Arbeit ist jedoch vorsichtig damit, nicht zu behaupten, dies sei die absolut beste KI der Welt beim Verständnis von Videos. Bei einem Test auf einem Standard-Benchmark namens OVOBench erzielte das 4-Milliarden-Parameter-Modell (das vergleichsweise klein ist) gute Werte, konnte aber die größten, leistungsstärksten 7-Milliarden-Parameter-Modelle, die für Offline-Aufgaben ohne Echtzeitbezug konzipiert sind, nicht schlagen. Die Autoren legen nahe, dass diese Lücke existiert, weil das Modell eine völlig neue Art der Interaktion (den „Duplex“-Stil) lernen musste und nicht so viele spezifische Trainingsdaten für diese exakte Art der Echtzeit-Konversation hatte wie die älteren Modelle für traditionelle Fragen.
Zusammenfassend lässt sich sagen, dass Aero Realtime beweist, dass es möglich ist, eine KI zu bauen, die nicht nur darauf wartet, an der Reihe zu sein, um zu sprechen, sondern die tatsächlich in Echtzeit konversieren kann, indem sie gleichzeitig hört und spricht, ohne ins Schwitzen zu geraten. Es ist ein Schritt hin zu einer KI, die sich weniger wie ein Roboter anfühlt, der auf Anweisungen wartet, sondern eher wie ein Freund, der aufmerksam mit einem gemeinsam auf die Welt schaut. Auch wenn sie noch nicht der klügste Video-Experte im Raum ist, ist sie die erste, die die Kunst des Zeitmanagements wirklich beherrscht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.