Mage-VL: An Efficient Codec-Native Streaming Multimodal Foundation Model
Mage-VL ist ein effizientes, Codec-natives Streaming-Fundamentmodell, das einen bewegungsorientierten Tokenizer und eine Dual-System-Architektur nutzt, um ein Echtzeit-multimodales Verständnis mit signifikant reduziertem Tokenverbrauch und schnellerer Inferenz zu erreichen, während es sowohl bei statischen als auch bei dynamischen Denkaufgaben größere State-of-the-Art-Modelle erreicht oder übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie schauen ein Live-Fußballspiel auf Ihrem Handy. Die Kamera schwenkt über das Spielfeld, die Menge tobt, und Spieler sprinten hin und her. Nun stellen Sie sich einen superintelligenten Roboter vor, der versucht, dieses Spiel in Echtzeit zu verstehen. Die meisten aktuellen Roboter sind wie ein Schüler, der darauf besteht, jedes einzelne Wort eines 5elschaftigen Lehrbuchs zu lesen, selbst die Teile, in denen nur hundertmal steht: „Das Gras ist grün“. Sie bleiben an den langweiligen, statischen Teilen des Videos hängen und verschwenden ihre gesamte Gehirnleistung und Zeit, während sie das eigentliche Tor verpassen. Dies ist ein wenig wie ein Paradoxon: Sie sind Genies beim Lösen komplexer Rätsel, aber schrecklich darin, eine bewegte Szene einfach effizient zu beobachten.
Dieses Paper, geschrieben vom Microsoft Mage Team, stellt eine neue Art von Robotergehirn namens Mage-VL vor. Es ist darauf ausgelegt, diese Regel zu brechen, indem es eher wie ein menschliches Auge agiert. Anstatt jedem einzelnen Frame eines Videos nachzustellen, achtet Mage-VL nur auf die Teile, die sich tatsächlich verändern oder bewegen. Denken Sie an einen Sicherheitsmann, der nur auf die Bewegungsmelder achtet; wenn sich nichts bewegt, verschwendet er keine Energie damit, den leeren Flur zu beobachten. Durch dies kann der Roboter Videos viel schneller und mit weniger Rechenleistung verstehen, was es ihm ermöglicht, mit Ihnen über ein Live-Spiel zu chatten, während es stattfindet, anstatt erst auf eine Zusammenfassung zu warten, wenn das Spiel bereits vorbei ist.
Die Magie des „Codec-nativen“ Zuschauens
Das Geheimrezept von Mage-VL ist etwas, das die Autoren als Codec-native Ansatz bezeichnen. In der Welt des Videostreamings (wie wenn Sie Netflix oder YouTube schauen) nutzen Computer einen Trick namens „Kompression“, um Platz zu sparen. Sie senden nicht jeden einzelnen Frame eines Videos; sie senden ein vollständiges Bild (einen „I-Frame“) und senden dann nur die winzigen Teile, die sich in den nächsten Sekunden ändern (die „P-Frames“). So kann Ihr Telefon einen Film streamen, ohne all Ihr Datenvolumen zu verbrauchen.
Mage-VL wurde gebaut, um diese Sprache nativ zu sprechen. Anstatt das Video in ein starres Gitter aus statischen Bildern zu zwingen, nutzt es dieselben Bewegungssignale, die die Videokompression verwendet, um zu entscheiden, was wichtig ist. Wenn ein Spieler rennt, zoomt der Roboter auf den Spieler. Wenn die Menge im Hintergrund nur stillsteht, ignoriert der Roboter sie komplett. Das ist wie ein Fotograf, der nur dann ein Foto macht, wenn etwas Interessantes passiert, anstatt 30 Fotos pro Sekunde von einem Stillleben zu machen.
Das Ergebnis ist eine massive Effizienzsteigerung. Das Paper zeigt, dass Mage-VL die Anzahl der „visuellen Token“ (die winzigen Stücke des Bildes, die der Computer verarbeiten muss) um über 75 % senken kann. Es ist, als würde man ein Buch lesen, bei dem man nur die spannenden Kapitel lesen muss, die langweiligen Füllmaterial überspringt, aber dennoch die ganze Geschichte perfekt versteht.
Ein Gehirn mit zwei Systemen
Um dieses Streaming-Video zu verarbeiten, nutzt Mage-VL ein cleveres zweiteiliges Gehirn, das davon inspiriert ist, wie Menschen denken.
- System 1 (Der Reflex): Dies ist ein super-schneller, leichter Gatekeeper. Er beobachtet den Videostream und fragt: „Passiert gerade etwas Interessantes?“ Wenn die Antwort nein lautet, bleibt er stumm. Wenn die Antwort ja lautet (wie etwa ein Torerfolg), weckt er sofort den zweiten Teil des Gehirns auf.
- System 2 (Der Denker): Dies ist der schwere, denkende Teil. Sobald sich das Tor öffnet, taucht er tief ein, um genau zu verstehen, was passiert ist, und generiert eine Antwort.
Das bedeutet, dass der Roboter keine Zeit damit verschwendet, über die langweiligen Teile des Videos nachzudenken. Er bleibt ruhig während der Halbzeitpause oder wenn die Kamera nur durch das Stadion schwenkt, und springt dann mit einem Kommentar ein, sobald ein Spieler den Ball tritt.
Was sie herausgefunden haben (und was nicht)
Das Team hat dieses Modell von Grund auf neu trainiert, unter Verwendung von etwa 560 Millionen unbeschrifteten Bildern und 100 Millionen unbeschrifteten Videoframes. Das klingt nach viel, aber im Vergleich zu anderen riesigen Modellen, die Milliarden von Bild-Text-Paaren benötigen, ist es eigentlich recht klein. Überraschenderweise stellten sie fest, dass man kein massives, web-skaliges Dataset benötigt, um ein großartiges visuelles Gehirn zu bauen. Die spezielle Trainingsmethode von Mage-VL ermöglichte es ihm, deutlich größere Modelle bei Aufgaben des Video-Verständnisses zu erreichen oder sogar zu übertreffen.
Hier sind einige der wichtigsten Entdeckungen, die sie gemacht haben:
- Geschwindigkeit: Mage-VL ist unglaublich schnell. Es kann Videos bis zu 3,5-mal schneller in Echtzeit verarbeiten als Standardmodelle, während es dennoch die richtigen Antworten liefert.
- Kein Bedarf für „Long Video“-Training: Sie entdeckten, dass sie das Modell nicht spezifisch auf lange Videos trainieren mussten, um es gut darin zu machen, Fragen über diese zu beantworten. Indem sie es auf detaillierten Beschreibungen kurzer Clips trainierten und ihre smarte „Codec“-Methode verwendeten, lernte das Modell, lange Videos von selbst zu verstehen.
- Bewegung hilft beim räumlichen Verständnis: Sie fanden heraus, dass das Training des Modells auf bewegten Videos es auch besser darin machte, statische 3D-Formen und räumliche Beziehungen zu verstehen. Es scheint, dass das Sehen, wie Dinge sich bewegen, dem Roboter hilft zu verstehen, wie sie im Raum zusammenpassen.
- KI hilft KI: Das Team nutzte ein KI-System, um dabei zu helfen, bessere Trainingsdaten zu schreiben. Eine KI überprüfte die von ihr generierten Bildunterschriften, korrigierte Fehler und verbesserte die Prompts, wodurch ein Kreislauf entstand, der die Datenqualität erheblich steigerte.
Das Fazit
Mage-VL ist ein bedeutender Schritt nach vorn, um eine KI zu schaffen, die die Welt tatsächlich in Echtzeit „sehen“ und „hören“ kann. Es beweist, dass man nicht durch Brute-Force durch jeden einzelnen Pixel eines Videos gehen muss, um es zu verstehen. Indem es klug entscheidet, worauf es achtet – indem es die Art und Weise nachahmt, wie Videokompression funktioniert und wie das menschliche Auge auf Bewegung fokussiert –, wird das Modell schneller, kostengünstiger im Betrieb und reaktionsschneller.
Obwohl das Paper anmerkt, dass das Modell bei komplexen Denkaufgaben und mathematischen Problemen noch Arbeit vor sich hat, demonstriert es erfolgreich, dass ein kleineres, effizienteres Modell den viel größeren, langsameren Giganten übertreffen kann, wenn es darum geht, die dynamische, bewegte Welt um uns herum zu verstehen. Es ist eine Bewegung weg vom „alles lesen“ hin zum „sehen, was zählt“.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.