LLaVA-OneVision-2: Towards Next-Generation Perceptual Intelligence
Das Papier stellt LLaVA-OneVision-2 vor, ein Vision-Sprachmodell der nächsten Generation, das durch eine neuartige Codec-Stream-Tokenisierungsstrategie, ein einheitliches 3D-RoPE-Koordinatensystem und großskalige offene Überwachung state-of-the-art-Leistung bei Video-, Raum- und zeitlichen Grounding-Aufgaben erzielt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Freund einen 30-minütigen Film zu beschreiben, aber Sie haben nur Zeit, ihm 30 Bilder zu zeigen.
Die meisten aktuellen KI-Modelle (wie die vor diesem neuen) spielen auf Nummer sicher: Sie wählen 30 Bilder gleichmäßig verteilt aus. Ein Bild pro Minute. Wenn zwischen der 10. und 11. Minute etwas Aufregendes passiert, verpasst die KI dies vollständig, weil sie nicht genau in dieser Sekunde hinschaute. Es ist, als würde man versuchen, ein schnelllebiges Fußballspiel zu verstehen, indem man nur jede Minute auf die Anzeigetafel schaut; man würde das Tor verpassen.
LLaVA-OneVision-2 ist eine neue Art von „Super-Beobachter", die die Regeln ändert. Anstatt den Film wie eine Reihe statischer Schnappschüsse zu betrachten, behandelt es das Video wie eine komprimierte digitale Datei (die Art, die Ihr Telefon zur Speichereinsparung verwendet).
So funktioniert es, mit einfachen Analogien:
1. Der „Bit-Kosten"-Kompass
Wenn Sie ein Video komprimieren (wie die Umwandlung eines Rohfilms in eine MP4), muss der Computer härter arbeiten, um Teile des Videos zu beschreiben, in denen sich Dinge schnell bewegen oder stark verändern (wie ein Autounfall oder ein tanzender Tänzer). Er verbringt mehr „digitale Energie" (Bits) mit diesen Teilen. Bei langweiligen Teilen, in denen nichts passiert (wie eine statische Wand), verbringt er sehr wenig Energie.
LLaVA-OneVision-2 liest diese „Energiekarte".
- Der alte Weg: „Ich schaue mir 1 Sekunde des Videos an, überspringe dann 1 Sekunde und schaue wieder hin."
- Der neue Weg: „Ich sehe, dass die Videodatei gerade viel Energie verbraucht, weil die Action intensiv ist! Ich werde mich dort konzentrieren. Ich sehe, dass die Energie hier gering ist; ich werde diesen Teil überspringen."
Es konzentriert seine „Gehirnkraft" (Tokens) genau dort, wo die Action stattfindet, anstatt sie gleichmäßig zu verteilen.
2. Der „Bewegungsdetektiv"
Das Modell sucht auch nach „Residuen". Stellen Sie sich vor, Sie schauen sich ein Video einer Person beim Gehen an. Der Hintergrund (das Zimmer) bleibt gleich. Das Modell erkennt: „Ich muss den Raum in jedem einzelnen Frame nicht neu erklären." Es achtet nur auf die Teile, die sich verändert haben (die sich bewegende Person).
Es erstellt eine „visuelle Leinwand", die eine Collage der wichtigsten bewegten Teile ist, die effizient zusammengefügt sind. Dies ermöglicht es ihm, ein 15-minütiges Video zu sehen, ohne überwältigt zu werden, da es die langweiligen, sich wiederholenden Teile ignoriert und auf die „Geschichte" zoomt.
3. Der „Seilspringen"-Test
Um zu beweisen, dass dies funktioniert, haben die Forscher einen neuen Test namens JumpScore entwickelt. Stellen Sie sich ein Video vor, in dem jemand Seilspringt. Sie springen hunderte Male auf und ab. Für eine normale KI sieht jeder Sprung genau gleich aus. Es ist schwer zu sagen, welcher spezifische Sprung gemeint ist, auf den sich der Benutzer bezieht.
- Die alte KI war verwirrt und riet zufällig, mit einer Punktzahl von etwa 30 von 100.
- LLaVA-OneVision-2 entdeckte die winzigen, sekundenbruchteiligen Momente, in denen das Seil den Boden berührte oder die Position der Füße der Person sich änderte. Es erzielte 75 von 100.
Es sah nicht nur „Springen"; es sah den exakten Moment, in dem der Sprung stattfand.
4. Der „räumliche Navigator"
Das Modell wurde auch sehr gut darin, den Raum zu verstehen. Wenn Sie es fragen: „Zeigen Sie auf den leeren Raum zwischen der Kaffeetasse und dem Laptop", kann es dies mit hoher Präzision tun. Es kann sogar Objekte verfolgen, die sich durch ein Video bewegen (wie eine Katze, die über einen Raum rennt), und behält sie im Blick, ohne sie aus den Augen zu verlieren, selbst wenn die Katze teilweise verdeckt wird.
Das große Ganze
Die Forscher haben nicht nur ein größeres Gehirn gebaut; sie haben eine intelligentere Art des Blickens entwickelt.
- Früher: Die KI war wie ein Tourist, der jede Minute einer Wanderung ein Foto machte, in der Hoffnung, die Aussicht nicht zu verpassen.
- Jetzt: Die KI ist wie ein Führer, der genau weiß, wo die Aussicht ist, sodass er nur dann anhält, um ein Foto zu machen, wenn sich die Szenerie tatsächlich verändert.
Das Ergebnis ist ein Modell, das lange Videos versteht, spezifische Momente in schnellen Aktionen findet und räumliches Denken viel besser beherrscht als frühere Modelle, alles bei gleichem Rechenaufwand. Sie haben ihren gesamten Code, ihre Daten und das Modell selbst für jedermann kostenlos verfügbar gemacht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.