DeltaV: Thinking with Visual State Updates in Unified Large Multimodal Models
DeltaV ist ein vereinheitlichtes großes multimodales Modell, das die Effizienz und Leistungsfähigkeit des Schlussfolgerns verbessert, indem es die Vollbild-Generierung durch ein kompaktes visuelles Update-Paradigma ersetzt, das von einem zeitlichen Ähnlichkeits-Router geleitet wird und durch einen neuen groß angelegten, interleavten Reasoning-Datensatz namens StructCoT unterstützt wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie spielen ein komplexes Spiel „Simon sagt“ mit einem Roboterfreund, aber anstatt nur zuzuhören, müssen Sie jeden einzelnen Schritt des Spiels auf einem Whiteboard zeichnen, um Ihrem Freund zu zeigen, was gerade passiert.
Der alte Weg: Der übermäßig zeichnende Künstler
Derzeit arbeiten die meisten fortgeschrittenen KI-Modelle, die versuchen, Probleme mit Bildern zu lösen (wie das Lösen eines Labyrinths oder eines Mathe-Rätsels), wie ein sehr gründlicher, aber etwas ineffizienter Künstler. Nehmen wir an, das Spiel beginnt mit dem Bild eines Tisches, auf dem eine Tasse steht.
- Schritt 1: Die KI zeichnet den ganzen Tisch mit der Tasse.
- Schritt 2: Die Spielregel lautet: „Bewege die Tasse nach links.“ Die KI löscht jedoch das ganze Whiteboard und zeichnet den ganzen Tisch erneut, einschließlich der Tasse, der Tischbeine, des Hintergrunds und der Schatten, nur um zu zeigen, dass die Tasse einen Zentimeter nach links gerückt ist.
- Schritt 3: „Drehe die Tasse.“ Die KI löscht alles und zeichnet den ganzen Tisch wieder einmal neu.
Das Papier nennt dies „Full-Image Generation“ (Vollbild-Generierung). Die Autoren argumentieren, dass dies eine enorme Verschwendung von Energie und Platz ist. Es ist, als würde man das gesamte Wörterbuch jedes Mal neu schreiben wollen, wenn man nur ein einziges Wort in einem Satz ändern möchte. Die KI verbringt die meiste Zeit damit, Dinge neu zu zeichnen, die sich überhaupt nicht verändert haben, was sie langsam macht und manchmal dazu führt, dass sie Details vermasselt (wie etwa versehentlich die Farbe der Tasse zu ändern, weil sie vergessen hat, wie sie vorher aussah).
Der neue Weg: DeltaV, der „Sticker“-Künstler
Das Papier stellt ein neues Modell namens DeltaV vor. Anstatt die gesamte Szene neu zu zeichnen, agiert DeltaV wie ein geschickter Sticker-Künstler.
- Schritt 1: Es zeichnet den Tisch mit der Tasse (den „Basiszustand“).
- Schritt 2: Wenn die Tasse bewegt werden muss, zeichnet DeltaV nicht den Tisch neu. Es zeichnet einfach einen winzigen „Sticker“, der zeigt, wie die Tasse nach links gleitet, und klebt ihn über den alten Platz. Es ignoriert die Tischbeine und den Hintergrund, da diese sich nicht verändert haben.
- Schritt 3: Wenn die Tasse rotiert, fügt es einfach einen kleinen „Rotations-Sticker“ hinzu.
Dieser Ansatz wird als visuelle Aktualisierung bezeichnet. Das Papier legt nahe, dass DeltaV, indem es nur die Änderungen (das „Delta“) zeichnet, eine massive Menge an Arbeit spart. In ihren Tests reduzierte diese Methode die Anzahl der neuen „Zeichen-Token“ (der digitale Tintenverbrauch zur Erstellung des Bildes) im Durchschnitt um 55,6 %, ohne dass die Bilder schlechter aussah.
Der intelligente „Stopp“-Knopf: Der TSIM Router
Sie fragen sich vielleicht: „Was ist, wenn die Änderung riesig ist? Was, wenn die ganze Szene explodiert?“
DeltaV hat einen eingebauten intelligenten Manager namens TSIM Router. Stellen Sie sich das wie einen Supervisor vor, der prüft, wie stark sich die neue Szene von der alten unterscheidet.
- Wenn die Änderung winzig ist (wie das Bewegen einer Tasse), sagt der Supervisor: „Verwende nur ein paar Sticker.“
- Wenn die Änderung massiv ist (wie ein ganzes Zimmer, das sich verändert), sagt der Supervisor: „Okay, verwende mehr Sticker, um sicherzustellen, dass wir es richtig machen.“
Das Papier hat dies gemessen, indem es überprüfte, wie gut die KI das Bild rekonstruieren konnte. Sie fanden heraus, dass das Hinzufügen von mehr Token ab einem gewissen Punkt die Qualität des Bildes nicht mehr wesentlich verbesserte. So stellt der TSIM Router sicher, dass die KI bei einfachen Schritten keine Zeit verschwendet, aber bei komplexen Schritten nicht am falschen Ende spart.
Das Trainingsgelände: StructCoT
Um DeltaV beizubringen, wie dies funktioniert, konnten die Forscher nicht einfach alte Rätselbücher verwenden. Sie entwickelten einen massiven neuen Trainingsdatensatz namens StructCoT.
- Er enthält 1,05 Millionen Stichproben.
- Er deckt 44 verschiedene Arten von Aufgaben ab, die von Logikrätseln und Matheaufgaben bis hin zu Roboterplanung und wissenschaftlichen Fragen reichen.
- Das Papier argumentiert, dass bisherige Datensätze zu klein waren oder sich nur auf spezifische Dinge wie Labyrinthe konzentrierten, während StructCoT der KI eine viel breitere Ausbildung darüber gibt, wie sich visuelle Zustände im Laufe der Zeit verändern.
Die Ergebnisse: Hat es funktioniert?
Das Papier berichtet, dass DeltaV, als es getestet wurde:
- Multimodale Denkprobleme um 3,3 % besser löste als die alte „Alles-neu-zeichnen“-Methode.
- Obwohl DeltaV ein kleineres Modell (2B Parameter) ist, schlug es deutlich größere Open-Source-Modelle im Durchschnitt um 8,4 % bei diesen Denkaufgaben.
- Es übertraf auch ein vergleichbares Modell namens Qwen3-VL-2B um 5,9 % bei externen Benchmarks.
Was das Papier ausschließt
Die Autoren sind sich sehr klar darüber, was nicht funktioniert. Sie argumentieren ausdrücklich dagegen, dass wir bei jedem einzelnen Schritt des Denkprozesses ein vollständiges, hochauflösendes Bild generieren müssen. Sie legen nahe, dass der Versuch, dies zu tun, „visuelle Token-Redundanz“ (Verschwendung digitaler Tinte) erzeugt und die Fähigkeit der KI zu denken tatsächlich beeinträchtigt, weil sie durch das Neuzeichnen von Dingen, die nicht relevant sind, abgelenkt wird. Sie merken auch an, dass diese Methode zwar großartig für das logische Denken ist, aber möglicherweise nicht für Aufgaben geeignet ist, die extrem feingliedrige Details erfordern (wie das Entdecken eines winzigen Staubkorns), bei denen ein vollständiges Bild immer noch notwendig sein könnte.
Das Fazit
Das Papier legt nahe, dass die Zukunft des KI-Denkens nicht darin besteht, die ganze Welt immer und immer wieder neu zu zeichnen. Stattdessen geht es darum, in Begriffen von „Was hat sich geändert?“ zu denken. Indem es sich nur auf die Aktualisierungen konzentriert, wird DeltaV schneller, effizienter und löst überraschenderweise komplexere Rätsel als seine schwereren Verwandten, die das gesamte Bild neu zeichnen müssen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.