v1: Learning to Point Visual Tokens for Multimodal Grounded Reasoning

Stellen Sie sich vor, Sie versuchen, ein kniffliges Rätsel zu lösen, aber die Teile sind in einem riesigen, komplexen Bild versteckt. In der Welt der künstlichen Intelligenz gibt es spezielle „multimodale“ Gehirne, die gleichzeitig Bilder betrachten und Text lesen können. Normalerweise versuchen diese KI-Modelle, ein mathematisches Problem mit einem Diagramm zu lösen, indem sie nur einen kurzen Blick auf das Bild werfen, die allgemeine Stimmung speichern und dann versuchen, den Rest des Problems nur mit Worten zu lösen. Es ist, als würde man eine Karte für fünf Sekunden betrachten, die Augen schließen und dann versuchen, in eine neue Stadt zu fahren, ohne jemals wieder auf die Karte zu schauen. Das Problem ist: Wenn die Fahranweisungen länger und komplizierter werden, beginnt die KI zu vergessen, wo genau die Abbiegungen sind oder wie die Orientierungspunkte aussehen. Sie verliert ihre „Erdung“, was bedeutet, dass sie von den visuellen Belegen abdriftet, die sie benötigt, um richtig zu liegen.

Dieses Paper stellt eine neue Art und Weise vor, wie diese KI-Gehirne denken können, genannt v1. Anstatt nur einen Blick zu werfen und dann zu raten, lehrt v1 das Modell, aktiv auf die spezifischen Teile des Bildes zu zeigen, die es sich merken muss, diese Informationen zu kopieren und sie wieder in seinen Denkprozess einzufügen, wann immer es stecken bleibt. Es ist wie ein superintelligenter Schüler, der, während er eine lange Matheaufgabe löst, immer wieder nach dem Diagramm greift, um mit dem Finger darauf zu tippen und zu sagen: „Warte, lass mich diesen Winkel noch einmal prüfen“, und dann dieses spezifische visuelle Detail direkt zurück in seine Notizen bringt, um die Berechnung zu beenden. Die Forscher fanden heraus, dass dieser einfache „Point-and-Copy“-Trick (Zeigen und Kopieren) der KI hilft, sich auf die richtigen Teile des Bildes zu konzentrieren, was zu viel besseren Antworten bei schwierigen visuellen Mathetests führt.

Das Problem: Die „Ein-Blick“-Falle

Die meisten aktuellen KI-Modelle, die sehen und lesen können, sind wie Schüler, denen gesagt wird, sie sollen ein Diagramm für einen Sekundenbruchteil studieren und dann die Augen schließen. Sie kodieren das Bild einmal in ihr Gedächtnis und versuchen dann, durch das Problem unter Verwendung von nur Text zu argumentieren. Die Forscher bemerkten einen Fehler in diesem Ansatz: Wenn das Denken länger und komplexer wird, verliert das Modell den Fokus. Es ist, als ob die Augen des Schülers glasig werden; sie hören auf, den wichtigen Details im Bild Aufmerksamkeit zu schenken. Das Paper zeigt, dass während die KI immer mehr Schritte schreibt, um ein Problem zu lösen, ihre Aufmerksamkeit auf das eigentliche Bild schwindet und sie anfängt, Fehler zu machen, weil sie nicht mehr auf die Beweise „schaut“, die sie eigentlich benötigt.

Die Lösung: Point-and-Copy

Um dies zu beheben, entwickelte das Team v1, ein leichtgewichtiges Upgrade für diese KI-Modelle. Betrachten Sie v1 als eine Gabe des „magischen Zeigestocks“ und eines Fotokopierers an die KI. Wenn die KI über ein Problem nachdenkt und feststellt, dass sie einen bestimmten Teil des Bildes überprüfen muss – wie etwa einen Winkel in einem Dreieck oder einen Balken in einem Diagramm – rät sie nicht einfach. Stattdessen nutzt sie einen „Pointing“-Mechanismus (Zeigemechanismus), um genau diesen Bereich des Bildes auszuwählen.

Sobald sie zeigt, „kopiert“ sie die visuellen Informationen von dieser Stelle und fügt sie direkt wieder in ihren Gedankenstrom ein. Das bedeutet, dass die KI die visuellen Belege so oft wie nötig erneut aufrufen kann, wodurch das Bild in ihrem Geist frisch bleibt, während sie die Mathematik durchführt. Entscheidend ist, dass es hierbei nicht darum geht, neue Bilder zu generieren oder neue Bilder zu zeichnen; es geht darum, auf die ursprünglichen Bilddaten mit chirurgischer Präzision zuzugreifen. Das Modell lernt zu sagen: „Ich muss den roten Balken noch einmal ansehen“, zeigt darauf, kopiert die Daten und setzt dann sein Denken mit diesem frischen visuellen Kontext fort.

Wie sie der KI das beigebracht haben

Man kann einer KI nicht einfach sagen, sie solle „genauer hinschauen“; sie muss trainiert werden, wie sie das macht. Die Forscher erstellten einen massiven Datensatz namens v1g, der 300.000 Beispiele von Matheaufgaben enthält, bei denen die Gedankengänge explizit mit spezifischen Teilen des Bildes verknüpft sind. Sie nutzten einen cleveren, automatisierten Prozess, um diese Daten zu erstellen:

1. Sie nahmen bestehende Denkpfade von anderen KI-Modellen.
2. Sie nutzten ein leistungsfähiges Sprachmodell, um diese Pfade zu zerlegen und zu identifizieren, wo die KI auf das Bild hätte schauen müssen.
3. Sie fügten „Grounding“-Annotationen hinzu, die wie digitale Klebezettel funktionieren und sagen: „Wenn du diesen Winkel erwähnst, musst du auf diesen spezifischen Bereich des Bildes schauen.“

Dieser Datensatz lehrte das v1-Modell, dass es, wenn es feststeckt oder etwas verifizieren muss, nach vorne greifen, auf den richtigen Punkt zeigen und die Information kopieren soll.

Die Ergebnisse: Schlaueres, fokussiertes Denken

Das Team testete v1 auf mehreren anspruchsvollen Mathe-Benchmarks, darunter MathVista, MathVision und MathVerse. Diese Tests sind voll von Diagrammen, Diagrammen und geometrischen Formen, die eine sorgfältige visuelle Inspektion erfordern.

Die Ergebnisse waren beeindruckend. Obwohl v1 ein relativ kleines Modell ist (7 Milliarden Parameter), übertraf es viele größere Modelle und andere spezialisierte Reasoning-Modelle.

• Auf dem MathVision-Benchmark erzielte das Basismodell ohne die Pointing-Funktion einen Wert von 23,6.
• Als die Pointing-Funktion während des Trainings hinzugefügt, aber während des Tests nicht verwendet wurde, stieg der Wert leicht auf 25,3.
• Aber als das Modell während des Tests die Point-and-Copy-Funktion nutzen durfte, sprang der Wert auf 34,5.

Dies zeigt, dass die Fähigkeit, das Bild aktiv erneut aufzurufen, der entscheidende Faktor für den Erfolg ist. Das Modell wurde nicht nur besser in Mathe; es wurde besser darin, während der Mathearbeit zu schauen. In einem Beispiel, in dem andere Modelle den höchsten Balken in einem Diagramm falsch identifizierten, zeigte v1 korrekt auf den spezifischen Balken, kopierte dessen Daten und berechnete den richtigen Prozentsatz. In einer anderen Aufgabe, die ein Pfadfindungsrätsel mit Hexagonen beinhaltete, zeigte v1 erfolgreich auf die richtigen Formen, um die Route zu verifizieren, während andere sich verloren.

Was das bedeutet

Das Paper legt nahe, dass die Zukunft des multimodalen Denkens nicht nur darin besteht, Modelle größer oder besser im Textgenerieren zu machen. Es geht darum, ihnen die Fähigkeit zu geben, dynamisch auf visuelle Informationen zuzugreifen, wenn sie es benötigen. Indem die Forscher das Modell „zeigen und kopieren“ ließen, fanden sie einen Weg, die visuellen Belege mit den Gedankengängen in Einklang zu halten und zu verhindern, dass das Modell von der Wahrheit abdriftet.

Die Forscher weisen vorsichtig darauf hin, dass dies kein Zauberstab ist, der jedes Problem löst. Manchmal zeigt das Modell auf den falschen Bereich, oder es zeigt vielleicht zu oft, oder es hat Schwierigkeiten mit sehr abstrakten Konzepten, die sich nicht so einfach in eine Box pressen lassen. Doch die Kernbotschaft ist klar: Aktives visuelles Referenzieren hilft. Es verwandelt die KI von einem Schüler, der nur einmal kurz auf die Karte blickt und dann hofft, dass es gut geht, in einen Navigator, der ständig die Karte prüft, um sicherzustellen, dass jede Abbiegung korrekt ist.