Direct Visual Grounding by Directing Attention of Visual Tokens

Stellen Sie sich eine Welt vor, in der Computer ein Bild betrachten und darüber sprechen können, genau wie Sie und ich über ein Foto auf unseren Telefonen chatten. Dies ist das Reich der Vision-Language Models (VLMs), eines Zweigs der künstlichen Intelligenz, der versucht, die Lücke zwischen dem, was eine Kamera sieht, und dem, was ein Mensch sagt, zu schließen. Betrachten Sie diese Modelle als superintelligente Übersetzer, die ein Bild nehmen, es in winzige digitale Puzzleteile namens „visuelle Token“ zerlegen und sie mit Wörtern mischen, um Fragen zu beantworten wie „Welche Farbe hat die Katze?“ oder „Wie viele Äpfel sind da?“.

Lange Zeit glaubten Wissenschaftler, dass diese Modelle bereits sehr gut darin wurden. Aber es gab ein hartnäckiges Rätsel: Manchmal, selbst wenn die Antwort richtig war, schien der Computer das Bild völlig zu ignorieren. Es war, als würde ein Schüler eine Prüfung ablegen, die Frage lesen, einen Blick auf die Skizze werfen und dann die Antwort ausschließlich basierend auf dem abgeben, was er aus einem Lehrbuch im Gedächtnis hat, wobei er völlig vergaß, auf die spezifischen Linien und Formen direkt vor ihm zu schauen. Die große Frage für Forscher lautete: Warum hört das „Gehirn“ des Computers auf, den visuellen Hinweisen Aufmerksamkeit zu schenken, wenn es an der Zeit ist, die endgültige Antwort zu geben? Dieses Paper vertieft sich genau in dieses Problem und versucht herauszufinden, ob wir diese KI-Modelle dazu bringen können, tatsächlich auf die richtigen Teile des Bildes zu schauen, wenn sie sprechen.

---

Das Problem: Das „Gespenst“ in der Maschine

Lernen Sie das Vision-Language-Model kennen. Sie können es sich als einen sehr gesprächigen Roboter vorstellen, der eine Million Bücher gelesen und eine Million Fotos betrachtet hat. Wenn Sie ihm eine Frage zu einem Bild stellen, zerlegt er das Bild in ein Raster aus winzigen Quadraten (visuelle Token) und vermischt sie mit den Wörtern, die Sie getippt haben.

Hier ist der seltsame Teil: Das Paper fand heraus, dass der Computer in den letzten Momenten des Denkens, kurz bevor der Roboter seine Antwort tippt, oft aufhört, auf das Bild zu schauen. Es ist wie ein Koch, der alle Zutaten auf dem Tresen liegen hat, aber wenn es an der Zeit ist, das Gericht anzurichten, beschließt, das Essen zu ignorieren und stattdessen nur zu raten, wie es schmecken sollte, basierend auf einem Rezept, das er auswendig gelernt hat. Die Forscher entdeckten, dass die „Aufmerksamkeit“, die der Computer den wichtigsten Teilen des Bildes (wie dem Schnittpunkt zweier Linien oder einem bestimmten Objekt) schenkt, fast null ist. Es ist, als wären die visuellen Hinweise Geister – im System vorhanden, aber unsichtbar für den Teil des Gehirns, der die Antwort schreibt.

Das Paper argumentiert, dass die Standardmethode, mit der diese Modelle trainiert werden (genannt „Next-Token Prediction“), wie ein Lehrer ist, der zwar die fertige Essay bewertet, aber nie prüft, ob der Schüler tatsächlich die Referenzfotos betrachtet hat. Der Computer lernt, das nächste Wort korrekt zu erraten, aber er lernt nicht, warum es das richtige Wort ist oder welcher Teil des Bildes es richtig gemacht hat.

Die Lösung: Ein „Laserpointer“ für die Aufmerksamkeit

Um dies zu beheben, entwickelten die Autoren einen cleveren neuen Trainings-Trick namens KL Attention Loss (KLAL).

Stellen Sie sich vor, Sie bringen einem Hund bei, einen Ball zu apportieren. Auf die alte Art würden Sie nur „Braver Hund!“ sagen, wenn er mit dem Ball zurückkommt, aber der Hund könnte auch einfach nur wahllos herumgelaufen sein und den Ball durch Zufall erwischt haben. Auf die neue, in diesem Paper vorgeschlagene Weise verwenden Sie einen Laserpointer. Jedes Mal, wenn der Hund auf den Ball schaut, leuchten Sie mit dem Licht darauf und sagen: „Ja! Schau genau dorthin!“

In der Computerwelt ist der „Laserpointer“ ein spezielles mathematisches Signal, das das Modell dazu zwingt, seine Aufmerksamkeit auf die spezifischen Pixel des Bildes zu richten, die für die Antwort wichtig sind.

• Wenn die Frage lautet: „Wie oft kreuzen sich diese Linien?“, leuchtet der Laserpointer auf die exakten Stellen, an denen sich die Linien schneiden.
• Wenn die Frage lautet: „Ist dieser Knoten mit jenem verbunden?“, zeichnet der Laserpointer den Pfad der Linie nach, die sie verbindet.

Das Modell wird dann bestraft (über eine Loss-Function), wenn es an eine andere Stelle schaut. Es ist, als würde man dem Roboter sagen: „Du kannst nicht einfach die Antwort raten; du musst beweisen, dass du auf den richtigen Punkt im Bild schaust.“

Was sie fanden: Vom Raten zum Sehen

Die Forscher testeten diese Idee bei einigen schwierigen Aufgaben, die präzises visuelles Denken erfordern, wie etwa zu zählen, wie oft zwei geschwungene Linien einander kreuzen, oder einen Pfad durch einen komplexen Graphen zu verfolgen, um zu sehen, ob zwei Punkte miteinander verbunden sind. Sie erfanden sogar ein neues Spiel namens „Line Tracing“, bei dem der Computer einem Pfad durch ein Labyrinth aus Punkten folgen muss.

Hier ist das passiert, als sie den „Laserpointer“ (KLAL) einschalmierten:

1. Bessere Antworten: Die Modelle wurden bei den Aufgaben signifikant besser. Zum Beispiel verbesserte ein Modell bei der Aufgabe „Line Intersection“ seine Genauigkeit von etwa 47 % auf über 70 %, als sie diese neue Trainingsmethode hinzufügten. Bei einer „Pointing“-Aufgabe (bei der das Modell genau sagen muss, wo sich ein Objekt befindet), war die Verbesserung massiv und sprang von einem nahezu zufälligen Raten auf eine Erfolgsquote von fast der Hälfte der Versuche.
2. Besserer Fokus: Der aufregendste Teil war nicht nur die Punktzahl, sondern wie das Modell dachte. Als die Forscher sich die „Attention Maps“ des Modells ansah (die zeigen, wohin der Computer schaut), sahen sie eine dramatische Veränderung. Vor dem neuen Training schaute das Modell auf zufällige Teile des Bildes. Nach dem Training war die Aufmerksamkeit des Modells fest auf die Schnittpunkte oder das spezifische Objekt fixiert, genau wie ein Mensch hinschauen würde.
3. Stärkeres Gedächtnis: Das Paper fand auch heraus, dass dieses Training nicht nur änderte, wohin das Modell schaute, sondern tatsächlich auch das interne Gedächtnis des Computers für das Bild stärkte. Die digitalen „Gewichte“ der wichtigen Bildteile wurden schwerer und deutlicher, was bedeutet, dass das Modell die visuellen Daten wirklich besser „verstand“ und nicht nur die Wörter.

Das Urteil

Das Paper legt nahe, dass der Grund, warum diese KI-Modelle manchmal bei einfachen visuellen Aufgaben scheitern, nicht darin liegt, dass sie nicht intelligent genug sind, sondern dass man ihnen nicht beigebracht hat, richtig zu sehen. Durch das Hinzufügen eines direkten „Laserpointer“-Signals während des Trainings zwangen sie die Modelle, ihre Wörter direkt mit den Pixeln zu verknüpfen, die sie repräsentieren.

Die Ergebnisse zeigen, dass diese Methode bei verschiedenen Arten von Modellen funktioniert, von Open-Source-Modellen bis hin zu einigen der größten kommerziellen KI-Systeme. Selbst die fortschrittlichsten kommerziellen Modelle hatten mit diesen spezifischen geometrischen Aufgaben zu kämpfen, bis diese Methode angewendet wurde. Die Autoren kommen zu dem Schluss, dass, wenn wir wollen, dass KI die Welt wirklich versteht, wir sie nicht einfach nur raten lassen dürfen; wir müssen ihr beibringen, auf die richtigen Dinge zu achten, genau wie ein Lehrer, der die Augen eines Schülers auf den richtigen Teil einer Skizze lenkt.

Kurz gesagt: Das Paper beweist, dass, wenn man eine KI dazu zwingt, sich die Beweise anzusehen, bevor sie spricht, sie aufhört zu halluzinieren und anfängt, tatsächlich zu sehen.