Where Does Vision Meet Language? Understanding and Refining Visual Fusion in MLLMs via Contrastive Attention

Stellen Sie sich eine Welt vor, in der Computer gleichzeitig sehen und lesen können. Diese werden Multimodale Große Sprachmodelle (MLLMs) genannt. Stellen Sie sie sich wie superintelligente Studenten vor, die jedes Buch in der Bibliothek gelesen haben und zudem Augen besitzen, mit denen sie Bilder betrachten können. Aber hier liegt das Rätsel: Wenn diese Studenten ein Foto betrachten und eine Frage dazu lesen, wie vermischen sie das Bild mit den Worten in ihrem Gehirn? Betrachten sie das gesamte Bild auf einmal? Lesen sie zuerst den Text und werfen dann einen Blick auf das Bild? Oder machen sie etwas ganz anderes?

Lange Zeit wussten wir, dass diese Modelle großartige Antworten geben konnten, aber wir wussten nicht, wie sie das in ihren „Gehirnen“ (die aus Schichten von Computercode bestehen) tatsächlich machten. Es war, als würde man einem Magier beim Ziehen eines Kaninchen aus einem Hut zusehen, ohne jemals den Trick zu kennen. Das Verständnis dieses Prozesses ist entscheidend, denn wenn wir nicht wissen, wie sie funktionieren, können wir sie nicht korrigieren, wenn sie abgelenkt werden oder Fakten erfinden. Dieses Paper ist wie eine Detektivgeschichte, in der die Autoren in den Hut des Magiers blicken, um genau zu sehen, wie das Kaninchen Schicht für Schicht erscheint.

Die Detektivarbeit: Ein Blick in das Gehirn des Modells

Die Autoren dieses Papers entschieden sich, ein Spielchen namens „Versteckspielen“ mit dem Gehen des Computers zu spielen, um herauszufinden, wo die Magie geschieht. Sie nahmen mehrere verschiedene MLLMs und begannen, Teile ihres Gehirns, eine Schicht nach der anderen, auszuschalten. Stellen Sie sich eine Fabrik-Montagelinie vor, an der ein Roboter ein Spielzeug baut. Wenn Sie den Roboter bei Schritt 3 stoppen, fällt das Spielzeug auseinander. Wenn Sie ihn bei Schritt 20 stoppen, ist es vielleicht schon fertig. Durch das „Maskieren“ (oder Ausschalten) der visuellen Informationen in verschiedenen Schichten konnten die Forscher genau sehen, wann der Computer aufhört, das Bild anzusehen, und anfängt, sich nur noch auf den Text zu verlassen.

Die große Entdeckung: Es ist keine sanfte Gleitbewegung
Die überraschendste Erkenntnis war, dass der Computer das Bild und die Wörter nicht gleichmäßig von Anfang bis Ende vermischt. Es ist nicht wie das Eingießen von Milch in Kaffee, wo alles langsam verschmilzt. Stattdessen findet die Mischung an spezifischen, kritischen „Stationen“ auf der Montagelinie statt.

• Die kritische Zone: Sie fanden heraus, dass bei den meisten Modellen die echte Mischung in den frühen- bis mittleren Schichten stattfindet (ungefähr bei den Schichten 18 bis 20). Wenn man das Bild kurz vor dieser Zone abschneidet, vergisst der Computer alles über das Bild und scheitert am Test.
• Das „Review“-Phänomen: Hier wird es lustig. Bei einigen Modellen (wie LLaVA-1.5 und LLaVA-Next) schaute der Computer, nachdem er dachte, er sei mit dem Mischen fertig, plötzlich noch einmal auf das Bild! Die Autoren nennen dies eine „Review“-Phase (Überprüfungsphase). Es ist wie ein Student, der eine Prüfung beendet, den Stift ablegt und dann plötzlich erinnert: „Warte, ich muss mir das Diagramm noch einmal ansehen!“, bevor er die Arbeit abgibt.

Das Problem: Der Computer lässt sich ablenken
Während der Untersuchung bemerkten die Autoren einen seltsamen Fehler. Selbst wenn der Computer auf den richtigen Teil des Bildes schaute (wie ein Logo auf einem Flugzeug), starrte er gleichzeitig intensiv auf völlig nutzlose Teile des Bildes, wie den Himmel oder das Heck des Flugzeugs. Sie nennen dies „High-Attention Noise“ (hohes Aufmerksamkeitsrauschen).
Stellen Sie sich vor, Sie versuchen ein Schild zu lesen, auf dem „LAPE“ auf einem Flugzeug steht. Ihre Augen sollten sich auf die Buchstaben konzentrieren. Aber dieser Computer lässt sich ständig von den Wolken hinter dem Flugzeug ablenken und schenkt den Wolken genauso viel Aufmerksamkeit wie den Buchstaben. Dies geschieht von Beginn an und bleibt bestehen, was das Modell verwirrt.

Die Lösung: Ein „Highlighter“ ohne Training
Um diese Ablenkung zu beheben, erfanden die Autoren einen cleveren Trick, der kein erneutes Lehren des Computers (was teuer und langsam ist) erfordert. Sie nennen es Kontrastive Aufmerksamkeit (Contrastive Attention).
So funktioniert es, unter Verwendung einer einfachen Metapher:

1. Die „Vorher“-Aufnahme: Sie machen ein Foto davon, worauf der Computer zu einem frühen Zeitpunkt im Prozess achtet (wenn er gerade erst anfängt, das Bild anzusehen). In dieser Phase schaut der Computer auf alles, einschließlich der störenden Wolken.
2. Die „Nachher“-Aufnahme: Sie machen ein Foto davon, worauf der- Computer ganz am Ende achtet (wenn er bereit ist, die Antwort zu geben). In dieser Phase sollte er auf die Buchstaben schauen.
3. Der Unterschied: Sie subtrahieren das „Vorher“-Bild vom „Nachher“-Bild.
   • Wenn der Computer in beiden Bildern auf die Wolken geschaut hat, heben sich die Wolken gegenseitig auf (weil die Aufmerksamkeit sich nicht geändert hat).
   • Wenn der Computer in der „Nachher“-Aufnahme anfing, auf die Buchstaben zu schauen, sie aber in der „Vorher“-Aufnahme ignorierte, treten die Buchstaben hell hervor!

Dieser Unterschied erzeugt einen „Highlighter“ (Textmarker), der genau zeigt, welche Teile des Bildes der Computer gelernt hat, aufgrund der Frage zu fokussieren. Die Autoren nutzen diesen Highlighter dann, um die störenden Teile des Bildes auszuschneiden und nur die wichtigen, hervorgehobenen Teile für einen zweiten Versuch zurück in den Computer zu speisen.

Die Ergebnisse
Als sie diese neue Methode testeten, wurden die Computer viel besser darin, Fragen zu beantworten. Sie mussten nicht neu trainiert werden; sie brauchten nur einen kleinen Anstoß, um das Rauschen zu ignorieren.

• Auf einem Datensatz namens GQA verbesserte ihre Methode den Wert von 66,03 auf 69,40.
• Auf VQAv2 stieg er von 74,06 auf 77,59.
• Auf TextVQA sprang er von 57,21 auf 59,86.

Diese Zahlen zeigen, dass der Computer durch das einfache Helfen, sich auf die richtigen Dinge zu konzentrieren und das „Rauschen“ (die ablenkenden Wolken) zu ignorieren, die Welt ein wenig besser versteht. Die Autoren legen nahe, dass diese Methode funktioniert, weil sie den Moment einfängt, in dem der Computer seine Aufmerksamkeit von „alles ansehen“ auf „das sehen, was zählt“ verlagert.

Was sie ausgeschlossen haben
Die Autoren stellten auch klar, dass dies nicht einfach nur darum geht, eine zufällige Schicht auszuwählen, auf die man schaut. Sie testeten das Auswählen von Schichten vom ganz am Ende des Prozesses oder vom ganz am Anfang ohne Regeln, und diese funktionierten nicht so gut. Der „Sweet Spot“ (der ideale Punkt) ist spezifisch die Schicht, in der sich die visuellen und textuellen Informationen gerade erst anfangen zu mischen, aber noch nicht vollständig gefestigt sind. Sie zeigten auch, dass dies keine einmalige Lösung ist; sie funktioniert über viele verschiedene Arten von Modellen und viele verschiedene Arten von Fragen hinweg.

Kurz gesagt lehrt uns dieses Paper, dass diese superintelligenten Computer eine spezifische „Mischzone“ haben, in der sie Sehen und Hören kombinieren, und dass sie sich manchmal von Hintergrundgeräuschen ablenken lassen. Indem wir eine einfache mathematische Methode verwenden, um die Veränderungen in ihrer Aufmerksamkeit hervorzuheben, können wir ihnen helfen, das Rauschen zu ignorieren und bessere Antworten zu geben, ohne Jahre damit zu verbringen, ihnen neue Lektionen zu lehren.