Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models
Diese Arbeit zeigt auf, dass multimodale große Sprachmodelle erfolgreich grobkörnige visuelle Evidenz kodieren, jedoch Schwierigkeiten haben, ihre Abhängigkeit davon gegenüber sprachlichen Prioren zuverlässig zu steuern, eine Einschränkung, die durch überwachtes Fine-Tuning und Activation Steering gemildert werden kann.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sprechen mit einem superintelligenten Roboter, der fast jedes jemals geschriebene Buch gelesen und Millionen von Stunden an Filmen gesehen hat. Dieser Roboter ist ein „Multimodales Großes Sprachmodell“ (MLLM). Er ist wie ein genialer Bibliothekar, der durch seine Trainingsdaten alles über die Welt weiß – sein „Vorwissen“. Aber dieser Roboter hat auch Augen. Er kann ein Bild betrachten und das, was er sieht, mit dem kombinieren, was er weiß. Die große Frage, die Wissenschaftler sich gestellt haben, lautet: Wenn der Roboter ein Bild sieht, das seinen Kenntnissen widerspricht (wie ein Pferd mit fünf Beinen), versagt er deshalb, weil er das zusätzliche Bein nicht sieht, oder versagt er, weil er das Bein zwar sieht, aber entscheidet, es zu ignorieren? Diese Arbeit taucht in dieses Rätsel ein und behandelt das Gehirn des Roboters wie eine Detektivgeschichte, um herauszufinden, wo der Zusammenbruch stattfindet: in den „Sinnen“ (dem Sehen) oder in der „Entscheidungsfindung“ (dem Nutzen dessen, was man sieht).
Die Forscher, angeführt von Jiaang Li und Kollegen, gingen vor, um dieses Rätsel mit einer klugen zweiteiligen Untersuchung zu lösen. Zuerst wollten sie wissen, ob der Roboter das „Verrückte“ in den Bildern tatsächlich „sah“. Um dies zu testen, stellten sie dem Roboter nicht einfach nur Fragen; sie versuchten, die Bilder aus den internen Gehirnsignalen des Roboters wieder aufzubauen. Sie fanden heraus, dass selbst wenn der Roboter die falsche Antwort gab, der „Bauplan“ des seltsamen Bildes (wie ein Pferd mit fünf Beinen) in seinen abschließenden Gedanken immer noch deutlich sichtbar war. Es war, als ob die Augen des Roboters perfekt funktionierten, aber sein Gehirn sich entschied, sie zu schließen. Dies schloss die Idee aus, dass der Roboter gegenüber den Details einfach blind war.
Als Nächstes kreierte das Team ein neues Spiel namens „WhatIfVis“, um zu testen, wie gut der Roboter zwischen dem Vertrauen auf seine Augen und dem Vertrauen auf sein Gedächtnis wechseln konnte. Sie zeigten dem Roboter Bilder, die gegen die Naturgesetze verstießen (wie eine rote Wassermelone), und baten ihn, Fragen auf zwei Arten zu beantworten: „Schau nur auf das Bild“ oder „Ignoriere das Bild und nutze das, was du weißt“. Sie fanden heraus, dass der Roboter ohne zusätzliches Training eine Art Stimmungsschwankung hatte. Manchmal ignorierte er das Bild und gab die Lehrbuchantwort (wie zu sagen, dass eine Wassermelone grün ist, selbst wenn sie rot ist). Ein anderes Mal war er so sehr auf das Bild fixiert, dass er die Anweisung, es zu ignorieren, nicht befolgen konnte. Der Roboter war nicht kaputt; er besaß nur keinen zuverlässigen „Schalter“, um zu entscheiden, wann er schauen und wann er denken sollte.
Die gute Nachricht ist jedoch, dass die Forscher den Schalter gefunden haben. Indem sie dem Roboter ein wenig Übung (genannt „Supervised Fine-Tuning“) an nur einer Art von kniffligem Bild gaben, brachten sie ihm bei, seine Aufmerksamkeit zu kontrollieren. Noch besser war, dass sie entdeckten, dass in dem Roboter-Gehirn ein spezifischer „Regler“ existiert – eine einzige mathematische Richtung –, der es ermöglicht, den Fokus des Roboters an- oder auszuschalten, ohne dass dafür verbale Anweisungen nötig sind. Wenn sie diesen Regler drehten, wurde der Roboter viel besser darin, den Regeln zu folgen, egal ob er nun das Bild betrachtete oder es ignorierte.
Die Studie verglich auch, wie der Roboter mit Bildern im Vergleich zu geschriebenen Sätzen umging. Sie fanden heraus, dass es für den Roboter viel einfacher war, einem geschriebenen Satz zu folgen, der gegen die Regeln verstieß, als einem Bild. Es ist, als wäre der Roboter ein viel besserer Zuhörer als ein Betrachter. Diese Lücke vergrößerte sich tatsächlich, je klüger und größer die Roboter wurden, was darauf hindeutet, dass diese Modelle, während sie wachsen, noch hartnäckiger darin werden könnten, das zu ignorieren, was sie sehen.
Am Ende legt das Paper nahe, dass diese KI-Modelle bei den großen, offensichtlichen Dingen, die wir untersuchen (wie Farbe, Größe und die Anzahl der Beine eines Tieres), nicht deshalb scheitern, weil sie nicht sehen können. Sie scheitern, weil sie nicht gelernt haben, eine konsistente Methode zu entwickeln, um zu entscheiden, wann sie ihren Augen oder ihrem Gedächtnis vertrauen sollen. Aber da die Forscher einen spezifischen „Regler“ gefunden haben, der dieses Verhalten steuert, bedeutet dies, dass wir dies in Zukunft beheben können, indem wir diese digitalen Gehirne lehren, flexibler und zuverlässiger zu sein, wenn die Welt nicht exakt so aussieht wie in ihren Lehrbüchern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.