What Color Is the Text? A Benchmark for Hallucination Induced by Image-Embedded Prompt
Dieses Paper führt den „Embedded Stroop“-Benchmark und den „What-Color-Is-the-Text“ (WCIT)-Datensatz ein, um zu demonstrieren, dass Multimodale Large Language Models häufig unter „Stroop-Halluzinationen“ leiden, bei denen sie fälschlicherweise mit der semantischen Bedeutung des in einem Bild eingebetteten Textes antworten, anstatt die tatsächliche Farbe dieses Textes anzugeben, was offenlegt, dass die semantische Lesbarkeit die visuelle Farbwahrnehmung überlagern kann.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der künstlichen Intelligenz gibt es eine wachsende Klasse von Systemen, die als multimodale große Sprachmodelle bekannt sind. Dies sind digitale Geister, die Bilder sehen und Text lesen können und dann diese beiden Sinne kombinieren, um Fragen über die Welt zu beantworten. Sie sind bemerkenswert gut darin geworden, ein Foto zu beschreiben oder ein Rätsel basierend auf einem Bild zu lösen. Doch genau wie Menschen sind auch diese Systeme nicht immun gegen Verwirrung. Sie können manchmal durch das, was sie sehen, getäuscht werden, oder genauer gesagt, durch die Art und Weise, wie sie das interpretieren, was sie sehen. Ein klassisches Beispiel für diese Verwirrung stammt aus einem berühmten psychologischen Test namens Stroop-Effekt. In diesem Test wird einer Person ein Wort wie „ROT“ gezeigt, das in blauer Tinte gedruckt ist. Wenn die Person aufgefordert wird, die Farbe der Tinte zu nennen, gerät das menschliche Gehirn oft ins Stolpern, weil es automatisch das Wort „ROT“ liest, bevor es sich auf die blaue Farbe konzentrieren kann. Das Gehirn muss hart arbeiten, um die Bedeutung des Wortes zu ignorieren und sich nur auf die visuelle Farbe zu konzentrieren. Jahrelang haben Wissenschaftler sich gefragt, ob diese fortschrittlichen Computermodelle unter demselben Arten von geistigen Fehlern leiden, wenn sie Bilder betrachten.
Ein Team von Forschern an der Beihang Universität in China beschloss, diese Frage mit einem neuen Experiment, das speziell für Maschinen entwickelt wurde, auf die Probe zu stellen. Sie erstellten einen Benchmark namens „What Color Is the Text“ (Welche Farbe hat der Text), der dem Computer ein einfaches, aber täuschendes Bild präsentiert. Anstatt dem Computer eine Frage in einem separaten Textfeld zu stellen, schrieben sie die Frage direkt auf das Bild selbst. Stellen Sie sich ein weißes Quadrat vor, auf dem in schwarzer Tinte die Worte „What color is the text?“ stehen. Innerhalb desselben Bildes befindet sich ein weiteres Wort, wie zum Beispiel „BLUE“, aber dieses Wort ist in roter Tinte gedruckt. Der Computer wird aufgefordert, die Farbe der Tinte zu identifizieren, die für das Wort „BLUE“ verwendet wurde. Die Herausforderung besteht darin, dass der Computer die Bedeutung des Wortes „BLUE“ ignorieren und melden muss, dass die Tinte tatsächlich rot ist. Dieser Aufbau zwingt die Maschine dazu, sich zwischen dem zu entscheiden, was der Text sagt und dem, was die Augen sehen.
Als die Forscher diesen Test an sechzehn verschiedenen Modellen künstlicher Intelligenz durchführten, die von Open-Source-Projekten bis hin zu leistungsstarken kommerziellen Systemen reichten, waren die Ergebnisse bemerkenswert. Die Maschinen scheiterten weitaus häufiger, als sie Erfolg hatten. Tatsächlich ignorierten die Modelle, wenn die Frage direkt in das Bild eingebettet war, häufig die tatsächliche Farbe der Tinte und antworteten einfach mit der im Text genannten Farbe. Wenn zum Beispiel das Wort „GREEN“ in violetter Tinte geschrieben war, sagte das Modell selbstbewusst „green“. Dies geschah, obwohl die Modelle die Farbe korrekt identifizieren konnten, wenn die Frage in einem separaten Textfeld statt auf dem Bild gestellt wurde. Die Studie fand heraus, dass diese spezifische Art von Fehler, bei dem die Maschine durch die Bedeutung der Wörter abgelenkt wird, anstatt sich auf die visuelle Realität zu konzentrieren, bei einem signifikanten Teil der Versuche auftrat. In einigen Fällen war mehr als die Hälfte der von den Modellen gemachten Fehler auf diese spezifische Verwirrung zurückzuführen, bei der sie den Text gegenüber der Farbe priorisierten.
Die Forscher wollten sicherstellen, dass dies nicht nur ein Fall davon war, dass die Modelle generell schlecht darin sind, Farben zu benennen. Um dies zu überprüfen, betrachteten sie eine Gruppe von Bildern, bei denen die Modelle zuvor erfolgreich Farben benannt hatten, wenn die Frage separat gestellt wurde. Selbst wenn die Modelle die Farbnamen kannten, tappten sie in die Falle, wenn die Frage in das Bild eingebettet war. Dies bewies, dass das Problem nicht ein Mangel an Vokabular oder eine einfache Unfähigkeit war, Farben zu erkennen, sondern ein tiefer liegendes Problem, bei dem die Fähigkeit der Maschine, Text zu lesen, ihre Fähigkeit, visuelle Details zu sehen, überlagerte. Die Studie testete auch, was passieren würde, wenn sie den Text schwerer lesbar machten. Wenn sie das Bild auf den Kopf stellten oder Teile der Wörter mit schwarzen Blöcken verdeckten, machten die Modelle weniger Fehler. Dies deutet darauf hin, dass die Verwirrung aus der Fähigkeit der Maschine resultiert, die semantische Bedeutung der Wörter klar zu lesen. Wenn der Text verschlüsselt oder verborgen ist, verlässt sich die Maschine mehr auf die visuelle Farbe, und ihre Leistung verbessert sich.
Trotz dieser Erkenntnisse stellten die Forscher fest, dass das Problem nicht einfach dadurch gelöst werden kann, dass man der Maschine sagt, sie solle aufpassen. Sie versuchten, den Modellen spezielle Anweisungen zu geben, um sie vor dem Trick zu warnen, und obwohl dies die Anzahl der Fälle reduzierte, in denen die Modelle auf den Text hereinfielen, machte es sie nicht wesentlich besser darin, die korrekte Farbe tatsächlich zu sehen. Die Modelle begannen einfach, andere Arten von Fehlern zu machen. Die Studie kommt zu dem Schluss, dass aktuelle Systeme der künstlichen Intelligenz eine fundamentale Schwäche haben: Wenn visuelle Informationen und Text im Konflikt stehen, gewinnt oft der Text. Dies deutet darauf darauf hin, dass diese Modelle die Welt nicht wirklich so „sehen“, wie Menschen es tun, sondern statlich stark von den Mustern der Sprache beeinflusst werden, die sie gelernt haben. Da diese Systeme in realen Situationen eingesetzt werden, wie etwa beim Lesen von Straßenschildern oder beim Identifizieren von Objekten in komplexen Umgebungen, könnte diese Tendenz, dem Text statt der Sicht zu vertrauen, zu unzuverlässigen Entscheidungen führen. Die Arbeit dient als klare Warnung, dass diese Maschinen, um wirklich robust zu werden, lernen müssen, wie man zwischen dem, was man liest, und dem, was man sieht, abwägt, anstatt zuzulassen, dass ein Sinn den anderen völlig dominiert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.