SIGNPOST-Bench: Benchmarking Text-Vision Conflict Resolution in Multimodal Large Language Models
Dieses Paper stellt SIGNPOST-Bench vor, einen kontrollierten kontrafaktischen Benchmark bestehend aus 25.555 Bildvarianten, um zu evaluieren, wie multimodale große Sprachmodelle Konflikte zwischen visuellen und textuellen Hinweisen auflösen, wobei aufgezeigt wird, dass adversarielle Texteingriffe die Geolocation-Genauigkeit signifikant verschlechtern und distinkte Arbitrationsverhaltensweisen über 20 evaluierte Modelle hinweg offenlegen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen: „Wo wurde dieses Foto aufgenommen?“ Sie haben zwei Hinweise, die Ihnen helfen können. Der erste ist die visuelle Szene: die Architektur, die Bäume, die Autos und die Art und Weise, wie das Licht auf die Gebäude fällt. Der zweite ist der Text, der auf Schildern, Schaufenstern oder Werbetafeln im Bild steht. Normalt stimmen diese Hinweise überein. Ein Schild mit der Aufschrift „Paris“ steht an einem Gebäude, das auch nach Paris aussieht. Aber was passiert, wenn sie nicht übereinstimmen? Was ist, wenn das Foto eine verschneite Holzhütte in den Bergen zeigt, aber ein hell leuchtendes Neonschild im Fenster laut „Willkommen in der Sahara“ schreit?
Dies ist die Welt der Multimodalen Large Language Models (MLLMs). Das sind superintelligente KI-Computer, die Bilder „sehen“ und gleichzeitig Text „lesen“ können. Wissenschaftler bringen ihnen bei, diese Hinweise zu kombinieren, um Vermutungen über die Welt anzustellen. Aber es gibt eine große Frage: Wenn die visuellen Hinweise und die Text-Hinweise gegeneinander kämpfen, welchem vertraut die KI? Ignoriert sie das verwirrende Schild und schaut stattdessen auf den Schnee? Oder glaubt sie blind dem Schild und vergisst dabei den Schnee? Bis jetzt hatten wir keine gute Möglichkeit, genau diese Art von Verwirrung zu testen.
Hier kommt SIGNPOST-Bench ins Spiel, ein neues Experiment, das von Forschern entwickelt wurde, um ein Spiel zu spielen, um „die KI zu täuschen“. Sie nahmen tausende echte Fotos und erstellten für jedes davon eine spezielle Version von „Gegenfaktualitäten“ (counterfactual versions). Stellen Sie sich das wie eine Fotobearbeitungs-Werkstatt vor, in der sie aus einem Originalbild vier neue Kopien erstellen:
- Das Leere: Sie haben den Text komplett gelöscht.
- Das Ähnliche: Sie haben das Schild durch ein anderes ersetzt, das immer noch zum Ort passt (z. B. „Willkommen in Michigan“ in „Willkommen in Detroit“ geändert).
- Das Zufällige: Sie haben ein Schild aufgestellt, das überhaupt nichts mit dem Ort zu tun hat (z. B. „Willkommen auf dem Mond“).
- Das Adversarielle (Kontradiktorische): Dies ist das Schwierige. Sie haben das Schild durch eine Lüge ersetzt, die auf einen spezifischen, anderen Ort hinweist (z. B. „Willkommen in Michigan“ in „Willkommen in New York“ geändert).
Die Forscher baten dann 20 verschiedene KI-Modelle von sieben großen Technologieunternehmen, für alle fünf Versionen jedes Fotos den Ort zu erraten. Sie wollten sehen, ob die KI die Lüge erkennen könnte oder ob sie durch das neue Schild getäuscht würde.
Die Ergebnisse waren sehr aufschlussreich. Wenn die KI die Originalfotos betrachtete, war sie ziemlich gut darin, den Ort zu erraten. Aber als sie die adversariellen Lügen einführten, gerieten die Modelle in Verwirrung. Im Durchschnitt wurde die Schätzung der KI 4,8-mal ungenauer. Anstatt um etwa 282 Kilometer danebenzuliegen, lag die KI nun um 1.347 Kilometer daneben.
Noch interessanter war: Die KI wurde nicht einfach nur schlechter, sondern sie wurde fehlgeleitet. Wenn das Schild „New York“ sagte, rät die KI nicht einfach irgendetwas, sondern bewegt ihre Schätzung tatsächlich näher in Richtung New York. Tatsächlich zog die Anwesenheit des widersprüchlichen Textes die Antwort bei jedem der getesteten Modelle in Richtung der Lüge. In etwa 6,5 % bis 20,1 % der Fälle lag die Schätzung der KI weniger als 50 Kilometer vom gefälschten Standort entfernt, auf den das Schild hinwies.
Die Studie fand auch heraus, dass die Fähigkeit, Schilder zu lesen oder Bilder zu sehen, keine Garantie dafür war, gut darin zu sein, einen Konflikt zu erkennen. Einige Modelle, die hervorragend darin waren, Standorte mit sauberen, ehrlichen Fotos zu erraten, waren tatsächlich schlechter darin, die Lügen zu ignorieren, als einige kleinere Modelle. Es stellt sich heraus, dass die Fähigkeit, ein Schild zu lesen, nicht bedeutet, dass man weiß, wann man es ignorieren sollte, wenn es dem Rest des Bildes widerspricht.
Schließlich versuchten die Forscher, die KI zu „coachen“, indem sie sie explizit baten, auf Konflikte zu achten. Dies half der KI zwar, in 49 % der Fälle zu erkennen, dass etwas nicht stimmte, half ihr aber nicht dabei, den korrekten Standort besser zu erraten. Die KI wusste zwar, dass sie verwirrt war, aber sie konnte immer noch nicht herausfinden, wie sie das Rätsel lösen sollte.
Kurz gesagt zeigt dieses Paper, dass aktuelle KI-Modelle immer noch sehr leicht zu täuschen sind, wenn Text und Bild nicht übereinstimmen. Sie neigen dazu, dem Text zu viel zu vertrauen, selbst wenn dieser eine eklatante Lüge ist. Die Forscher haben diesen neuen „SIGNPOST-Bench“-Test entwickelt, um zukünftigen KI-Entwicklern zu helfen, genau zu verstehen, wo ihre Modelle scheitern, damit sie sie dazu bringen können, bessere Detektive zu werden, die wissen, wann sie ihren Augen vertrauen und wann sie die Schilder hinterfragen müssen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.