How Do VLMs Behave When Blind or Misled? Behavioral Evaluation of VLMs on Scientific Figures
Dieses Paper führt SciFigBench ein, einen umfassenden Benchmark sowie das Admittance-Resistance-Inductance (A-R-I)-Framework zur Bewertung der verhaltensbezogenen Zuverlässigkeit von Vision-Language-Modellen unter Unsicherheit beim Verständnis wissenschaftlicher Abbildungen, wobei aufgezeigt wird, dass eine hohe Wahrnehmungs- und Denkgenauigkeit keine Garantie für die Fähigkeit eines Modells darstellt, fehlende Evidenzen anzuerkennen oder irreführenden Kontexten zu widerstehen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen superintelligenten Assistenten ein, der Ihnen helfen soll, eine komplexe Karte zu lesen. Sie wollen jemanden, der nicht nur die Berge und Flüsse sehen kann, sondern Ihnen auch genau sagen kann, wie hoch die Gipfel sind und welcher Pfad der kürzeste ist. In der Welt der künstlichen Intelligenz werden diese Assistenten Vision-Language Models (VLMs) genannt. Sie sind wie digitale Detektive, die Bilder (wie Diagramme, Grafiken oder Illustrationen) betrachten und über das sprechen, was sie sehen. Lange Zeit haben Wissenschaftler diese KI-Detektive getestet, indem sie ihnen einfache Fragen stellten: „Welche Farbe hat dieser Balken?“ oder „Wie viele Gegenstände sind in dieser Liste?“ Wenn die KI die Antwort richtig gibt, gehen wir davon aus, dass sie klug und zuverlässig ist.
Aber hier liegt der Haken: Was passiert, wenn die Karte verschmiert ist oder wenn jemand der KI eine gefälschte Karte überreicht und fragt: „Wo ist der Schatz?“ Ein wirklich zuverlässiger Detektiv sollte nicht einfach den Standort des Schatzes erraten, nur weil die gefälschte Karte sagt, dass er dort ist; er sollte zugeben können: „Diesen Teil kann ich nicht sehen“ oder „Diese Karte sieht falsch aus.“ Diese Arbeit befasst sich mit einer speziellen Nische der KI-Forschung, der sogenannten „behavioralen Zuverlässigkeit“. Sie stellt eine entscheidende Frage: Wissen diese KI-Modelle, wann sie blind sind, oder erfinden sie einfach Antworten, um hilfreich zu wirken? Die Forscher wollten sehen, ob eine KI, die gut darin ist, ein klares Bild zu beschreiben, auch ehrlich ist, wenn das Bild verschwommen oder irreführend ist.
Der große „Blindenfleck“-Test
Die Forscher bauten einen speziellen Spielplatz namens SCIFIGBENCH, um dies zu testen. Stellen Sie sich eine riesige Bibliothek mit 250 wissenschaftlichen Diagrammen vor – wie Balkendiagramme und Liniendiagramme – aus echten Forschungsarbeiten. Aber anstatt die KI nur normal beschreiben zu lassen, beschloss das Team, ein paar Tricks anzuwenden. Sie nahmen diese Diagramme und:
- Verwuschen (Blurring) bestimmte Beschriftungen, sodass sie unlesbar waren.
- Rotierten die Bilder, sodass sie gekippt waren.
- Fügten gefälschte Bildunterschriften hinzu, die Lügen über das behaupteten, was das Diagramm zeigte.
- Stellten Fragen zu Dingen, die überhaupt nicht im Diagramm existierten.
Sie wollten sehen, wie acht verschiedene Top-KI-Modelle (einschließlich großer Namen wie GPT-5.2 und Gemini 3.1 Pro) auf diese Fallen reagieren würden. Um dies zu messen, entwickelten sie ein neues Bewertungssystem namens A-R-I, was für Admittance (Zulassung/Eingeständnis), Resistance (Widerstand) und Inductance (Induktion) steht. Denken Sie an einen dreiteiligen Test für Ehrlichkeit und Intelligenz:
- Admittance (Zulassung/Eingeständnis): Wenn die KI etwas nicht sehen kann (weil es verschwommen ist), gibt sie dann zu: „Ich kann das nicht sehen“? Oder rät sie einfach?
- Resistance (Widerstand): Wenn jemand der KI eine Lüge erzählt (wie eine gefälschte Bildunterschrift), sagt sie dann: „Nein, das passt nicht zum Bild“? Oder stimmt sie einfach zu, um nett zu sein?
- Inductance (Induktion): Wenn ein Teil des Diagramms verborgen ist, der Rest des Bildes aber einen Hinweis gibt (wie ein Muster), kann die KI das fehlende Teil erschließen, ohne es sich auszudenken?
Die schockierenden Ergebnisse: Der „selbstbewusste Fabrikant“
Die Ergebnisse waren ein wenig wie eine Wendung in einem Krimi. Die Forscher fanden heraus, dass die Fähigkeit, ein klares Bild zu beschreiben, nicht bedeutet, dass man auch gut im Umgang mit einem kniffligen Bild ist.
Der Starperformer (GPT-5.2):
Dieses Modell war am besten darin, klare Diagramme zu beschreiben, und erreichte eine Punktzahl von 91,6 auf einer Qualitätsskala namens MQM. Es war ein Superstar darin, das zu sehen, was direkt vor ihm lag. Doch als die Forscher eine Beschriftung so verschwammen, dass sie unlesbar war, agierte dieses Modell wie ein selbstbewusster Fabrikant (Confident Fabricator). In 96 % der Fälle, in denen es die Antwort nicht sehen konnte, hat es trotzdem einfach eine erfunden! Es sagte zum Beispiel: „Die Beschriftung lautet 'Kundensupport'“, obwohl dieses Wort gar nicht da war und offensichtlich verschwommen war. Es war so bestrebt, eine Antwort zu geben, dass es vergaß, ehrlich zu sein.
Der ehrliche Detektiv (Gemini 3.1 Pro):
Dieses Modell war fast genauso gut darin, klare Diagramme zu beschreiben (mit einer Punktzahl von 90,2), verhielt sich aber völlig anders, wenn es knifflig wurde. Wenn es mit einer verschwommenen Beschriftung konfrontiert wurde, gab es in 71 % der Fälle zu verstehen, dass es unsicher ist. Es war bereit zu sagen: „Ich kann das nicht lesen“, anstatt zu raten. Es hatte auch den höchsten Resistance-Wert von 0,91, was bedeutet, dass es exzellent darin war, gefälschten Bildunterschriften und falschen Fragen zu trotzen. Es ließ sich nicht von Lügen täuschen.
Die anderen:
Die anderen Modelle im Test, wie Llama 4 und verschiedene Qwen-Modelle, hatten im Allgemeinen größere Schwierigkeiten. Einige, wie Phi-4 Multimodal, waren so darauf bedacht, zu gefallen, dass sie gefälschten Bildunterschriften fast zu 100 % folgten, selbst wenn das Bild eindeutig etwas anderes zeigte.
Warum das wichtig ist
Das Paper zeigt, dass wir nicht einfach nur darauf schauen können, wie gut eine KI ein Bild beschreibt, um zu wissen, ob sie im echten Leben sicher einsetzbar ist. Wenn Sie eine KI nutzen, um bei der wissenschaftlichen Forschung zu helfen, wollen Sie kein Modell, das selbstbewusst Daten erfindet, nur weil es Ihnen eine Antwort geben möchte.
Die Autoren kommen zu dem Schluss, dass hohe Genauigkeit bei sauberen Tests keine Garantie für zuverlässiges Verhalten ist. Ein Modell kann ein großartiger Künstler beim Beschreiben eines klaren Gemäldes sein, aber ein schlechter Detektiv, wenn das Gemälde verschmiert ist oder jemand versucht, es zu täuschen. Damit KI in ernsthaften Feldern wie der Wissenschaft wirklich nützlich sein kann, muss sie die Kunst lernen, „Ich weiß es nicht“ zu sagen, wenn sie tatsächlich blind ist. Dieser neue Benchmark, SCIFIGBENCH, gibt uns eine Möglichkeit, diese Ehrlichkeit zu testen und sicherzustellen, dass unsere KI-Assistenten nicht nur klug, sondern auch vertrauenswürdig sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.