MissingBench-Verified: Probing Vision-Language Models' Inability to Detect Missing Object Parts
Das Papier stellt MissingBench-Verified vor, einen Benchmark, der demonstriert, dass führende Vision-Language-Modelle aufgrund inhärenter Biases und mangelnder Trainingsdaten konsistent daran scheitern, fehlende Objektteile zu erkennen, eine Einschränkung, die trotz des Einsatzes externer Werkzeuge, erweiterten Reasonings oder Fine-Tunings fortbesteht und somit einen fundamentalen architektonischen Fehler in aktuellen VLMs offenlegt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter bei, die Welt zu sehen. Sie zeigen ihm eine Million Bilder von Katzen, Hunden und Flugzeugen, und er lernt die Regeln: „Katzen haben Schwänze“, „Flugzeuge haben Flügel“ und „iPhones haben Home-Buttons“. Dies ist die Welt der Vision-Language-Modelle (VLMs). Das sind superintelligente Computerprogramme, die ein Bild betrachten und es in Worten beschreiben können oder Fragen zu dem beantworten können, was sie sehen. Sie sind wie ein Bibliothekar, der jedes Buch des Universums gelesen hat und Ihnen allein durch den Blick auf den Einband sofort die Handlung einer Geschichte erklären kann.
Aber hier ist der knifflige Teil: Manchmal wird dieser Bibliothekar zu selbstbewusst in dem, was er weiß. Wenn Sie ihm das Bild einer Katze zeigen, die ihren Schwanz verloren hat, schreit sein Gehirn vielleicht: „Das ist unmöglich! Alle Katzen haben Schwänze!“ und er wird darauf bestehen, dass der Schwanz da ist, obwohl seine Augen eindeutig sehen, dass er verschwunden ist. Das nennt man eine Halluzination. Es ist nicht so, dass der Roboter lügt; es ist so, dass sein internes Wissen so stark ist, dass es über das überstimmt, was seine Augen tatsächlich sehen. Wissenschaftler kümmern sich darum, weil wir, wenn wir wollen, dass diese Roboter uns bei der Inspektion von Brücken helfen, medizinische Scans überprüfen oder Fabriken überwachen, in der Lage sein müssen zu sagen: „Hey, etwas fehlt“, anstatt Dinge zu erfinden.
Das große „Fehlendes Teil“-Rätsel
Hier kommt MissingBench-Verified ins Spiel, ein neues Experiment, das genau diese Sturheit testen soll. Die Forscher hinter dieser Studie wollten wissen: Wenn wir ein Bild eines Flugzeugs nehmen und seine Triebwerke chirurgisch entfernen, wird der Roboter zugeben, dass die Triebwerke weg sind, oder wird er halluzinieren, dass sie noch da sind?
Um das herauszufinden, erstellte das Team einen speziellen Datensatz aus 118 Bildern. Sie nahmen echte Fotos von Alltagsgegenständen – wie ein Telefon, bei dem der Home-Button gelöscht wurde, oder ein Flugzeug ohne sein Leitwerk – und zeigten sie zehn der intelligentesten KI-Modelle auf dem Markt. Sie stellten eine einfache Frage: „Ist dieses Teil sichtbar?“ Die Modelle mussten zwischen „Eindeutig sichtbar“, „Schwer zu sehen“ oder „Nicht sichtbar“ wählen.
Die Ergebnisse waren ein Schock. Selbst die fortschrittlichsten KI-Modelle, die normalerweise jeden Test bestehen, versagten kläglich. Wenn die Triebwerke fehlten, beharrten die Modelle darauf, dass sie noch da seien. Tatsächlich lag fast die Hälfte der Modelle in mehr als 50 % der Fälle falsch. Der schlechteste Performer, Claude Sonnet 4.6, identifizierte korrekt, dass das Teil fehlte, nur in 44,1 % der Fälle. Es war, als trügen die Roboter Blendwerkzeuge aus ihren eigenen Erinnerungen, die sich weigerten, ihren eigenen Augen zu glauben.
Die „Magischen Werkzeuge“, die nicht funktionierten
Die Forscher hörten nicht einfach auf, die Roboter zu bitten, genauer hinzusehen. Sie versuchten, ihnen mit einem ganzen Werkzeugkasten voller Tricks zu helfen, in der Hoffnung, sie aus ihren Tagträumen aufzuwecken. Sie probierten drei Hauptstrategien aus:
- Der „Detektivbericht“ (Externe Werkzeuge): Sie gaben den Modellen einen gefälschten Bericht eines supergenauen Objektdetektors, der besagte: „Ich habe nachgesehen, und ich habe das Triebwerk definitiv nicht gefunden.“ Sie hofften, das Modell würde dem Bericht vertrauen. Stattdessen ignorierten die meisten Modelle den Bericht und blieben bei ihrer Meinung. Selbst als der „perfekte Detektor“ sagte, dass das Objekt weg sei, halluzinierten die Modelle weiterhin, es sei noch da.
- Das „Zoom-Objektiv“ (Bildverarbeitung): Sie ließen die Modelle Werkzeuge benutzen, um das Bild zuzuschneiden, aufzuhellen oder zu schärfen, in der Hoffnung, dass ein genauerer Blick die Wahrheit ans Licht bringen würde. Ein Modell nutzte sogar ein Zuschneidetool, um in ein fehlendes Flugzeugleitwerk hineinzuzoomen, sah den leeren Raum und behauptete trotzdem, das Leitwerk sei da, wobei es das fehlende Teil als „Zuschneidefehler“ abtat, anstatt zuzugeben, dass es weg war.
- Das „Tiefe Denken“ (Mehr Zeit): Sie zwangen die Modelle, mehr Zeit mit Nachdenken und Schlussfolgern zu verbringen, in der Hoffnung, dass mehr Rechenleistung den Fehler beheben würde. Überraschenderweise half es nicht, länger nachzudenken; in einigen Fällen steigerte es nur ihr Selbstvertrauen in ihre falschen Antworten.
Das Urteil: Es ist kein Bug, es ist ein Feature (das kaputt ist)
Die Arbeit legt nahe, dass dies nicht nur ein einfacher Fehler ist, den man den Modellen durch kurzes Prompting oder ein wenig zusätzliches Nachdenken „abgewöhnen“ kann. Das Problem sitzt tief. Die Modelle haben einen „Prior“ gelernt – einen starken Glauben daran, dass Flugzeuge Triebwerke haben müssen, um zu fliegen. Wenn die visuellen Beweise (der leere Raum) mit diesem tief verwurzelten Glauben kollidieren, gewinnt der Glaube. Die Modelle sagen im Grunde: „Ich weiß, wie ein Flugzeug aussieht, und dieses Bild ist falsch, also werde ich das Flugzeug so beschreiben, wie ich es erwarte, nicht wie es ist.“
Die Forscher versuchten dies zu beheben, indem sie den Modellen Zugang zu besseren Werkzeugen und mehr Zeit gaben, aber die Arbeit kommt zu dem Schluss, dass diese aktuellen Methoden vernachlässigbare Verbesserungen bewirken. Die Fehlerraten blieben hartnäckig hoch, wobei die meisten Modelle selbst mit Hilfe immer noch nicht in der Lage waren, die fehlenden Teile korrekt zu identifizieren.
Diese Studie behauptet nicht, das Problem gelöst zu haben. Stattdessen fungiert sie als Alarmglocke. Sie zeigt, dass unsere derzeitigen besten KI-Modelle für Aufgaben wie die Überprüfung, ob ein Maschinenteil fehlt oder ob eine Sicherheitsvorrichtung intakt ist, gefährlich unzuverlässig sind. Sie sind so sehr von ihrem internen Wissen überzeugt, dass sie es nicht überstimmen können, selbst wenn die Beweise direkt vor ihren „Augen“ liegen. Die Arbeit legt nahe, dass eine Lösung hierfür nicht durch bessere Prompts oder mehr Denkzeit erreicht werden wird; es wird wahrscheinlich eine komplette Überarbeitung dessen erfordern, wie diese Modelle gebaut oder trainiert werden, damit sie lernen, dem zu vertrauen, was sie sehen, statt dem, was sie denken zu wissen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.