EviSafe: Evidence-Grounded Safety Evaluation for Vision-Language Models
EviSafe führt ein evidenzbasiertes Framework und einen Benchmark (EviSafeBench) ein, der die Sicherheit von Vision-Language-Modellen bewertet, indem er nicht nur die endgültigen Antworten, sondern auch die Fähigkeit des Modells prüft, Entscheidungen korrekt auf visuellen oder textuellen Belegen zu begründen und sich an kontrafaktische Änderungen anzupassen, was offenlegt, dass aktuelle Modelle oft nicht aus den richtigen multimodalen Gründen sicher sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich schnell entwickelnden Welt der künstlichen Intelligenz ist eine neue Generation von Computerprogrammen entstanden, die gleichzeitig sehen und lesen können. Diese Systeme, bekannt als Vision-Language-Modelle, betrachten ein Bild und lesen den Text, den eine Person eintippt, und kombinieren dann diese beiden Informationsströme, um Fragen zu beantworten oder Ratschläge zu geben. Sie werden zunehmend eingesetzt, um medizinische Scans zu interpretieren, juristische Dokumente zu analysieren und komplexe soziale Szenen zu navigieren. Da diese Werkzeuge reale Entscheidungen beeinflussen können, ist die Gewährleistung ihrer Sicherheit eine kritische Priorität. Jahrelang haben Forscher diese Systeme getestet, indem sie ihnen gefährliche Fragen stellten und prüften, ob der Computer die Antwort verweigert. Wenn die Maschine mit „Nein“ antwortet oder eine Warnung gibt, wird dies als sicher gezählt. Wenn sie die Frage direkt beantwortet, wird dies als unsicher gezählt. Diese Methode betrachtet jedoch nur das Endergebnis, ganz so, als würde ein Lehrer einen Aufsatz eines Schülers bewerten, indem er nur das Fazit prüft, ohne die Argumentation zu lesen, die zu ihm geführt hat. Ein Computer könnte eine Anfrage verweigern, nur weil er ein einziges beängstigendes Wort entdeckt hat, oder er könnte eine gefährliche Antwort geben, weil er ein entscheidendes Detail im Bild übersehen hat. Die Frage bleibt: Wenn eine Maschine sicher erscheint, ist sie dann auch aus den richtigen Gründen sicher?
Ein Forschungsteam der Shanghai Jiao Tong University hat einen neuen Weg entwickelt, um diese Systeme zu testen, der tiefer geht als die bloße Endantwort. Sie entwickelten ein Framework namens EviSafe, das Sicherheit nicht nur als Bestehen oder Nichtbestehen einer Endausgabe betrachtet, sondern als einen Prozess des Findens und Nutzens der korrekten Beweise. Stellen Sie sich einen Sicherheitswachmann vor, der eine Person am Tor stoppt. Ein einfacher Test fragt nur, ob der Wachmann die Person gestoppt hat. Der neue Test fragt, ob der Wachmann sie stoppte, weil er eine Waffe sah, weil er eine spezifische Bedrohung erkannte oder einfach, weil die Person einen roten Hut trug. Die Forscher bauten eine massive Sammlung von 1.181 sorgfältig gestalteten Szenarien, die jeweils ein Bild und eine Frage enthalten, zusammen mit einer detaillierten Karte dessen, worauf der Computer achten sollte, um die richtige Entscheidung zu treffen. Sie erstellten auch über 2.400 Variationen dieser Szenarien, bei denen sie nur ein kleines Stück der Beweise änderten, wie etwa das Entfernen eines gefährlichen Objekts aus dem Foto oder das Ändern eines Wortes in der Frage, um zu sehen, ob sich das Verhalten des Computers entsprechend änderte.
Die Forscher testeten elf verschiedene Vision-Language-Modelle mit dieser neuen Methode. Sie stellten jedem Modell für jedes Szenario drei Arten von Fragen. Erstens baten sie das Modell, die Frage natürlich zu beantworten, so wie es ein Nutzer tun würde. Zweitens baten sie das Modell, seine Argumentation zu erklären, indem es auf die spezifischen Text- und visuellen Hinweise hinweist, die es für seine Entscheidung genutzt hat. Drittens präsentierten sie dem Modell die modifizierten Szenarien, um zu sehen, ob es seine Antwort anpassen kann, wenn sich die Beweislage ändert. Die Ergebnisse zeigten eine signifikante Lücke zwischen dem Aussehen von Sicherheit und tatsächlicher Sicherheit. Während einige Modelle oberflächlich betrachtet recht gut abschnitten, mit einer natürlichen Sicherheitsgenauigkeit zwischen etwa 28 und 53 Prozent, war ihre Fähigkeit, die hinter ihren Entscheidungen stehenden Beweise korrekt zu identifizieren und zu melden, wesentlich geringer. Tatsächlich wurde nur ein kleiner Bruchteil der Modell-Szenario-Datensätze, nämlich 9,8 Prozent, als evidenzbasierter Erfolg (evidence-grounded success) eingestuft, was bedeutet, dass das Modell die richtige Endantwort gab und gleichzeitig die spezifischen visuellen oder textuellen Beweise korrekt identifizierte, die diese Antwort rechtfertigten.
Die Studie fand heraus, dass viele Modelle im Wesentlichen raten oder sich auf Abkürzungen verlassen. Ein Computer könnte eine Anfrage verweigern, weil er ein Schlüsselwort sieht, das mit Gefahr assoziiert wird, selbst wenn das Bild einen harmlosen Kontext zeigt, wie etwa einen Arzt, der ein medizinisches Verfahren erklärt. Umgekehrt könnte ein Modell eine gefährliche Antwort geben, weil es versäumt, ein kritisches Detail im Bild wahrzunehmen, das die Anfrage unsicher macht. Als die Forscher die Beweise in den Testszenarien änderten, versagten viele Modelle dabei, ihr Verhalten anzupassen. Wenn beispielsweise ein gefährliches Objekt aus einem Bild entfernt wurde, sollte ein wirklich sicheres Modell seine Antwort von einer Warnung zu einer sicheren Reaktion ändern. Die Tests zeigten jedoch, dass nur etwa 30 bis 58 Prozent der Modelle diesen Wechsel erfolgreich vollzogen. Dies deutet darauf hin, dass diese Systeme nicht zuverlässig die Beziehung zwischen dem, was sie sehen, und dem, was sie sagen, verstehen. Sie reagieren oft auf oberflächliche Muster, anstatt ein kohärentes Verständnis der Situation aufzubauen.
Die Forscher entdeckten auch, dass die Größe des Modells das Problem nicht zwangsläufig löst. Größere, leistungsstärkere Modelle waren nicht konsistent besser darin, die Verbindung zwischen dem Bild und dem Text herzustellen. Einige der größten Modelle konnten die Risikofaktoren korrekt identifizieren, wenn sie gebeten wurden, diese in einem strukturierten Bericht zu erklären, doch sie scheiterten dennoch daran, bei derselben Frage in einer natürlichen Konversation sicher zu handeln. Dies deutet auf eine Diskrepanz zwischen der Fähigkeit des Modells, Beweise zu analysieren, und seiner Fähigkeit, diese Analyse zur Steuerung seines Verhaltens zu nutzen, hin. Die Studie kommt zu dem Schluss, dass die aktuelle Generation von Vision-Language-Modellen noch nicht aus den richtigen Gründen sicher ist. Sie mögen durch Zufall sicher erscheinen, oder sie mögen auf eine Weise unsicher sein, die durch einfache Verweigerungstests verborgen bleibt. Um wirklich zuverlässige Systeme zu bauen, müssen Entwickler über das Zählen hinausgehen, wie oft ein Modell eine Anfrage verweigert, und stattd通り damit beginnen, sie darauf zu trainieren, ihre Entscheidungen in den tatsächlich im Bild und Text vorhandenen Beweisen zu begründen, um sicherzustellen, dass ihre Sicherheit auf Verständnis und nicht auf Zufall basiert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.