Stellen Sie sich vor, Sie sind der Chefkoch eines sehr schicken Restaurants, das zwei Dinge gleichzeitig serviert: ein Bild auf einem Teller und eine gesprochene Bestellung. Ihr Ziel ist es, sicherzustellen, dass die Küche niemals etwas Gefährliches kocht, selbst wenn jemand versucht, den Koch zu überlisten, indem er eine „giftige“ Anweisung in das Bild versteckt oder sie auf eine seltsame Weise flüstert. Dies ist die Welt der Multimodalen Großen Sprachmodelle (MLLMs). Dies sind superintelligente Computergehirne, die Bilder „sehen“ und Text „lesen“ können und dann mit Ihnen chatten können. Da sie jedoch sehen können, versuchen böswillige Akteure, schädliche Befehle einzuschleusen, indem sie diese in Pixel zeichnen oder im Hintergrund eines Fotos verstecken.

Um dies zu verhindern, haben Wissenschaftler Inferenzzeit-Verteidigungen (Inference-Time Defenses) erfunden. Denken Sie an diese als Sicherheitskräfte, die direkt vor der Küchentür stehen. Sie ändern nicht das Rezept des Kochs (das Gehirn des Modells); stattdessen prüfen sie die Bestellung, bevor sie hineingeht, oder sie prüfen das fertige Gericht, bevor es hinausgeht. Einige Wächter fügen der Bestellung eine höfliche Warnung hinzu, während andere das Bild ein wenig schütteln, um versteckte Tricks zu verwischen. Die große Frage für die gesamte KI-Sicherheitswelt ist: Welcher Wächter macht eigentlich den besten Job? Wenn wir den Wächtern nicht vertrauen können, servieren wir vielleicht versehentlich eine gefährliche Mahlzeit oder, schlimmer noch, sind wir so sehr vor Gefahr verängstigt, dass wir gar kein Essen mehr servieren wollen.

---

Das große Küchen-Audit: Als die Ergebnisskala falsch war

Ein Team von Forschern aus Moskau beschloss, Detektiv zu spielen. Sie entwickelten keine neuen Wächter; stattdessen durchstöberten sie die Archive eines kürzlich durchgeführten Experiments, das behauptete, drei verschiedene Sicherheitswächter (inspiriert von Methoden namens RapGuard, AdaShield und SmoothVLM) über acht verschiedene KI-Chefs hinweg getestet zu haben. Sie wollten sehen, wer der Beste war. Doch als sie in den Akten wühlten, fanden sie ein Chaos aus kaputten Links, fehlenden Zutaten und verwirrten Ergebnisskalen.

Hier ist, was sie entdeckten, serviert mit einer Portion Realitätscheck.

1. Das Rätsel der „fehlenden Zutat“

Die Forscher fanden heraus, dass das Experiment dazu gedacht war, 9.000 verschiedene Bestellungen (Inputs) über sieben verschiedene Sicherheitstests hinweg zu testen. Doch als sie die Provenienz (den Papierpfad, woher die Daten kamen) überprüften, stellten sie fest, dass drei der sieben Tests völlig fehlerhaft waren.

• Der „Falscher-Teller“-Fehler: Ein Test, der prüfen sollte, ob die KI versteckte Anweisungen in Bildern erkennen kann, servierte tatsächlich das völlig falsche Bild. Es war, als würde man versuchen, einen Feuermelder zu testen, indem man Wasser auf einen Toaster sprüht, statt auf einen Rauchmelder.
• Der „Text-nur“-Schwindel: Ein anderer Test sollte eine Mischung aus Bildern und Text sein, aber das System ließ die KI versehentlich die Bilder ignorieren und nur den Text lesen. Es war ein „Text-only Fallback“, was bedeutete, dass die KI das Bild nie wirklich ansehen musste, um den Test zu bestehen.
• Der „Random Patch“-Glitch: Ein dritter Test behauptete, einen speziellen „Adversarial Patch“ zu verwenden (ein winziges, tückisches Aufkleberchen auf einem Bild, um die KI zu verwirren). Aber der Computer generierte nicht den tückischen Aufkleber, sondern zeichnete einfach nur ein zufälliges Rechteck.

Aufgrund dieser Fehler mussten die Forscher die Ergebnisse für diese drei Tests verwerfen. Sie konnten die Zahlen nicht einfach „reparieren“; die Daten waren schlichtweg nicht vorhanden. Dies hinterließ ihnen nur noch 4.820 gültige Inputs aus vier spezifischen Tests (FigStep, JailBreakV, SALAD-Bench und HarmBench-Simple), mit denen sie arbeiten konnten.

2. Die „Schlüsselwort“-Falle

Das ursprüngige Experiment verwendete eine sehr einfache Methode, um zu entscheiden, ob die KI sicher war: Es suchte nach bestimmten „magischen Wörtern“.

• Wenn die KI sagte „Das kann ich nicht tun“ oder „Es tut mir leid“, wurde dies als Sicher (eine Verweigerung) markiert.
• Wenn die KI sagte „Hier ist, wie man...“ oder „Sicher, ich kann helfen“, wurde dies als Unsicher (eine schädliche Antwort) markiert.

Die Forscher fanden ein riesiges Problem mit dieser Methode. Das System zählte leere Antworten (bei denen die KI gar nichts sagte) einfach als „Sicher“, weil der Legacy-Code keine spezielle Regel für sie hatte; da der leere String weder die „schädliche“ Liste noch die „Verweigerungs“-Liste erfüllte, zählte die Standardlogik ihn als sicher. Es wurden auch Antworten gezählt, die mit einer höflichen Warnung begannen, dann aber die gefährlichen Anweisungen gaben, als „Sicher“, weil das System nur nach dem Vorhandensein eines Verweigerungssatzes suchte, um eine schädliche Antwort zu überschreiben, und manchmal die Logik sich verhedderte.

Als sie die Daten erneut überprüften, fanden sie heraus, dass die „Schlüsselwort“-Methode ein schlechter Richter war. Es war, als würde ein Lehrer eine Prüfung bewerten, indem er nur nach dem Wort „der“ sucht und ignoriert, ob der Schüler die Frage tatsächlich beantwortet hat. Bei einer Überprüfung von 246 tückischen Antworten übersah das Schlüsselwort-System 13 schädliche Antworten, die ein klügerer, menschlicherer Richter (ein „Haiku-Familie-Richter“) korrekt als gefährlich identifiziert hatte. Technisch ausgedrückt: Das Schlüsselwort-System bezeichnete diese 13 Fälle als „Sicher“, obwohl sie eigentlich „Schädlich“ waren (False Negatives).

3. Der Mythos der „Massenverweigerung“

Die ursprüngliche Studie schien zu suggerieren, dass die Sicherheitswächter die KI dazu brachten, alles zu verweigern (eine „Massenverweigerung“). Die Forscher überprüften erneut 38.500 sichere, normale Fragen, um zu sehen, wie oft die KI tatsächlich „Nein“ sagte, wenn sie es nicht musste.

Das Ergebnis? Die KI war sehr höflich und hilfreich.

• Die geschätzte Rate der unnötigen Verweigerungen lag bei nur 0,52 %.
• Selbst im schlechtesten Fall (der größte einzelne Datensatz) lag die Rate bei nur 3,24 %.
• Die Forscher merkten an, dass die „Sampling-only“-Unsicherheit (die Fehlermarge) bis zu 10,92 % erreichen konnte, aber selbst das ist weit entfernt von der „Massenverweigerung“, die die ursprüngliche Studie implizierte.

Die Verwirrung entstand durch das „Defensive Preamble“ (die defensive Einleitung). Die Sicherheitswächter fügten der Antwort oft eine lange, höfliche Warnung am Anfang hinzu (z. B. „Ich muss Sie warnen, dass dies gefährlich ist...“). Das alte Schlüsselwort-System dachte, dass diese Warnung die Verweigerung sei, aber die KI gab die Antwort tatsächlich trotzdem weiter. Es war, als würde ein Türsteher sagen: „Ich lasse dich nicht rein“, aber dann die Tür öffnen und dich doch eintreten lassen. Das Schlüsselwort-System bezeichnete diese Einleitungen fälschlicherweise als Verweigerungen und blähte die Zahlen dadurch auf.

4. Die Kosten der Sicherheit

Schließlich untersuchten die Forscher, wie viel Zeit diese Sicherheitswächter verschwendeten.

• Der „Gaussian“-Wächter (der das Bild fünfmal verschwommen darstellt und über die Antwort abstimmt) brauchte 5,45 bis 12,76 Mal länger zur Verarbeitung einer Anfrage als ohne Maßnahmen.
• Der vollständige Stapel aus drei Wächtern dauerte 4,36 bis 16,59 Mal länger.

Das bedeutet, dass die Wächter zwar versuchen zu helfen, aber die Küche unglaublich langsam machen.

Das Fazit

Dieses Paper sagt uns nicht, welcher Sicherheitswächter der „beste“ ist. Tatsächlich sagt es uns, dass wir den vorherigen Rankings nicht vertrauen können, weil die Daten fehlerhaft und die Bewertungsmethode mangelhaft war.

• Was sie ausschlossen: Sie bewiesen, dass die ursprünglichen Behauptungen über die „Massenverweigerung“ falsch waren und dass drei der sieben Sicherheitstests ungültig waren.
• Was sie fanden: Die Sicherheitswächter (insbesondere die Prompt-Wrapper) verändern das Verhalten der KI, aber der Effekt variiert stark je nach KI-Modell und Art des Tests. Manchmal helfen sie, manchmal schaden sie, und manchmal machen sie die Sache einfach nur langsamer.
• Die Lektion: Man kann einen Test nicht einfach durchführen und auf einen Wert schauen. Man muss sicherstellen, dass die Zutaten (Inputs) echt sind, die Ergebnisskala (Evaluation) die Sicherheit tatsächlich misst und dass man das vollständige Rezept (den Rohtext) hat, um die Arbeit zu überprüfen.

Die Autoren kommen zu dem Schluss, dass wir, bevor wir verschiedene Sicherheitswächter vergleichen können, ein besseres, ehrlicheres System für deren Testen aufbauen müssen. Bis dahin können wir nicht mit Sicherheit sagen, wer der Held ist und wer nur die Küche langsamer macht.