Single-Configuration Attack Success Rate Is Not Enough: Jailbreak Evaluations Should Report Distributional Attack Success
Dieses Positionspapier argumentiert, dass aktuelle Jailbreak-Evaluierungen, die sich auf Erfolgsquoten mit einzelnen Konfigurationen stützen, zur Charakterisierung von Bedrohungen unzureichend sind, und schlägt vor, verteilungsbasierte Metriken wie das Variant Sensitivity Measure (VSM) und die Union Coverage (UC) zu übernehmen, um den vollen Umfang der Angriffsleistung über Parametervariationen hinweg besser zu erfassen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Sicherheitsbeamter, der herausfinden muss, wie einfach es ist, in ein High-Tech-Gebäude einzubrechen.
In der Welt der KI-Sicherheit testen Forscher häufig „Jailbreak"-Angriffe – Methoden, die darauf ausgelegt sind, KI-Modelle dazu zu bringen, Dinge zu sagen, die sie nicht sagen sollten. Der aktuelle Standard für die Berichterstattung über diese Tests ist wie ein Dieb, der sagt: „Ich habe einen spezifischen Schlüssel gefunden, der die Vordertür zu 80 % der Zeit öffnet. Daher ist dieses Gebäude zu 80 % verwundbar."
Dieser Artikel argumentiert, dass diese Art der Berichterstattung irreführend und unvollständig ist. Es ist, als würde man behaupten, ein Gebäude sei sicher, weil man nur einen Schlüssel an einer Tür versucht hat, und dabei ignoriert, dass es 36 weitere Schlüssel gibt, die möglicherweise andere Türen öffnen, oder dass der „beste" Schlüssel nur bei einem sehr spezifischen Schlosstyp funktioniert.
Hier ist die Aufschlüsselung des Arguments des Artikels mit einfachen Analogien:
Das Problem: Der Trugschluss des „besten Schlüssels"
Die meisten KI-Sicherheitsartikel berichten eine einzelne Zahl: die Attack Success Rate (ASR) (Angriffserfolgsrate). Sie wählen die einzelne beste Kombination von Einstellungen (wie den besten „Schlüssel") aus und sagen: „Schauen Sie, dieser Angriff funktioniert zu 80 % der Zeit!"
Die Autoren sagen, dies sei wie ein Dieb, der Ihnen einen Schlüssel zeigt, der die Vordertür öffnet, und behauptet: „So sicher ist das Gebäude." Aber was ist, wenn:
- Dieser Schlüssel nur an der Vordertür funktioniert, aber es 10 andere Schlüssel gibt, die die Hintertür, die Seitentür und die Kellertür öffnen?
- Die „80 % Erfolg" ein glücklicher Zufall waren, der nur bei einer sehr spezifischen Einstellung auftritt, während die anderen 99 Einstellungen kaum funktionieren?
Wenn Verteidiger (die Sicherheitsbeamten) nur auf diese eine „beste" Zahl schauen, könnten sie die Vordertür sichern und denken, sie seien sicher, während die Hinter- und Seitentüren weit offen bleiben.
Die Lösung: Zwei neue Messbecher
Die Autoren schlagen zwei neue Möglichkeiten vor, um die Gefahr zu messen, die sie VSM und UC nennen.
1. VSM (Variant Sensitivity Measure): „Wie glücklich war dieser Schlüssel?"
Stellen Sie sich vor, Sie haben einen Beutel mit 100 verschiedenen Schlüsseln.
- Szenario A: 95 davon öffnen die Tür leicht. Einer ist unbrauchbar. Wenn Sie den „besten" Schlüssel melden, sagen Sie die Wahrheit über die durchschnittliche Erfahrung.
- Szenario B: Nur 1 Schlüssel funktioniert perfekt, und die anderen 99 sind nutzlos. Wenn Sie den „besten" Schlüssel melden, lügen Sie über die durchschnittliche Erfahrung.
VSM misst die Lücke zwischen dem „besten" Ergebnis und dem „durchschnittlichen" Ergebnis.
- Niedriger VSM: Der Angriff ist konsistent. Die Schlagzeilenzahl ist zuverlässig.
- Hoher VSM: Die Schlagzeilenzahl ist ein Zufall. Der Angriff funktioniert nur, wenn Sie bei den Einstellungen unglaublich viel Glück haben. Der Artikel fand heraus, dass bei einigen Angriffen das „beste" Ergebnis fünfmal besser war als das durchschnittliche Ergebnis, was bedeutet, dass die Schlagzeilenzahl extrem optimistisch war.
2. UC (Union Coverage): „Wie viele Türen können geöffnet werden?"
Dies ist der wichtigste Teil für die Sicherheit.
Stellen Sie sich vor, Sie haben 36 verschiedene Schlüssel.
- Schlüssel A öffnet 60 % der Türen.
- Schlüssel B öffnet eine andere 40 % der Türen.
- Schlüssel C öffnet die verbleibenden 20 %.
Wenn Sie nur auf den „besten" Schlüssel schauen (Schlüssel A), denken Sie, 60 % des Gebäudes seien verwundbar. Aber wenn Sie alle Schlüssel zusammen ausprobieren, erkennen Sie, dass 100 % des Gebäudes verwundbar sind.
UC misst den Gesamtprozentsatz der Türen, die geöffnet werden können, wenn ein Angreifer jede Variation des Angriffs versucht. Der Artikel fand heraus, dass bei einigen Angriffen die „Union Coverage" 33 % höher war als die „Beste Einzelkonfiguration". Das bedeutet, dass Verteidiger, die nur auf die beste Zahl schauen, einen riesigen Teil der Gefahr übersehen.
Reale Beispiele aus dem Artikel
Die Autoren testeten diese Ideen an zwei berühmten „Angriffsfamilien" (PAIR und Bijection Learning) unter Verwendung von drei verschiedenen KI-Modellen.
- Der PAIR-Angriff: Sie probierten verschiedene „Personas" aus (wie das Vortäuschen einer Autoritätsperson versus eines logischen Denkers).
- Die Schlagzeile: „Autoritätsbestätigung" funktionierte in 69 % der Fälle.
- Die Realität: Als sie alle drei Personas kombinierten, konnten sie in 88 % der Fälle einbrechen. Die einzelne Zahl verpasste 19 % der verwundbaren Prompts.
- Der Bijection-Angriff: Dieser verwendet verschiedene „Codierungs"-Tricks (wie das Ändern der Sprache oder des Abstands des Textes).
- Die Schlagzeile: Die beste einzelne Einstellung funktionierte in 81 % der Fälle.
- Die Realität: Als sie alle 36 möglichen Kombinationen ausprobierten, waren 100 % der Prompts gebrochen. Die „beste" Zahl verpasste völlig die Tatsache, dass jeder einzelne Testfall verwundbar war, wenn man genügend Variationen versuchte.
Warum dies wichtig ist
Der Artikel sagt nicht, dass die aktuellen Zahlen mathematisch „falsch" sind; sie sind einfach unvollständig.
- Für Verteidiger: Wenn Sie nur den „besten" Angriff patchen, lassen Sie die anderen 30 % des Gebäudes ungesperrt. Sie müssen die „Union Coverage" kennen, um zu wissen, wie viel des Gebäudes tatsächlich gefährdet ist.
- Für Forscher: Wenn Sie zwei Angriffe vergleichen, einen mit einer „Besten"-Punktzahl von 80 % (aber sehr inkonsistent) und einen anderen mit einer „Besten"-Punktzahl von 60 % (aber sehr konsistent), können Sie nicht einfach sagen, der erste sei „besser". Sie müssen wissen, ob der erste nur ein glücklicher Zufall ist.
Das Fazit
Die Autoren bitten die KI-Forschungsgemeinschaft, aufzuhören, nur die Zahl des „Besten Falls" zu rufen. Stattdessen sollten sie berichten:
- Den Besten Fall (Die Schlagzeile).
- Den Durchschnittlichen Fall (Wie typisch ist dieser Erfolg?).
- Die Gesamtabdeckung (Wie viele verschiedene Prompts können gebrochen werden, wenn man alle Variationen versucht?).
Solange Forscher nicht beginnen, dieses vollständige Bild zu berichten, sind wir wie Sicherheitsbeamte, die nur die Vordertür überprüfen und davon ausgehen, dass der Rest des Gebäudes sicher ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.