🤖 AI

What AI Red-Team Evaluations Can and Cannot Prove

Diese Arbeit etabliert eine berechenbare „Evidenzdecke“ für KI-Red-Teaming-Evaluierungen und zeigt auf, dass aktuelle Benchmarks zwar die Sicherheit gegenüber hochfrequenten Schäden effektiv zertifizieren können, jedoch aufgrund inhärenter statistischer Limitationen grundlegend unzureichend sind, um die Sicherheit gegenüber seltenen, katastrophalen Risiken nachzuweisen.

Ursprüngliche Autoren: Bandana Kaur

Veröffentlicht 2026-07-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Bandana Kaur

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen: „Ist dieser neue Roboter sicher genug, um in der realen Welt freigelassen zu werden?“ Um das herauszufinden, fragen Sie den Roboter nicht einfach nur, ob er „gut“ ist; stattdessen unterziehen Sie ihn einer Reihe von kniffligen Tests, wie etwa einer Red-Teaming-Übung, bei der Sie versuchen, ihn dazu zu bringen, etwas Gemeines oder Gefährliches zu sagen. Das ist die Welt der KI-Sicherheitsbewertung. Aber hier liegt der Haken: Wie viele Tricks müssen Sie ausprobieren, bevor Sie sich sicher sein können, dass der Roboter sicher ist? Wenn Sie 10 Tricks ausprobieren und er besteht, reicht das aus? Was, wenn der Roboter nur einmal in einer Million Versuchen gefährlich wird?

Hier kommt die Statistik ins Spiel. Stellen Sie sich das wie eine Taschenlampe in einem dunklen Raum vor. Eine kleine Taschenlampe (ein kleiner Test) kann leicht einen großen, offensichtlichen Stein auf dem Boden zeigen (einen häufigen Fehler). Aber wenn die Gefahr ein winziger, fast unsichtbarer Staubpartikel ist, der nur ab und zu auftritt, könnte dieselbe kleine Taschenlampe diesen vielleicht völlig übersehen, selbst wenn der Staub da ist. Wissenschaftler debattieren schon lange darüber, ob diese KI-„Sicherheitstests“ tatsächlich nützlich sind oder ob sie nur Zeitverschwendung sind. Einige sagen, sie beweisen nichts; andere sagen, sie beweisen alles. Dieses Paper greift ein, um die Diskussion zu klären, indem es etwas sehr Spezifisches tut: Es berechnet genau, wie hell die Taschenlampe sein muss, um verschiedene Größen von Staubpartikeln zu sehen.

Das Paper, geschrieben von Bandana Kaur von APIsec Research Labs, argumenttiert, dass Sicherheitstests nicht nutzlos sind, aber auch keine Zauberstäbe darstellen. Sie haben eine harte Grenze dessen, was sie beweisen können, und diese Grenze ist ein mathematisches Problem, kein Streitpunkt der Meinung. Die Autorin verwendet ein Konzept namens „Evidenz-Deckel“ (evidential ceiling). Stellen Sie sich vor, Sie haben einen Eimer, der nur eine bestimmte Menge Wasser halten kann. Wenn Sie versuchen zu beweisen, dass ein Leck klein ist, ist ein voller Eimer Wasser (ein sauberer Test mit null Fehlern) sehr überzeugend. Aber wenn Sie versuchen zu beweisen, dass ein Leck winzig ist (wie ein seltener, katastrophaler Ausfall), ist derselbe Eimer vielleicht zu klein, um genug Beweise zu sammeln, um sicher zu sein.

Die Hauptfindung des Papers ist, dass es einen berechenbaren „Kreuzungspunkt“ gibt. Wenn eine Art von Schaden häufig genug auftritt (etwa 1 % der Zeit), ist ein Standardtest von etwa 520 Prompts ausreichend, um zu sagen: „Okay, dieses Modell ist wahrscheinlich sicher genug für den Einsatz.“ Tatsächlich ist es ein stärkerer Beweis, wenn Sie 520 Tests durchführen und null Probleme sehen, als wenn Sie nur ein einziges Problem sehen. Es ist wie das Finden eines sauberen Raums: Wenn man erwartet, dass überall Keime sind, ist ein sauberer Raum eine riesige Überraschung und beweist, dass etwas funktioniert.

Das Paper zieht jedoch eine klare Linie im Sand für seltene Ereignisse. Wenn ein schädliches Verhalten extrem selten ist (sagen wir, weniger als 0,001 % der Zeit), sagt ein „sauberes Ergebnis“ (null Fehler), egal wie viele Prompts Sie versuchen, fast gar nichts aus. Die Mathematik zeigt, dass für diese seltenen, katastrophalen Risiken ein sauberer Testergebnis ein schwacher Beweis ist, weil der saubere Test einfach nur Glück sein könnte. In dieser Zone ist ein einzelner beobachteter Fehler tatsächlich informativer als ein sauberer Test. Das Paper berechnet, dass aktuelle öffentliche Benchmarks für diese seltenen Ereignisse „um Größenordnungen zu kurz“ sind – das heißt, sie sind tausende Male zu klein, um Sicherheit zu beweisen.

Die Autorin weist auch darauf hin, dass die Art und Weise, wie diese Tests aufgebaut sind, entscheidend ist. Wenn die Testfragen alle sehr ähnlich sind (wie die gleiche Frage in leicht variierten Worten zu stellen), ist es, als würde man nach einer Nadel im Heuhaufen suchen, aber nur eine Ecke des Raumes überprüfen. Das Paper legt nahe, dass aktuelle Tests oft clustern, was sie weniger effektiv macht, als sie auf dem Papier erscheinen. Darüber hinaus argumentiert das Paper gegen die Idee, dass wir einfach nur „mehr“ Tests brauchen. Stattdessen brauchen wir intelligentere Tests, die besser zwischen einem sicheren und einem unsicheren Modell unterscheiden können. Wenn ein Test ein schlechtes Modell in 90 % der Fälle austricksen kann, aber ein gutes Modell nur in 10 %, ist das ein mächtiges Werkzeug. Aber wenn er beide gleichermaßen austrickst, ist er nutzlos, egal wie oft man ihn durchführt.

Am Ende schlägt das Paper eine neue Regel vor, wie KI-Labore ihre Ergebnisse melden sollten. Anstatt nur zu sagen: „Wir haben 500 Tests durchgeführt und nichts Schlechtes gefunden“, sollten sie genau berichten, was ihr Test beweisen kann. Wenn die Schadensrate hoch ist, können sie Sicherheit beanspruchen. Wenn die Schadensrate niedrig und selten ist, sollten sie zugeben, dass ihr Test die Sicherheit nicht beweisen konnte und dass sie andere Arten von Beweisen benötigen. Das Paper sagt nicht, dass wir aufhören sollen zu testen; es sagt, wir sollten aufhören vorzugeben, dass unsere Tests Dinge beweisen können, die sie mathematisch nicht beweisen können. Es ist ein Aufruf zur Ehrlichkeit: Kennen Sie die Grenzen Ihrer Taschenlampe und behaupten Sie nicht, den ganzen Raum zu sehen, wenn Sie nur eine Ecke beleuchten.

Technische Zusammenfassung: Was KI-Red-Teaming-Evaluierungen beweisen können und nicht können

Problemstellung
Aktuelle Praktiken der KI-Sicherheit stützen sich stark auf Red-Teaming-Evaluierungen, bei denen kuratierte adversarielle Prompts verwendet werden, um Modelle auf schädliche Ausgaben zu testen. Diese Ergebnisse werden zunehmend als primäre empirische Grundlage für die regulatorische Aufsicht und Einsatzentscheidungen herangezogen. Eine wachsende Kritik legt jedoch nahe, dass die quantitativen Ausgaben dieser Benchmarks es an statistischer Präzision mangelt, sie nicht über semantisch äquivalente Prompts hinweg generalisieren können und keinen aussagekräftigen systemübergreifenden Vergleich ermöglichen. Während diese Kritiken valide sind, argumentiert das Paper gegen die Schlussfolgerung, dass Sicherheits-Benchmarks „wertlos“ seien. Das zentrale Problem besteht vielmehr darin, dass dem Feld ein formaler Rahmen fehlt, um zu bestimmen, welche spezifischen Propositionen eine gegebene Evaluierung unterstützen kann. Oh ohne diesen Rahmen neigen Labore dazu, die Sicherheit bei seltenen, katastrophalen Schäden zu überbewerten oder Benchmarks für hochfrequente Schäden unterzunutzen.

Methodik
Das Paper führt einen formalen statistischen Rahmen ein, um die „evidenzielle Decke“ (evidential ceiling) einer Evaluierung zu definieren. Diese Decke stellt den maximalen Faktor dar, um den ein einzelnes Ergebnis die Posterior-Wahrscheinlichkeiten zwischen zwei Hypothesen verschieben kann: $H_0$ (akzeptables Risiko) und $H_1$ (erhöhtes Risiko).

Ableitung der evidenziellen Decke: Die Autoren definieren die Decke für ein Nullresultat eines Benchmarks (keine beobachteten Schäden) in geschlossener Form. Unter Verwendung eines Likelihood-Ratio-Ansatzes leiten sie die maximale Evidenz ab, die ein „sauberes Blatt“ (clean sheet) angesichts eines festen Ressourcenbudgets ( $N_{max}$ ) und einer Schadensrate ( $p$ ) liefern kann.
Berechnung der Grenze: Das Paper leitet eine kritische Grenze $p_{min}$ $p_{min}$ her, die zwei Regime voneinander trennt:
- Oberhalb von $p_{min}$ : Ein Benchmark von praktikabler Größe kann eine Kategorie für einen festgelegten Evidenzstandard zertifizieren. In diesem Regime ist ein „sauberes Blatt“ die stärkere Evidenz im Vergleich zu einem einzelnen beobachteten Fehler.
- Unterhalb von $p_{min}$ : Kein passiver Benchmark von praktikabler Größe kann die spezifizierte Evidenz für Sicherheit liefern. In diesem Regime wiegt ein einzelner beobachteter Fehler schwerer als ein „sauberes Blatt“.
Generalisierung auf adaptive Elicitation: Das Framework wird über statische Benchmarks hinaus auf adaptives Red-Teaming ausgeweitet. Die Autoren ersetzen die rohe Schadensrate durch „hypothesenbedingte Elicitationsraten“ ( $q_1$ für $H_1$ und $q_0$ für $H_0$ ). Sie zeigen auf, dass der Wert der Evidenz durch die Diskriminierung zwischen diesen Raten ( $\kappa = |\log_2((1-q_1)/(1-q_0))|$ ) bestimmt wird, nicht bloß durch die Erfolgsrate des Angriffs.
Empirische Auditierung: Die Autoren auditieren acht weit verbreitete Evaluierungs-Suites (z. B. AdvBench, HarmBench, SafetyBench) gegen diese theoretischen Grenzen. Sie analysieren die statistische Power, die Wahrscheinlichkeiten für Fehlzertifizierungen und die distributional Validität (Vergleich der Benchmark-Prompts mit realen Nutzeranfragen aus LMSYS-Chat-1M).

Wesentliche Beiträge

Geschlossene Form der Grenze: Das Paper liefert einen berechenbaren Ausdruck für die Grenze zwischen zertifizierbaren und nicht-zertifizierbaren Schadensraten. Diese Grenze sinkt mit $1/n$ , was bedeutet, dass größere Benchmarks den Bereich zertifizierbarer Schäden erweitern, aber das fundamentale Limit für extrem seltene Ereignisse nicht überwinden können.
Umkehrung der Evidenzstärke: Die Autoren beweisen, dass die relative Evidenzstärke eines „sauberen Blattes“ gegenüber einem „einzelnen beobachteten Fehler“ nicht absolut ist. Oberhalb der Kreuzungsrate ( $p_\times$ ) ist ein sauberes Blatt die stärkere Evidenz; darunter ist ein einzelner Fehler die stärkere Evidenz. Dieser Kreuzungspunkt ist ebenfalls berechenbar.
Diskriminierung statt Erfolgsrate: Das Paper stellt fest, dass bei adaptivem oder automatisiertem Red-Teaming die Metrik des Wertes die Diskriminierung zwischen Elicitationsraten unter sicheren und unsicheren Hypothesen ist, nicht die rohe Angriffs-Erfolgsrate. Ein Verfahren, das gleichermaßen auf sichere wie auf unsichere Modelle anspricht, liefert Null-Evidenz.
Berichts-Template: Es wird ein Minimum-Reporting-Template vorgeschlagen (Tabelle 5), das Labore dazu verpflichtet, spezifische Parameter (z. B. effektive Stichprobengröße, Intra-Cluster-Korrelation, Elicitationsraten unter $H_0$ und $H_1$ ) zu veröffentlichen, um das Gewicht der evidenziellen Aussage eines Ergebnisses bewerten zu können.

Ergebnisse

Angemessenheit für hochfrequente Schäden: Für Schadenskategorien mit Raten um $10^{-2}$ (1 %) sind bestehende öffentliche Benchmarks (z. B. AdvBench mit $n=520$ ) angemessen, um Behauptungen über Verbesserungen der Sicherheit um eine Größenordnung zu stützen.
Unzulänglichkeit für seltene/katastrophale Schäden: Für seltene Kategorien (z. B. $p = 10^{-4}$ oder $10^{-5}$ ) reichen aktuelle Benchmarks um mehrere Größenordnungen nicht aus. Das Paper stellt fest, dass kein Benchmark von praktikabler Größe ( $N_{max} \approx 10^5$ ) die Abwesenheit von Schäden in diesen Raten zertifizieren kann.
Distributionale Lücke: Die empirische Analyse zeigt, dass Benchmark-Prompts messbar von gewöhnlichem Deployment-Traffic getrennt sind (3,1- bis 3,5-facher Überschuss in Distanzmetriken). Dies begrenzt zwar nicht die Distanz zu adversariellem Traffic, bestätigt aber, dass Benchmarks nicht die Verteilungen gewöhnlicher Nutzer repräsentieren.
Clustering-Effekte: Reale Benchmarks weisen Clustering auf (Prompts basierend auf Templates), was die effektive Stichprobengröße ( $n_{eff}$ ) reduziert und die zertifizierbare Grenze nach oben verschiebt, was die Nützlichkeit aktueller Suites für seltene Ereignisse weiter einschränkt.

Bedeutung und Ansprüche
Das Paper behauptet, dass Sicherheits-Benchmarks nicht informationslos sind, sondern Informationen über eine „spezifische und berechenbare Menge von Propositionen“ liefern. Die Bedeutung liegt im Wechsel der Disziplin: Weg von der Frage, ob Benchmarks funktionieren, hin zu der Definition, was sie beweisen können.

Die Autoren argumentieren, dass die Grenze zwischen dem, was bewiesen werden kann und was nicht, eine Frage der Berechnung ist, nicht der Expertenmeinung. Durch die Formalisierung dieser Grenze schlägt das Paper eine Disziplin vor, in der Labore bereits vor der Durchführung einer Evaluierung bestimmen können, ob ihr Design eine spezifische Zertifizierungsbehauptung unterstützt. Wenn eine Schadenskategorie unter der berechenbaren Grenze liegt, sollte das Feld aufhören, zu versuchen, diese mittels Nullresultat-Benchmarks zu zertifizieren, und statlich stattdessen auf Nicht-Benchmark-Evidenz zurückgreifen. Das Paper kommt zu dem Schluss, dass die aktuelle „Überreaktion“, die Benchmarks für wertlos erklärt, nicht korrekt ist; vielmehr sind Benchmarks präzise Instrumente mit einer berechenbaren Auflösung, die in Sicherheitsberichten explizit angegeben werden muss.

Mehr davon