How Should AI Safety Benchmarks Benchmark Safety?
Dieses Paper untersucht 210 KI-Sicherheits-Benchmarks, um deren technische und epistemische Unzulänglichkeiten zu identifizieren, und schlägt eine Roadmap vor, die auf etablierten Risikomanagement- und Mess-Theorien basiert, um validere, robustere und verantwortungsvollere Sicherheitsbewertungsrahmenwerke zu entwickeln.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Lehrer, der versucht, eine neue Generation superintelligenter Roboter zu bewerten. Sie wollen wissen, ob sie sicher genug sind, um in die Welt entlassen zu werden, oder ob sie versehentlich (oder absichtlich) Unwesen anstellen könnten. Um dies zu testen, geben Sie ihnen eine Reihe von Tests, vergleichbar mit einer Führerscheinprüfung für KI. In der Welt der Informatik werden diese Tests als „Benchmarks“ bezeichnet. Betrachten Sie einen Benchmark als einen standardisierten Hindernisparcours: Wenn ein Roboter die Hürden überspringt, die Rätsel löst und die Fallen vermeidet, gehen wir davon aus, dass er bereit für die reale Welt ist. Aber hier liegt der Haken: Nur weil ein Roboter großartig darin ist, die spezifischen Hürden zu überspringen, die Sie gebaut haben, heißt das nicht, dass er nicht über eine Bananenschale stolpern wird, die Sie nicht auf den Parcours gesetzt haben, oder dass er nicht beschließt, ein Feuer zu legen, nur weil ihm langweilig ist. Dieses Paper taucht ein in die unordentliche, komplizierte Welt der KI-Sicherheitsprüfung und argumentiert, dass unsere derzeitigen „Hindernisparcours“ oft zu einfach, zu starr und manchmal völlig am eigentlichen Wesen der Gefahr vorbeigehen.
Die Autoren dieses Papers, ein Team von Forschern von Universitäten wie der Technischen Universität München und der Cornell University, haben sich entschieden, einen massiven Blick auf den Stand der KI-Sicherheitstests zu werfen. Sie haben nicht nur einen Blick auf ein paar Tests geworfen; sie haben 210 verschiedene Sicherheits-Benchmarks überprüft, die Forscher entwickelt haben. Sie wollten sehen, ob diese Tests tatsächlich einen guten Job dabei machen, uns sicher zu halten, oder ob sie uns nur ein falsches Gefühl der Sicherheit vermitteln.
Hier ist das große Problem, das sie fanden: Die meisten dieser Tests schauen auf die falschen Dinge. Sie entdeckten, dass 81 % der Benchmarks nur nach Risiken suchen, die wir bereits kennen und die wir schon einmal gesehen haben, wie etwa „toxische“ Sprache oder einfache Tricks, um die KI dazu zu bringen, ihre Regeln zu brechen (sogenannte „Jailbreaks“). Es ist, als würde man ein Auto nur auf einer glatten, geraden Strecke testen und davon ausgehen, dass es eine schlammige Bergstraße problemlos bewältigt. Die Tests ignorieren die seltsamen, unvorhersehbaren und völlig neuen Arten, wie KI Probleme verursachen könnte, was die Autoren als „unbekannte Unbekannte“ (unknown unknowns) bezeichnen.
Darüber hinaus ist die Art und Weise, wie diese Tests Sicherheit messen, oft mathematisch fragwürdig. Das Paper weist darauf an, dass 79 % der Benchmarks Sicherheit als einfachen „Bestanden oder Nicht Bestanden“-Schalter behandeln. Sie zählen, wie oft eine KI eine schlechte Anfrage abgelehnt hat, und nennen das einen „Sicherheitswert“. Aber die Autoren argumentieren, dass dies irreführend ist. Nur weil eine KI eine Anfrage in 90 % der Fälle ablehnt, bedeutet das nicht, dass sie in der realen Welt zu 90 % sicher ist. Es ist, als würde man sagen, eine Brücke sei sicher, weil sie unter einer leichten Brise standhielt, ohne zu prüfen, ob sie auch einem Hurrikan standhalten kann. Die Tests ignorieren oft, wie schwerwiegend der Schaden wäre, wenn die KI versagen würde, und sie berücksichtigen nicht, wie oft Menschen im wirklichen Leben tatsächlich nach diesen gefährlichen Dingen fragen.
Die Forscher stellten auch fest, dass die Verbindung zwischen dem Test und der Realität oft unterbrochen ist. Sie nennen dies eine „Proxy-Kette“ (proxy chain). Stellen Sie sich vor, Sie möchten wissen, ob ein Student ein guter Autofahrer ist, und testen ihn darauf, wie gut er ein Auto in einem Simulator parken kann. Das ist ein Proxy. Aber wenn der Simulator nicht berücksichtigt, dass es regnet, oder dass andere Fahrer unterwegs sind, oder dass der Student durch sein Handy abgelenkt wird, sagt das Testergebnis Ihnen nicht, ob er tatsächlich sicher auf der Autobahn unterwegs ist. Das Paper argumentiert, dass viele KI-Sicherheitstests genau wie dieser Simulator sind: Sie messen Dinge wie „Ablehnungsraten“ oder „Schlagwortabgleich“, aber diese Zahlen lassen sich nicht immer in realen Schaden übersetzen.
Was schlagen die Autoren stattdessen vor? Sie schlagen eine neue Roadmap mit 10 Empfehlungen vor, um diese kaputten Tests zu reparieren.
Erstens sagen sie, dass wir aufhören müssen, nur das zu testen, was wir bereits wissen. Wir müssen Tests bauen, die aktiv nach neuen, seltsamen und unerwarteten Wegen suchen, wie eine KI scheitern könnte. Sie schlagen vor, Werkzeuge einzusetzen, die ständig versuchen, die KI auf neue Weise zu „brechen“, anstatt sich nur an eine feste Liste von Fragen zu halten.
Zweitens müssen wir bessere Mathematik betreiben. Anstatt nur „Bestanden“ oder „Nicht Bestanden“ zu sagen, sollten wir das tatsächliche Risiko berechnen. Das bedeutet zu fragen: „Wie wahrscheinlich ist es, dass dieses schlechte Ereignis eintritt?“ und „Wie schlimm wäre es, wenn es einträfe?“ Die Autoren schlagen eine Methode namens „Probabilistische Risikoanalyse“ vor, die in Bereichen wie der Kernkraft oder der Luftfahrt verwendet wird. Sie zeigen sogar eine Berechnung auf, bei der ein Modell in einem Test sicher erscheinen mag, aber wenn man berücksichtigt, wie viele Menschen es nutzen und wie oft sie nach gefährlichen Dingen fragen, ist das reale Risiko viel höher.
Drittens müssen wir sicherstellen, dass unsere Tests tatsächlich das messen, was sie zu messen vorgeben. Das bedeutet, sehr klar zu definieren, was „Sicherheit“ in einer spezifischen Situation bedeutet, und sicherzustellen, dass der Test die reale Welt widerspiegelt und nicht nur ein sauberes, künstliches Labor. Sie argumentieren auch, dass wir die Menschen einbeziehen müssen, die von der KI betroffen sein könnten – wie Teenager, Patienten oder Gemeinschaften –, um bei der Gestaltung der Tests zu helfen, da diese am besten wissen, welche Art von Schaden sich für sie real anfühlt.
Um zu beweisen, dass ihre Ideen funktionieren, haben die Teams einen kleinen Beispieltest entwickelt, der sich darauf konzentriert, wie KIs mit Teenagern über psychische Gesundheit sprechen. Sie haben nicht nur die KI gefragt, ob sie die Regeln kennt; sie haben reale Gespräche simuliert und den potenziellen Schaden basierend auf der Anzahl der Teenager berechnet, die solche Tools tatsächlich nutzen. Die Ergebnisse zeigten, dass selbst Modelle, die in Standardtests als „sicher“ galten, dennoch erhebliche Probleme verursachen könnten, wenn man die realen Zahlen betrachtet.
Am Ende sagt das Paper nicht, dass die KI zum Untergang verurteilt ist oder dass wir sie nicht testen können. Es sagt, dass unsere derzeitigen Testmethoden so sind, als würde man ein Lineal benutzen, um die Temperatur einer Suppe zu messen – es sind die falschen Werkzeuge für den Job. Um KI wirklich sicher zu machen, müssen wir aufhören, Sicherheit als eine einfache Checkliste zu behandeln, und anfangen, sie als ein komplexes, lebendiges System zu betrachten, das sich verändert, uns überrascht und das erfordert, dass wir über die reale Welt nachdenken und nicht nur über das Reagenzglas. Die Autoren schlagen vor, dass wir durch die Einführung dieser neuen, strengeren und menschenzentrierteren Wege der Prüfung eine KI bauen können, die nicht nur intelligent, sondern wirklich sicher für alle ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.