LLM-Safety Evaluations Lack Robustness
Dieser Beitrag argumentiert, dass die aktuelle Forschung zur Sicherheit von Large Language Models durch erhebliches Rauschen und Inkonsistenzen im Evaluierungsprozess behindert wird, und schlägt systematische Leitlinien vor, um die Robustheit, Fairness und Vergleichbarkeit zukünftiger Bewertungen von Angriffen und Verteidigungsmaßnahmen zu verbessern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen zu beurteilen, welcher von zwei neuen Sicherheitswächtern besser darin ist, Eindringlinge abzuwehren. Sie richten einen Test ein, bei dem Sie eine Reihe von „trickreichen Fragen" an die Wächter senden, um zu sehen, ob sie versehentlich einen Bösewicht hereinlassen.
Dieses Papier argumentiert, dass die derzeitige Art und Weise, wie wir Large Language Models (LLMs) auf Sicherheit testen, wie die Verwendung eines kaputten, inkonsistenten und schlecht gestalteten Tests für diese Sicherheitswächter ist. Weil der Test selbst fehlerhaft ist, können wir nicht wirklich sagen, wer der bessere Wächter ist, und Fortschritte bei der Sicherung von KI geraten ins Stocken.
Hier ist eine Aufschlüsselung der Hauptpunkte des Papiers unter Verwendung einfacher Analogien:
1. Die Testfragen sind zu klein und repetitiv (Datensätze)
Stellen Sie sich vor, Sie testen die Fähigkeit eines Wächters, einen Dieb zu erkennen. Anstatt ihm 1.000 verschiedene Arten von Dieben zu zeigen, zeigen Sie ihm nur 50 Bilder, und 40 davon sehen exakt gleich aus.
- Das Problem: Das Papier besagt, dass aktuelle Sicherheitstests sehr kleine Listen von „schlechten Prompts" verwenden (oft nur 100–500). Weil die Liste so klein ist, sind die Ergebnisse voller „Rauschen" (zufälliges Glück). Wenn Sie denselben Wächter an einer leicht anderen Liste von 50 Bildern testen, kann sich die Punktzahl wild ändern, was es unmöglich macht zu wissen, ob sie tatsächlich sicher sind.
- Das Problem der „Substichprobe": Manchmal nehmen Forscher eine riesige Liste von Fragen, wählen aber nur eine winzige, zufällige Handvoll aus, um sie zu testen. Es ist wie ein Lehrer, der einen Schüler anhand von nur drei Fragen aus einer 100-Fragen-Prüfung benotet. Dies macht es schwierig, verschiedene Schüler fair zu vergleichen, weil jeder eine andere, winzige Version des Tests absolviert.
- Die „nur-Englisch"-Blindstelle: Die meisten Tests sind nur auf Englisch. Aber wenn ein Wächter nur Englisch spricht, könnte er bei einem Test auf Spanisch versagen. Das Papier stellt fest, dass Sicherheitswissen oft von der Sprache abhängt, sodass das Testen nur auf Englisch ein falsches Sicherheitsgefühl vermittelt.
2. Die Spielregeln sind verwirrend (Algorithmen)
Stellen Sie sich vor, zwei Wächter werden getestet, aber einer darf eine Taschenlampe verwenden, während der andere gezwungen ist, im Dunkeln zu arbeiten. Oder: Ein Wächter wird mit einer Stoppuhr getestet, die schnell läuft, und der andere mit einer, die langsam läuft.
- Versteckte Einstellungen: Das Papier weist darauf hin, dass winzige, unsichtbare Details bei der Durchführung der Tests die Ergebnisse drastisch verändern. Zum Beispiel kann die Art und Weise, wie der Computer „Leerzeichen" zwischen Wörtern verarbeitet oder welche Art von „Chat-Vorlage" verwendet wird, die Erfolgsrate eines Wächters um 14 % oder mehr verändern.
- Die „Ziel"-Falle: Viele Angriffe versuchen, die KI dazu zu zwingen, einen bestimmten Satz wie „Sicher, hier ist wie..." zu sagen, um zu beweisen, dass sie gebrochen wurde. Aber wenn die KI darauf trainiert ist, stattdessen „Natürlich!" zu sagen, schlägt der Angriff fehl, nicht weil die KI sicher ist, sondern weil der Angreifer den falschen „Schlüssel" verwendete. Dies lässt die KI sicherer erscheinen, als sie wirklich ist.
- Ungerechte Vergleiche: Einige Forscher testen ihre Angriffsmethode mit unbegrenzter Rechenleistung, während andere mit sehr wenig testen. Sie zu vergleichen, ist wie der Vergleich eines professionellen Athleten, der ein Rennen läuft, mit einem Sprinter, der einen Vorsprung hat.
3. Die Richter sind voreingenommen und inkonsistent (Auswertung)
Nachdem der Wächter die trickreichen Fragen beantwortet hat, muss ein „Richter" entscheiden: „Haben sie versagt?"
- Die fragmentierte Jury: Es gibt kein einziges „Oberstes Gericht" für KIsicherheit. Einige Forscher verwenden eine KI, um die Antworten zu bewerten, andere eine andere KI, und einige verwenden Menschen. Diese „Richter" stimmen oft nicht miteinander überein. Ein Richter könnte sagen, eine Antwort sei sicher, während ein anderer sagt, sie sei gefährlich, selbst bei exakt derselben Antwort.
- Der „Gierige"-Fehler: Die meisten Tests zwingen die KI, die single wahrscheinlichste Antwort zu geben (wie ein Roboter, der immer das erste Ding wählt, das ihm in den Sinn kommt). Aber in der realen Welt ist die KI wie ein Mensch, der je nach Stimmung oder wie oft man fragt, verschiedene Dinge sagen könnte. Indem wir nur die „wahrscheinlichste" Antwort testen, verpassen wir die Momente, in denen die KI versehentlich etwas Gefährliches sagt, wenn sie „anders denkt".
- Die „Über-Verweigerung"-Blindstelle: Ein sicherer Wächter sollte nicht nur Bösewichte stoppen; er sollte auch keine „guten" Leute aufhalten. Wenn ein Wächter einen harmlosen Menschen nicht hereinlässt, weil er verdächtig aussieht, ist das ein Problem namens „Über-Verweigerung". Das Papier besagt, dass die meisten Tests dies ignorieren. Sie prüfen nur, ob der Wächter Bösewichte stoppt, nicht ob er mit guten Leuten zu grimmig ist.
Die „Gegenansicht" (Warum die Dinge so sind, wie sie sind)
Das Papier hört auch die andere Seite an. Einige Forscher argumentieren:
- Kleine Tests sind billiger: Große Tests kosten viel Geld und Zeit. Kleine Tests ermöglichen es Forschern, schnell neue Ideen auszuprobieren.
- Perfektion ist unmöglich: Sprache ist chaotisch. Wir werden niemals einen perfekten „Richter" haben, der jede Nuance menschlicher Konversation versteht. Wir müssen einfach die besten Werkzeuge, die wir haben, weiter verbessern.
- Fortschritt passiert trotzdem: Selbst mit chaotischen Tests bewegt sich das Feld vorwärts. Neue Ideen werden gefunden, auch wenn die Punktzahl nicht perfekt ist.
Die Lösung: Ein besseres Regelbuch
Die Autoren sagen nicht, dass wir mit dem Testen aufhören sollten. Sie sagen, wir müssen das Regelbuch reparieren, damit alle nach denselben Regeln spielen. Sie schlagen vor:
- Größere, bessere Fragenlisten verwenden, damit die Ergebnisse nicht nur Glück sind.
- Die Einstellungen standardisieren, damit jeder dieselbe „Taschenlampe" und denselben „Stoppuhr" verwendet.
- Mehrere Richter verwenden und die Ergebnisse von Menschen überprüfen lassen, um Voreingenommenheit zu erkennen.
- Beide Seiten testen: Prüfen, ob die KI Bösewichte stoppt und ob sie gute Leute hereinlässt.
Kurz gesagt: Das Papier behauptet, dass wir derzeit versuchen, zu messen, wie sicher KI ist, mit einem Lineal, das ständig seine eigene Länge ändert. Bis wir das Lineal reparieren, können wir nicht sicher sein, ob wir tatsächlich Fortschritte machen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.