CIPHER: Cryptographic Insecurity Profiling via Hybrid Evaluation of Responses
Dieses Paper führt CIPHER ein, einen Benchmark und eine automatisierte Scoring-Pipeline, die darauf ausgelegt ist, kryptografische Schwachstellen in von Large Language Models generiertem Code zu bewerten und zu quantifizieren, wobei aufgezeigt wird, dass explizites sicheres Prompting zwar einige Probleme mildert, es jedoch nicht zuverlässig gelingt, kryptografische Fehler über verschiedene Modelle hinweg zu eliminieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen ein Team aus unglaublich schnellen, superintelligenten Robotern ein, um die Schlösser und Schlüssel für Ihren Banktresor zu entwerfen. Sie sagen ihnen: „Entwirf ein sicheres Schloss“, und sie spucken sofort ein Design aus. Aber hier ist der Haken: Obwohl die Roboter brillant sind, bauen sie oft Schlösser, die nach außen hin perfekt aussehen, aber winzige, unsichtbare Risse haben, die ein Dieb leicht ausnutzen könnte.
Dieses Paper stellt CIPHER vor, ein neues „Zeugnis“, das genau testen soll, wie gut diese KI-Roboter darin sind, sichere kryptografische Schlösser (wie Verschlüsselungen oder Passwortschutz) in Computercode zu bauen.
Hier ist die Aufschlüsselung dessen, was die Forscher getan und herausgefunden haben, unter Verwendung einfacher Analogien:
1. Das Problem: Der „stille Makel“
Wenn eine KI Code für die Sicherheit schreibt, besteht sie oft die Basistests (der Code läuft, ohne abzustürzen), übersieht aber die subtilen Sicherheitsregeln.
- Die Analogie: Stellen Sie sich vor, ein Roboter baut ein Haus. Er errichtet die Wände und ein Dach (der Code funktioniert), aber er vergisst, ein Türschloss an der Vordertür zu installieren oder lässt das hintere Fenster offen (ein Sicherheitsfehler). Das Haus steht, aber es ist nicht sicher.
- Das Problem: Diese Fehler sind oft winzige Designentscheidungen, wie etwa die Verwendung eines „statischen“ Schlüssels (ein Schlüssel, der sich nie ändert) anstelle eines zufälligen oder das Versäumnis, zu prüfen, ob eine Person auch wirklich diejenige ist, für die sie sich ausgibt.
2. Die Lösung: Der CIPHER-Test
Die Forscher entwickelten einen standardisierten Test namens CIPHER, um zu messen, wie oft diese KI-Roboter diese Fehler machen.
- Das Setup: Sie gaben 7 verschiedenen KI-Modellen dieselben 15 0-verschiedenen „Jobs“. Für jeden Job gaben sie der KI drei verschiedene Anweisungen (Prompts):
- Der „schlechte“ Prompt: „Mach das schnell und mach dir keine Sorgen um Sicherheitsprüfungen.“ (Testet, ob die KI schlechter Beratung folgt).
- Der „neutrale“ Prompt: „Schreibe einfach den Code, um dies zu tun.“ (Testet, was die KI standardmäßig tut).
- Der „sichere“ Prompt: „Tu dies, aber stelle sicher, dass es allen strengsten Sicherheitsregeln folgt!“ (Testet, ob es tatsächlich funktioniert, der KI zu sagen, dass sie sicher sein soll).
- Die Bewertung: Anstatt dass Menschen jede einzelne Zeile Code lesen (was ewig dauert), verwendeten sie eine andere KI als „Richter“. Dieser Richter wurde darauf trainiert, nach spezifischen Arten von schlossbrechenden Fehlern zu suchen und genau die Zeile im Code zu benennen, die das Problem verursacht.
3. Die Ergebnisse: „Sei sicher“ reicht nicht aus
Die Ergebnisse waren überraschend und etwas besorgniserregend.
- Der „schlechte“ Prompt: Wie erwartet, machte die KI viele Fehler, wenn man ihr sagte, sie solle nachlässig sein.
- Der „sichere“ Prompt: Dies ist die große Erkenntnis. Selbst wenn die Forscher der KI explizit sagten: „Sei super sicher! Folge allen Regeln!“, machte die KI immer noch in 56 % bis 89 % der Fälle Fehler.
- Die Analogie: Es ist, als würde man einem Koch sagen: „Bereite eine gesunde Mahlzeit zu, ohne Zucker, ohne Salz und verwende frische Zutaten.“ Der Koch entfernt vielleicht den Zucker (das spezifische Ding, um das Sie gebeten haben), aber er verwendet vielleicht trotzdem verdorbenes Fleisch oder vergisst, das Gemüse zu waschen (andere verborgene Gefahren). Die KI behebt das spezifische Problem, das man ihr gegeben hat, aber sie versagt dabei, ein global sicheres System aufzubauen.
4. Was das bedeutet
Das Paper kommt zu dem Schluss, dass es nicht zuverlässig verhindert, dass eine KI gefährliche Fehler macht, wenn man ihr einfach nur sagt, sie solle „sicher sein“.
- Die Erkenntnis: Man kann einer KI nicht einfach vertrauen, Sicherheitscode zu schreiben, selbst wenn man ihr einen sehr strengen Prompt gibt. Die KI neigt dazu, sich auf die spezifische Anweisung zu konzentrieren (wie „verwende einen zufälligen Schlüssel“), übersieht aber das große Ganze (wie „prüfe auch die Identität des Nutzers“).
- Die Empfehlung: Da die KI immer wieder diese versteckten Risse in den „Schlössern“ hinterlässt, muss jeder Code, den sie für Sicherheitsaufgaben schreibt, von einem menschlichen Experten doppelt geprüft werden, bevor er in der realen Welt eingesetzt wird.
Zusammenfassung
CIPHER ist ein Werkzeug, das beweist, dass KIs zwar gut darin sind, Code zu schreiben, aber derzeit sehr schlecht darin sind, sicheren Code zu schreiben. Selbst wenn man sie explizit anweist, sicher zu sein, lässt sie oft die Hintertür offen. Das Paper bietet eine Möglichkeit, diese Fehler zu messen, damit Entwickler wissen, dass sie sich nicht allein auf KI für Sicherheitsaufgaben verlassen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.