CrypFormBench: Benchmarking Formal Analysis Capability of Large Language Models for Cryptographic Schemes
Dieses Paper führt CrypFormBench ein, einen umfassenden Benchmark bestehend aus 700 Instanzen über 677 kryptografische Schemata und 7 formale Verifikationssprachen, um die aktuellen Einschränkungen großer Sprachmodelle bei der Generierung und Korrektur formaler Sicherheitsbeweise zu bewerten und aufzuzeigen sowie praktische Strategien zur Verbesserung ihrer Leistung anzubieten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: Das „Übersetzer“-Problem
Stellen Sie sich vor, Sie sind ein Meisterarchitekt, der unglaublich sichere Tresore entwirft (kryptografische Schemata). Sie schreiben Ihre Baupläne in einfachem Englisch, damit jeder den Plan verstehen kann. Um diese Tresore jedoch tatsächlich zu bauen und auf Schwachstellen zu testen, müssen Sie diese englischen Baupläne in eine sehr strenge, alte und komplexe Sprache übersetzen, die nur spezielle, hochtechnologische Sicherheitsroboter (formale Verifizierungswerkzeuge wie Scyther oder Tamrin) verstehen.
Diese Übersetzung ist schwierig. Sie erfordert einen menschlichen Experten, der sowohl den Tresor-Entwurf als auch die strenge Sprache des Roboters beherrscht. Wenn Sie auch nur ein winziges Komma verpassen oder das falsche Wort verwenden, lehnt der Roboter den Bauplan ab, oder schlimmer noch: Er baut einen Tresor, der sicher aussieht, aber eine versteckte Hintertür besitzt.
Die Frage: Können Large Language Models (LLMs) – die KI-Chatbots, die wir heute nutzen – als diese Experten-Übersetzer fungieren? Können sie eine einfache englische Beschreibung eines Sicherheitsprotokolls nehmen und sofort den perfekten, fehlerfreien Code für die Sicherheitsroboter schreiben?
Die Antwort (laut dieser Arbeit): Noch nicht ganz. Sie werden besser im Lesen und Korrigieren, aber sie haben immer noch Schwierigkeiten, von Grund auf neu zu schreiben.
Die Lösung: CrypFormBench (Das „Fitnessstudio“ für die KI)
Um herauszufinden, wie gut diese KI-Übersetzer tatsächlich sind, haben die Forscher einen massiven Testplatz namens CrypFormBench (oder C.F.B.) gebaut.
Betrachten Sie dies als ein Fitnessstudio mit 700 verschiedenen Trainingsstationen.
- Die Ausrüstung: Sie haben 700 reale Sicherheitsprotokolle gesammelt (wie jene, die in Ihrem Telefon, beim Banking oder im Internet verwendet werden).
- Die Sprachen: Sie haben diese Protokolle in 7 verschiedene „Roboter-Sprachen“ übersetzt (formale Sprachen wie SPDL, HLPSL, EasyCrypt, etc.).
- Die Tests: Sie haben die KI nicht nur gebeten, Code zu schreiben. Sie haben fünf spezifische Fähigkeiten getestet:
- Interpretation: „Hier ist ein Roboter-Code; erkläre ihn mir auf Englisch.“ (Lesen)
- Generierung: „Hier ist eine englische Beschreibung; schreibe den Roboter-Code.“ (Von Grund auf schreiben)
- Vervollständigung: „Hier ist ein Roboter-Code mit Lücken; fülle die Lücken aus.“ (Teilarbeit vervollständigen)
- Transformation: „Hier ist der Code in Sprache A; schreibe ihn in Sprache B um.“ (Zwischen Robotern übersetzen)
- Korrektur: „Dieser Roboter-Code enthält einen Fehler; behebe ihn.“ (Debuggen)
Die Ergebnisse: Das Zeugnis der KI
Die Forscher haben 9 der klügsten verfügbaren KI-Modelle getestet (darunter GPT-4o, Claude-3.5 und DeepSeek). Hier ist, was sie herausgefunden haben:
1. Die Fähigkeit „Gut im Lesen“ (Interpretation & Vervollständigung)
- Analogie: Stellen Sie sich einen Schüler vor, der sehr gut ein Lehrbuch lesen kann und Lücken in einem Satz füllen kann, weil der Kontext bereits vorhanden ist.
- Ergebnis: Die KIs waren überraschend gut darin. Wenn ihnen ein Code-Schnipsel mit einigen fehlenden Teilen gegeben wurde oder sie gefragt wurden, was ein Stück Code bewirkt, schnitten sie sehr gut ab. Sie verstanden die „Grammatik“ der Sicherheitssprachen.
2. Die Fähigkeit „Schlecht im Schreiben“ (Generierung & Transformation)
- Analogie: Stellen Sie sich nun denselben Schüler vor, dem man sagt, er solle ein ganz neues Lehrbuch von Grund auf schreiben oder ein Buch von Französisch nach Japanisch übersetzen, ohne ein Wörterbuch zu benutzen. Er beginnt zu halluzinieren, erfindet Regeln oder vergisst die strenge Grammatik.
- Ergebnis: Hier versagten die KIs.
- Generierung: Wenn sie aufgefordert wurden, ein vollständiges Sicherheitsprotokoll basierend auf einer einfachen englischen Beschreibung zu schreiben, produzierten die meisten KIs Code, den die Roboter gar nicht erst ausführen konnten. Es war, als würde man einen Satz mit fehlerhafter Syntax schreiben.
- Transformation: Wenn sie aufgefordert wurden, Code von einer Roboter-Sprache in eine andere zu übersetzen, gerieten die KIs oft durcheinander. Sie vermischten die Regeln der beiden Sprachen und erzeugten einen „Frankenstein-Code“, der in keiner der beiden Sprachen funktionierte.
- Die Punktzahl: Selbst die beste KI (Claude-3.5) erreichte nur 48,7 von 100 Punkten. Das bedeutet, dass weniger als die Hälfte ihrer Versuche tatsächlich von den Sicherheitswerkzeugen nutzbar waren.
3. Die Fähigkeit „Korrigieren“ (Korrektur)
- Analogie: Wenn man dem Schüler einen Satz mit einem offensichtlichen Tippfehler gibt (z. B. „recieve“ statt „receive“), kann er ihn leicht korrigieren. Aber wenn der Satz grammatikalisch korrekt, aber logisch falsch ist (z. B. „Der Tresor ist für jeden offen, aber er ist sicher“), hat er Schwierigkeiten, den Logikfehler zu finden.
- Ergebnis: Die KIs waren gut darin, einfache Syntaxfehler (Tippfehler) zu beheben. Sie hatten jedoch Schwierigkeiten mit „semantischen“ Fehlern – also der Korrektur der Logik des Sicherheitsprotokolls selbst.
Warum ist das so schwer?
Die Arbeit erklärt, dass diese „Roboter-Sprachen“ nicht wie Python oder Java sind. Sie sind extrem streng.
- Die „Ein-Fehler-Regel“: Beim normalen Programmieren kann es sein, dass der Computer nur meckert, wenn man ein Semikolon vergisst. In diesen Sicherheitssprachen kann ein einziges fehlendes Wort die gesamte Bedeutung des Sicherheitsbeweises verändern, was einen sicheren Tresor entweder sicher oder unsicher erscheinen lässt (oder umgekehrt).
- Das „Kontext-Problem“: Diese Protokolle hängen oft von langen Ereignisketten ab (z. B. „Wenn Alice eine Nachricht in Schritt 1 sendet, muss Bob in Schritt 2 antworten, aber nur, wenn er nicht bereits eine Nachricht aus Schritt 0 gesehen hat“). KIs verlieren oft den Faden bei diesen langen Ketten.
Was können wir tun? (Die „Stützräder“)
Die Arbeit legt nahe, dass wir uns zwar noch nicht allein auf KIs verlassen können, sie aber als Assistenten nutzen können, wenn wir ihnen die richtige Hilfe geben:
- Few-Shot Prompting: Anstatt nur zu sagen „Schreibe das“, zeigen Sie der KI zuerst drei Beispiele, wie man es schreibt. Das wirkt wie ein Spickzettel.
- Pass@K: Bitten Sie die KI, den Code fünfmal zu schreiben, und wählen Sie dann den besten aus. Dies erhöht die Chancen auf eine funktionierende Version.
- Human-in-the-Loop: Nutzen Sie die KI, um den Code zu entwerfen, aber lassen Sie einen menschlichen Experten prüfen, bevor der Sicherheitsroboter ihn ausführt.
Das Fazsit
Die Arbeit kommt zu dem Schluss, dass Large Language Models derzeit hervorragende Forschungsassistenten für das Verständnis und die Korrektur von Sicherheitscode sind, aber noch keine zuverlässigen Architekten, die neue Sicherheitsprotokolle von Grund auf erstellen können.
Sie können Ihnen helfen, das Handbuch zu lesen und Ihre Tippfehler zu korrigieren, aber Sie benötigen immer noch einen menschlichen Experten, um sicherzustellen, dass der Tresor tatsächlich sicher ist, bevor Sie die Schlüssel übergeben. Der Benchmark (CrypFormBench) steht nun anderen Forschern zur Verfügung, um neue KI-Modelle gegen diese strengen Standards zu testen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.