CryptanalysisBench: Can LLMs do Cryptanalysis?
Dieses Paper führt CryptanalysisBench ein, einen umfassenden Benchmark aus 191 kryptografischen Aufgaben über sechs Primitive-Familien hinweg, der demonstriert, dass Frontier-Large-Language-Models nicht nur bekannte Angriffe auf etablierte Schemata replizieren, sondern auch neuartige Schwachstellen sowohl in verkleinerten als auch in produktionsreifen kryptografischen Primitiven entdecken können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die digitale Welt als eine riesige, geschäftige Stadt vor, in der jede Bank, jede Nachricht und jedes Geheimnis in einem Tresor eingeschlossen ist. Die Schlüssel zu diesen Tresoren bestehen nicht aus Metall, sondern aus komplexen mathematischen Rezepten, den sogenannten „kryptographischen Primitiven“. Jahrzehntelang konnte nur eine winzige Gruppe von menschlichen Experten – wie erfahrene Schlossermeister mit Doktortiteln in Mathematik – diese Schlösser testen, um zu sehen, ob sie wirklich unknackbar sind. Wenn ein Schloss eine Schwachstelle hat, wird jedes einzelne Tresor, das dieses Schloss verwendet, unsicher, was potenziell Geheimnisse aus der Vergangenheit und der Zukunft preisgeben kann. Dies ist das hochriskante Spiel der Kryptanalyse: die Kunst, die Schwachstellen in diesen mathematischen Schlössern zu finden, bevor es die Bösewichte tun.
Kürzlich ist eine neue Art von „Lehrlings-Schlossermeister“ eingetroffen: Large Language Models (LLMs). Dies sind die superintelligenten KI-Chatbots, die Code schreiben, Rätsel lösen und über fast alles plaudern können. Die große Frage, die über der Stadt schwebt, ist: Können diese KI-Lehrlinge die menschlichen Meister tatsächlich überlisten? Können sie sich ein komplexes mathematisches Schloss ansehen, herausfinden, wie man es knackt, und es aufbrechen, ohne dass ein Mensch ihnen die Hand halten muss? Dies ist nicht nur ein Spiel; es ist ein Wettlauf, um zu sehen, ob unser digitales Sicherheitsnetz gerade ein ernsthaftes Upgrade erhält oder ein erschreckendes Loch bekommt.
Der große Schlossknacker-Wettbewerb: CryptanalysisBench
In dieser Arbeit beschlossen Forscher eines Teams aus Spitzenuniversitäten und Technologie-Laboren, diese KI-Lehrlinge einem ultimativen Test zu unterziehen. Sie bauten einen riesigen Trainingsplatz namens CryptanalysisBench. Stellen Sie sich das wie einen massiven Hindernisparcours mit 191 verschiedenen Arten von Schlössern vor. Einige dieser Schlösser sind alt und bereits als gebrochen bekannt (wie eine Tür mit einem lockeren Scharnier), während andere brandneu, glänzend und von Menschen derzeit als „unknackbar“ angesehen werden.
Die Forscher luden fünf der klügsten KI-Modelle der Welt (einschließlich Versionen von Claude, GPT und GLM) ein, um zu versuchen, diese Schlösser zu knacken. Die Regeln waren streng: Die KI musste ein Computerprogramm schreiben, das den Code tatsächlich knacken konnte, und nicht nur die Antwort erraten. Wenn das Skript funktionierte, gewann die KI die Runde.
Das Ergebnis: Die KI ist bereits gut in den Grundlagen
Die Ergebnisse waren überraschend. Als die KI mit den „leichten“ Schlössern konfrontiert wurde – denen, von denen Menschen bereits wussten, wie man sie knackt – waren die Modelle unglaublich erfolgreich. Je nach Modell gelang es ihnen, zwischen 65 % und 86 % dieser bekannten Schlösser zu knacken.
Aber das ist der wirklich coole Teil: Die KI hat nicht einfach die Antworten aus einem Lehrbuch kopiert. In vielen Fällen betrachteten die Modelle den Code von Grund auf, fanden die Schwachstelle eigenständig heraus und schrieben ein funktionierendes Angriffsskript. Es ist, als würde man einem Schüler ein kaputtes Spielzeug geben und ihn bitten, es zu reparieren; anstatt im Handbuch nachzuschlagen, fand er das defekte Zahnrad allein durch das Betrachten des Spielzeugs heraus.
Die neuen Entdeckungen: KI findet Schwachstellen, die Menschen übersahen
Die spannendste Entdeckung geschah, als die KI die Schlösser in Angriff nahm, von denen Menschen dachten, sie seien sicher. Die Forscher fanden heraus, dass die KI-Modelle neue Wege fanden, um einige dieser Systeme zu brechen.
- Der SpoC-Fall: Zwei verschiedene KI-Modelle fanden unabhängig voneinander einen Weg, ein Schloss namens „SpoC“ zu knacken, von dem niemand wusste, dass es gebrochen war. Sie erkannten, dass das Schloss seine Sicherheitsprüfung vergaß, wenn man eine bestimmte Art von leerer Nachricht sendete. Durch das Senden von zwei cleveren Nachrichten konnte die KI den geheimen Schlüssel stehlen. Dies war ein echter „Heureka!“-Moment, der ohne jegliche menschliche Hilfe geschah.
- Der KINDI-Fall: Ein anderes Modell fand einen Fehler im offiziellen „Sicherheitsbeweis“ eines Systems namens KINDI. Die Designer hatten eine Regel aufgestellt: „Dies ist sicher, weil nur ein einziger Schlüssel zu diesem Schloss passt.“ Die KI bewies sie vom Gegenteiligen und zeigte, dass man das Schloss tatsächlich dazu bringen kann, viele verschiedene Schlüssel zu akzeptieren. Die KI nutzte diesen Trick dann, um den geheimen Schlüssel zu stehlen. Die Forscher merkten jedoch an, dass dies kein versehentliches Versäumnis der Designer war, sondern tatsächlich eine bewusste Designentscheidung war, um das System effizienter zu machen, obwohl sie eine Schwachstelle einführte, die die KI erfolgreich ausnutzte.
Wo die KI Schwierigkeiten hat
Die KI ist noch kein Zauberstab. Als die Forscher den Modellen die „schweren“ Schlösser gaben – jene, die derzeit zur Sicherung von realen Daten verwendet werden und von Menschen noch nicht geknackt wurden – sank die Erfolgsquote erheblich. Die Modelle konnten oft die Idee eines Angriffs erkennen, scheiterten aber daran, den fertigen Code zu schreiben, um ihn zum Laufen zu bringen. Es ist, als wüsste die KI, dass die Tür unverschlossen ist, könne aber nicht ganz herausfinden, wie sie sie aufdrücken kann, bevor die Zeit abläuft.
Die Forscher stellten jedoch fest, dass die KI viel besser wurde, wenn man ihr mehr Zeit gab (Erhöhung des Limits von 2 auf 16 Stunden). Sie schafften es, sogar noch mehr der schwierigen Schlösser zu knacken, einschließlich einiger, die sehr komplexe, schwere Mathematik erforderten. Dies deutet darauf hin, dass die Hauptbeschränkung der KI derzeit nicht ein Mangel an Intelligenz ist, sondern ein Mangel an Zeit, um den Job zu beenden.
Das Fazit
Das Paper kommt zu dem Schluss, dass KI bereits ein ernstzunehmender Akteur in der Welt der Kryptographie ist. Sie kann Schwachstellen in Designs finden, die jahrelang von menschlichen Experten geprüft wurden. Die Forscher fanden jedoch auch, dass eine signifikante Anzahl der von der KI gefundenen „Brüche“ tatsächlich Fehler im Referenzcode (der vom Designteam bereitgestellten Beispielimplementierung) waren und nicht grundlegende Schwachstellen im mathematischen Design selbst. Während die KI also Risse im Code findet, beginnt sie auch, Risse im Design zu finden, die selbst die Meister übersehen haben.
Obwohl sie die schwierigsten, realen Schlösser noch nicht vollständig beherrscht, bewegt sie sich schnell. Die Forscher veröffentlichten ihren Benchmark als Werkzeug, um diesen Wettlauf genau zu beobachten. Sie wollen verfolgen, wann genau die KI stark genug sein könnte, um die Schlösser zu knacken, die unser digitales Leben schützen, damit wir sie reparieren können, bevor die KI es tut.
Kurz gesagt: Die KI-Lehrlinge schauen nicht mehr nur den Meistern zu; sie beginnen, die Schlösser selbst zu knacken, und sie finden Risse, die selbst die Meister übersehen haben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.