CryptanalysisBench: Can LLMs do Cryptanalysis?
本論文は、6つのプリミティブ・ファミリーにわたる191の暗号学的タスクからなる包括的なベンチマークであるCryptanalysisBenchを紹介するものであり、最先端の大型言語モデルが、確立されたスキームに対する既知の攻撃を再現できるだけでなく、スケールダウンされたものおよびプロダクションレベルの両方の暗号プリミティブにおける新たな脆弱性を発見できることも示している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
デジタル世界を、銀行、メッセージ、そして秘密がすべて金庫の中に閉じ込められた、巨大で賑やかな都市だと想像してみてください。これらの金庫の鍵は金属でできているのではなく、「暗号プリミティブ」と呼ばれる複雑な数学的レシピで作られています。何十年もの間、これらの鍵が本当に破られないものであるかをテストできたのは、数学の博士号を持つ熟練の鍵職人のような、ごく少数の人間の専門家だけでした。もし鍵に欠陥があれば、その鍵を使用しているすべての金庫が安全ではなくなり、過去や未来の秘密が露呈してしまう可能性があります。これが、悪党よりも先に数学的な鍵の弱点を見つけ出す技術である「暗at解析（クリプトアナリシス）」という、極めて重要なゲームです。
最近、新しい種類の「見習い鍵職人」が登場しました。それが大規模言語モデル（LLM）です。これらは、コードを書いたり、謎を解いたり、あらゆることについてチャットしたりできる超スマートなAIチャットボットです。この都市に漂う大きな疑問は、これらのAIの見習いたちは、本当に人間のマスターたちを出し抜くことができるのか？ ということです。彼らは複雑な数学的鍵を見て、人間の手を借りることなく、それをピッキングする方法を見つけ出し、こじ開けることができるのでしょうか？ これは単なるゲームではありません。私たちのデジタルの安全網が、大幅なアップグレードを受けるのか、それとも恐ろしい穴が開いてしまうのかを見極めるレースなのです。
偉大なる鍵開けコンテスト：CryptanalysisBench
この論文において、トップクラスの大学やテックラボの研究チームは、これらのAI見習いたちを究極のテストにかけようと決めました。彼らは、CryptanalysisBenchと呼ばれる巨大な訓練場を構築しました。これは、191種類もの異なる種類の鍵が詰まった、巨大な障害物コースのようなものです。これらの鍵の中には、すでに壊れていることが判明している古いもの（例えば、蝶番が緩んでいるドアのようなもの）もあれば、新しく、輝かしく、現在人間によって「破れない」とされているものもあります。
研究者たちは、世界で最もスマートな5つのAIモデル（Claude、GPT、GLMのバージョンを含む）を招待し、これらの鍵を破るよう試させました。ルールは厳格でした。AIは単に答えを推測するのではなく、実際にコードを解読できるコンピュータ・スクリプトを書かなければなりません。もしそのスクリプトが機能すれば、AIはそのラウンドに勝利となります。
結果：AIはすでに基礎を習得している
結果は驚くべきものでした。AIが、人間がすでに壊し方を知っている「簡単な」鍵に直面したとき、モデルは驚異的な成功を収めました。モデルによりますが、これら既知の鍵の**65%から86%**を破ることに成功しました。
しかし、ここからが本当に興味深い点です。AIは単に教科書の答えをコピーしたわけではありません。多くの場合、モデルはコードをゼロから分析し、自力で欠陥を見つけ出し、動作する攻撃スクリプトを書き上げました。それは、壊れたおもちゃを渡されて修理を求められた生徒のようなものです。マニュアルを探す代わりに、彼らはそのおもちゃを観察することで、壊れたギアの正体を突き止めたのです。
新たな発見：人間が見落とした欠陥を見つけるAI
最もエキサイティングな発見は、AIが人間が安全だと考えていた鍵に取り組んだときに起こりました。研究者たちは、AIモデルがいくつかのシステムに対して、全く新しい破壊方法を発見したことを突き止めました。
- SpoCのケース： 2つの異なるAIモデルが、誰も壊れているとは知らなかった「SpoC」と呼ばれる鍵を破る方法を独立して発見しました。彼らは、特定の種類の空のメッセージを送信すると、鍵が安全チェックを行うのを忘れてしまうことに気づきました。2つの巧妙なメッセージを送信することで、AIは秘密の鍵を盗むことができました。これは、人間の助けなしに起こった、真の「エウレカ！（発見！）」の瞬間でした。
- KINDIのケース： 別のモデルは、KINDIと呼ばれるシステムの公式な「安全性証明」における間違いを発見しました。設計者は「この鍵には一つの鍵しか適合しないため、これは安全である」というルールを書いていました。AIはこれを否定し、実際には多くの異なる鍵を受け入れるように鍵を騙すことができることを証明しました。そして、AIはこのトリックを使って秘密の鍵を盗みました。ただし、研究者は、これは設計者の不注意によるミスではなく、システムをより効率的にするための意図的な設計上の選択であったことを注記しています。その一方で、AIはその脆弱性をうまく利用することに成功しました。
AIが苦戦する場面
AIはまだ魔法の杖ではありません。研究者が、現実世界のデータを保護するために現在使用されており、人間によってまだ破られていない「難しい」鍵をモデルに与えたとき、成功率は著しく低下しました。モデルは攻撃の「アイデア」を捉えることはできても、それを機能させるための最終的なコードを書くことには失敗しました。それは、AIはドアの鍵が開いていることは分かっているものの、制限時間内にドアを押し開ける方法を完全には理解できなかった、というような状態です。
しかし、研究者がAIにより多くの時間を与えたとき（制限時間を2時間から16時間に増やしたとき）、モデルは大幅に改善しました。彼らは、非常に複雑で重厚な数学を必要とするものを含む、より困難な鍵をより多く破ることに成功しました。このことは、現在のAIの主な限界は知能の欠如ではなく、仕事を完了させるための時間の不足であることを示唆しています。
結論
本論文は、AIがすでに暗号学の世界において本格的なプレイヤーであることを結論づけています。AIは、長年人間の専門家によって精査されてきた設計の欠陥を見つけることができます。しかし、研究者たちは、AIが見つけた「破壊」の多くが、数学的な設計自体の根本的な欠陥ではなく、リファレンスコード（設計者が提供したサンプル実装）におけるバグであったことも指摘しています。AIはコードの裂け目を見つけている一方で、マスターたちさえも見落としていた設計の裂け目も見つけ始めています。
AIはまだ最も困難な現実世界の鍵を完全にマスターしてはいませんが、そのスピードは速いです。研究者たちは、このレースを監視し続けるためのツールとして、このベンチマークを公開しました。彼らは、AIが私たちのデジタルライフを守る鍵を破るのに十分な強さになるのはいつなのかを正確に追跡したいと考えています。そうすることで、AIがやってくる前に、私たちがそれらを修正できるようにするためです。
要約すると、AIの見習いたちはもはやマスターをただ見守っているだけではありません。彼らは自ら鍵を開け始めており、マスターたちさえも見落とした裂け目を見つけ出しているのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。