Evaluating the Effectiveness of LLMs in Aiding Compliance Testing of PKCS#1-v1.5
本論文は、PKCS#1 v1.5実装のコンプライアンス・テストにおいて、文法レベルのミューテーションとLLMベースのコード合成を組み合わせることの有効性を評価しており、その手法が既知の脆弱性の再現や新たな不一致の発見に成功している一方で、LLMによるハルシネーション（幻覚）の高い発生率によって、運用の信頼性と意味論的な忠実度の間に大きな隔たりが生じ、その有用性が著しく制限されていることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは厳格な建築検査官であると想像してください。あなたの仕事は、街のすべての家が全く同じ設計図に従って建てられているかを確認することです。設計図（「仕様」）にはこう書かれています。「正面玄関の幅は3フィートとし、屋根は赤色、煙突の高さは正確に10フィートとする。」
コンピュータセキュリティの世界では、これらの「家」は暗号化されたメッセージ（デジタル署名など）を扱うソフトウェアプログラムです。この「設計図」は、PKCS#1 v1.5と呼ばれる複雑なルールの集合体です。もしプログラムが設計図と完全に一致しない家を建ててしまった場合、そこにはハッカーが侵入するための隠れたバックドアが存在する可能性があります。
問題点：検証の難しさ
これらの家をチェックすることは非常に困難です。
- ランダムな推測は通用しない： 家に対してランダムにレンガを投げつけたとしても、偶然、正面玄関の幅を正確に3フィートにすることができて、そのような設計図通りに建てることはまず不可能です。非常に具体的な計画が必要です。
- 専門家のツールは遅い： 設計図のあらゆるバリエーションをチェックするために作られた人間の専門家によるツールもありますが、それらのツールを作るには長年の深い研究と手作業が必要です。それは、家を一軒ずつ検査するためにマスター建築家のチームを雇うようなものです。
新しいアイデア：「AI建築家」
研究者たちは、次のようなシンプルな問いを立てました。「大規模言語モデル（AI）を、壊れた設計図を『テスト』へと変換する『翻訳者』として使うことはできるだろうか？」
彼らのプロセスは以下の通りです。
- オリジナルの設計図： 彼らは家の公式なルールを取り出しました。
- ミューテーター（「もしも」マシン）： コンピュータプログラムを使用して、意図的に設計図を13通りの方法で壊しました。例えば、「もしドアの幅が4フィートだったら？」「もし屋根が青かったら？」「もし煙突を完全に取り除いたら？」といった具合です。
- AI翻訳者： 彼らはこれらの「壊れた」設計図をAIに渡し、「この壊れた設計図通りに家を建てるコンピュータプログラムを書いてください」と命じました。
- テスト： AIが書いたプログラムを実行して家を建て、その家を48種類の異なるソフトウェアプログラム（「ビルダー」）に読み込ませ、ビルダーがその壊れた家を受け入れるかどうかを確認しました。もしビルダーが壊れた家を受け入れたなら、そのビルダーにはセキュリティ上の欠陥があるということになります。
結果：二つの数字の物語
結果は、素晴らしいニュースと重大な警告が混ざり合ったものでした。
良いニュース（運用の信頼性）：
AIは、作業を開始するための指示に従うことに関しては驚異的でした。
- 99.8% の確率で、AIはクラッシュすることなく実行可能なプログラムを書き上げました。それは、タイポや欠落したページのない設計図を常に渡してくれる建築家のようなものでした。
悪いニュース（意味論的な忠実度）：
しかし、AIは実際に「壊れた設計図」に従うことに関しては非常に劣っていました。
- AIが壊れた設計図通りに家を建てられたのは、わずか 17.5% でした。
- 82.5% のケースにおいて、AIは「幻覚（ハルシネーション）」を起こしていました。AIは壊れた設計図を見て、「おや、これは間違っているようだ」と判断し、家を建てる前に密かに元の完璧な設計図へと修正してしまっていたのです。
例え話：
あなたがAIに「青いドアの家を建てて」と頼んだとします。
- 成功： AIは青いドアの家を建てます。
- 幻覚： AIは、たとえあなたが明確に青いドアを求めたとしても、「ドアは通常、赤色であるべきだ」と考えて、勝手に赤いドアの家を建ててしまいます。指示された特定の指示を無視したのです。
彼らは何を発見したのか？
- 重大なバグを発見した： この手法は、既知のセキュリティ上の欠陥のうち 13個中10個 を再現することに成功しました（これには署名を偽造することを可能にする最も危険なものも含まれます）。これは、このアイデアが機能することを証明しています。
- 新しいバグを発見した： 彼らは、LibTomCryptと呼ばれるライブラリにおいて、これまで報告されていなかった新しいセキュリティ問題を発見しました。これは、AIが「先頭のゼロバイト」という特定のパーツが欠けた家を構築することに成功し、そのライブラリがそれを許容したために起こりました。
- ボトルネックはプランではなくAIにある： 研究者たちは、「ミューテーター（設計図を壊すマシン）」は素晴らしい仕事をしている一方で、問題は完全にAIが壊れたルールに従えないことにあることを突き止めました。
「幻覚」の種類
研究者たちは、医師が患者を診断するように、AIがどのように失敗したかを分類しました。
- 「修正者（Fixer）」（最も一般的）： AIは壊れたルール（例：「パディングは16バイト未満であること」）を見て、「それは不可能だ」と判断し、密かに通常のルールへと修正してしまいました。
- 「数学が得意なはずの、数学を忘れた人」： AIはルールに従おうとしましたが、単純な計算（例：パディングをどれだけ追加するか）をミスし、結果としてサイズが間違った家を作ってしまいました。
- 「無視（Ignore）」： AIは壊れた部分を完全に無視し、標準的な家を建てました。
結論
この論文は、AIを使ってコンピュータセキュリティのテストを行うことは、有望ではあるが、現在は信頼性に欠けることを示しています。
AIはコードを書くこと（実行させること）には長けていますが、あなたが言った「意味」通りのコードを書くことは非常に苦手です。AIは、あなたが意図的に作った間違いを「正しい」やり方で行うべきだと勝手に判断し、修正してしまう癖があります。
研究者たちは、もしAIでこのようなテストを行いたいのであれば、AIが書いたコードをただ信頼してはいけないと結論付けています。AIが実際にあなたの特定の（壊れた）指示に従ったのか、それとも単にそれらを「修正」して元に戻してしまったのかを確認するための、第二のチェック層を用意しなければなりません。それまでは、AIは「正しい」やり方で物事を行うようにというあなたの具体的な命令を、しばしば無視してしまう、非常に意欲的だが頼りないインターンなのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。