Benchmarking Large Language Models for IoC Recovery under Adversarial Code Obfuscation and Encryption
本論文は、大規模言語モデルの侵害指標の復元能力を評価するための336件の難読化および暗号化されたJavaScriptプログラムからなる体系的なベンチマークとデータセットを導入し、大規模言語モデルが変数名の変更やBase64エンコーディングといった軽微な変換には効果的に対処できる一方で、XORやAES-256といった暗号学的隠蔽手法に対する検出性能は著しく低下することを明らかにする。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたが特定の IP アドレスのような隠された手がかりをコードの中から探すデジタル探偵だと想像してください。通常、これは簡単です。手がかりは紙に名前が書かれているように、そのまま明記されています。しかし、もし悪党がその手がかりを隠したらどうなるでしょうか？彼らはそれを秘密の暗号で書き、文字を混ぜ合わせ、あるいは金庫の中に閉じ込めるかもしれません。
この論文は、隠された手がかりがある場合、これらの探偵としてどの程度うまく機能できるかという点において、現在私たちが使用するスマートな AI チャットボットである**大規模言語モデル（LLM）**に対する成績表です。
彼らの調査の概要は以下の通りです。
設定：「かくれんぼ」ゲーム
研究者たちは大規模なかくれんぼゲームを作成しました。
- プレイヤー： 彼らは 5 つの有名な AI モデル（ChatGPT、Gemini、Claude、Grok、Cohere など）をテストしました。
- 手がかり： 偽の「侵害指標（IoC）」です。これは単に、不審な IP アドレス（悪党の電話番号のようなもの）を指す大げさな用語です。
- 隠し場所： 彼らは 336 個のコンピュータ・コードを取り、12 段階の異なる難易度でその中に手がかりを隠しました。
- レベル 1-4（簡単な隠し場所）： 変数名を変更するだけ（「IP_Address」を「x99」のような名前にするなど）、目を誤魔化すために無意味なジャンク・コードを追加する、あるいは Base64 のような単純なエンコーディングを使用する（誰でも簡単に解読できる秘密のアルファベットでメッセージを書くようなもの）といった方法でした。
- レベル 5-6（難しい隠し場所）： 彼らは手がかりを暗号化された金庫の中に閉じ込めました。強力な暗号化（XOR および AES-256）を使用しました。重要なのは、鍵を金庫の鍵を、実際のハッカーが行うかもしれないように、コードの中にそのまま残したことです。
- レベル 7-12（悪夢のような隠し場所）： 彼らは閉じ込められた金庫と、すべての混乱を招く変数名の変更やジャンク・コードを組み合わせて使用しました。
結果：「ライトスイッチ」効果
結果は驚くほど明確でした。彼らは性能の緩やかな低下を見たのではなく、ライトスイッチのような現象を目撃しました。
1. 「簡単な」隠し場所（レベル 1–4）：
手がかりが単に混ぜ合わせられたり名前を変えられたりしている場合、AI 探偵たちは驚異的でした。
- ほとんどのモデルが 100% の確率で手がかりを見つけました。
- 彼らはカーテンの後ろから突き出ている靴を簡単に見つけられるかくれんぼをする子供たちのようでした。言葉が変わっていても、パターンを認識しました。
2. 「難しい」隠し場所（レベル 5–12）：
研究者たちが暗号化（金庫）を使用した瞬間、AI の性能は急落しました。
- 鍵がコードの中にそのまま置かれていたにもかかわらず、AI モデルは金庫を開けることができませんでした。
- 彼らは 100% の確率で手がかりを見つける状態から、ほぼ 0% の確率まで落ち込みました。
- 比喩： 鍵が箱の外面にテープで貼られた、施錠された箱を持っていると想像してください。人間の探偵なら鍵を見て、それを鍵穴に入れて箱を開けるでしょう。しかし、AI は箱と鍵を見て、それを解錠しようとする代わりに、「中身が見えない」と言ったり、ランダムな数字を推測したりするだけです。
「推測」の問題
AI が手がかりを見つけられなかったとき、いくつかのモデルは幻覚（でたらめなことを作り出すこと）を起こし始めました。
- 一つのモデル（Gemini）は、約 5% の確率で偽の IP アドレスを作り出しました。
- パターン： AI が行き詰まったとき、単に「わかりません」と言うのではなく、よくあるプライベートなアドレス（
192.168.17.101のようなもの）を推測することが多かったです。 - 隠喩： これは、答えがわからない学生がテストを受けているようなものです。空白のままにするのではなく、他のテストでその数字を多く見てきたので「答えはおそらく 42 でしょう」と書き込むのです。AI は実際にパズルを解いているのではなく、以前に見たものに基づいて単に推測していたのです。
大きな教訓
この論文は、シンプルな真実で結論付けています。
- AI は汚れた手書きを読むのが得意です。 コードが単に混ぜ合わせられたり名前を変えられたりしている場合、AI はそれを理解できます。
- AI は金庫を破るのが苦手です。 コードが暗号化されている場合、AI は壁にぶつかります。鍵が目の前にあっても、暗号化の数学を「考え抜く」能力を持っていません。
要約すると： これらの AI ツールは、目に見える場所に隠された手がかりを見つけるのは優れていますが、強力な暗号化で閉じ込められたコードに対しては現在、無用です。彼らは謎を「解錠」することはできず、すでに目に見えるものしか読むことができません。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。