Security-First Evaluation of Text-to-Terraform: Benchmarking LLMs and SLMs for Secure IaC Generation
本論文は、セキュアなAWS Terraformコードの生成における7つの大規模および小規模言語モデルをベンチマークし、構文の妥当性とセキュリティへの準拠性は大部分において直交する特性であること、そしてモデルの性能やプロンプトエンジニアリングの戦略に関わらず、自動化されたマルチツールによるスキャンが依然として不可欠であることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、デジタルなレンガだけで作られた、空中に浮かぶ巨大で目に見えない都市を築いていると想像してください。現実の世界では、もし基礎がぐらついていたり、玄関のドアを開けっ放しにしたりして家を建てれば、それは災難です。デジタル世界では、この「都市」は「クラウド」と呼ばれます。そして、この都市を築くための設計図は、「Infrastructure-as-Code（IaC）」と呼ばれる特別な言語で書かれています。IaCとは、コンピュータに対してサーバー、ストレージ、そしてセキュリティの鍵をどのようにセットアップするかを正確に伝える、超精密なレシピのようなものです。長い間、人間がこれらのレシピを書いてきましたが、人間はしばしばミスを犯し、デジタルのドアを解錠したままにしてしまい、悪党が忍び込む隙を作ってしまいました。
最近、新しい種類の助っ人がやってきました。人工知能（AI）です。具体的には、大規模言語モデル（LLM）と、そのより小さく高速な兄弟分である小規模言語モデル（SLM）です。これらは、何百万ものレシピを読み、数秒で新しいレシピをあなたの代わりに書こうとする、超スマートなロボットのようなものです。ここで、誰もが抱いている大きな疑問があります。これらのAIロボットは、単に「正しい」レシピ（つまり、建物が崩壊しないレシピ）だけでなく、「安全な」レシピ（つまり、誰も侵入できないレシピ）を書くことができるのでしょうか？ これは、ロボットシェフが、美味しいケーキを焼くだけでなく、中に隠された爆弾を誤って入れてしまわないようにできるか、という問いに似ています。もしAIが構文（シンタックス）を正しく書けても、鍵をかけるのを忘れてしまったら、都市全体が危険にさらされます。これが、ブラジルの研究チームが解決しようとしたまさにこのパズルです。
偉大なるAIシェフ・コンペティション
研究者たちは、7つの異なるAIシェフを「クラウド」と呼ばれる巨大なキッチンでテストすることにしました。彼らは単にロボットにレシピを書かせるのではなく、「Terraform」というツールを使って、安全なデジタル構造物を構築するための17種類の異なるレシピを書かせました。彼らは、これら「ポケット・ブレイン（小型脳）」モデル（WizardCoderやCodeLlamaのようなオープンソースの小さなモデル）と、3つの「ビッグ・ブレイン（大型脳）」モデル（Claude Opus 4、GPT-5.4、Gemini 2.5 Proのような、クローズドで高価なモデル）をテストしました。
レシピが本当に優れているかどうかを確認するために、チームは単に目で見るのではなく、超厳格な自動検査ラインを構築しました。まず、レシピが文法的に正しいか（構文的妥当性）をチェックしました。もしレシピにタイポ（打ち間違い）があれば、建物すら立ち上がりません。しかし、本当のテストは次にやってきました。彼らは、開いた窓や解錠されたドア、隠れた罠を探すデジタル警備員として機能する、CheckovとTrivyという2つの異なるセキュリティスキャナーを実行しました。また、ロボットが「おい、ドアが開いているぞ」と言われたときに、自分の間違いを修正できるかどうか、そしてセキュリティに関するより詳細な指示を与えることが実際に役立つのかどうかについてもテストしました。
衝撃の結果：完璧な文法、不完全な鍵
ここで、研究者たちが発見したひねり、つまりプロットの急展開があります。「完璧なレシピを書くこと」と「安全なレシピを書くことは、全く別のスキルである」ということです。
AIが、文法的に完璧でクラッシュせずに実行できるTerraformレシピを書けるからといって、そのレシピが安全であるとは限らないということを、彼らは発見しました。実際、この2つのスキルはほとんど無関係です。小型モデルの一つであるWizardCoder-33Bは、文法のチャンピオンでした。それは77.8%の確率で有効なレシピを書いていました！ しかし、セキュリティガードがそれらのレシピをチェックしたとき、そのモデルはすべてのセキュリティチェックに失敗しました。それは、まるで、見た目は美しく完璧な形のケーキを作ったものの、中の毒が入った瓶の蓋を閉め忘れたシェフのようでした。
一方で、「ビッグ・ブレイン」モデルはもっと優れた成績を収めましたが、それでも多くの助けを必要としました。最高の実績を上げたClaude Opus 4でさえ、基本的な指示を与えられただけでは、完全に安全なレシピを書き出せたのはわずか23%でした。しかし、研究者が非常に具体的で詳細なセキュリティチェックリスト（どの鍵を設置し、どのアラームを設定すべきかを正確に伝えるもの）を与えると、一つのセキュリティスキャナーに対して92.5%までパフォーマンスが跳ね上がりました。これは、ビッグ・ブレインは能力を持っているものの、何をすべきかを「正確に」教えられない限り、正しい行動は取れないということを証明しました。
「ポケット・ブレイン」の壁
小型モデル（SLM）は、高い壁にぶつかりました。研究者がどれほど詳細なセキュリティ指示を与えようとしても、小型モデルはやり遂げることができませんでした。彼らは、壊れたレシピを書くか、あるいは有効ではあるが完全に安全ではないレシピを書くかのどちらかでした。研究者たちは、これらの小型モデルにとって問題は指示の内容ではなく、複雑なセキュリティルールを理解するための「脳の力」が単純に不足していることだと結論づけました。彼らはパターンの模倣は得意ですが、自力で安全なソリューションを考案することには苦戦します。
彼らは自分の間違いを直せるのか？
チームは、ロボットがエラーから学べるかどうかについてもテストしました。彼らはロボットにレシピを書かせ、スキャンを行い、そしてエラーのリスト（例：「このファイルの暗号化を忘れています」など）をロボットに見せて、もう一度試行するように求めました。
- 朗報： ロボットは、Trivyスキャナーによって見つかった単純で具体的な間違い（特定のドアに鍵がかかっていない、など）を修正することには驚くほど上手でした。多くのモデルは、エラーリストを見た後にスコアが大幅に向上しました。
- 悲報： 彼らは、Checkovスキャナーによって見つかった大きな構造的問題を修正することには無力でした。これらは、「この建物のために全く新しいセキュリティシステムを構築する必要がある」といった問題です。ロボットは、自分の仕事を再設計することはできませんでした。彼らは緩んだネジを締め直すことはできても、土台を設計し直すことはできなかったのです。
結論
この研究の最も重要な教訓は、AIにデジタル都市を築かせようと考えているすべての人への警告です。「AIをセキュリティガードとして信頼してはならない」ということです。
研究者たちは、2024年から2026年の間に、AIモデルは「正しく見える」コードを書くことは非常に上手くなりましたが、「安全な」コードを書く能力は向上していないことを発見しました。実際、「正しく見えること」と「安全であること」の間の溝は、むしろ広がっています。
研究は次のように結論づけています。AIに単に「安全にして」と頼んで、うまくいくことを期待してはいけません。最も賢いAIモデルであっても、人間（あるいは非常に厳格な自動化システム）がその成果物をダブルチェックする必要があります。AIが生成したすべてのコードに対して、モデルがいかに優れていようと、あるいは指示がいかに詳細であろうと、複数のセキュリティスキャナーを実行しなければなりません。AIは強力な助手ですが、クラウドセキュリティの世界においては、まだ安全検査官の代わりにはなり得ないのです。もし検査をスキップすれば、ドアに鍵のない、美しく完璧に建てられたデジタル都市を手に入れることになるかもしれません。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。