An Open-Agent Framework for Intelligent Compliance Analysis in Infrastructure as Code Using Large Language Models

現代のデジタル世界において、アプリケーションを動かし、データを保存し、サービスを実行するインフラストラクチャは、もはや物理的なサーバー室に並ぶ点滅するライトの列の中に存在するわけではありません。代わりに、それは大規模なテクノロジー企業によって管理される、リモートコンピュータの広大なネットワークである「クラウド」の中に存在しています。これらのサービスを利用する組織にとって、セキュリティの責任は変化しました。クラウドプロバイダーがハードウェアが正常に動作することを保証する一方で、顧客は自身のデジタル構成が正しく設定されていることを保証しなければなりません。ストレージバケットの開放方法やネットワーク権限の付与方法におけるたった一つのミスが、機密情報をインターネット全体にさらしてしまう可能性があります。この複雑さを管理するために、エンジニアは「Infrastructure as Code（コードとしてのインフラストラクチャ）」と呼ばれる手法を用います。このアプローチは、デジタルリソースのセットアップをソフトウェアプログラムのように扱い、ルールをマシンが読み取れるテキストファイルとして記述するものです。これにより一貫性とスピードが可能になりますが、同時に、コード内のたった一つのエラーが瞬時に数百のシステムへとコピーされ、誰かが気づく前に広範囲な脆弱性を生み出してしまうことも意味しています。

これらのエラーを捉えるために、セキュリティチームは、スペルチェッカーがタイポを見つけるのと同様に、既知のミスをスキャンする自動化ツールに頼っています。しかし、これらの従来のツールはしばしば硬直的です。それらはルールが破られたことは教えてくれますが、なぜそれが重要なのか、あるいは人間の監査人にとって意味のある方法でどのように修正すべきかを説明することには苦慮します。一方で、「大規模言語モデル」として知られる新しい技術は、コードを読み取り自然言語による説明を生成できますが、単独で使用すると、事実ではないことを作り上げたり、一貫性のない結果を提供したりする傾向があります。研究者たちの課題は、自動スキャナーの厳格な信頼性と、知的な言語モデルの解説能力を組み合わせ、精密かつ理解しやすいシステムを作り出すことでした。

Princess Sumaya University for Technologyの研究チームは、これら二つのアプローチを融合させることに成功した新しいフレームワークを構築しました。彼らは、まず厳格なルールベースのエンジンを使用してインフラストラクチャコードをスキャンして特定のセキュリティ基準への違反を確認し、次に、確認された違反の詳細をインテリジェントな言語モデルに渡して、明確で人間が読みやすいレポートと推奨される修正案を生成するというシステムを作成しました。研究者たちは、このシステムを231個の実世界の構成ファイルからなる大規模なコレクションを用いてテストしました。その結果、このハイブリッドシステムは極めて正確であり、アラートを発出したケースの約97パーセントにおいてセキュリティ上の欠陥を正しく特定し、同時に、ファイル内に存在する実際の問題の90パーセント以上を捕捉したことが分かりました。このパフォーマンスは、問題のないファイルに対しても多くのフラグを立ててしまい、エンジニアに不必要な作業を強いる既存の産業用ツールよりも大幅に優れていました。

この新しいフレームワークの中核は、生のコードを洗練された監査レポートへと変換する5段階のプロセスです。まず、システムは生の構成ファイルを、スキャニングエンジンが理解できる形式へと翻訳します。次に、決定論的なポリシーエンジンが、厳格な審判のように機能し、特定の16のセキュリティルールに照らしてコードをチェックします。これらのルールは、政府や企業で使用される広く認識されたセキュリティコントロールのカタログであるNIST SP 800-53標準に基づいています。エンジンは、暗号化されていないストレージドライブや、公衆に開放されたネットワークポートといった特定のパターンを探します。このエンジンは固定されたルールに従うため、推測することはありません。証明できる違反のみを報告します。

エンジンが違反を特定すると、システムはそこで止まりません。システムはエラーの詳細を、コンテキスト推論エージェントとして機能する大規模言語モデルに送信します。このモデルには、リスクを平易な英語で説明すること、エラーを違反している公式のセキュリティ標準に紐付けること、そして問題を解決するための修正されたコードスニペットを生成すること、という3つの具体的な任務が課せられます。モデルがレポートの事実部分で間違いを犯さないように、研究者たちは安全メカニズムを組み込みました。モデルはセキュリティ標準の名前を推測することは許されず、代わりにシステムが検証済みのリストから正しい名前を検索し、自動的に挿入します。モデルが自由に生成できるのは、説明とコードの修正のみです。さらに、研究者たちは、モデルが生成するコードが構文的に正しく、不要なテキストを含まないことを保証するために、プロンプトへの厳格な指示を追加しました。これは信頼性を高める上で不可欠なステップであることが証明されました。

研究の結果は、この複合的なアプローチの力を実証しています。231個の構成ファイルに対してテストを行った際、システムは96.9パーセントの適合率（Precision）を達成しました。これは、ファイルに問題があるとフラグを立てた場合、その指摘がほぼ常に正しいことを意味します。また、90.5パーセントのリコール（Recall）も達成しており、コードに隠された実際の誤りの大部分を正常に発見しました。比較対象として、業界で広く使用されているCheckovという主要な産業用ツールは、テストセット内のすべてのエラーを発見しましたが、同時にクリーンなファイルのほぼ半分にもフラグを立ててしまいました。この高い誤検知率は、セキュリティチームが実際には存在しない問題の調査に時間を浪費させる原因となります。対照的に、この新しいフレームワークは、高い検出率を維持しながらノイズを低減し、より明確なシグナルを提供しました。

データの詳細な分析により、検出されたエラーの種類における明確なパターンが明らかになりました。最も一般的な違反は「保存データの暗号化の欠如」であり、検出された全問題の64パーセント以上を占めていました。この発見は、保存データの暗号化を忘れることがクラウド環境における最も頻繁なセキュリティ上の過失であることを示唆する先行研究と一致しています。システムはまた、アクセス制御や監査ログに関連する問題も特定することに成功し、幅広いセキュリティ要件をカバーしました。研究者たちは、システムが正確で監査に耐えうるレポートを生成できる能力が大きな利点であると指摘しました。これは、技術的な検出とコンプライアスのための文書化との間の溝を埋めるものです。

本研究はまた、システムに組み込まれた保護策の重要性も浮き彫りにしました。研究者が最初に制約なしで言語モデルをテストした際、モデルは構文的に無効であったり、不要な散文が含まれていたりするコード修正を生成しました。厳格なフォーマット規則を適用し、検証済みのルックアップテーブルを使用して事実的なデータを扱うことで、システムは有効なコードスニペットと正確なコントロールマッピングの生成において100パーセントの成功率を達成しました。これは、このようなシステムの信頼性が、モデル自体の知能からではなく、その周囲を取り囲むワークフローの綿密な設計からもたらされることを示唆しています。

システムは強力な結果を示した一方で、研究者たちはその限界についても慎重に言及しています。現在のフレームワークは特定のセキュリティコントロールとクラウドリソースに焦点を当てており、またデプロイ前のコードに対して動作するため、デプロイ後にライブシステムに対して行われた変更から生じる問題は検出できません。加えて、テストに使用されたグラウンドトゥルース（正解データ）は、自動化されたヒューリスティックと手動による注入の組み合わせから導き出されたものであり、実世界の環境のあらゆるニュアンスを完全に捉えきれていない可能性があります。それにもかかわらず、本研究は説得力のある概念実証（プルーフ・オブ・コンセプト）を提供しています。それは、ルールベースエンジンの揺るぎない精密さと、言語モデルの柔軟な推論を組み合わせることで、極めて正確かつ人間のオペレーターにとって真に有用なコンプライアンス分析ツールを作成できることを示しています。この成果は、自動化されたセキュリティツールが単に問題を見つけるだけでなく、チームが自信を持って問題を理解し、解決できるようにするための道筋を示唆しています。