Can AI Write Compliant Code, and to What Extent? Evaluating SOC 2 Compliance of Claude Fable 5, Claude Opus 4.8, and Claude Opus 5 Across Four Use Cases
本研究は、4つのユースケースにおける3つのフロンティアAIモデルのSOC 2コンプライアンスを評価し、プロンプトなしのコード生成には重大な脆弱性が含まれ、主要なセキュリティコントロールが欠落していることが多い一方で、SOC 2基準に言及する一文を加えるだけで適合率が86〜100%へと大幅に向上し、不安全な構成が排除されるものの、モデルが即座に構想するタスク以外のコントロールへの対処には至らず、自動化されたパターンマッチングによるスコアリングよりも意味論的な検証が信頼できることを浮き彫りにした。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
見えない安全網
あなたは、自分に家を建てるための、非常に賢く、疲れを知らない弟子を雇っているところだと想像してみてください。この弟子である人工知能（AI）は、人間のチームよりも速く、設計図を引き、コンクリートを混ぜ、窓を取り付けることができます。しかし、ここには落とし穴があります。その弟子は、建築基準について教わったことがないのです。AIは、見た目が良く、自立する家を作る方法は知っていますが、煙探知機を設置することや、裏口に鍵をかけること、あるいは地震に備えて基礎を補強することを忘れてしまうかもしれません。ソフトウェアの世界では、チームがAIにコードを書かせる際、まさにこのようなことが起こります。コードは動作しますが、ハッカーからデータを守るために必要な「目に見えない安全ルール」が欠落している可能性があるのです。
この論文は、コンピュータサイエンスの特定の領域である「コンプライアンス（法令遵守）」について掘り下げています。これは単に「ルールブックに従う」ということを意味する、少し凝った言葉です。具体的には、研究者たちは、企業が顧客データを保護していることを証明するために使用する一連のルールである「SOC 2」に注目しました。彼らは2つのことを知りたかったのです。もし、安全性に触れずにAIにコードを書かせたら、AIは偶然にもルールに従うことになるのか？ そして、もし「これはSOC 2のルールに従う必要があります」というたった一文を加えたら、それで全て解決するのか？ これは、「シェフにサンドイッチを作るよう頼んだとき、シェフは手を洗うことを思い出すだろうか？ そして、『衛生規定』と囁けば、突然手袋を着用することを思い出すだろうか？」と聞くのと似ています。
大規模なAIコードテスト
答えを見つけるために、Vantaの研究者たちは、大規模で制御された実験を設定しました。彼らは、強力なAIの3つの異なるバージョン（Claude Fable 5、Claude Opus 4.8、Claude Opus 5と命名）を、料理コンテストの出場者のように扱いました。彼らは各AIに、4つの異なる「レシピ」をコーディングさせました。それは、クラウドストレージを管理するツール、ログインシステム、データベースの設定、そしてファイルアップロードハンドラーです。
彼らは各レシピに対してテストを2回行いました。第1ラウンドでは、「ファイルをアップロードするツールを書いてください」といった中立的なプロンプトをAIに与えました。第2ラウンドでは、全く同じプロンプトに、「このデータは機密であり、SOC 2基準に準拠する必要があります」という一文だけを加えました。
研究者たちは、厳格な検査官として振る舞いました。彼らは単にコードを実行して動作を確認しただけでなく、すべての行を安全ルールのチェックリストに照らし合わせて検証しました。彼らは、暗号化（盗賊が読めないようにデータをスクランブル化すること）、アクセス制御（適切な人物のみがファイルを見られるようにすること）、ログ記録（誰が何をしたかの日記を残すこと）といった項目を調べました。
結果： 「魔法の一文」と盲点
結果は、驚くべき朗報と、非常に重要な警告が混ざり合ったものでした。
1. 「魔法の一文」は驚異的な効果を発揮する（ただし、全てではない）
AIに対して安全に関する指示なしでコードを書くよう求めた場合、結果はまちまちでした。タスクによりますが、コードがルールに従っていた割合は**47%から88%**の間でした。パスワード保護のような基本的なことには優れていましたが、クラウドストレージのバケットをロックダウンするといった、退屈で目に見えない作業については非常に劣っていました。
しかし、研究者がSOC 2に関するたった一文を加えた瞬間、AIのパフォーマンスは急上昇しました。すべてのテストにおいて、コンプライアンス率は**86%から100%**へと跳ね上がりました。この一文によって、23〜50パーセントポイントもの改善が見られました。それはまるで、AIが突然目を覚まして、「ああ、そうだ、ヘルメットを被らなきゃ！」と思い出したかのようでした。決定的なことに、この一文によって、開いたデバッガーや認証なしのダウンロードといった、研究者が発見したあらゆる不安全な構造が取り除かれました。
2. 「イディオム（慣用句）」の問題
この研究は、AIがコードを書く際の「標準的なやり方」の一部となっているルールに従うことを明らかにしました。例えば、ログインシステムを書く際にはそれが標準的な方法であるため、AIはほぼ常にパスワードをハッシュ化（盗まれないようにスクランブル化すること）することを覚えていました。しかし、クラウドストレージのバケットに追加のロックをかけたり、多要素認証（MFA）のフックを設定したりといった、「標準的なレシピ」に含まれないことは忘れてしまいました。
「魔法の一文」があっても、モデルのデフォルトの概念の外にあるコントロールは、安定したまま欠落したままでした。MFAフック、セキュアなクッキーフラグ、アカウントライフサイクル管理といった特定の機能は、標準の名前を挙げただけでは自動的に追加されませんでした。これらは、個別に名前を指定して求めなければならなかったのです。魔法の一文は、全体像と隠れた危険を取り除きましたが、個別の細かい詳細までを埋めることはできませんでした。
3. 「見えない」危険
ここが恐ろしいところです。16件の「中立的な」テストのうち3件において、AIは見た目は問題なさそうでありながら、実際には危険なコードを書いていました。
- あるAIは「デバッガー」を開いたままにしていました。これは、家に裏口を開けっ放しにするようなもので、誰でも入ってきてコンピュータを制御できてしまいます。
- 他の2つのAIは、クリックした人が誰であるかを確認しないダウンロードリンクを作成し、誰でも他人のプライベートなファイルをダウンロードできるようにしていました。
- もう一つのAIは、本番環境以外でシャットダウンしようとすると、すべてのデータを誤って削除してしまうデータベースを作成しました。
研究者たちの最初の自動スキャナーは、これらの危険なミスをすべて見逃しました。人間が注意深く見たときに初めて、コードが壊れていることが判明したのです。これは、標準的なコンピュータスキャナーでは、AIが生成したコードにおけるこれらの「目に見えない」エラーを捉えるには不十分であることを証明しています。
4. モデルの違いはほとんどない
研究者たちは、最新の最も賢いAI（Opus 5）の方がはるかに優れていると予想していました。しかし、その差はごくわずかでした。「魔法の一文」（プロンプト）による影響は、AIモデル自体を変えることよりもはるかに大きかったのです。コンプライアンスに準拠したコードを得ようとするなら、新しいAIモデルを選ぶことよりも、単にAIにルールに従うよう伝えることの方が効果的です。
結論
この論文は、AIは素晴らしい建築家ですが、安全検査官ではないということを教えてくれます。安全性に触れずに何かを建てるよう頼めば、AIは自立する家は建てますが、煙探知機や鍵を欠いているかもしれません。もし、ルールに従うという一文を加ければ、AIは突然、ほとんどの安全装備を設置し、危険なバックドアを取り除きます。
しかし、依然としてギャップは存在します。たとえルールに言及したとしても、AIは特定の複雑な安全機能（MFAや特定のクッキー設定など）を、名前を指定して求められない限り、自動的にはインストールしません。そして、おそらく最も重要なことは、コンピュータプログラムにAIの仕事をチェックさせることはできず、人間が注意深く見る必要があるということです。なぜなら、AIは単純なスキャナーが見逃してしまうような巧妙な方法で、危険なミスを隠すことができるからです。
AIにコードを書かせるすべての人への教訓はシンプルです。「AIがルールを知っている」と決めつけないでください。 ルールを伝え、そして、その成果物をダブルチェックしなければなりません。なぜなら、完璧に見える家であっても、そこに隠れた罠があるかもしれないからです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。