A Cautionary Evaluation of LLMs for TLS Normative Requirement Classification

インターネットは、私たちのプライベートなメッセージや銀行取引、メールを覗き見から守るために、トランスポート・レイヤー・セキュリティ（TLS）と呼ばれるデジタルな「握手」に依存しています。このシステムは、データをどのように暗号化し、また復号するかという特定のルールセットに合意することで機能します。これらのルールは即興で作られるものではありません。技術標準として知られる、膨大で複雑な文書として書き記されています。これらの文書は、どのルールが必須であり、どれが単なる提案であり、どれが禁止されているかを、エンジニアに正確に伝えるものです。使用される言語は精密かつ法的な表現であり、「must（しなければならない）」、「should（すべきである）」、「may（してもよい）」といった特定の言葉を用いて、ルールの強さを定義しています。「must」は交渉の余地がないルールを意味しますが、「may」はオプションであることを意味します。しかし、テキストはしばしばトリッキーであり、非常に特定の緊急事態が発生する場合を除いて、あるルールを推奨しないといった条件を伴ってこれらの言葉を混在させることがあります。セキュリティの専門家にとって、これらのルールを正しく理解することは安全に関わる問題です。提案を許可と読み違えることは、システムを攻撃に対して無防備な状態にしてしまう可能性があるからです。

何年もの間、これら数千ページに及ぶテキストをコンピュータが理解できるチェックリストに変換する唯一の方法は、人間の専門家が一行一行を読み、手動でルールを翻訳することでした。このプロセスは遅く、コストがかかり、ヒューマンエラーが発生しやすいものでした。近年、人間の言語を驚くべきスキルで読み取り、理解することができる、大規模言語モデルと呼ばれる新しいタイプのコンピュータプログラムが登場しました。これらのモデルは、質問に答え、文章を要約し、さらにはコードを書くことさえできます。これはサイバーセキュリティの世界に、希望に満ちた問いを投げかけました。これらの賢いプログラムは、セキュリティ標準を読み、どのルールがどのデジタル接続に適用されるかを自動的に判断し、専門家の数ヶ月分の仕事を節約できるのではないか、という問いです。イタリアのフォンダツィオーネ・ブルーノ・ケスラーの研究チームは、この技術が物語を書けるかどうかを見るためではなく、たった一つのミスがインターネット全体のセキュリティを損ないかねないタスクにおいて、この技術が遂行できるかどうかをテストするために、このアイデアを検証することに乗り出しました。

研究者たちは、TLSがどのように構成されるべきかを規定する、NIST SP 800-52として知られる主要なセキュリティ標準の特定のセクションに焦点を当てました。彼らは、安全な通信の構成要素である「サイファー・スイート」と呼ばれる、144の特定のデジタル接続パターンからなるデータセットを選択しました。彼らの目標は、大規模言語モデルが各パターンのステータスを正しく識別できるかどうかを確認することでした。すなわち、それは厳格な要件なのか、推奨事項なのか、許可なのか、あるいは禁止事項なのか、ということです。公平かつ厳格なタスクにするために、彼らは単にモデルに推測させるのではありませんでした。代わりに、モデルにステップ・バイ・ステップで考えさせるシステムを構築しました。彼らはモデルに主要な単語の正確な定義を提供し、テキストを精査し、キーワードを見つけ、否定的な言葉をチェックし、そして最終的な決定を下すという、6段階の論理パスに従うよう求めました。結果の堅牢性を確保するため、彼らはこのテストを4つの異なる大規模言語モデルに対して実行し、最も優れたパフォーマンスを示したモデルに重み付けを行う投票システムを用いて回答を統合しました。

結果は、印象的な能力と、痛切な限界が入り混じったものでした。このシステムは、約94パーセントのケースで正解を導き出すのに十分なほどうまく機能しました。これは、単一のモデルを単独で使用する場合よりもわずかに優れた結果であり、複数のモデルの「意見」を組み合わせることで、個々のモデルの癖を平滑化できることを証明しました。しかし、研究者たちは、この精度レベルは多くのタスクには適しているものの、セキュリティ・コンプライアンスには不十分であることを発見しました。サイバーセキュリティの世界において、6パーセントのエラー率は壊滅的です。もしツールがシステムを監査する際に、禁止されたルールを一つでも見逃せば、そのシステムは既知の脆弱性を抱えたまま展開される可能性があるからです。研究は、モデルがランダムに失敗しているのではなく、非常に具体的で予測可能な方法で失敗していることを示しました。

問題となったのは、標準文書における微妙だが決定的な言語の区別でした。モデルは、「これを絶対に行わなければならない場合を除き、これを行わないこと」というルールと、「これをしてもよい」というルールの違いを判別することに苦戦しました。標準の技術的な言語において、前者は厳格な条件下でのみ許可される「推奨されない」ルールですが、後者は単純な「許可」です。研究者たちは、モデルが行ったミスの半分以上が、これら2つのカテゴリーを混同することに関連していることを発見しました。モデルは、ある行為を推奨せず、緊急時には許可するという文章を読み、その「許可」の部分をメインメッセージとして解釈し、「推奨されない」という警告を見落としてしまうのです。彼らは許可を見て、その条件を見逃していました。

この失敗は、研究者がシステムに組み込んだステップ・バイ・ステップの思考プロセスによっても修正されませんでした。モデルに推論過程を書き出すよう強制したとしても、依然として同じ間違いを犯しました。彼らは「推奨されない（not recommended）」と「使用される場合がある（may be used）」という言葉を正しく特定することはできましたが、正しい結論に達するためにそれらを適切に比較検討することはできませんでした。研究者たちは、これらのコンピュータプログラムはテキストを読むための強力なツールではあるものの、セキュリティ監査において人間の専門家に取って代わるために必要な、ニュアンスや条件付き論理に対する深い理解はまだ備わっていないと結論付けました。この技術は、単独で作業を行う準備ができていません。研究は、これらのツールは人間がレビューすべき潜在的なルールをフラグ立てするための「第一パス（初期段階）」としては有用かもしれないが、最終的な判断を下すことを信頼することはできないことを示唆しています。モデルが、推奨されない例外と単純な許可の違いを確実に理解できるようになるまで、インターネットのルールを保護する任務は、引き続き人間の手に委ねられなければなりません。