AttackonCTF: Defending Hardware Security Competition Benchmarks in the Age of LLMs

技術要約：AttackonCTF：LLM時代におけるハードウェアセキュリティ・コンペティション・ベンチマークの防御

問題提起
HackTheSiliconのようなハードウェアセキュリティ・コンペティションは、脆弱性検出ツールの評価や、人間およびAIモデルのトレーニングのための重要なベンチマークとして機能している。これらのコンペティションは、注入された業界知識に基づく脆弱性を備えたオープンソースのSoC（System-on-Chip）設計（例：OpenTitan）を利用している。参加にあたっての基本的な要件は、単なるコード比較ではなく、真のセキュリティ推論を実証する包括的なテクニカルレポートを提出することである。

しかし、著者らは、大規模言語モデル（LLM）による重大な妥当性の脅威を指摘している。近年の進歩により、LLMベースの検出器は「ショートカット」を悪用することで、深いセキュリティ分析の要件を回避できてしまう。悪意のある設計を単独で推論する代わりに、これらのモデルは検索拡張生成（RAG）を利用して、公開リポジトリ、コミット履歴、またはプルリクエストから、元のクリーンなバージョンのコードを取得する。取得したクリーンなコードとバグのあるターゲットとの間で自動的な「diff（差分）」を実行することにより、LLMは真のハードウェアセキュリティ推論を行うことなく、高品質な脆弱性レポートと高い検出率（75〜83%）を生成できる。これは、コンペティションの教育的な完全性を損ない、AIの推論能力を評価するために意図されたベンチマークを無効化するものである。

手法
本論文は、二段構えのアプローチ、すなわち「diff-exploit（差分悪用）」仮説の経験的検証と、新しい防御メカニズムの開発を提案している。

1. LLMによるショートカットの経験的検証:
   著者らは、現実的な攻撃シナリオをシミュレートするために、4つの段階的に高度化されたLLMベースの脆弱性検出器（D1–D4）を設計した。

• D1 (Diff-Aware): バグのあるコードとクリーンなコードの間の統合されたdiffのみを受け取る。
• D2 (Repository-Aware RAG): バグのあるコードを受け取り、リポジトリのインデックスから関連するコンテキスト（RTLコード）を検索する。
• D3 (History-Aware RAG): D2を拡張し、開発履歴（プルリクエスト、コミット）を検索して時間的なコンテキストを提供する。
• D4 (Weakness-Aware RAG): D2に、Common Weakness Enumeration (CWE) データベースからのハードウェアセキュリティ領域の知識を付加する。
  これらの検出器は、ベースラインの性能を確立するために、難読化されていないHackTheSiliconベンチマークを用いてテストされた。

2. AttackonCTF 難読化フレームワーク:
   これらのショートカットに対抗するため、著者らは、ハードウェアセキュリティ・ベンチマークに特化した、初のLLM指向のセマンティクス保存型（意味論を維持する）難読化フレームワークを導入する。知的財産（IP）保護のために設計された従来のハードウェア難読化ツール（アグレッシブな識別子の暗号化やレイアウトの匿名化によってコードを読みにくくするもの）とは異なり、AttackonCTFは、LLMベースの構文マッチングを妨害しつつ、人間の可読性と教育的価値を優先する。

このフレームワークは、以下のプロセスを含むパイプラインを通じて動作する：

• 制約抽出 (Constraint Extraction): 書き換え中にLLMが遵守すべき形式的な不変条件（例：モジュールインターフェース、信号幅、リセット挙動、FSMセマンティクスの保持）を定義する。
• スパン選択 (Span Selection): 保護された領域を避けつつ、変換対象となる脆弱なコード領域を特定する。
• コード書き換え (Code Rewriting): LLMを利用して、以下の5つの特定の変換戦略を適用する：
  1. セマンティクス的に中立な代替案による識別子のリネーム。
  2. 等価な式による制御フローの再構成。
  3. Diff-noise injection（差分ノイズ注入）: 元のリファレンス設計との構文的類似性を断ち切るための、無害な変更の導入。
  4. Context dilution（コンテキスト希釈）: セキュリティに関連する手がかりを隠蔽または分散させる。
  5. ブール代数と時間的変換を用いたロジックの書き換え。
• 検証 (Verification): 文法チェックのためのVerilatorと、形式的な意味論的等価性を保証するためのYosys（SATベースの証明）を用いた厳格なループを使用して、機能的な正当性と元の設計に対する意味論的等価性を確保する。

主な貢献

• 初の経験的実証: 本論文は、ハードウェアベンチマークにおけるLLMベースの脆弱性検出が、差分ベースの構文比較とオリジナルコードの検索に大きく依存しており、真のセキュリティ推論なしに75〜83%の検出率を達成しているという証拠を提示している。
• 新規の難読化フレームワーク: Diff-noise、コンテキスト希釈、およびセマンティックな誤誘導を採用した、初の可読性保持型LLM特化型難読化フレームワークの開発。
• 自動検証パイプライン: 難読化された設計が意味論的に等価であり、完全に機能することを保証する統合システム。これは、人間の分析とAIトレーニングの両方に適している。
• ベンチマークの完全性の回復: 自動的な差分悪用を防ぎつつ、参加者が設計から学習できる能力を維持することで、ハードウェアセキュリティ・コンペティションの妥当性を回復する方法。

結果
フレームワークは、OpenTitanに基づく3つのHackTheSiliconベンチマーク（Hack@DATE'25, Hack@DAC'25, Hack@CHES'25）において評価された。これらには、27のCWEカテゴリにわたる50個のユニークな脆弱性が含まれている。検出器（D1およびD4）は、0%、10%、50%、および100%の難読化レベルに対してテストされた。

• ベースライン性能: 難読化されていないベンチマークにおいて、D1は83.3%の検出率を達成し、D4は77.1%を達成した。
• 難読化の影響:
  • 10%の難読化時: 検出率の低下は比較的小さいものの、検出精度が48〜55%大幅に低下した。これは、軽微な構文変更であっても、モデルが差分ベースのパターンに依存する能力を著しく阻害し、偽陽性の急増を引き起こすことを示している。
  • 100%の難読化時: フレームワークは、LLMベースの検出精度を**78.6%**減少させ（約15%まで低下）、検出率を約50%減少させた（D1: 83.3% → 54.3%; D4: 77.1% → 48.9%）。
• 人間の可読性: 従来の難読化とは異なり、生成された設計は人間のアナリストにとって解釈可能であり、ベンチマークの教育的価値を保持していた。

意義
本論文は、その研究がハードウェアセキュリティ研究における重大なギャップ、すなわち高度なAI時代におけるベンチマークの妥当性に対処していると主張している。現在のLLMベースの「検出」が、単なる自動化された差分比較に過ぎないことを示すことで、著者らは、既存の評価がAIの推論能力を過大評価している可能性があると論じている。提案されたAttackonCTFフレームワークは、ベンチマークの信頼性を回復するための実用的な解決策を提供する。これにより、コミュニティはオープンソースのSoC設計をトレーニングやコンペティションに使用し続けることができ、同時に、高いパフォーマンス指標が既知のクリーンなコードとの構文的相関の悪用ではなく、真のセキュリティ推論を反映するようにすることができる。これにより、ハードウェア脆弱性分析における人間とAI双方の能力をより正確に評価することが可能になる。