Attesting LLM Pipelines: Enforcing Verifiable Training and Release Claims

論文タイトル

Attesting LLM Pipelines: Enforcing Verifiable Training and Release Claims
（LLM パイプラインの証明：検証可能なトレーニングおよびリリース主張の強制）

1. 背景と問題定義

大規模言語モデル（LLM）システムは、事前学習済み重み、ファインチューニングアダプター、データセット、依存パッケージ、コンテナイメージなど、サードパーティ製のアーティファクトを自動的に組み合わせて構築されています。この「AI サプライチェーン」の自動化は開発速度を向上させますが、以下のような深刻なサプライチェーンリスクをもたらしています。

• リスクの具体例: 依存関係の侵害、モデルハブからの悪意のあるアーティファクトの混入、安全でない逆シリアライゼーション、プロベナンス（出所）の偽造、バックドア付きモデルの配布。
• 核心的な課題: 現在のプラクティスでは、トレーニングやリリースに関する主張（データ/コードの系譜、ビルド環境、セキュリティスキャン結果など）が、それらが記述するアーティファクトに暗号的に紐付けられていません。そのため、チームや工程間で強制力が一貫せず、セキュリティ制御が不十分です。
• 既存手法の限界: 従来のソフトウェアセキュリティ手法（SBoM、CI/CD 強化など）は適用されていますが、モデルの重みがコードと混在している点や、トレーニングの文脈が検証不可能な点など、AI 固有の課題に対処しきれていません。

2. 提案手法：証明対応型プロモーションゲート

著者らは、アーティファクトが信頼された環境（トレーニング、ファインチューニング、デプロイ）に流入する前に、その主張を検証し、ポリシーに基づいた承認決定を行う**「証明対応型プロモーションゲート（Attestation-aware Promotion Gate）」**を提案します。

2.1 主張の分類と脅威モデル

ゲートは以下の 2 種類の主張を検証対象とします。

1. トレーニング主張（Training Claims）: アーティファクトがどのように生成されたかを記述。
   • データ系譜（データセット ID、バージョン、サンプリング方針）
   • コード系譜（トレーニングスクリプト、設定、コミット）
   • 依存関係と環境スナップショット（ロックファイル、コンテナイメージのダイジェスト）
   • ハイパーパラメータの要約（オプティマイザ、学習率、ランダムシードのハッシュ）
   • 計算コンテキストと実行メタデータ
2. リリース主張（Release Claims）: アーティファクトを安全に消費・デプロイするための制約。
   • アーティファクトの識別子と署名
   • 形式保証（安全なテンソル形式の強制、pickle などの危険な逆シリアライゼーションの禁止リスト）
   • 埋め込みコードの宣言（カスタムローダーの有無）
   • 静的スキャン結果と評価/セキュリティサマリー
   • デプロイ要件（ネットワークエグレス、ファイルシステムアクセス、GPU アクセスなどの最小権限ポリシー）

2.2 技術的実装メカニズム

• 暗号的な紐付け: 主張は in-toto 述語として発行され、Sigstore を介して署名されます。これにより、主張はアーティファクトの内容ダイジェストに厳密に紐付けられ、タグやファイル名の曖昧さによる置換攻撃を防ぎます。
• ゲートの処理フロー:
  1. 検証: in-toto 証明と Sigstore 署名の検証。
  2. フォーマット/安全な読み込み: 安全な形式（例：safetensors）への強制、危険な逆シリアライゼーションのブロック。
  3. 静的スキャン: パッケージやシリアライゼーション表面に対するマルウェアスキャン（ModelScan, Trivy など）。
  4. 動的証拠（オプション）: 高リスクなアーティファクトの場合、既存のランタイムセキュリティツールから標準化された動的シグナル（不審なプロセス生成、ネットワーク通信など）をプラグイン経由で取り込み、判断材料とします。
• 決定と隔離: 検証結果に基づき「許可（Allow）」、「隔離（Quarantine）」、「ブロック（Block）」のいずれかを決定し、監査可能な機械可読レコードを生成します。不十分な証拠がある場合は、デフォルトで保守的な制御（隔離）を適用します。

3. 主要な貢献

1. 証明対応型プロモーションゲートの提案: LLM アーティファクトが信頼環境に入る前に、トレーニングおよびリリース主張を検証・強制する新しいアーキテクチャ。
2. 具体的な脅威モデルとマッピング: 依存関係の侵害、悪意のあるハブアーティファクト、プロベナンス偽造、バックドアモデルといった主要なサプライチェーンリスクに対し、主張から証拠、脅威から制御への明確なマッピングを提供。
3. 評価ブループリントの提示: 代表的なサプライチェーンシナリオ（依存関係の混乱、悪意のあるモデルハブ、バックドアモデル）を用いたケーススタディと、カバレッジ、運用オーバーヘッド、トリエージの使いやすさを測定する指標を提示。

4. 評価と結果（計画）

この論文は位置付け論文（Position Paper）であり、完全な実証研究への道筋を示すものです。以下の評価計画が提示されています。

• カバレッジ: 依存関係の混入（PyTorch 攻撃ベクトル）、悪意のあるモデルハブ（MALHUG コーパス）、バックドアモデル（[12] の手法）などのシナリオにおいて、ゲートポリシーがどの程度トリガーされるかを測定。
• 運用オーバーヘッド: ハッシュ化、スキャン、署名検証にかかるレイテンシとスループットを測定。
• トリエージの有用性: 隔離されたアーティファクトに対して、人間が迅速に判断できるよう、是正指導やポリシー例外の頻度を分析。

ケーススタディの例:
悪意のあるハブアーティファクト（安全でない逆シリアライゼーションを含む）が流入した場合、ゲートは署名の欠如と危険な形式を検知し、アーティファクトを隔離します。その後、動的プラグインによるサンドボックス実行で不審な動作が確認されれば「ブロック」に昇格させ、人間による介入を促します。

5. 意義と結論

• AI サプライチェーンのセキュリティ向上: 従来のソフトウェアセキュリティ手法を AI 固有の課題（データ系譜、モデルの進化、ランタイム挙動）に拡張し、暗号的に検証可能なエンドツーエンドのガバナンスを実現します。
• 実用性と柔軟性: 完全な証明が得られない場合でも、静的スキャンと安全な読み込みポリシーで防御を維持しつつ、必要に応じて動的分析をオプションとして追加できる設計により、実務的な導入を可能にします。
• 将来展望: 本論文で提示されたフレームワークは、より包括的な実証研究の基盤となり、適応的な攻撃者に対するリスクベースのポリシー調整や、生態系全体の採用拡大に向けた道筋を示唆しています。

このアプローチは、LLM の開発・運用における「信頼できる AI」の実現に向けた、重要なセキュリティ制御の基盤となるものです。