技術要約：Hugging FaceモデルにおけるAI成分表（AIBOM）の完全性に関する大規模測定

1. 問題提起

事前学習済み機械学習（ML）モデルをHugging Face（HF）のような公開リポジトリから再利用する動きが急速に広まったことで、ソフトウェア開発は変貌を遂げ、開発者はゼロからモデルを訓練するのではなく、モデルを再利用できるようになりました。しかし、この再利用は、AIサプライチェーンにおける透明性とガバナンスの重大なギャップをもたらしています。リポジトリには、モデルのプロベナンス（出自）、ライセンス、データセット、限界事項、および外部参照に関する、機械判読可能なドキュメントが不完全な状態で提供されていることが多々あります。

包括的なドキュメントがなければ、ダウンストリームのユーザーは、モデルの安全性、ライセンスの遵守状況、または特定のタスクへの適合性を適切に評価することができません。このような透明性の欠如は、安全でないモデルのシリアライゼーションや悪意のあるファイルへの露出といったセキュリティリスクを生じさせます。AI成分表（AIBOM）は、これらの情報を機械判読可能な形式（具体的にはCycloneDX）で構造化するためのメカニズムとして提案されていますが、公開リポジトリが実際に「完全な」AIBOMを生成するために必要なデータをどの程度保持しているかは、これまで大規模には調査されていませんでした。本論文は、現在のHFモデルリポジトリが、堅牢なAIサプライチェーンの透明性をサポートするために十分な構造化情報を提供しているかという問いに取り組みます。

2. メソドロジー

本研究では、Hugging FaceのエコシステムにおけるAIBOMの完全性を実証的に評価するために、大規模なリポジトリマイニング手法を採用しています。

• データ収集: 著者らは、2,942,466件の公開HFモデルレコードのスナップショットを収集しました。計算の実現可能性を確保し、観察可能な再利用が行われているモデルに焦点を当てるため、100回以上のダウンロードがある97,940個のモデルを抽出してデータセットを絞り込みました。
• AIBOM生成: OWASP GenAI Security Project AIBOM Generator を使用して、フィルタリングされた各モデルのAIBOMアーティファクトを生成しました。このツールは、リポジトリのメタデータ、モデルカードの内容、ライセンス情報、構成の詳細、および外部参照を抽出し、それらをCycloneDX JSON形式に整理します。
• 完全性スコアリング: ジェネレーターは、以下の5つのカテゴリに基づいて完全性スコア（0–100）を割り当てます。
  1. 必須フィールド (20点): 最小限のCycloneDX構造。
  2. メタデータ (20点): AIBOMおよびモデルの目的情報。
  3. コンポーネント基本情報 (20点): モデルのアイデンティティとライセンス。
  4. モデルカード・ドキュメンテーション (30点): AI特有の透明性（データセット、限界、安全性、倫理）。
  5. 外部参照 (10点): コード、論文、およびデータセットへのリンク。
     注：重要な、あるいは重要なフィールドが欠落している場合には、ペナルティ係数が適用されます。
• 分析: 研究者らは生成されたアーティファクトを解析して、フィールドレベルでの可用性を測定し、ドキュメントの網羅性がリポジトリの特性（タスクタイプ、ライセンスの有無、論文リファレンスの存在、データセットの宣言など）によってどのように変化するかを分析しました。

3. 主な貢献

• 大規模データセット: HFモデルリポジトリから派生した、97,940個のAIBOMアーティファクトとそれに対応する完全性スコアからなる実証的データセットの作成。
• 実証的評価: 理論的なフレームワークを超えて、実際のフィールドレベルの網羅性を測定することにより、5つの主要なドキュメンテーションカテゴリにわたるAIBOMの完全性を包括的に評価。
• ギャップの特定: 責任ある使用に関する情報、安全性リスク評価、環境データ、および意味のある記述を含む、AI特有の透明性フィールドにおける具体的なギャップの特定。
• 相関分析: AIBOMのドキュメンテーションの網羅性と、リポジタリおよびアーティファクトの特性（タスクタイプ、モデルファミリー、論文リファレンスやデータセット宣言の存在など）との相関関係の検討。

4. 主な結果

本研究は、生成されたAIBOMは構造的には有効であるものの、実質的なAI特有のドキュメンテーションを欠いていることを明らかにしています。

• 全体的な完全性: 平均完全性スコアは 54.31/100（中央値 54.10）であり、生成されたアーティファクトは中程度の完全性であるが、高い完全性の基準には達していないことを示しています。
• カテゴリ別パフォーマンス:
  • 必須フィールド: 100%の網羅率。構造的なCycloneDXフィールド（例：bomFormat, specVersion）は普遍的に存在します。
  • コンポーネント基本情報: 強固な網羅率（平均 81.75%）。name, type, version といったコアとなるアイデンティティフィールドはほぼ常に存在します。
  • 外部参照: 中程度の網羅率（平均 68.02%）。リポジトリのリンク（website, downloadLocation）はほぼ普遍的ですが、バージョン管理システム（VCS）や研究論文へのリンクは大幅に少なくなっています。
  • メタデータ: 低い網羅率（平均 40.00%）。standardCompliance や domain といったガバナンス指向のフィールドは、ほとんど欠落しています。
  • モデルカード・ドキュメンテーション: 最も脆弱なカテゴリ（平均 19.51%）。重要なAI特有のフィールドが頻繁に欠落しています。
    • データセット: 39.35% が存在。
    • 技術的限界: 16.74% が存在。
    • 安全性リスク評価: 9.76% が存在。
    • 倫理的考慮事項、意図された用途、環境情報: 分析されたアーティファクトにおいて 0.00% でした。
• フィールドレベルのニュアンス: description フィールドは、構文上は 99.99% のアーティファクトに存在しますが、プレースホルダーテキストを超えた意味のある記述を含んでいるものはわずか 0.22% でした。
• ドキュメンテーション信号の影響: 論文リファレンスとデータセット宣言を持つモデルは、それらを持たないモデルと比較して、有意に強いトレーサビリティと限界事項の網羅性を示しています。例えば、論文とデータセットの両方のシグナルを持つモデルは 99.59% のVCS網羅率を示しましたが、持たないモデルは 55.04% に留まりました。
• 高スコアのアーティファクト: 最高スコアのAIBOM（最大スコア 68.7）は、有名な大規模言語モデル（LLM）ファミリー（例：Llama, Gemma, Qwen）に集中しており、多くの場合 GGUF フォーマットを利用しています。高いスコアにもかかわらず、メタデータとモデルカードのドキュメンテーションにおける継続的な欠落により、これらも依然として「中程度の完全性」にとどまっています。

5. 重要性と示唆

本論文は、AIBOMが存在することと、サプライチェーンの透明性が確保されていることは同義ではないと主張しています。研究結果は、AIBOMの構造的な生成と、ガバナンス、監査、および安全な再利用に役立つデータを実現するために必要な実質的なデータの可用性との間の、決定的な乖離を浮き彫りにしています。

• モデル発行者に対して: ドキュメンテーションは、オプションのテキストではなく、モデルアーティファクトの核となる部分として扱う必要があります。発行者は、AIBOMの品質を向上させるために、訓練データ、限界、安全性リスク、および環境への影響に関する構造化された機械判読可能な情報を提供することが求められます。
• 開発者およびユーザーに対して: ユーザーは、AIBOMの存在だけに頼るべきではありません。透明性フィールドはしばしば欠落しているため、再利用やコンプライアンスのためにモデルを信頼する前に、カテゴリレベルおよびフィールドレベルの完全性を検査する必要があります。
• ツール開発者に対して: 将来のAIBOMツールは、構文的な完全性（フィールドの存在）と実質的な品質（意味のある内容）を区別する必要があります。ツールは、単にスコアを生成するだけでなく、重要な情報の欠落を特定するための実行可能な診断機能を提供すべきです。
• 教育者に対して: ソフトウェアエンジニアリングおよびデータサイエンスのカリキュラムには、将来のエンジニアがAIサプライチェーンのガバナンス責任を果たすことができるよう、モデルカード、ライセンス、およびAIBOMアーティファクトを検査するトレーニングを含めるべきです。

本研究は、AIBOM生成のためのインフラストラクチャは存在するものの、エコシステムには、完全に透明で信頼できるAIサプライチェーン・アーティファクトを生成するために必要なドキュメンテーションの実践が不足していると結論付けています。