技術要約：ModSleuth – 現代のLLMにおける不可視な依存関係の監査

問題提起

現代の大規模言語モデル（LLM）開発は、モデルがデータ生成、フィルタリング、書き換え、評価、および選好学習のために他のモデルに依存するという、極めて再帰的なエコシステムへと進化している。生の人間によるデータに主に依存していた過去のパイプラインとは異なり、現在のワークフローには、上流のアーティファクト（例：報酬モデル、ジャッジ、合成データジェネレーター）が下流のモデルの重みや開発決定を形作るという、複雑で多段階の依存関係が含まれている。

核心となる問題は、これらの依存構造における透明性の欠如である。依存関係は以下の特性を持つ：

• 断片化: 情報が技術レポート、モデルカード、コードリポジトリ、データセットカードに散在している。
• 再帰性: モデルがある上流のアーティファクトに依存しており、そのアーティファクト自身の依存関係は、別個の無関係なリリースにおいてのみ文書化されている場合がある。
• 曖昧性: 直接的な依存関係（重みに影響を与えるもの）と間接的な依存関係（開発決定に影響を与えるもの）を区別すること、あるいは、一貫性のない命名規則間でアーティファクトの同一性を照合することが困難である。

この不透明さは、ライセンス制限のサイレントな伝播、マルチホップ経路を通じたデータの汚染の連鎖、およびジャッジモデルが評価対象のシステムと同じ系譜を共有することによる循環的な評価バイアスといった、具体的なリスクを引き起こす。既存の監査手法（例：エコシステムのマッピング、重みに基づく系譜推論）は、狭い意味での系譜に焦点を当てすぎているか、フィルタリングや評価のような「重みを形成しない影響」を捉えきれないため、不十分である。

メソドロジー：ModSleuth

著者らは、公開されているアーティファクトからソースに基づいた証拠を用いて、LLMの依存グラフを再帰的に再構成するように設計されたエージェント・システムであるModSleuthを導入する。本システムは、単なる情報抽出（これは現代のエージェントが既に実行可能なことである）を超え、依存関係の追跡における意味論的および表現的な課題に対処する。

コア設計原則

1. 依存関係の定式化:

   • 直接的依存関係: 対象モデルの学習または重みに実質的な影響を与える上流のアーティファクト（例：初期化モデル、合成データジェネレーター、OCRシステム、フィルタリングモデル）。
   • 間接的依存関係: 学習には入らないが、開発決定に実質的な影響を与える上流のアーティファクト（例：評価モデル、アブレーション研究、手法のレシピ）。
   • 除外: 学習に影響を与えず、かつ開発に実質的な影響も与えないアーティファクト（例：ベースライン比較、漠然としたインスピレーション）は除外される。

2. 操作による表現:
   固定された依存ラベルの代わりに、関係性は**操作（operations）**として表現される。これは、単一のパイプラインイベント（例：生成、フィルタリング、書き換え）を記述する構造化されたエッジのグループである。各エッジには、自由形式の自然言語による説明、粗い依存タイプ、および裏付けとなるソースの抜粋が含まれる。

3. ラティス（格子）による同一性解決:
   一貫性のない参照（例：「Olmo 3 32B」対 特定のチェックポイントID）を処理するために、ModSleuthは**同一性ラティス（identity lattice）**を使用する。アーティファクトはファミリーとして整理され、未指定の参照のためのルートノード、部分的な解決のための中間ノード、および具体的なURLに固定された標準的なリーフノードで構成される。これにより、時期尚早な解決を強制することなく、不確実性を保持したまま扱うことができる。

ModSleuthのパイプライン

システムは、Claude Codeを基盤となるエージェントエンジンとして利用し、以下の3つのフェーズで作動する：

1. ソース収集: 対象となるLLMの公式な公開アーティファクト（技術レポート、モデル/データセットカード、コードリポジトリ、リリースブログ）を収集し、トピックごとのバッチに整理する。
2. エンティティの発見と解決: 依存するモデルやデータセットの言及を抽出し、それらを同一性ラティスにマッピングする。Hugging Faceのアーティファクトについては、決定論的なメタデータ取得を使用して、標準的なURLを検証し、派生関係を追跡する。
3. 依存関係の構築と照合: 解消されたラティスに対してソースバッチを再読み込みし、証拠に基づいたエッジを構築する。複数のソース間で同一の関係性を記述する主張を統合し、不一致がある場合は人間によるレビューのためにフラグを立てる。

再帰的拡張: システムはこのパイプラインを発見された上流のアーティファクトに対して再帰的に適用し、マルチホップの依存関係（例：ターゲットモデル $\to$ OCRモデル $\to$ OCRモデルの学習データ）の追跡を可能にする。ユーザーは、カバー範囲を制御するために検索戦略（BFS、DFS、またはビームサーチ）を設定できる。

主な貢献

• ModSleuthシステム: 異種混合の公開ソースから、証拠に基づいた依存グラフを再帰的に再構成するための新しいエージェント・フレームワーク。
• 再帰的追跡の定式化: 直接的依存関係と間接的依存関係を区別し、操作を中心とした関係を通じてヘテロジニアスなパイプラインの役割を表現する構造化されたアプローチ。
• 大規模な依存グラフ: 4つの公開アーティファクトが豊富なLLMリリース（Olmo 3, Nemotron 3, DR Tulu, SmolLM3）に対して依存グラフを構築し、1,060個のソース検証済み依存関係を回収し、最大8ホップの深さを持つグラフを構築した。
• 監査ワークフロー: 監査の質問をグラフクエリとして実行するクエリ駆動型のアプローチであり、個々の文書では見えないリスクパターンを浮き彫りにする。

結果と知見

4つの多様なLLMリリースに適用した結果、ModSleuthは検証済みの依存関係の回収において、ベースラインのLLMおよびエージェントを大幅に上回った。

• パフォーマンス: ModSleuth（無制限のスコープ）は、1,060個の検証済み関係を回収し、最強のベースライン（GPT-5.5 Proの314）の3倍以上の結果を出した。保守的な深さ1のスコープにおいても、484個の関係を回収し、ベースラインを54%上回った。
• グラフの規模: マージされたグラフには、2,526個のアーティファクトノードと9,112個のエッジが含まれる。
• 依存関係の構成:
  • 直接的 vs 間接的: 検証されたエッジの72%は直接的依存関係（重み/データに影響）であり、28%は間接的依存関係（開発に影響）であった。
  • データ vs 重みの系譜: 上流のモデルは、重みの系譜よりも主にデータの操作（生成、フィルタリング、変換）を通じて下流のシステムを形作っている。
  • 外部 vs 内部: 検証された依存関係の75〜82%は対象組織の外部であり、Qwen、Llama、OpenAIが最も支配的な上流ファミリーであった。

定性的知見

再構成されたグラフは、いくつかの重要な問題を明らかにした：

1. 過少報告と不一致: 論文、コード、モデルカードの間での不一致（例：DR Tuluの論文では、ScholarQAの実装で見つかったClaude Sonnet 3.7への依存関係が省略されていた）。
2. ライセンスに関連するパス: ライセンス制限（例：Llamaコミュニティライセンス）が合成データパイプライン（例：SmolLM3のFineMathデータは、Llamaによって生成されたアノテーションまで遡る）を通じて伝播するマルチホップの連鎖。
3. 学習と評価の結合: ベンチマーク（例：IFEval, GSM8K, SWE-Bench）が学習アーティファクトと評価対象の両方として同時に現れ、構造的な循環を生み出している。
4. モデルを介した選択: 上流のモデル（ジャッジ、フィルター）が、どの例を作成し、どれを保持するかを決定しており、少数のファミリー（Qwen, DeepSeek, Llama）に影響が集中している。
5. コードレベルのプロベナンス（由来）: 重要な依存関係は、高レベルの文書化ではなく、多くの場合、トレーニングスクリプトやYAML設定の中に隠されている。

重要性と限界

重要性:
本論文は、LLMの依存関係における透明性の欠如は偶発的なものではなく、構造的なものであると主張している。ModSleるは、現代のLLMエコシステムがこれまで認識されていたよりもはるかに相互接続され、再帰的に依存していることを示している。本研究は、断片的な公開証拠を構造化されクエリ可能なグラフへと変換することで、エコシステムの監査、理解、およびガバナンスのための基礎を提供する。また、現在の開示メカニズム（モデルカード、データシート）は、再帰的で多段階の依存関係を捉えるには根本的に「平面的すぎる」ことを浮き彫りにしている。

限界:

• 下限値: ModSleuthは、公開アーティファクトから得られる宣言された依存関係を特定するものである。文書化されていない、プロプライエタリな、あるいは内部的な依存関係を回収することはできない。したがって、得られたグラフは、真の依存構造における証拠に基づいた「下限」を表している。
• グラウンドトゥルース（正解）: 完全な正解となる依存グラフは存在しないため、絶対的な再現率（Recall）の測定は困難である。評価は、報告された証拠の事後検証に依存している。
• エージェントのバイアス: 抽出および検証の両方のパイプラインがClaude Codeに依存しており、共通のモデリングバイアスを導入する可能性がある。
• スコープ: 分析は公式ソースに限定されており、検証されていない第三者の主張は除外されている。

著者らは、LLMのパイプラインがますます再帰的になるにつれ、透明性の取り組みは、平坦な文書化を超えて、依存構造、証拠、および役割のセマンティクスを明示的に表現するスキーマへと進化しなければならないと結論付けている。