技術概要：ArtifactLinker

問題定義

本論文は、急速に拡大する科学アーティファクトのエコシステム、特に HuggingFace Hub における最先端（SOTA）の自動発見という課題に取り組みます。HuggingFace のようなプラットフォームは膨大な数のモデルとデータセットをホストしていますが、研究者はモデルとデータセットの組み合わせにおける組み合わせ爆発に直面しており、網羅的な手動評価は非現実的です。

著者らは、この課題を異種「アーティファクトグラフ」上のリンク予測タスクとして形式化しました。このグラフにおいて：

• ノードは、モデル、データセット、論文、コードベースを表します。
• エッジは、ファインチューニング、参照、評価などの関係を表します。
• エッジ属性には、パフォーマンス指標（例：F1 スコア）が含まれます。

核心的な目的は、検証された際に与えられたデータセットの現在の SOTA を厳密に上回るパフォーマンススコアをもたらす欠落リンク（未観測のモデル–データセットペア）を特定することです。このタスクは、2 つの主要な要因によって複雑化されています：

1. タスクの曖昧性：「自動発見」に対する正式な定義と厳密なベンチマークの欠如。
2. スケーラビリティ：探索空間がコード実行の網羅的処理には大きすぎるため、すべての潜在的なペアを検証することは計算的に不可能です。

手法：ArtifactLinker

著者らは、アーティファクトグラフを効率的にナビゲートし、新しい SOTA 結果を発見するために設計された 2 段階フレームワークであるArtifactLinkerを提案します。

1. 第 1 段階：リンクランキング（グラフモデリング）

第 1 段階では、コードを実行することなく、有望な未観測のモデル–データセットペアをランキングすることで、膨大な探索空間をフィルタリングします。

• グラフ構築：HuggingFace から異種グラフを構築し、arXiv と GitHub のメタデータで強化します。ノードは、LLM 要約されたドキュメント（モデルカード、README）から導出されたセマンティック埋め込みで初期化されますが、データ漏洩を防ぐため、定量的指標を厳格にマスキングするプロトコルが適用されます。
• 選択バイアスの対処：著者らは、観測されたペアのみで訓練された標準的な予測器が、ペアが評価されたという条件でのパフォーマンス $E[Y|S=1]$ を推定する一方で、ペアが本質的に非互換である確率（$S=0$）を無視するという選択バイアスの問題を特定しました。
• 因数分解された予測：これを修正するため、ランキング関数は 2 つの成分の積として定式化されます：
  $$\hat{f}(m, d) = P(S_{md}=1) \cdot E[Y_{md} | S_{md}=1]$$
  • リンク予測器（$\phi_l$）：互換性確率 $P(S_{md}=1)$ を推定します。
  • 属性予測器（$\phi_a$）：条件付きパフォーマンススコア $E[Y_{md} | S_{md}=1]$ を推定します。
• アーキテクチャ：共有グラフニューラルネットワーク（GNN）エンコーダ（具体的には GATv2）がグラフトポロジを処理します。2 つの専門化されたヘッド（リンク予測のための双線形、属性予測のための回帰）が共同で訓練されます。この共同訓練により、属性予測器はリンク予測器からの互換性シグナルから学習し、実行可能な境界に関する構造的知識を提供します。

2. 第 2 段階：リンク検証（自己進化型マルチエージェント）

第 1 段階でトップにランクされた候補は、コード実行による自動化された検証を受けます。

• マルチエージェントフレームワーク：システムはプランナーとエグゼキューターを採用します。プランナーはエラーを考慮した評価ブループリントを作成し、エグゼキューターは CodeAct ワークフローと HuggingFace API ツールを使用してコードを実装します。
• 自己進化型メモリ：エージェントが同じアーティファクト固有の特性に対して繰り返し失敗する「組み合わせ問題」に対処するため、システムはインスタンス間メモリループを組み込みます。LLM レビュアーは実行ログを分析し、根本原因と成功した回避策を構造化されたメモリに要約します。これらのメモリは、後続の反復におけるシステムプロンプトに注入され、エージェントが以前遭遇したアーティファクトを含む新しい組み合わせに対して証明済みの修正を適用できるようにします。

主要な貢献

1. ArtifactBench：著者らは、14,053 のアーティファクトと51,337 の関係からなる新しいベンチマークを導入しました。これは、転移的（すべてのノードが観測済み）および誘導的（未観測ノード）の両方の設定で評価される、SOTA 発見のための具体的な予測、ランキング、検証タスクを定義します。
2. ArtifactLinker フレームワーク：GNN ベースの構造的推論と LLM ベースのコーディングエージェントを組み合わせる新しい「ランク＆検証」パイプラインです。これは ArtifactBench 上で新しいベースラインを確立します。
3. エンドツーエンドの発見：自然言語推論（NLI）タスクに関するケーススタディにより、フレームワークが未観測の SOTA 結果を明らかにし、研究洞察（例：新しい LLM における能力の非単調性）を提供する能力を実証しました。

実験結果

• ランキング性能：LLM が万能の解決策であるという直感とは対照的に、グラフ情報が利用可能な場合、GNN ベースの手法はリンクおよび属性ランキングタスクにおいて LLM ベースのアプローチを上回りました。
  • リンクランキング（転移的）において、GATv2 は MRR 0.307を達成し、最善のリランカーベース手法（Jina-v2+graph）の0.246を上回りました。
  • 属性予測において、BUDDY などの GNN は MAE 0.061を達成し、GPT-5.2+graph（0.093）を上回りました。
  • GNN は誘導的設定でも競争力のある性能を維持しており、トポロジを単に記憶するのではなく、汎用可能な構造的特徴を学習していることを示唆しています。
• 検証効率：共同ランキングスコアは検証コストを大幅に削減しました。システムは上位 10 候補のみを検証した後、既存の SOTA パフォーマンスの**50%**を回復しましたが、バイアスのかかったベースラインでは 60 回以上の試行が必要でした。
• エージェント性能：自己進化型マルチエージェント検証システムは、キュレーションされた 263 ペアにおいて72.6% の成功率を達成しました。アブレーション研究により、多ターン相互作用やツール使用機能を削除すると、成功率が劇的に低下することが示されました（それぞれ 28.9% と 56.7%）。
• ケーススタディ（NLI）：システムは、モデルカードにこの特定スコアが記載されていなかったにもかかわらず、SNLI データセット上のモデル sileod/deberta-v3-large-tasksource-nli について、リーダーボードの SOTA から 1 パーセントポイント以内の新しい SOTA スコア（0.9212）を特定しました。

意義と主張

本論文は、ArtifactLinkerが HuggingFace Hub を自律型研究エンジンとして扱う可能性を実証していると主張しています。科学アーティファクトをグラフとしてモデル化し、「ランク＆検証」戦略を採用することで、このフレームワークは「自動発見」という未定義の問題を評価可能な目的に変換します。

著者らは、ArtifactBenchを自動研究手法を反復的に改善するための豊富なテストベッドとして位置づけています。彼らは、このアプローチが人間の監督を代替するものではなく、利用可能なアーティファクトの膨大な量のために本来なら隠れたままになる可能性のある有望なモデル–データセット相互作用を表面化するために、大規模な発見空間を効率的にナビゲートするためのスケーラブルなツールとして機能すると強調しています。この研究は、構造的グラフ情報が科学成果を予測する際にセマンティックな事前知識単独を上回る可能性のある、重要かつしばしば未活用であるリソースであることを浮き彫りにしています。