技術概要：研究アイデア生成のための研究グラフ（GoR）

問題定義

自動化された科学研究は、文献レビュー、アイデア創出、実行の間のループを閉じるために、大規模言語モデル（LLM）にますます依存しています。しかし、アイデア創出段階は依然としてボトルネックとなっています。研究アイデアを生成する既存の手法は、通常、関連文献の静的な検索や複雑なプロンプトエンジニアリングに依存しています。これらのアプローチは、参考文献を「平らなテキストの袋」として扱い、人間の研究者が新しいアイデアを統合するために使用する構造的関係（例えば、引用の位置、時間的進化、先行者リンク）を破棄しています。その結果、現在のシステムは引用グラフを教師信号として活用できず、生成されるアイデアの独創性と実現可能性が制限されています。

手法：研究グラフ（GoR）

著者は、引用進化構造を構造化テキストプロンプトに変換し、LLM のトレーニングに活用する教師あり微調整（SFT）フレームワークである**研究グラフ（GoR）**を提案します。この手法は以下の 3 つの段階で動作します。

1. 自動化された引用グラフ抽出

システムは、各シード論文に対して2 ホップの参照近傍を構築し、シードがシンク（終点）で参照がノードとなる有向非巡回グラフ（DAG）を形成します。

• データソース: このパイプラインは、2020 年から 2024 年にかけての 5 つの主要な会議（NeurIPS、ICLR、CVPR、ICML、ACL）で受理された論文を処理します。
• 部分グラフ構築:
  • 拡張: 明示的な参照 $R(v)$ とそれらの参照 $R(r)$ を取得して、2 ホップ近傍を形成します。
  • 時間的コーン: 厳密な時間的順序を強制し、$t(u) < t(v)$ となるノード $u$ のみを保持します。
  • 剪定: 2 パス採点ポリシーを使用して、予算 $K$（12 から 30 の参照の間）を選択します。スコアは、シード内部の引用頻度、セクションの重み、影響力フラグ（Semantic Scholar）、および多数の選択された近傍によって参照される基礎論文を表面化させる「兄弟ブースト」項を組み合わせます。
• 注釈: DAG のすべてのエッジは、5 つのカテゴリーにわたる8 つの特徴で注釈付けられます。
  • 役割: どのシードセクションが参照を引用しているか、およびその重み。
  • 影響力: グローバルな引用数と部分グラフ内の局所的中心性。
  • 新規性: シードと参照の間の年数算術。
  • トポロジー: ホップ距離（直接対間接）。
  • 出所: パーサの信頼性フラグ。
• ターゲット抽出: LLM は、シードとその参照の両方に対して、構造化された5 フィールドのアイデアスキーマ（問題、既存の手法、動機、提案手法、実験計画）を抽出します。

2. 構造化テキストプロンプトのシリアライズ

注釈付き DAG は、構造化テキストプロンプトとしてシリアライズされます。形式には以下のブロックが含まれます。

• シードメタデータ: 会議、年。
• 引用部分グラフ: 時間的に順序付けられた参照リスト。
• エッジ特徴: 各接続の 8 つの特徴を詳述する [EDGE] ブロック。
• 先行者: 明示的または並列の先行者関係を示す [PREDECESSORS] ブロック。
• 参照コンテンツ: タイトル、アブストラクト、および参照の 5 フィールドのアイデア。
• タスク: 厳密な JSON 形式でシードの 5 フィールドのアイデアを予測するよう求めるリクエスト。

3. 教師あり微調整（GoR-SFT）

• モデル: Qwen2.5-7B-Instruct-1M。
• トレーニング目的: 標準的な完了専用のクロスエントロピー損失。すべてのプロンプトトークンをマスクし、勾配が生成された JSON アイデアのみを通過するようにします。
• ベースライン比較: 同一データでトレーニングされたマッチングされたベースライン（Refs-SFT）は、すべての構造的注釈（[EDGE] および [PREDECESSORS] ブロック）を剥奪し、平らな参照リストのみを残すようにトレーニングされます。これにより、グラフ構造の寄与が孤立されます。

主な貢献

1. GoR フレームワーク: 本論文は、引用グラフ構造を未活用な教師信号として特徴付けます。エッジ特徴と先行者関係を含む引用部分グラフを構造化テキストとしてシリアライズし、LLM の微調整に活用する手法を提案します。
2. 自動化パイプライン: 著者は、注釈付き引用部分グラフと構造化されたアイデアターゲットを備えた 498 件のトレーニング論文、50 件の検証論文、および 2025 年の論文からの漏洩のない 50 件のシードテストセットを生成するパイプラインを構築しました。
3. 実証的検証: 広範な実験により、教師パイプラインに引用進化グラフ構造を注入することが、平らな参照ベースラインやゼロショットプロンプトと比較して、アイデアの品質を大幅に向上させることが実証されました。

実験結果

評価には、同じ 5 つの会議にまたがる 2025 年の論文からの 50 件のシードテストセットを使用します。指標には、LLM ジャッジトーナメント（独創性、重要性、実現可能性、明確性、効果性）、表面指標（SPECTER2、ROUGE-L、BERTScore）、およびブラインド人間評価が含まれます。

公開ベースラインとの直接比較

GoR-SFT は、3 つの gpt-4o 駆動ベースラインと比較されました。Si ベースライン（検索拡張）、CoI-Agent（時系列チェーン）、ResearchAgent（学術グラフを備えたマルチエージェント）です。

• 性能: GoR-SFT はSOTAを達成し、50 件のシードのうちそれぞれ 31 件、40 件、48 件で 3 つのベースラインに対して 1 位となりました。
• 次元: GoR-SFT は、実現可能性、明確性、効果性において決定的な勝利を示しました。独創性と重要性において Si ベースラインをわずかに下回りましたが、これらの創造的次元においても CoI-Agent および ResearchAgent を上回りました。

アブレーション研究

• SFT 対 ゼロショット: 教師あり微調整自体が支配的な要因であり、GoR-SFT（平均 Elo 23.42）はゼロショットの Qwen2.5-7B（平均 Elo 14.12）を大幅に上回りました。
• グラフ対 平らな参照: SFT プロセスにグラフ教師を追加することで、焦点を絞った改善が得られました。GoR-SFT（23.42）は、平らな参照 SFT ベースライン（22.46）を上回り、重要性（+0.105）と明確性（+0.070）において具体的な改善が見られました。
• 教師対 容量: 同じグラフプロンプトを使用するがゼロショットモードで gpt-4o を使用するGoR-Agentと比較した場合、GoR-SFT（7B モデル）は 50 件中32 件のシードで勝利しました。これは、同じ構造でより大きなモデルをプロンプトするよりも、グラフ構造上でトレーニングする方が効果的であることを示しています。

人間評価

5 名の博士号取得者による 5 件のシードを対象としたブラインド研究により、自動ランキングが確認されました。GoR-SFT は、総合、実現可能性、明確性、妥当性、再現性を含む10 指標のうち 5 指標で勝利しました。評価者は、GoR-SFT のアイデアはより根拠があり実行可能であると指摘しましたが、Si ベースラインは純粋な独創性において優位性を維持していました。

意義と主張

本論文は、引用進化グラフが、LLM ベースのアイデア生成のための強力かつ以前に見過ごされていた教師信号であると主張します。

• 効率性: グラフ教師でトレーニングされた 7B オープンソースモデル（GoR-SFT）は、ほぼゼロの推論コストで、高品質で実現可能な研究アイデアを生成する際に、フラッグシップのクローズドソースモデル（gpt-4o）を上回ることができます。
• 根拠: この手法は、アイデア創出を「平らなテキストの袋」からの検索から、構造的統合へとシフトさせ、分野の特定の進化に根ざしたアイデアを生み出します。
• 将来の課題: 著者は、LLM に科学進化のより深い理解を付与し、自動化された科学イノベーションの加速を目指すために、抽出パイプラインをより大規模なデータセットにスケールさせる計画です。

著者は、この手法が実現可能性と明確性を大幅に改善する一方で、最も多様なベースライン（Si など）との比較において、純粋な独創性におけるトレードオフが存在することを強調しており、構造的根拠と創造的発散は異なる最適化戦略を必要とする可能性があると示唆しています。