💬 NLP

RAS: Retrieval-And-Structuring for Knowledge-Intensive LLM Generation

本論文は、反復的な検索と構造化された知識構築を通じて質問固有の知識グラフを動的に構築することにより、知識集約的なタスクにおける大規模言語モデルの多段階推論性能を大幅に向上させるフレームワークであるRetrieval-And-Structuring（RAS）を提案する。

原著者： Pengcheng Jiang, Lang Cao, Ruike Zhu, Minhao Jiang, Yunyi Zhang, Jiaming Shen, Jimeng Sun, Jiawei Han

公開日 2026-01-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Pengcheng Jiang, Lang Cao, Ruike Zhu, Minhao Jiang, Yunyi Zhang, Jiaming Shen, Jimeng Sun, Jiawei Han

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常にトリッキーなミステリーを解こうとしているところだと想像してください。例えば、ある有名な科学者が結婚した後に、具体的にどのような宗教を信仰していたのかを突き止めるようなケースです。あなたの手元には、巨大な図書室（インターネット）がありますが、すべてのページを読み通すことはできません。

従来の手法の問題点
今日のほとんどのAIアシスタントは、バラバラの書類の束を渡された学生のように働きます。彼らはこう言われます。「これはこの科学者に関する5つの文書です。これをもとに回答を書きなさい」。学生は、整理されていない乱雑な書類を読み通し、頭の中で点と点を結びつけようと試み、そして作り話をしてしまわないこと（「ハルシネーション」と呼ばれる問題）を祈るしかありません。もし書類の内容が矛盾していたり、理解しにくかったりすると、学生は混乱して、不正確または根拠の薄い回答を出してしまいます。

新しい解決策：RAS (Retrieval-and-Structuring / 検索と構造化)
この論文は、RASと呼ばれる新しいフレームワークを紹介しています。RASを、単に書類の束を読む学生としてではなく、**「捜査ファイルを作成する探偵」**として考えてみてください。

RASがどのように機能するかを、この探偵の比喩を用いてステップごとに説明します。

探偵の計画 (Planning):
ただ闇雲に書類を掴むのではなく、探偵はまずこう自問します。「今、自分は本当に何を知る必要があるのか？」
- もしAIがすでに答えを知っているなら、そこで止まってレポートを書きます。
- もし答えを知らないなら、足りないパズルのピースを見つけるために、具体的で焦点を絞った質問（サブクエリ）を作成します。それは、「誰と結婚したかは分かったが、その人物の信仰については知らない。では、彼らの宗教的見解について具体的に調べてみよう」と言うようなものです。
証拠の収集と整理 (Retrieval & Structuring):
探偵は図書室へ行き、その焦点を絞った質問に答える特定のページを見つけ出し、そして極めて重要なことを行います。単にページを読むのではなく、事実を「地図」へと変換するのです。
- 長くて乱雑な段落としてテキストを保持する代わりに、RASは情報をシンプルで明快な事実へと分解します：対象（マリー・キュリー）→ 関係（信仰していた）→ 対象物（不可知論）。
- 探偵はこれらの事実をホワイトボード（「ナレッジグラフ」）に描き出します。もし後で新しい事実が見つかれば、それをマップに追加し、以前の事実と結びつけます。これにより、この特定のミステリーに特化した、成長し続ける整理された真実のネットワークが構築されます。
事件の解決 (Answering):
最後に、探偵は完成したマップを見渡します。情報が論理的かつ明確に整理されているため、AIはノイズに惑わされることなく全体像を把握できます。AIは、マップ上の明確なつながりにのみ基づいて、最終的な回答を記述します。

なぜこれが優れているのか？

「脳霧（ブレインフォグ）」の解消: 旧来の手法では、AIは事実がどのように結びつくかを推測しなければなりません。RASは、線を引いて地図を作るように、つながりを明示的に構築します。
時間の無駄がない: 図書館全体を読むことはしません。必要なものだけを探し、それを整理します。
間違いが少ない: 乱雑なテキストを構造化された事実に変換することで、AIが作り話をする可能性を低減させます。

結果
著者らは、この「探偵」を7種類の困難な知識タスク（複雑な科学の質問への回答や、詳細で長い解説の作成など）でテストしました。

オープンソースのAIモデルを使用した場合、RASは精度を約**7%**向上させました。
高性能な有料（プロプライエタリ）AIモデルを使用した場合、精度は約**8.7%**向上しました。

結論
RASは、AIが知識を扱う方法を変えます。整理されていないテキストの海に溺れるのではなく、あらゆる質問に対して、カスタムメイドの事実に基づいたマップを構築するスマートなオーガナイザー（整理屋）として機能します。これにより、AIはより賢く、より正確になり、複雑な問題の推理において格段に優れたものとなります。

技術要約: 知識集約型LLM生成のためのRAS (Retrieval-And-Structuring)

問題提起

大規模言語モデル（LLM）は、知識集約型のタスクにおいて優れた能力を示しているが、マルチステップの推論においては頻繁に課題に直面する。この限界は、主に標準的な検索拡張生成（RAG）フレームワークにおける、検索されたコンテキストの非構造的な性質に起因している。RAGは外部情報を提供するものの、検索されたパッセージ間の明示的な組織化が欠如しているため、モデルは論理的なギャップを暗黙的に埋めざるを得ず、その結果、脆弱な推論経路やハルシネーション（幻覚）を招くことが多い。

知識グラフ（KG）をLLMと統合しようとする既存の試みは、通常、コーパス全体にわたる静的なグラフに依存している。これらのアプローチには、2つの重大な制限がある：

高コスト: グローバルなKG（例：Wikipedia）の構築と維持には、数百万回のLLM呼び出しと多額の資金が必要となる。
曖昧性: グローバルなグラフは、相反する文書からの証拠を混在させてしまうことがあり、ユーザーのクエリに関連する特定のコンテキストを不明瞭にする、曖昧または矛盾した関係性を生み出す。

したがって、オフラインのインデックス作成に伴う法外なコストをかけることなく、クエリごとに特化した知識構造を動的に構築し、より解釈可能で堅牢な推論を可能にするシステムが必要とされている。

手法: RASフレームワーク

著者らは、反復的な検索と構造化された知識構築を通じて、質問固有の知識グラフを動的に構築するフレームワークであるRetrieval-And-Structuring (RAS) を提案する。RASは、ターゲットを絞った検索計画と増分的なグラフ構築を交互に行うことで、各クエリに合わせて進化する知識構造を組み立て、それに基づいて推論を行う。

このフレームワークは、主に3つの段階で動作する：

1. 知識認識型プランニング (Knowledge-Aware Planning)

プロセスは、現在の知識状態を動的に評価するプランニングモジュールによって開始および制御される。

初期プランニング: 入力クエリ $Q$ が与えられると、モデルはクエリに直接回答できるか（[NO_RETRIEVAL]）、あるいは検索が必要かを判断する。検索が必要な場合、メインの質問が初期のサブクエリ ( $q_0$ ) として機能する。
反復的プランニング: 各イテレーション $i$ $i$ において、モデルは蓄積された知識グラフ $G_i$ $G_{i}$ と、サブクエリおよび抽出されたトリプルの履歴を分析する。そして、以下のいずれかを行うことを決定する：
- 特定の知識の欠落を埋めるために、新たな焦点を絞ったサブクエリ ( $q_{i+1}$ ) を生成する（[SUBQ]）。
- 蓄積された知識が十分であると判断した場合、検索を終了する（[SUFFICIENT]）。

2. テキスト検索と構造化 (Text Retrieval and Structuring)

サブクエリが生成されると、システムは検索および構造化パイプラインを実行する：

検索: デンスリトリーバー（Dense Retriever）が、サブクエリに対して意味的に関連性の高い上位 $k$ 個のパッセージ ( $t_i$ ) を取得する。
Text-to-Triples変換: 特化したモデル ( $f_{t2t}$ ) が、取得されたテキストを構造化された事実的トリプル（主語-述語-目的語）に変換する。このモデルは WikiOfGraph データセットを用いて訓練されている。
グラフ構築: 抽出されたトリプルは、ノードとエッジのセマンティック埋め込みを持つグラフ構造 $g'_i$ に変換される。
反復的な拡充: 新しいグラフ $g'_i$ は、進化する質問固有の知識グラフ $G_Q$ にマージされる。このグラフは反復的に成長し、メインのクエリに関連する証拠を蓄積していく。

3. 知識拡張型回答 (Knowledge-Augmented Answering)

プランニングモジュールが知識が十分であると信号を送ると、モデルは最終的な回答を生成する。

検索が不要であった場合は、クエリから直接回答が生成される。
それ以外の場合、エンコードされた質問固有のKG ( $G_Q$ ) と、サブクエリの連鎖およびそれに関連するグラフ情報に基づいた条件付き生成が行われる。モデルはこの構造化されたコンテキストに注意（Attention）を向け、正確で一貫性のある出力を生成する。

学習戦略

RASは、構造認識型マルチタスク学習 (Structure-Aware Multitask Learning) を採用している。単一のグラフLLMが、パラメータ効率の良い微調整戦略（LoRA）を用いて、プランニングと回答の両方のタスクを行うよう訓練される。学習データである HotpotQA-SUBQ は、HotpotQA の文書をフィルタリングし、各支持文書に対してサブクエリを生成し、適切なプランニングアクション（[SUBQ], [SUFFICIENT], または [NO_RETRIEVAL]）または最終回答をラベル付けすることで構築されている。

主な貢献

RASフレームワーク: グローバルなKGのコストとノイズを回避し、反復的な検索と構造化を通じて質問固有の知識グラフを動的に構築するフレームワークの提案。
統一モデルアーキテクチャ: 進化する知識グラフ上で、検索の必要性を計画し、かつ回答を生成することを共同で行う、統一されたグラフLLMの設計。これはマルチタスク学習の設定を利用している。
実証的検証: 7つの多様なベンチマークにおいて一貫した性能向上を示し、動的な構造化が推論の正確性と堅牢性を向上させることを証明した。

実験結果

著者らは、オープンドメインQA（TriviaQA, PopQA, 2WikiMultihopQA）、クローズドセットタスク（PubHealth, ARC-Challenge）、および長文生成（ASQA, ELI5）をカバーする7つのベンチマークでRASを評価した。

性能向上: RASは、Self-RAG, RPG, SuRe などの強力なベースラインを一貫して上回った。
- オープンソースLLM（LLaMA-2-7B/LLaMA-3-8B）を用いた場合、RASはベースラインに対して最大 7.0% の向上を達成した。
- プロプライエタリモデル（Claude-3.5-Sonnet）を用いた場合、RASは最大 8.7% の向上を達成した。
アブレーション研究:
- 反復的プランニング: プランニングモジュールを除去した場合（単発の検索に戻した場合）、大幅な性能低下が見られ、検索の必要性を動的に判断することの重要性が浮き彫りになった。
- グラフ構築: Text-to-triples 変換またはグラフエンコーダを除去すると、大幅な劣化が生じ、構造化された知識表現の価値が確認された。
- 学習戦略: 共同マルチタスク学習と LoRA の使用が、最適な性能を得るために極めて重要であることが判明した。
効率性: 高価なオフラインインデックス作成（Wikipedia規模で推定 8万5千ドル〜50万ドル）を必要とする静的グラフ手法（例：GraphRAG）とは異なり、RASは推論時にグラフを動的に構築するため、オフラインコストは無視できる程度である。

意義と主張

本論文は、動的かつ質問固有の知識構造化が、言語モデル生成における推論の正確性と堅棒性を向上させるための堅牢な道筋を提供すると主張している。取得された知識を進化するグラフへと明示的に整理することで、RASは非構造化されたコンテキストに伴うハルシネーションのリスクと、グローバルな知識グラフの非効率性を軽減する。

著者らは、LLMの失敗は多くの場合、暗黙的な推論チェーンの断絶に起因するという解釈可能性の研究と、彼らのアプローチが一致していることを強調している。構造化された中間的な推論を通じてこれらのチェーンを明示的にすることで、RASは知識集約型タスクに対する透明性が高くスケーラブルなソリューションを提供する。このフレームワークは、特定の知識グラフ質問回答（KGQA）タスクに限定されるものではなく、オープンドメインの質問回答のための汎用的なアプローチとして提示されている。