Verification Without Sufficiency: Per-Chunk Filtering Fails on Multi-Hop RAG, and Decomposition Repairs It

名探偵と消えた手がかり

あなたは、ノートの代わりに超スマートなロボット助手と一緒に謎を解こうとしている名探偵だと想像してください。このロボットは物語を書いたり質問に答えたりすることには長けていますが、時々作り話をすることがあります。ロボットが嘘をつかないように、あなたは新聞の切り抜き（取得されたテキスト）の束を与え、答えを書く前にその中に隠された特定の事実を見つけ出すよう命じます。この仕組みは「検索拡張生成」、あるいはRAGと呼ばれます。考え方はシンプルです。ロボットは手がかりを読み、それらが理にかなっているかを確認し、それから真実を伝えます。

しかし、もしその謎が「マルチホップ（多段階）」のパズルだったらどうなるでしょうか？ 通常の質問であれば、答えは一つの段落の中にそのまま存在しています。しかし、マルチホップのパズルでは、答えは手がかりの連鎖の中に隠されています。ある名前を見つけるために一つの段落を読み、次にその名前を使って、本当の答えが隠されている二つ目の段落を見つけ出す必要があります。ロボットの仕事は、「この段落はパズルを解く助けになるか？」を検証することです。研究者が問いかけている大きな疑問は、「各段落を一つずつチェックして役に立つかどうかを確認すればよいのか、それとも、バラバラに見た瞬間にパズルが壊れてしまうのか？」ということです。

---

一つずつ見るという罠

この論文では、ランドヒル・クマール（Randhir Kumar）という研究者が、これらのロボット助手を修正するために使われる一般的な戦略を調査しています。その戦略は「パーチャンク・フィルタリング（塊ごとのフィルタリング）」と呼ばれるものです。10枚の新聞の切り抜きが積み重なっていると想像してください。標準的なアドバイスは、それぞれを個別に見てスコアを付け、答えを含んでいないと思われるものを捨て去ることです。それは、クラブの入り口でIDをチェックするドアマンのように、論理的に聞こえます。もしIDがゲストリストと一致しなければ、中に入れないというわけです。

論文によれば、マルチホップのパズルにおいて、この「ドアマン」戦略は実は災難をもたらします。単にドアマンの仕事が下手なのではなく、仕事の内容自体が不可能なのです。

ここにひねりがあります。マルチホップのパズルでは、最終的な答えを実際に保持している段落は、通常、質問が「言及していない」ものなのです。例えば、質問が「『映画X』の悪役を演じた俳優の妻は誰か？」である場合、質問には映画と俳優の名前が含まれています。その映画についての段落を見つけるのは簡単です。しかし、その俳優の妻についての段落はどうでしょう？ 質問の中で彼女の名前には一度も触れられていません。もしあなたがロボットに「この妻に関する段落は、質問の答えに役立ちますか？」と尋ねたら、ロボットは質問を見て、そこに妻の名前がないことを確認し、「いいえ、これは無関係です」と答えてしまいます。そして、最も重要な手がかりをゴミ箱に捨ててしまうのです。

研究者たちはこれを3つの異なるパズル・データセット（HotpotQA、2WikiMultihopQA、MuSiQue）でテストし、この「一つずつ」チェックする方法が惨めに失敗したことを発見しました。段落を個別にスコアリングしようとすると、システムは役に立つ手がかりと偽の手がかりを区別できませんでした。成功率（AUCで測定）は0.54から0.64の間を漂っており、これはコイン投げとほとんど変わりません。実際、最も難しいパズルにおいては、システムはあまりに混乱しており、間違った段落を残して正しいものを捨ててしまうことがよくありました。

なぜ「ドアマン」は失敗するのか

論文では、なぜこのようなことが起きているのかという言い訳をいくつか排除しています。ロボットがバカすぎるからではありません（彼らは大小さまざまなロボットでテストしましたが、問題はより賢いロボットほど悪化しました）。段落が短すぎたり長すぎたりするせいでもありません。また、「ドアマン」がルールに対して厳格すぎたり寛容すぎたりしたせいでもありません。

真の犯人は「十分性（sufficiency）」です。「ドアマン」は、単一の段落が答えを証明するのに十分であると想定しています。しかし、マルチホップのパズルでは、単一の段落だけでは不十分なのです。最初のヒントと二つ目のヒントの「組み合わせ」があって初めて意味を成します。

これを証明するために、研究者たちは巧妙な実験を行いました。彼らは二つの正しい段落を取り出し、それらを一つの長いテキストとして結合しました。そして、この結合されたテキストに対してロボットにチェックを求めたところ、成功率はコイン投げレベルの0.66から、確固たる0.88へと跳ね上がりました。これは、情報はそこに存在していたものの、手がかりが分離されていたためにロボットが見つけられなかったことを示しています。

また、パズルのステップ数が増えるほど問題が悪化することも分かりました。パズルを解くのに2ステップ必要な場合、ロボットはそこそこ機能します。しかし、4ステップ必要になると、ロボットは完全に迷子になります。それは、まるで一本一本の草を一つずつ見ていくことで、干し草の山の中から針を見つけようとするようなものです。全体を見渡さない限り、決して針は見つかりません。

解決策：問題を分解する

では、一つずつ段落をチェックするのが失敗するなら、何がうまくいくのでしょうか？ 論文は、質問の「仕方」を変えるという修正案を提示しています。

ロボットに「この段落は元の質問に答えていますか？」と聞く代わりに、研究者は「この段プロは、パズルの『次のステップ』に答えていますか？」と聞くことを提案しています。

宝探しを想像してみてください。

• 古いやり方： あなたはロボットに島の地図を見せ、「この地図に宝物は載っていますか？」と尋ねます。ロボットは「いいえ、宝物はこの地図には載っていません」と言い、地図を捨ててしまいます。しかし、その地図は実際には、宝箱を開けるために必要な「鍵」の場所を示しているのです。
• 新しいやり方： まず最初のステップを特定します。「鍵はどこにあるか？」。そこで、鍵が載っている地図を見つけます。次に、ロボットに「鍵を持っているとしたら、この次の地図は宝物を示していますか？」と尋ねます。突然、ロボットは理解します。繋がりが見えるのです。

研究者たちは、「デコンポーザー（分解器）」——大きな質問を小さなサブ質問に分解するツール——を使用することで、これをテストしました。これらの小さな質問を使って段落をチェックしたところ、成功率は急上昇しました。最も難しいパズルにおいて、スコアはランダムな推測に近い0.546から0.840へと跳ね上がりました。これは劇的な改善であり、特定のステップにおける適切な文脈を与えることができれば、ロボットは答えを見つけられることを証明しています。

間違えた時の代償

論文では、これらの手法を実際に回答生成に使用した場合に何が起こるかも調査しました。彼らは、「一つずつ」チェックするドアマン方式が最悪の選択肢であることを発見しました。それはあまりにひどく、フィルタリングを一切せずにロボットにすべてを読ませた場合よりも、回答の質を下げてしまうほどでした。

実際、ロボットが賢ければ賢いほど、この悪いフィルタリングによる被害を受けました。少し賢いロボットは精度が4.6ポイント低下しましたが、非常に賢いロボットは19.4ポイントも低下しました。それは、料理の名前に合わないという理由で、メインの食材を捨ててしまったレシピを天才シェフに渡すようなものです。シェフは非常に優秀なので、何が足りないかを正確に指摘できますが、食材がなければ料理を作ることはできません。

まとめ

ここでの主な教訓は、マルチステップのパズルを、ステップを孤立させて判断することはできないということです。「各段落を元の質問と照らし合わせてチェックする」というドアマンのアプローチが失敗するのは、答えが段落そのものの中ではなく、段落間の「繋がり」の中に隠されているからです。

この論文は、問題を完璧に解決したと主張しているわけではありません。新しい「分解型」の手法を用いても、まだ改善の余地はありますし、研究者たちも自分たちのツールがまだ完璧ではないことを認めています。しかし、彼らは古いフィルタリングの方法が壊れていること、そして進むべき道は、大きな質問をチェックする前に、小さく管理可能な断片へと分解することにあるということを証明しました。これは、答えを見つけるためには、全体像を見るのをやめ、次のステップを見つめる必要があるということを思い出させてくれます。