Building Open-Retrieval Conversational Question Answering Systems by Generating Synthetic Data and Decontextualizing User Questions

膨大な、埃をかぶった図書館の中から特定の事実を探し出そうとしている場面を想像してみてください。しかし、あなたは、その図書館のレイアウトを一度も聞いたことがない司書と話しています。もしあなたが「それはいくらですか？」と尋ねたら、司書は何について「それ」と言っているのか分からないため、困惑してしまうかもしれません。これが**対話型質問応答（Conversational Question Answering）の核心的な問題です。人間は、「それ」「あれ」「彼」といった言葉を使って、会話のショートカット（省略）を用います。これらは、直前の会話の内容を覚えていなければ意味をなしません。これを解決するために、コンピュータは検索拡張生成（RAG）**と呼ばれるトリックを使います。RAGは、司書に、答えを出す前に瞬時に図書館の正しいページを見つけ出すことができる「魔法の拡大鏡」を与えるようなものだと考えてください。しかし、ここには落とし穴があります。司書は、その拡大鏡に対して「どのように明確な質問を投げかけるべきか」を知る必要があり、そして、その方法を学ぶための膨大な練習用会話の山を必要とするのです。

問題は、新しいトピック（例えば、特定の保険会社の規則や新しいソフトウェアのマニュアルなど）については、何千もの練習用会話が誰も書き残していないことです。人間を雇ってそれらを書かせるのは、時間がかかり、コストがかかり、退屈な作業です。この論文は、まさにその悩みに取り組んでいます。著者たちは、企業がすでに持っている生の文書だけを使用して、これらの「AI司書」のための「トレーニングジム」を構築する巧妙な方法を提案しています。彼らは単に文章をコピー＆ペーストするのではなく、まず文書を小さく、極めて明快な「事実カード（彼らはこれを**命題（propositions）**と呼んでいます）」に分解します。そして、超スマートなAIを使用して、人間がそれらのカードについて何を聞くかを想像させ、架空ではあるものの現実的な会話を作り出します。彼らは、乱雑な文書をきれいな事実カードに変え、そこから合成会話を生成するというこの手法が、生の乱雑な文章を直接使うよりも、AI司書がより適切な答えを見つける上ではるかに優れていることを見出しました。

合成会話工場の物語

では、何百万もの本物の人間によるチャットを見せられることがないときに、ロボットに優れた会話術を教えるにはどうすればよいのでしょうか？この論文の著者たちは、退屈な文書をエキサイティングで現実的な練習用会話へと変える、2段階の組立ラインを構築しました。

ステップ1：事実カード工場
新しいビデオゲームの分厚い取扱説明書を持っていると想像してください。そこには、「コントローラーを保持しながら赤いボタンを押すと、バッテリーが低い場合にのみ、キャラクターがジャンプします」といった、長く複雑な文章が満載です。これは検索エンジンにとっては悪夢です。著者たちのパイプラインは、まずこれらの文書を取り込み、強力なAI（彼らはClaude 3.5というモデルを使用しました）に分解するよう指示します。AIは細心の注意を払う編集者のように振る舞い、長い文章を短く、独立した「事実カード」へと切り刻みます。AIは「それ」や「あれ」といった紛らわしい参照を取り除き、すべてのカードが完全で自己完結した思考であることを保証します。
決定的なのは、AIに対して「人間が実際に質問しそうなこと」についてのみカードを作成するよう指示することです。人間が実際に質問する可能性がない限り、「555-0199にお問い合わせください」といった退屈な部分は無視されます。彼らは独自の文書コレクションから、プライベートな企業データに対して11,000件以上、公開されている政府文書に対して14,000件以上の事実カードを生成しました。これらのカードは、AI司書が最終的に検索することになる「真実」となります。

ステップ2：会話シミュレーター
さて、事実カードの山ができたら、パイプラインはAIに会話を想像するよう求めます。AIはこれらのカードの中から小さなグループを選び、「人間がこれらの事実について質問していると仮定して」と指示します。すると、AIはやり取りのあるチャットを生成します。ここで魔法のトリックがあります。AIは「人間」が質問するたびに、2つのバージョンを作成します。

1. リアルな人間バージョン： これは、実際に人間が話す方法であり、ショートカット（省略）に満ちています。「それはいくらですか？」（以前言及された何かを指して）。
2. 明確なバージョン： これは、同じ質問を、それ自体で完全に意味が通るように書き換えたものです（例：「保険料はいくらですか？」）。
   システムはまた、各質問に回答するためにどの事実カードが使用されたかを正確に追跡します。これにより、コンピュータが「乱雑な質問」「明確なバージョン」「答え」「出典」のすべてを知ることができる、完璧なトレーニングデータセットが作成されます。

なぜ「事実カード」が「生の文章」に勝るのか

著者たちは単に会話を捏造しただけではありません。彼らは大きな仮説を検証しました。AIを訓練する際、これらのきれいな「事実カード」を使う方が良いのか、それとも元の文書を単に文章ごとに切り刻んで使う方が良いのか、という点です。

それは、干し草の山の中から針を探すようなものです。生の文章を使う場合、その干し草の山には余計な藁（無関係な言葉、長い説明、紛らわしい文脈）が詰まっています。事実カードを使う場合、すでに藁を取り除き、針だけを残した状態になっています。
これをテストしたところ、結果は明白でした。きれいな事実カードから構築された会話は、はるかに優れた検索結果をもたらしました。AIは、より速く、より正確に正しい情報を見つけることができました。対照的に、生の文章を使用することは、針が接着剤で固められた干し草の山から針を探すようなもので、検索エンジンはノイズによって混乱してしまいました。著者たちは、生の文章は会話の流れを維持するには適していても、AIが実際に答えを「見つける」のを助けるには極めて劣っていることを発見しました。

ロボットに自ら考えることを教える

これらの何千もの合成会話を手に入れた後、彼らはこれらを使用して「軽量な」AIモデルを訓練しました。これらは、データを生成するために使用された巨大なスーパーAIと比較して、より小さく、速く、安価なコンピュータです。
彼らは2種類のヘルパーを訓練しました。

1. リライター（書き換えモデル）： 文脈に依存した乱雑な質問（「それはいくらですか？」）を受け取り、それを明確なもの（「保険料はいくらですか？」）に変換することを学ぶ小さなモデル。
2. リトリーバー（検索モデル）： 明確な質問を見て、図書館の中から即座に正しい事実カードを見つけ出すことを学ぶ小さなモデル。

結果は驚くべきものでした。これらの小さな、安価なモデルは、毎回巨大で高価なAIを使って書き換えを行う場合と同等の性能を発揮しました。実際、彼らの合成データで訓練された小さなモデルは、入手困難な大規模な人間作成データセットで訓練されたモデルよりも優れた性能を示すテストもありました。

彼らはまた、便利なショートカットも見つけました。リライターに対し、質問がすでに明確であるかどうかをチェックするように教えました。もしユーザーが「保険料はいくらですか？」と（すでに明確な状態で）尋ねた場合、リライターは「書き換え不要」と判断し、ステップをスキップすることを学習しました。これにより、多くの質問において処理時間を半分に短縮することができました。

実世界で通用するのか？

これが単に偽のデータ上で機能する手法ではないことを証明するために、彼らは政府のウェブサイト（保険や学生支援など）からの現実世界のデータセットを用いてシステムをテストしました。彼らは、この手法がゼロから機能することを示すために、これらの現実のデータセットに含まれる人間が書いた訓練用データをあえて排除しました。
結果は揺るぎませんでした。彼らの合成会話によって訓練された小さなモデルは、生の乱雑な質問をそのまま使うよりも、現実世界の文書から正解を見つける能力がはるかに高いことが証明されました。リアルタイムで質問を書き換えるために巨大なAIを使用する方がわずかに精度は高かったものの、それは非常に時間がかかり、コストもかかりました。彼らの訓練された小さなモデルは、「速い、安い、そして非常に正確」という理想的なバランスを提供しました。

結論

この論文は、スマートなAIアシスタントを構築するために、人間が何百万もの完璧な会話を書くのを待つ必要はないことを示唆しています。代わりに、既存の文書を取り込み、それらをクリーンで一口サイズの事実に変え、強力なAIに会話を想像させるのです。この合成データは、より小さく、より速いモデルを訓練するのに十分な品質を備えており、それらのモデルは現実世界の質問を効果的に処理できます。

しかし、著者たちはこれが魔法の杖ではないことにも注意を払っています。彼らのシステムは、初期のトレーニングデータを生成するために、依然として大規模で高価なAIに依存しています。また、小さなモデルは答えを見つけることには長けていますが、ユーザーに対して最終的な回答を「書く」ためには、依然として大きなAIを必要とします。しかし、膨大な文書の海から正しい情報を見つけ出すという最も困難な部分において、この「合成工場」のアプローチは、人間のアノテーター（注釈者）のチームを必要とせずに、乱雑なマニュアルを明確で検索可能な知識へと変える、ゲームチェンジャーであると言えます。