RAG Collapse: LLM Responses Collapse When Retrieved Documents Are Self-Authored
本論文は、大規模言語モデル（LLM）が、自身で以前に生成したコンテンツを検索・依拠する際に、回答の質が低下し多様性が失われる「RAG崩壊」という現象を経験することを実証しており、実験では、不均衡な自己引用バイアスによって、このようなシミュレーションの79.6%が崩壊に至ることが示されている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
インターネットは長い間、何百万もの声が混沌としながらも豊かな情報のタペストリーを構成する、人類の思考の広大な図書館であり続けてきました。近年、その合唱の中に新しい種類の声が加わりました。人工知能です。現代のチャットボットの背後にあるエンジンである大規模言語モデルは、このデジタル図書館で学習を行い、人間の文章を模倣したテキストを生成することができます。これらのシステムは、ウェブ上に溢れる記事やレビュー、リストを作成するためにもますます利用されるようになっています。これにより、私たちが情報を探すために使うツールが、自らが作り出したもの自体を読み始めるという、独特な状況が生じています。科学者たちは以前、モデルが自身の出力に基づいて繰り返し学習を行うと、「モデル崩壊」と呼ばれる状態に陥り、応答が反復的になり、元のデータの豊かさが失われることを観察してきました。しかし、新しい研究はより差し迫った問いを投げかけています。これらのシステムが検索ツールを使用して答えを見つけようとした際、その検索結果が自分自身で書いた記事であった場合、一体何が起こるのかという問いです。
Graphite Growthの研究者たちは、一連の広範なコンピュータ・シミュレーションを通じて、このシナリオをテストすることを目的としました。彼らは、AI生成コンテンツが絶えず公開され、直後にそれと同じ種類のAIによって回収される、一つの生きたエコシステムとしてインターネットを扱いました。これを行うために、彼らは「最高のTwitchストリーマーは誰か？」から「パーソナルブランディングを向上させるにはどうすればよいか？」に至るまで、1,000以上の異なる質問を取り上げました。まず、これらの質問に対する実際の検索結果を集め、それを初期の情報プールとして用意しました。次に、それらの結果に基づいて質問に答えるようAIに指示しました。続いて、それらのAIによる回答を完全な記事へと拡張し、元の人間が書いた情報源と置き換える形で、利用可能な検索結果のプールへと再び追加しました。彼らはこのプロセスを何度も繰り返し、AIが自身の過去の著作物を読んで新しい回答を生成するというサイクルをシミュレートしました。
結果は衝撃的であり、懸念すべきものでした。シミュレーションの約80%において、システムは極端な均一化の状態へと崩壊しました。多様な視点や異なる名前のリストを提供する代わりに、AIは毎回まったく同じ答えを生成し始めたのです。これは、研究者が元の検索結果のうち一つだけをAI生成の記事に置き換えた場合でも発生しました。驚くべきことに、たった一つの自己執筆による参照が存在するだけで、この変化を引き起こすのに十分でした。AIは自身の文章を単なる一つの選択肢として扱うのではなく、元の情報源が同等またはより高品質であったとしても、それらをはるかに上回る頻度で引用し、自身のコンテンツを不当に優先したのです。このバイアスにより、回答の多様性は急速に消失しました。トップビデオゲームストリーマーのリストに関する一つの実験では、初期の回答は幅広く、異なる人物を異なる順序で挙げていました。しかし、この自己参照的なループがわずか5ラウンド経過しただけで、すべての回答が全く同じストリーマーを全く同じ順序でリストアップし、テキストは言葉一つひとつに至るまでほぼ同一になりました。
この研究は、この崩壊が単にAIが低品質または質の低いコンテンツを読んでいるせいであるという考えを否定しました。研究者たちは記事の質をチェックし、AIが生成したものは、構成や関連性の面で人間が書いたものと同等、あるいはそれ以上に優れていることが多いことを発見しました。それにもかかわらず、AIは依然として自身の作品を好みました。これは、著者らが「自己バイアス」と呼ぶ現象を示唆しています。つまり、モデルが自身の過去の生成物のスタイルや構造に対して固有の嗜好を持っているということです。AIは他の情報を見つける能力がないのではなく、むしろ自身の出力に固執してそれを増幅させ、インターネットの広範な多様性を無視しているようです。この効果は、主要なテクノロジー企業のモデルを含む、異なるタイプのAIモデル全体で観察されました。そして、それが事実に基づいたリストに関する質問であっても、開かれたアドバイスに関する質問であっても、同様に発生しました。
研究者たちは、この崩壊が緩やかで漸進的な漂流ではなく、ほぼ即座に起こり得ることを発見しました。AI生成の記事で一つの参照のみを置き換えたシミュレーションでは、最初の数ラウンド以内に回答の収束が始まりました。プロセスの終了時には、システムは人間としての多様な意見を反映する能力を失っていました。「最高の」リスト、例えば最高のレストランや映画に関する質問において、AIは幅広い選択肢を提示することを止め、単一の狭い視点へと収束しました。当初頻繁に言及されていたエンティティが回答から完全に消え去る一方で、当初はほとんど言及されていなかったものが、あらゆる回答に登場し始めました。これは、AI生成コンテンツがインターネットに溢れるにつれ、私たちが頼りにしている検索ツールが、最終的には人間の思考の全貌を示すのではなく、機械生成されたコンセンサスという自己強化的な狭いループを映し出すようになる可能性があることを示唆しています。
この発見が持つ意味は、単なるチャットボットにとどまりません。この研究は、ウェブ上の情報の未来における潜在的なリスクを浮き彫りにしています。もしAIシステムが、他のAIシステムが取得するコンテンツを生成するためにますます利用されるようになれば、インターネットは徐々に思考の多様性を失う可能性があります。研究者たちは、たとえ少数のAI生成記事であ even 少なくても、代替的な視点を排除する崩壊を引き起こすほどの影響を与える可能性があると指摘しました。彼らは、AI生成コンテンツをフィルタリングしたり、モデルにより多様性を促したりするなど、さまざまな阻止策をテストしましたが、これらの解決策は現実世界では未検証のままです。研究は、この崩壊がすでに地球規模で起きているかどうかは確かなことは分からないものの、シミュレーションは、そのメカニズムが実在し、強力であることを示していると結論付けています。かつては人間の多様性の鏡であったインターネットは、AIシステムが自分自身だけを見続ける「鏡の回廊」となるリスクを孕んでいます。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。