RAG Collapse: LLM Responses Collapse When Retrieved Documents Are Self-Authored
यह शोध पत्र प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) "RAG कोलैप्स" का अनुभव करते हैं, जो एक ऐसी घटना है जहाँ उनके उत्तर तब खराब हो जाते हैं और अपनी विविधता खो देते हैं जब वे अपनी ही पहले से उत्पन्न की गई सामग्री को पुनः प्राप्त करते हैं और उस पर निर्भर होते हैं, जिसमें प्रयोग दर्शाते हैं कि ऐसे 79.6% सिमुलेशन एक असंगत आत्म-उद्धरण पूर्वाग्रह (self-citation bias) के कारण कोलैप्स में समाप्त होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटरनेट लंबे समय से मानवीय विचारों का एक विशाल पुस्तकालय रहा है, जहाँ लाखों आवाजें सूचना के एक अराजक लेकिन समृद्ध ताने-बाने में योगदान देती हैं। हाल के वर्षों में, इस समूह में एक नई तरह की आवाज शामिल हुई है: आर्टिफिशियल इंटेलिजेंस। लार्ज लैंग्वेज मॉडल्स, जो आधुनिक चैटबॉट्स के पीछे के इंजन हैं, इसी डिजिटल पुस्तकालय पर प्रशिक्षित होते हैं और अब वे मानव लेखन की नकल करने वाला टेक्स्ट तैयार कर सकते हैं। इन प्रणालियों का उपयोग तेजी से उन लेखों, समीक्षाओं और सूचियों को लिखने के लिए भी किया जा रहा है जो वेब को भरते हैं। यह एक अनूठी स्थिति पैदा करता है जहाँ वे उपकरण जिनका उपयोग हम जानकारी खोजने के लिए करते हैं, उन्हीं चीजों को पढ़ना शुरू कर रहे हैं जिन्हें बनाने में उन्होंने मदद की थी। वैज्ञानिकों ने पहले देखा है कि यदि कोई मॉडल बार-बार अपने स्वयं के आउटपुट पर प्रशिक्षित होता है, तो वह "मॉडल कोलैप्स" (मॉडल पतन) की स्थिति में जा सकता है, जहाँ उसके उत्तर दोहराव वाले हो जाते हैं और मूल डेटा की समृद्धि खो देते हैं। लेकिन एक नया अध्ययन एक अधिक तात्कालिक प्रश्न पूछता है: क्या होता है जब ये सिस्टम अपने खोज उपकरणों का उपयोग उत्तर खोजने के लिए करते हैं, और वे खोज परिणाम संयोग से उनके द्वारा लिखे गए लेख ही होते हैं?
ग्राफाइट ग्रोथ (Graphite Growth) के शोधकर्ताओं ने श्रृंखला के माध्यम से इस परिदृश्य का परीक्षण करने के लिए विस्तृत कंप्यूटर सिमुलेशन का सहारा लिया। उन्होंने इंटरनेट को एक जीवित पारिस्थितिकी तंत्र के रूप में माना जहाँ AI-जनरेटेड कंटेंट लगातार प्रकाशित किया जाता है और फिर तुरंत उसी प्रकार के AI द्वारा पुनः प्राप्त किया जाता है जिसने इसे लिखा था। ऐसा करने के लिए, उन्होंने "बेस्ट ट्विच स्ट्रीमर्स कौन हैं?" से लेकर "मैं अपने पर्सनल ब्रांडिंग को कैसे सुधार सकता हूँ?" जैसे एक हजार से अधिक विभिन्न प्रश्नों को लिया। उन्होंने वास्तविक खोज परिणामों को एकत्र करके शुरुआत की, जो सूचना के प्रारंभिक पूल के रूप में कार्य करते थे। फिर, उन्होंने उन परिणामों के आधार पर प्रश्नों का उत्तर देने के लिए एक AI का उपयोग किया। इसके बाद, उन्होंने उन AI उत्तरों को पूर्ण लेखों में विस्तारित किया, और उन्हें उपलब्ध खोज परिणामों के पूल में वापस जोड़ दिया, जिससे मूल मानव-लिखित स्रोतों को बदल दिया गया। उन्होंने इस प्रक्रिया को बार-बार दोहराया, एक ऐसे चक्र का अनुकरण करते हुए जहाँ AI अपने पिछले काम को नए उत्तर उत्पन्न करने के लिए पढ़ता है।
परिणाम चौंकाने वाले और चिंताजनक थे। लगभग अस्सी प्रतिशत सिमुलेशन में, सिस्टम अत्यधिक एकरूपता की स्थिति में ढह गया। विभिन्न दृष्टिकोण या नामों की अलग-अलग सूचियाँ प्रदान करने के बजाय, AI हर बार बिल्कुल एक ही उत्तर देने लगा। यह तब भी हुआ जब शोधकर्ताओं ने केवल एक मूल खोज परिणाम को AI-जनरेटेड लेख से बदला था। आश्चर्यजनक रूप से, एक स्व-लिखित संदर्भ की उपस्थिति ही इस बदलाव को ट्रिगर करने के लिए पर्याप्त थी। AI ने अपने स्वयं के लेखन को केवल एक अन्य विकल्प के रूप में नहीं माना; इसने अपने स्वयं के कंटेंट को अत्यधिक प्राथमिकता दी, और अपने मूल स्रोतों की तुलना में इसे बहुत अधिक बार उद्धृत किया, भले ही मूल स्रोत समान या उच्च गुणवत्ता के हों। इस पूर्वाग्रह के कारण उत्तरों की विविधता तेजी से लुप्त हो गई। वीडियो गेम स्ट्रीमर्स की सूची से जुड़े एक प्रयोग में, शुरुआती उत्तर व्यापक रूप से भिन्न थे, जिनमें अलग-अलग लोगों का उल्लेख अलग-अलग क्रम में किया गया था। इस स्व-संदर्भित लूप के केवल पांच दौरों के बाद, प्रत्येक उत्तर ने बिल्कुल उन्हीं स्ट्रीमर्स को बिल्कुल उसी क्रम में सूचीबद्ध किया, और टेक्स्ट शब्द-दर-शब्द लगभग समान हो गया।
अध्ययन ने इस विचार को खारिज कर दिया कि यह पतन केवल इसलिए था क्योंकि AI निम्न-गुणवत्ता या खराब तरीके से लिखे गए कंटेंट को पढ़ रहा था। शोधकर्ताओं ने लेखों की गुणवत्ता की जाँच की और पाया कि संगठन और प्रासंगिकता के मामले में AI-जनरेटेड लेख अक्सर मानव-लिखित लेखों के समान या उनसे बेहतर थे। फिर भी, AI ने अपने काम को प्राथमिकता दी। यह एक ऐसी घटना का सुझाव देता है जिसे लेखक "सेल्फ-बायस" (स्व-पूर्वाग्रह) कहते हैं, जहाँ मॉडल का अपने पिछले जनरेशन की शैली और संरचना के प्रति एक अंतर्निहित झुकाव होता है। ऐसा नहीं है कि AI अन्य जानकारी खोजने में असमर्थ है; बल्कि, ऐसा लगता है कि वह अपने स्वयं के आउटपुट पर केंद्रित हो जाता है और उसे बढ़ा देता है, और इंटरनेट की व्यापक विविधता को अनदेखा कर देता है। यह प्रभाव प्रमुख प्रौद्योगिकी कंपनियों के मॉडल्स सहित विभिन्न प्रकार के AI मॉडल्स में देखा गया, और यह इस बात पर निर्भर नहीं था कि प्रश्न तथ्यात्मक सूचियों के बारे में थे या खुले-अंत वाले सुझावों के बारे में।
शोधकर्ताओं ने पाया कि यह पतन धीरे-धीरे होने वाला बदलाव नहीं है बल्कि यह लगभग तुरंत हो सकता है। उन सिमुलेशन में जहाँ उन्होंने केवल एक संदर्भ को AI-जनरेटेड लेख से बदला, उत्तर पहले कुछ दौरों के भीतर ही अभिसरण (converge) करने लगे। प्रक्रिया के अंत तक, सिस्टम मानवीय राय की वास्तविक विविधता को प्रतिबिंबित करने की क्षमता खो चुका था। "सर्वश्रेष्ठ" सूचियों के बारे में प्रश्नों के लिए, जैसे कि सर्वश्रेष्ठ रेस्तरां या फिल्में, AI ने विकल्पों की एक श्रृंखला देने के बजाय एक एकल, संकीर्ण दृष्टिकोण पर ध्यान केंद्रित करना बंद कर दिया। वे संस्थाएं जो शुरू में बार-बार उल्लेखित थीं, पूरी तरह से गायब हो गईं, जबकि वे जो शुरू में कम उल्लेखित थीं, वे हर एक प्रतिक्रिया में दिखाई देने लगीं। यह सुझाव देता है कि जैसे-जैसे इंटरनेट पर अधिक AI-जनरेटेड कंटेंट की बाढ़ आती है, हमारे भरोसेमंद खोज उपकरण अंततः हमें मानवीय विचारों की पूरी तस्वीर दिखाने के बजाय, मशीन-जनरेटेड सर्वसम्मति के एक संकीर्ण, स्व-सुदृढ़ लूप को दर्शा सकते हैं।
इस निष्कर्ष के निहितार्थ केवल चैटबॉट्स तक ही सीमित नहीं हैं। यह अध्ययन वेब पर सूचना के भविष्य के लिए एक संभावित जोखिम को उजागर करता है। यदि AI सिस्टम का उपयोग तेजी से उस कंटेंट को उत्पन्न करने के लिए किया जा रहा है जिसे अन्य AI सिस्टम पुनः प्राप्त करते हैं, तो इंटरनेट धीरे-धीरे विचारों की विविधता खो सकता है। शोधकर्ताओं ने नोट किया कि यहाँ तक कि AI-जनरेटेड लेखों की एक छोटी संख्या भी एक बड़ा प्रभाव डाल सकती है, जिससे एक ऐसा पतन शुरू हो जाता है जो वैकल्पिक दृष्टिकोणों को समाप्त कर देता है। उन्होंने इसे रोकने के विभिन्न तरीकों का परीक्षण किया, जैसे कि AI-जनरेटेड कंटेंट को फ़िल्टर करना या मॉडल्स को अधिक विविध होने के लिए प्रोत्साहित करना, लेकिन ये समाधान वास्तविक दुनिया में अप्रमाणित हैं। अध्ययन का निष्कर्ष है कि हालांकि हम निश्चित रूप से नहीं जानते कि क्या यह पतन वैश्विक स्तर पर पहले से ही हो रहा है, सिमुलेशन दिखाते हैं कि यह तंत्र वास्तविक और शक्तिशाली है। इंटरनेट, जो कभी मानवीय विविधता का दर्पण था, एक ऐसे दर्पणों के गलियारे (hall of mirrors) में बदलने का जोखिम उठा रहा है जहाँ AI सिस्टम केवल स्वयं को ही देखते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।