The Laws of Context Allocation: Causal Measurement and Closed-Loop Orchestration in Generative Search
यह शोध पत्र एक कारण संबंधी मापन ढांचे (causal measurement framework) को पेश करके रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation) में महत्वपूर्ण बाधाओं को संबोधित करता है जो साक्ष्य उपयोगिता का सटीक मूल्यांकन करता है, और एक क्लोज्ड-लूप ऑर्केस्ट्रेशन रणनीति प्रस्तुत करता है जो क्रमिक जनरेशन के दौरान संदर्भ बजट को पुनरावृत्ति रूप से आवंटित करती है, जिससे पारंपरिक मोनोलिथिक दृष्टिकोणों की तुलना में महत्वपूर्ण रिकॉल सुधार प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल परिदृश्य में, खोज इंजन (search engines) साधारण दस्तावेज़ों की लाइब्रेरी से बदलकर उत्तर संश्लेषित करने वाले संवादात्मक भागीदारों के रूप में विकसित हो गए हैं। यह बदलाव 'रिट्रीवल-ऑगमेंटेड जनरेशन' (retrieval-augmented generation) नामक तकनीक पर निर्भर करता है, जहाँ एक कंप्यूटर सिस्टम पहले एक विशाल डेटाबेस से प्रासंगिक दस्तावेज़ खोजता है और फिर एक उत्तर बनाने के लिए उन्हें एक लार्ज लैंग्वेज मॉडल को फीड करता है। वर्षों तक, यह प्रचलित धारणा थी कि मशीन को जटिल प्रश्न का उत्तर देने में मदद करने का सबसे अच्छा तरीका उसे एक साथ अधिक से अधिक जानकारी देना है। तर्क तर्कसंगत लग रहा था: यदि किसी मनुष्य को किसी विषय को समझने के लिए कई पृष्ठ पढ़ने पड़ते हैं, तो इसलिए, यदि किसी मशीन को उत्तर देने की आवश्यकता है, तो उसे एक बार में टेक्स्ट का एक विशाल ब्लॉक पढ़ना चाहिए। हालाँकि, यह दृष्टिकोण यह मान लेता है कि मशीन सूचना को बिल्कुल उसी तरह संसाधित करती है जैसे एक मानव, जो इन कृत्रिम मस्तिष्क के काम करने के तरीके में एक गंभीर दोष की अनदेखी करता है। जब कोई प्रश्न अस्पष्ट होता है या जिसके लिए तथ्यों की एक विस्तृत श्रृंखला की आवश्यकता होती है, तो मशीन के "मस्तिष्क" में बड़ी मात्रा में टेक्स्ट डाल देना अक्सर भ्रम पैदा करता है, जिससे वह महत्वपूर्ण विवरणों को चूक जाती है या खुद को दोहराने लगती है। शोधकर्ताओं के सामने सवाल यह था कि क्या मशीन को जानकारी की एक एकल, विशाल खुराक देना बेहतर है, या उसी जानकारी को कई चरणों में वितरित की गई छोटी, केंद्रित खुराकों में तोड़ना बेहतर है।
बीजिंग यूनिवर्सिटी और टेनसेंट के शोधकर्ताओं की एक टीम ने इस पहेली को सुलझाने का प्रयास किया, लेकिन पहले उन्हें एहसास हुआ कि वे एक टूटे हुए पैमाने के साथ काम कर रहे थे। यह समझने के लिए कि एक मशीन दी गई जानकारी का उपयोग कैसे करती है, उन्हें एक ऐसे तरीके की आवश्यकता थी जिससे वे सटीक रूप से माप सकें कि मॉडल ने अपना उत्तर बनाने के लिए टेक्स्ट के वास्तव में किन हिस्सों पर भरोसा किया। उद्योग द्वारा उपयोग किए जाने वाले मानक तरीके किसी छात्र के निबंध का मूल्यांकन इस आधार पर करने जैसे थे कि उन्होंने स्रोत सामग्री के कितने शब्द साझा किए हैं; ये तरीके तब बुरी तरह विफल हो गए जब स्रोत सामग्री में कई समान दिखने वाले लेकिन अप्रासंगिक तथ्य शामिल थे। शोधकर्ताओं ने एक नया, अधिक सटीक उपकरण विकसित किया जो एक नैदानिक प्रोब (diagnostic probe) की तरह कार्य करता है। केवल अंतिम उत्तर को देखने के बजाय, उन्होंने मशीन का परीक्षण उसके इनपुट से एक बार में एक जानकारी हटाकर और यह देखकर किया कि क्या उत्तर बदल गया। यदि किसी विशिष्ट वाक्य को हटाने से उत्तर बदल गया, तो वे जान गए कि वह जानकारी वास्तव में आवश्यक थी। इस कठोर पद्धति का उपयोग करते हुए, उन्होंने क्षेत्र में एक व्यापक भ्रम की खोज की: पिछले अध्ययन उन आसान परीक्षण मामलों से धोखा खा गए थे जहाँ मशीन सब कुछ समझती हुई प्रतीत होती थी, लेकिन जब कठिन, वास्तविक परिदृश्यों का सामना किया गया, तो वे पुराने मापन उपकरण विफल हो गए, यह पहचानने में असमर्थ रहे कि मशीन वास्तव में क्या उपयोग कर रही थी और किसे उसने केवल अनदेखा कर दिया था।
ध्यान (attention) को मापने के एक विश्वसनीय तरीके के साथ, शोधकर्ताओं ने कंप्यूटर के सीमित कंप्यूटिंग संसाधनों को आवंटित करने के मूल प्रश्न की ओर रुख किया। उन्होंने प्रयोगों की एक विशाल श्रृंखला आयोजित की जहाँ उन्होंने दस्तावेजों के एक निश्चित समूह को लिया और उन्हें दो अलग-अलग तरीकों से वितरित किया। एक परिदृश्य में, उन्होंने सभी दस्तावेजों को एक ही, विस्तृत प्रॉम्प्ट में मशीन को दिया, यह उम्मीद करते हुए कि वह सब कुछ एक साथ आत्मसात कर लेगी। दूसरे में, उन्होंने मशीन को दस्तावेजों की ठीक उतनी ही कुल संख्या दी, लेकिन उन्हें कई अलग-अलग, छोटे इंटरैक्शन में फैला दिया। परिणाम स्पष्ट और विरोधाभासी थे। एक साथ भारी मात्रा में टेक्स्ट देने की रणनीति एक कठिन सीमा (ceiling) से टकरा गई; जैसे-जैसे ढेर बढ़ता गया, किसी भी एक साक्ष्य पर ध्यान केंद्रित करने की मशीन की क्षमता कम होती गई, जिससे वह अभिभूत हो गई और पूर्ण चित्र प्राप्त करने में असमर्थ रही। इसके विपरीत, जानकारी को छोटे, क्रमिक दौरों में तोड़ने के दृष्टिकोण ने मशीन को काफी अधिक क्षेत्र कवर करने की अनुमति दी। साक्ष्यों के केंद्रित विस्फोटों के माध्यम से गुजरते हुए, सिस्टम ने तथ्यों को याद करने की अपनी क्षमता में नाटकीय सुधार किया, जो सिंगल-पास विधि की तुलना में 16.8 से 20.5 प्रतिशत अंक अधिक कवरेज प्राप्त कर सका। यह लाभ तब भी बना रहा जब उन्होंने बहुत बड़े, अधिक शक्तिशाली मॉडलों पर सिस्टम का परीक्षण किया, जिससे यह सिद्ध हुआ कि सीमा कंप्यूटिंग शक्ति की कमी नहीं थी, बल्कि एक साथ सब कुछ संसाधित करने की रणनीति में एक मौलिक दोष था।
शोधकर्ताओं ने फिर इन निष्कर्षों को व्यवहार में लाने के लिए एक नया सिस्टम आर्किटेक्चर बनाया, जो पुराने "ओपन-लूप" शैली से अलग है जहाँ मशीन को एक सूची दी जाती है और उसे खुद समझने के लिए छोड़ दिया जाता है। उनका नया सिस्टम एक क्लोज्ड-लूप के रूप में कार्य करता है, जो लगातार अपने काम की जाँच करता है। एक बार जब मशीन एक प्रतिक्रिया उत्पन्न कर लेती है, तो सिस्टम उनके नैदानिक प्रोब का उपयोग यह देखने के लिए करता है कि कौन से तथ्य वास्तव में उपयोग किए गए थे और किन्हें अनदेखा कर दिया गया था। फिर यह फीडबैक का उपयोग यह तय करने के लिए करता है कि मशीन को आगे क्या दिखाना है, उसे सक्रिय रूप से उस जानकारी से दूर ले जाता है जिसे वह पहले ही संसाधित कर चुकी है और नए, अनछुए तथ्यों की ओर मोड़ता है। यह सुनिश्चित करने के लिए कि मशीन वही दोहराने में न फंस जाए जो वह पहले से जानती है, उन्होंने एक तंत्र जोड़ा जो मशीन के ध्यान को नए साक्ष्य की ओर धीरे से धकेलता है, जो परिचित पैटर्न के साथ चिपके रहने की उसकी स्वाभाविक प्रवृत्ति को ओवरराइड करता है। स्मार्ट शेड्यूलिंग और सक्रिय मार्गदर्शन के इस संयोजन ने सिस्टम को हर उस पद्धति से बेहतर प्रदर्शन करने की अनुमति दी जिसका उन्होंने परीक्षण किया था, जिसमें इनपुट को विविध बनाने के लिए जटिल गणितीय सूत्रों पर निर्भर करने वाले सिस्टम भी शामिल थे। सिस्टम ने यह सिद्ध किया कि एक एकल विशाल उत्तर देने की जल्दबाजी करने के बजाय, एक चरण-दर-चरण प्रक्रिया में अधिक समय और कंप्यूटिंग शक्ति निवेश करके, मशीनें समझ के एक ऐसे स्तर को प्राप्त कर सकती हैं जो पहले असंभव माना जाता था।
अंततः, यह कार्य हमें आर्टिफिशियल इंटेलिजेंस सर्च के बारे में कैसे सोचना चाहिए, इसे पुनर्परिभाषित करता है। यह प्रदर्शित करता है कि बेहतर उत्तरों का मार्ग आवश्यक रूप से मॉडलों को बड़ा बनाने या उन्हें एक साथ अधिक टेक्स्ट खिलाने के बारे में नहीं है, बल्कि वे जानकारी का उपभोग कैसे करते हैं, इसके लय (rhythm) को बदलने के बारे में है। शोधकर्ताओं ने स्थापित किया कि जटिल कार्यों के लिए, सबसे प्रभावी रणनीति एक धीमी, पुनरावृत्ति वाली प्रक्रिया में निवेश करना है जहाँ मशीन को छोटे, प्रबंधनीय टुकड़ों में साक्ष्य खोजने के लिए निर्देशित किया जाता है। यह दृष्टिकोण खोज प्रक्रिया को डेटा के एक स्थिर डंप से एक गतिशील, फीडबैक-संचालित संवाद में बदल देता है, यह सुनिश्चित करता है कि मशीन एक समय में एक केंद्रित कदम के साथ, सत्य की एक पूर्ण और सटीक तस्वीर बनाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।