Beyond Confidence: Test-Time Scaling for Multi-Turn Search Agents via Retrieval Grounding
यह शोध पत्र पहचानता है कि रिट्रीव्ड डॉक्यूमेंट्स से होने वाले "कॉपी इन्फ्लेशन" के कारण मल्टी-टर्न सर्च एजेंट्स में कॉन्फिडेंस-बेस्ड वोटिंग विफल हो जाती है और रिट्रीवल-ग्राउंडेड वोटिंग (RGV) का प्रस्ताव करता है, जो कई बेंचमार्क में महत्वपूर्ण सटीकता सुधार प्राप्त करने के लिए रिट्रीव्ड सोर्सेज के साथ लेक्सिकल ओवरलैप के आधार पर रोलआउट्स को स्कोर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, लार्ज लैंग्वेज मॉडल्स जटिल समस्याओं को हल करने में कुशल हो गए हैं। इन प्रणालियों को अधिक विश्वसनीय बनाने के लिए, शोधकर्ता अक्सर उनसे एक ही प्रश्न के कई संभावित उत्तर उत्पन्न करने के लिए कहते हैं और फिर सबसे अच्छे उत्तर पर मतदान करते हैं। सरल कार्यों के लिए, एक चतुर तकनीक उभरी है: सिस्टम प्रत्येक उत्तर को इस आधार पर तौलता है कि मॉडल उसे लिखते समय कितना "आत्मविश्वासी" महसूस करता है। यदि मॉडल शब्दों को उच्च निश्चितता के साथ उत्पन्न कर रहा है, तो उस उत्तर को अधिक भारी वोट मिलता है। यह तरीका तब अच्छी तरह काम करता है जब मॉडल केवल अपने आंतरिक प्रशिक्षण पर निर्भर रहते हुए, शून्य में कार्य कर रहा हो। हालांकि, एआई एजेंटों की एक नई पीढ़ी इस खेल को बदल रही है। ये एजेंट केवल सोचते नहीं हैं; वे खोज (सर्च) भी करते हैं। वे डिजिटल शोधकर्ताओं की तरह कार्य करते हैं, जो प्रश्नों का उत्तर देने के लिए इंटरनेट से बाहरी दस्तावेज़ प्राप्त करते हैं, उन्हें पढ़ते हैं, और फिर उस नई जानकारी के आधार पर अपना अंतिम उत्तर लिखते हैं। एकाकी सोच से सक्रिय खोज की ओर इस बदलाव ने उनके उत्तरों की गुणवत्ता को मापने के तरीके में एक अंध बिंदु (ब्लाइंड स्पॉट) पैदा कर दिया है।
संयुक्त राज्य अमेरिका और एशिया के विश्वविद्यालयों के शोधकर्ताओं की एक टीम ने पाया है कि इस नए वातावरण में मापने का पुराना तरीका बुरी तरह विफल हो जाता है। उन्होंने पाया कि जब एक एआई एजेंट अभी-अभी प्राप्त किए गए दस्तावेज़ से टेक्स्ट को कॉपी करता है, तो मॉडल का आंतरिक आत्मविश्वास मीटर अनियंत्रित हो जाता है। सिस्टम उन कॉपी किए गए शब्दों को देखता है और, क्योंकि वे उसकी तत्काल स्मृति में मौजूद हैं, वह कृत्रिम रूप से आश्वस्त हो जाता है कि वह सही काम कर रहा है। यह सुरक्षा की एक झूठी भावना पैदा करता है। मॉडल किसी भ्रामक लेख से गलत तथ्य को कॉपी कर सकता है, फिर भी उसके आंतरिक संकेत चिल्लाकर कह सकते हैं कि वह सही है। शोधकर्ता इस घटना को "कॉपी इन्फ्लेशन" (प्रतिलिपि मुद्रास्फीति) कहते हैं। यह वैसा ही है जैसे कोई छात्र निबंध लिखते समय उत्तर कुंजी (answer key) देखने की अनुमति पा जाए; उत्तर को कॉपी करने की क्रिया उसे अविश्वसनीय रूप से आत्मविश्वासी बना देती है, भले ही वह उत्तर कुंजी गलत हो। यह मुद्रास्फीति अच्छे और बुरे उत्तरों के बीच के अंतर को मिटा देती है, जिससे मतदान प्रणाली एक स्मार्ट चयन के बजाय केवल इस बात की गिनती में बदल जाती है कि एक उत्तर कितनी बार दिखाई देता है।
इसे हल करने के लिए, शोधकर्ताओं ने वोट देने का एक नया तरीका प्रस्तावित किया जो पूरी तरह से मॉडल के दिमाग से बाहर देखता है। यह पूछने के बजाय कि मॉडल कितना आश्वस्त महसूस करता है, उन्होंने यह जांचने का प्रस्ताव दिया कि अंतिम उत्तर वास्तव में उन दस्तावेज़ों के साथ कितनी अच्छी तरह मेल खाता है जो एजेंट ने खोजे हैं। वे इसे "रिट्रीवल-ग्राउंडेड वोटिंग" (पुनर्प्राप्ति-आधारित मतदान) कहते हैं। यह प्रक्रिया सरल है: एजेंट अपना कार्य पूरा करने के बाद, सिस्टम अंतिम उत्तर के शब्दों की तुलना एजेंट द्वारा प्राप्त किए गए दस्तावेज़ों के टेक्स्ट से करता है। यदि उत्तर सीधे मिले हुए साक्ष्यों से निर्मित है, तो इसे उच्च स्कोर मिलता है। यदि उत्तर अस्पष्ट है या उन शब्दों पर निर्भर है जो स्रोत सामग्री में दिखाई नहीं देते हैं, तो इसे कम स्कोर मिलता है। यह दृष्टिकोण मॉडल के दूषित आंतरिक संकेतों को दरकिनार कर देता है। इसके लिए मॉडल को स्वयं का पुनर्मूल्यांकन करने की आवश्यकता नहीं है, और न ही इसे नए विचार उत्पन्न करने के लिए अतिरिक्त कंप्यूटिंग शक्ति की आवश्यकता है। यह केवल उत्तर और साक्ष्य के बीच के संबंध की जांच करता है, जो एक ऐसा संबंध है जो मॉडल के आत्मविश्वास से स्वतंत्र है।
टीम ने जटिल खोज कार्यों से जुड़े चार बेंचमार्क और पांच अलग-अलग लार्ज लैंग्वेज मॉडल्स पर इस विचार का परीक्षण किया। परिणाम सुसंगत और महत्वपूर्ण थे। नया तरीका पारंपरिक आत्मविश्वास-आधारित मतदान से लगातार बेहतर प्रदर्शन करता है, जिससे सटीकता में 5.4 प्रतिशत अंक तक का सुधार होता है। यह सुधार कठिन मामलों में और भी नाटकीय था, जहाँ सही उत्तर प्रयासों की एक बहुत छोटी संख्या में ही दिखाई देता है। इन कठिन परिदृश्यों में, नया तरीका पुराने तरीके की तुलना में 35 प्रतिशत अधिक सटीक था। यह महत्वपूर्ण है क्योंकि इसका अर्थ है कि सिस्टम सही उत्तर ढूंढ सकता है भले ही उसके अधिकांश प्रयास गलत हों, बशर्ते कि सही प्रयास प्राप्त साक्ष्यों पर उचित रूप से आधारित हो। शोधकर्ताओं ने यह भी पाया कि यह नया तरीका अविश्वसनीय रूप से कुशल है। यह प्रक्रिया में लगभग कोई अतिरिक्त लागत नहीं जोड़ता है, एक मानक कंप्यूटर प्रोसेसर पर प्रति उत्तर एक मिलीसेकंड से भी कम समय लेता है, जबकि अन्य तरीके जो आत्मविश्वास की समस्याओं को ठीक करने की कोशिश करते हैं, अक्सर महंगी अतिरिक्त गणनाओं या अतिरिक्त मॉडल कॉल्स की मांग करते हैं।
अध्ययन से यह भी पता चला कि 'कॉपी इन्फ्लेशन' की समस्या कोई दुर्लभ त्रुटि नहीं बल्कि इन खोज एजेंटों के कार्य करने का एक मौलिक हिस्सा है। शोधकर्ताओं ने मापा कि कई मामलों में, एजेंट द्वारा लिखे गए शब्दों का एक बड़ा हिस्सा सीधे प्राप्त दस्तावेज़ों से कॉपी किया जाता है। नकल की यह उच्च दर ही आत्मविश्वास के आंतरिक संकेतों को अविश्वसनीय बना देती है। बाहरी साक्ष्यों पर ध्यान केंद्रित करके, शोधकर्ताओं ने दिखाया कि एक उत्तर की गुणवत्ता उसके स्रोत सामग्री के साथ जुड़ाव से सबसे अच्छी तरह जांची जा सकती है, न कि मॉडल की निश्चितता की आंतरिक भावना से। यह निष्कर्ष क्षेत्र के लिए एक व्यापक सबक सुझाता है: जब एक एआई एजेंट बाहरी जानकारी पर निर्भर होता है, तो उसके द्वारा उत्पन्न आत्मविश्वास के संकेत भ्रामक हो सकते हैं। उसके काम को सत्यापित करने का सबसे विश्वसनीय तरीका साक्ष्य को देखना है, न कि उन भावनाओं को जो वह व्यक्त करता है।
यह शोध यह दावा नहीं करता है कि इसने एआई एजेंटों की हर समस्या को हल कर दिया है। नया तरीका अभी भी खोज परिणामों की गुणवत्ता पर निर्भर है; यदि एजेंट को खराब दस्तावेज़ मिलते हैं, तो यह विधि उत्तर को जादू से ठीक नहीं कर सकती। इसके अलावा, यह विधि यह मापती है कि उत्तर टेक्स्ट में कितनी अच्छी तरह स्थापित (grounded) है, न कि वह टेक्स्ट स्वयं कितना सत्य है। यदि प्राप्त दस्तावेज़ों में झूठ है, तो सिस्टम अभी भी उत्तर को अत्यधिक 'ग्राउंडेड' मान सकता है। हालाँकि, अध्ययन कई एआई प्रयासों के कार्य को एकत्रित करने के तरीके में सुधार करने के लिए एक स्पष्ट और व्यावहारिक मार्ग प्रदान करता है। मॉडल के आंतरिक संदर्भ से बाहर निकलकर और उसके द्वारा एकत्र किए गए मूर्त साक्ष्यों को देखकर, शोधकर्ता ऐसी प्रणालियाँ बना सकते हैं जो अधिक मजबूत, अधिक सटीक और आत्मविश्वास के उन भ्रमों से कम प्रभावित हों जो मशीनों द्वारा पढ़ी गई और दोहराई गई चीजों से उत्पन्न होते हैं। यह कार्य प्रदर्शित करता है कि खोज-आधारित एआई के युग में, सबसे भरोसेमंद संकेत मॉडल की आवाज़ नहीं, बल्कि वे दस्तावेज़ हैं जिन्हें वह थामे हुए है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।