On-Device Deep Research at 4B: Exposure Bounds Faithfulness, Retrieval Bounds Coverage
यह अध्ययन प्रदर्शित करता है कि ऑन-डिवाइस 4B रिसर्च एजेंटों के लिए, उद्धरण निष्ठा (citation faithfulness) मुख्य रूप से मॉडल को दिए गए स्रोत टेक्स्ट की मात्रा द्वारा निर्धारित होती है न कि स्रोत की गुणवत्ता द्वारा, जबकि सही स्रोतों का कवरेज पूरी तरह से रिट्रीवल रिकॉल (retrieval recall) द्वारा सीमित रहता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास "4B" नाम का एक सुपर-स्मार्ट, जेब के आकार का रोबोटिक लाइब्रेरियन है। यह रोबोट आपके व्यक्तिगत लैपटॉप पर रहता है और इसका काम बहुत सारे शोध पत्रों (research papers) को पढ़ना, कठिन सवालों के जवाब ढूंढना और उद्धरणों (citations) के साथ एक छोटी रिपोर्ट लिखना है (जैसे कि "इस किताब के पेज 5 के अनुसार")।
लेकिन इसमें एक पेंच है: कभी-कभी रोबोट झूठ बोलता है। वह कह सकता है, "किताब कहती है X," जबकि किताब वास्तव में Y कहती है। या, वह पूरी तरह से गलत किताब चुन सकता है। शोधकर्ताओं ने जानना चाहा कि: हम इस छोटे रोबोट को सच बोलने के लिए कैसे तैयार करें, और इसकी लागत क्या है?
उन्होंने एक 24 GB मेमोरी वाले लैपटॉप पर एक बड़ा प्रयोग चलाया ताकि इस गुप्त नुस्खे का पता लगाया जा सके। यहाँ उन्होंने दो सरल लीवरों (levers) का उपयोग करके जो खोजा, वह दिया गया है।
लीवर 1: "पीक-ए-बू" प्रभाव (एक्सपोज़र)
रोबोट के पढ़ने वाले चश्मे के बारे में सोचें। पहले परीक्षण में, रोबोट को अपनी रिपोर्ट लिखने से पहले प्रत्येक पेपर के केवल पहले 400 कैरेक्टर्स (लगभग एक छोटा पैराग्राफ) को झांकने (peek) की अनुमति दी गई थी। यह एक पूरी फिल्म को केवल उसके पहले 30 सेकंड देखकर आंकने जैसा था।
परिणाम क्या रहा? रोबोट डगमगा रहा था। वास्तविक खोज परिणामों को देखते समय वह केवल 45% दावे सही कर पाया, और "गोल्ड स्टैंडर्ड" (आदर्श) पेपर्स को देखते समय तो यह और भी खराब (37%) रहा। वह बहुत अधिक अनुमान लगा रहा था।
फिर, शोधकर्ताओं ने रोबोट को बेहतर चश्मे दिए। उन्होंने रोबोट को प्रत्येक पेपर के 1,500 कैरेक्टर्स (लगभग एक पूरा पेज) पढ़ने की अनुमति दी। अचानक, रोबोट का दिमाग चमक उठा!
- वास्तविक खोज परिणामों पर, इसकी सटीकता बढ़कर 58% हो गई।
- आदर्श पेपर्स पर, यह भी 58% तक पहुँच गया।
बड़ी हैरानी: इससे कोई फर्क नहीं पड़ा कि पेपर आदर्श था या बस एक रैंडम सर्च रिजल्ट। एक बार जब रोबोट पर्याप्त टेक्स्ट पढ़ लेता, तो वह दोनों ही मामलों में अपने दावों का उतना ही मजबूती से समर्थन करता था। पेपर का तर्क है कि विश्वसनीयता (faithfulness) इस बात से बंधी है कि रोबोट कितना देखता है, न कि इस बात से कि स्रोत कितना आदर्श है।
हालाँकि, पेपर सावधानी से कहता है कि यह कोई जादुई समाधान नहीं है। अपने सबसे अच्छे स्तर पर भी, रोबोट लगभग 42% दावे गलत कर रहा था। यह बेहतर है, लेकिन अभी भी पूर्ण नहीं है। साथ ही, यह "अधिक पढ़ने" वाला तरीका केवल एक सीमा तक ही काम आया; 1,500 कैरेक्टर्स के बाद और अधिक पढ़ने से ज्यादा फायदा नहीं हुआ।
लीवर 2: "लाइब्रेरी सर्च" की समस्या (रिट्रीवल)
अब, कल्पना कीजिए कि रोबोट एक आदर्श किताब पढ़ रहा है, लेकिन वह किताब शेल्फ पर है ही नहीं! शोधकर्ताओं ने एक दूसरी समस्या पाई: कवरेज (Coverage)।
भले ही रोबट ने 1,500 कैरेक्टर्स पढ़े हों, यदि सर्च इंजन ने शुरू में ही सही किताब नहीं ढूंढी, तो रोबोट उसका हवाला (cite) नहीं दे सका। "ट्रस्टवर्दी कवरेज" (वह आवृत्ति जब रोबोट सही स्रोत का हवाला देता है और तथ्यों को सही बताता है) चाहे रोबोट कितना भी टेक्स्ट पढ़ने दे, 0.22 (या 22%) पर ही अटकी रही।
क्यों? क्योंकि सर्च इंजन शुरुआत में ही केवल 40% सही पेपर्स ही ढूंढ पा रहा था। रोबोट उसका हवाला नहीं दे सकता जिसे वह देख ही नहीं सकता। पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि "अधिक पढ़ना" इसे ठीक कर देगा। यदि रोबोट कभी सही किताब देखता ही नहीं, तो गलत किताबों को अधिक पढ़ने से कोई मदद नहीं मिलेगी।
रोबोट क्या नहीं कर सकता (द "रिपेयर" मिथ)
आप सोच सकते हैं, "क्या होगा अगर हम रोबोट को एक ड्राफ्ट लिखने दें, फिर उसके काम की जांच करें और गलतियों को सुधारें?" शोधकर्ताओं ने इसका भी परीक्षण किया। उन्होंने रोबोट को "गेट" (बुरे दावों को हटाना), "रिवाइज" (बुरे दावों को फिर से लिखना), या "री-अट्रीब्यूट" (उद्धरणों को स्थानांतरित करना) करने की कोशिश करवाई।
परिणाम यह रहा कि रोबोट उन दावों का समर्थन करने में थोड़ा बेहतर हो गया जो उसने किए थे, लेकिन सही स्रोतों को खोजने की उसकी समग्र क्षमता में सुधार नहीं हुआ। वास्तव में, बाद में चीजों को ठीक करने की कोशिश करने से अक्सर रोबोट कम स्रोतों का हवाला देने लगता था, जिससे उसका समग्र स्कोर कम हो गया। पेपर सुझाव देता है कि रिपोर्ट लिखे जाने के बाद उसकी मरम्मत करना बहुत देर हो चुकी होती है; यदि सही स्रोत नहीं मिले या पर्याप्त नहीं पढ़े गए, तो नुकसान हो चुका होता है।
एक बेहतर रोबोट के लिए "रेसिपी"
तो, आपके लैपटॉप पर चलने वाले रोबोट को बनाने के लिए व्यावहारिक निष्कर्ष क्या है?
- पहले, उसे अधिक पढ़ने दें। रोबोट को मिले हुए हर स्रोत के 1,500 कैरेक्टर्स देखने दें। यह सस्ता है (इसमें कंप्यूटर मेमोरी के केवल लगभग 235 अतिरिक्त टोकन खर्च होते हैं) और यह रोबोट की सत्यनिष्ठा को 45% से बढ़ाकर 58% कर देता है।
- दूसरा, सर्च को ठीक करें। एक बार जब रोबोट पर्याप्त मात्रा में पढ़ लेता है, तो बचा हुआ एकमात्र काम सर्च इंजन को ठीक करना है। आपको यह सुनिश्चित करना होगा कि रोबोट पढ़ना शुरू करने से पहले वास्तव में सही किताबें ढूंढ ले।
निचोड़ (The Bottom Line)
इस अध्ययन ने एक आदर्श रोबोट नहीं बनाया। इसने पाया कि लैपटॉप पर चलने वाला एक छोटा रोबोट आश्चर्यजनक रूप से सच बोलने में सक्षम हो सकता है यदि उसे स्रोत सामग्री का पर्याप्त हिस्सा पढ़ने की अनुमति दी जाए। लेकिन इसने यह भी साबित कर दिया कि यदि रोबोट गलत लाइब्रेरी खोज रहा है, तो कितना भी पढ़ना मदद नहीं करेगा।
लेखक "अधिक पढ़ने" वाले हिस्से के बारे में आश्वस्त हैं (यह विभिन्न परीक्षणों में लगातार काम कर गया और यहाँ तक कि एक दूसरे, स्वतंत्र जज के साथ भी काम किया)। वे इस बात को लेकर भी आश्वस्त हैं कि "बाद में ठीक करना" अच्छी तरह से काम नहीं करता है। लेकिन वे स्वीकार करते हैं कि पूर्ण संख्याएँ अभी भी मामूली हैं—रोबोट बेहतर हो रहा है, लेकिन यह अभी मानव शोधकर्ता की जगह लेने के लिए तैयार नहीं है। यह हमें यह दिखाने वाला एक नक्शा है कि आगे कहाँ देखना है, न कि एक तैयार मंजिल।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।