A Measurement Note on Pre-Wrap and Reader-Visible Context Accounting for a Capped FLAN-T5 QA Pipeline
यह माप नोट एक कैप की गई FLAN-T5 QA पाइपलाइन में नाममात्र संपीड़न अनुपात (nominal compression ratios) और वास्तविक रूप से पाठक-दृश्य संदर्भ (reader-visible context) के बीच के विसंगति का ऑडिट करता, जो यह दर्शाता है कि जबकि उच्च नाममात्र अनुपात प्री-रैप टोकन गणनाओं को बढ़ाते हैं, अंतिम मॉडल इनपुट टेम्पलेट ओवरहेड और ट्रंकेशन (truncation) द्वारा महत्वपूर्ण रूप से सीमित होता है, और यह कि केवल टोकन बजट के बजाय सामग्री चयन की गुणवत्ता अधिक मायने रखती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, सवालों के जवाब देने वाली मशीनें अक्सर एक दो-चरणीय प्रक्रिया पर निर्भर करती हैं। सबसे पहले, वे किसी विशिष्ट प्रश्न से संबंधित जानकारी खोजने के लिए दस्तावेजों के एक विशाल पुस्तकालय की खोज करती हैं। दूसरा, वे उन चयनित सूचनाओं के टुकड़ों को, स्वयं प्रश्न के साथ, एक अंतिम उत्तर उत्पन्न करने के लिए एक लार्ज लैंग्वेज मॉडल (large language model) में डालती हैं। यह पुस्तकालय खोज अत्यंत महत्वपूर्ण है; सही साक्ष्य के बिना, मॉडल केवल अनुमान लगा रहा होता है। हालाँकि, इन मॉडलों की एक बार में टेक्स्ट पढ़ने की एक सख्त सीमा होती है, ठीक वैसे ही जैसे एक व्यक्ति एक कहानी की शुरुआत को भूलने से पहले एक निश्चित संख्या में तथ्यों को अपने दिमाग में रख सकता है। जब पुस्तकालय बहुत अधिक दस्तावेज वापस करता है, तो शोधकर्ताओं को जानकारी को संकुचित करना पड़ता है, यानी उसे मॉडल की मेमोरी सीमा के भीतर फिट करने के लिए कम करना पड़ता है। वर्षों तक, इस बात का निर्णय करने का मानक तरीका कि क्या यह काटने की प्रक्रिया सफल थी, एक सरल प्रतिशत को देखना था: क्या शोधकर्ताओं ने टेक्स्ट का 25% रखा या 40%? यह संख्या, जिसे 'नाममात्र संपीड़न अनुपात' (nominal compression ratio) के रूप में जाना जाता है, सफलता का प्राथमिक पैमाना बन गई।
शंघाई डियानजी विश्वविद्यालय के शोधकर्ताओं का एक नया माप नोट इस विचार को चुनौती देता है कि यह प्रतिशत पूरी कहानी बताता है। हाओलुन तांग और सहयोगियों के नेतृत्व वाली टीम का तर्क है कि यह जानना कि आपने 40% टेक्स्ट रखा है, यह जानने के बराबर नहीं है कि कंप्यूटर वास्तव में कितना टेक्स्ट देख पाता है इससे पहले कि वह उत्तर देना शुरू करे। उन्होंने पाया कि एक कच्चे दस्तावेज़ से लेकर मॉडल द्वारा पढ़े जाने वाले अंतिम इनपुट तक की यात्रा में कई छिपे हुए चरण शामिल हैं, जिसमें टेक्स्ट को एक विशिष्ट संरचना में प्रारूपित (format) करना और यदि यह बहुत लंबा हो जाए तो अंत को काट देना शामिल है। ये चरण चुपचाप सूचना के एक बड़े हिस्से को मिटा सकते है जिसे कथित तौर पर संरक्षित किया गया था। इन चरणों के माध्यम से ठीक से ऑडिट करके कि कितना टेक्स्ट जीवित बचा, शोधकर्ताओं ने पाया कि मशीन वास्तव में क्या पढ़ती है, इसका वास्तविकता अक्सर योजना से भिन्न होती है, और यह अंतर इस बात पर प्रभाव डालता है कि मशीन कितनी अच्छी तरह प्रदर्शन करती है।
इसकी जांच करने के लिए, शोधकर्ताओं ने एक विशिष्ट प्रकार के प्रश्न-उत्तर प्रणाली का उपयोग करके एक नियंत्रित प्रयोग स्थापित किया। उन्होंने 700 जटिल प्रश्नों वाले एक डेटासेट का उपयोग किया जिन्हें हल करने के लिए कई दस्तावेजों को पढ़ने की आवश्यकता होती है, जिसे HotpotQA के रूप में जाना जाता है। उन्होंने इन प्रश्नों को साक्ष्य अनुच्छेदों (evidence paragraphs) के एक निश्चित सेट के साथ जोड़ा और टेक्स्ट को काटने के लिए एक सरल नियम लागू किया: उन्होंने एक समूह के प्रश्नों के लिए पहले 25% वाक्यों को रखा और दूसरे समूह के लिए पहले 40% को रखा। यह विधि, जिसे 'हेड ट्रंकेशन' (head truncation) कहा जाता है, सीधा है और यह सुनिश्चित करता है कि हर बार समान शब्द रखे जाएं, जिससे विशिष्ट वाक्यों के चयन का चर (variable) हट जाता है। शोधकर्ताओं ने दो अलग-अलग चीजें मापीं। पहला, उन्होंने काटने की प्रक्रिया के तुरंत बाद लेकिन मशीन के लिए प्रारूपित होने से पहले टेक्स्ट में कितने शब्द बचे थे, उनकी गिनती की। दूसरा, उन्होंने उन शब्दों की गिनती की जो वास्तव में अंतिम प्रॉम्प्ट (prompt) में पहुंचे जिसे मशीन ने पढ़ा, टेक्स्ट को मशीन की 512-शब्दों की सीमा में फिट करने के लिए निर्देशों के साथ लपेटने और काटने के बाद।
परिणामों ने योजना और वास्तविकता के बीच के अंतर को उजागर किया। जब शोधकर्ताओं ने 40% टेक्स्ट रखने का लक्ष्य रखा, तो प्रारंभिक गणना ने दिखाया कि उन्होंने वास्तव में औसतन 553 शब्द सुरक्षित रखे थे। हालाँकि, एक बार जब इस टेक्स्ट को प्रारूपित किया गया और मशीन की सख्त मेमोरी सीमा में फिट करने के लिए मजबूर किया गया, तो औसत शब्द जो मशीन ने वास्तव में देखे, घटकर 443 हो गए। उस समूह में जहाँ उन्होंने केवल 25% टेक्स्ट रखने का लक्ष्य रखा था, प्रारंभिक गणना 345 शब्द थी, लेकिन मशीन ने 338 शब्द देखे। पहला समूह में अंतर छोटा था लेकिन दूसरे में महत्वपूर्ण था, जहाँ प्रारूपण और काटने की प्रक्रिया के कारण संरक्षित टेक्स्ट का लगभग 16% हिस्सा खो गया था। इसका मतलब था कि केवल यह कहना कि "हमने 40% टेक्स्ट रखा" भ्रामक था; मशीन प्रभावी रूप से उस जानकारी के साथ काम कर रही थी जितना शोधकर्ता सोचते थे कि उसके पास उपलब्ध है।
इस विसंगति का उत्तरों की गुणवत्ता पर सीधा प्रभाव पड़ा। जब मशीन ने अधिक टेक्स्ट देखा—विशेष रूप से, जब दृश्य गणना 338 शब्दों से बढ़कर 443 शब्द हो गई—तो सही उत्तर देने की उसकी क्षमता में सुधार हुआ। सटीक सही उत्तरों के लिए AUC स्कोर लगभग 0.30 से बढ़कर 0.33 हो गया, और एक अधिक विस्तृत स्कोरिंग मीट्रिक 0.36 से सुधरकर 0.40 हो गया। ये सुधार सांख्यिकीय रूप से महत्वपूर्ण थे, जिसका अर्थ है कि इनके संयोग से होने की संभावना बहुत कम थी। दिलचस्प बात यह है कि मशीन को उत्तर उत्पन्न करने में लगने वाला समय लगभग बिल्कुल समान रहा, जो 0.02 सेकंड के आसपास बना रहा। यह सुझाव देता है कि अतिरिक्त जानकारी ने मशीन को धीमा नहीं किया, बल्कि इसने उसे सही उत्तर खोजने में मदद की। शोधकर्ताओं ने निष्कर्ष निकाला कि केवल प्रारंभिक संपीड़न प्रतिशत की रिपोर्ट करना सिस्टम के वास्तविक परिचालन स्थितियों को छिपा देता है।
अध्ययन ने यह भी पता लगाया कि क्या केवल शब्दों की गिनती करना यह भविष्यवाणी करने के लिए पर्याप्त था कि सिस्टम कब विफल होगा। उन्होंने एक मॉडल बनाया यह देखने के लिए कि क्या मशीन द्वारा देखे गए शब्दों की संख्या प्रदर्शन में गिरावट की भविष्यवाणी कर सकती है। हजारों उदाहरणों वाले एक व्यापक परीक्षण में, मशीन द्वारा वास्तवв में देखे गए शब्दों की संख्या विफलता की भविष्यवाणी करने के लिए प्रारंभिक संपीड़न प्रतिशत की तुलना में बहुत बेहतर भविष्यवक्ता थी। हालाँकि, जब शोधकर्ताओं ने विशिष्ट डेटासेट और संपीड़न पद्धति जैसे अन्य कारकों को नियंत्रित किया, तो इस शब्द गणना का लाभ बहुत कम हो गया। इसने भविष्यवाणी में मामूली सुधार प्रदान किया, लेकिन यह एक पूर्ण 'क्रिस्टल बॉल' (भविष्य बताने वाला यंत्र) नहीं था। शोधकर्ताओं ने जोर दिया कि यह शब्द गणना पारदर्शिता के लिए एक उपयोगी उपकरण है, जो इंजीनियरों को यह समझने में मदद करती है कि मशीन वास्तव में किसके साथ काम कर रही है, लेकिन यह त्रुटियों को ठीक करने के लिए कोई जादुई समाधान नहीं है।
शायद सबसे महत्वपूर्ण निष्कर्ष एक साइड प्रयोग से आया जिसे यह परीक्षण करने के लिए डिज़ाइन किया गया था कि क्या केवल टेक्स्ट की लंबाई ही एकमात्र महत्वपूर्ण कारक थी। शोधकर्ताओं ने अपने सरल काटने के तरीके की तुलना एक स्मार्ट दृष्टिकोण से की जो दस्तावेज़ में उनकी स्थिति की परवाह किए बिना सबसे प्रासंगिक वाक्यों को चुनने के लिए एक खोज एल्गोरिदम (search algorithm) का उपयोग करता था। उन्होंने दोनों तरीकों को इस तरह से मिलाया कि दोनों ने टेक्स्ट की समान मात्रा रखी। परिणाम स्पष्ट था: जिस पद्धति ने सही वाक्यों को चुना, उसने केवल पहले वाक्यों को रखने वाली पद्धति की तुलना में काफी बेहतर प्रदर्शन किया, भले ही दोनों में शब्द गणना समान थी। इसने सिद्ध किया कि हालांकि शब्दों की गिनती करना सिस्टम की सीमाओं को समझने के लिए महत्वपूर्ण है, लेकिन सामग्री की गुणवत्ता अंतिम उत्तर के लिए कहीं अधिक महत्वपूर्ण है। गलत तथ्यों वाले लंबे टेक्स्ट की तुलना में सही तथ्यों वाला छोटा टेक्स्ट बेहतर है।
अंततः, यह कार्य एक अनुस्मारक के रूप में कार्य करता है कि आर्टिफिशियल इंटेलिजेंस में, हम सिस्टम को कैसे मापते हैं, यह उतना ही महत्वपूर्ण है जितना कि स्वयं सिस्टम। शोधकर्ताओं ने टेक्स्ट को संकुचित करने का कोई नया तरीका या उत्तर देने वाला कोई नया मॉडल नहीं बनाया। इसके बजाय, उन्होंने मौजूदा उपकरणों को देखने का एक स्पष्ट तरीका प्रदान किया। संरक्षित किए गए टेक्स्ट और वास्तव में पढ़े गए टेक्स्ट के बीच अंतर करके, उन्होंने दिखाया कि इस क्षेत्र में उपयोग किए जाने वाले मानक मेट्रिक्स कभी-कभी सिस्टम की वास्तविक स्थिति को अस्पष्ट कर सकते हैं। उनके निष्कर्ष बताते हैं कि शोधकर्ताओं को संरक्षित किए गए टेक्स्ट की मात्रा और मशीन को प्राप्त होने वाले टेक्स्ट की मात्रा, दोनों की रिपोर्ट करनी चाहिए। यह दोहरा रिपोर्टिंग सिस्टम के प्रदर्शन के कारणों को समझना आसान बनाएगी, जिससे यह क्षेत्र इन शक्तिशाली उपकरणों के वास्तव में कैसे काम करने के प्रति अधिक ईमानदार और पारदर्शी मूल्यांकन की ओर बढ़ेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।