Beyond Memory Leaderboards: Evaluating Scientific Memory as Budgeted Context Restoration
यह शोध पत्र दो पूर्ण-पाठ वैज्ञानिक स्मृति बेंचमार्क, PAIM और PTr को प्रस्तुत करता है, जो यह प्रदर्शित करते हैं कि रिट्रीवल बजट और प्रोटोकॉल को नियंत्रित किए बिना मेमोरी लीडरबोर्ड अक्सर भ्रामक होते हैं, और अंततः यह तर्क देते हैं कि वैज्ञानिक स्मृति का मूल्यांकन अनियंत्रित आर्किटेक्चर प्रदर्शन के बजाय बजटयुक्त, मोडैलिटी-जागरूक संदर्भ बहाली (context restoration) के रूप में किया जाना चाहिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, जटिल रहस्य को सुलझाने की कोशिश कर रहे हैं। आपके पास एक सुपर-स्मार्ट जासूस (एक AI) है जो एक सेकंड में एक पुस्तकालय के बराबर किताबें पढ़ सकता है। लेकिन यहाँ एक पेंच है: यहाँ तक कि सबसे स्मार्ट जासूस भी भ्रमित हो जाता है यदि आप उसके सामने एक साथ दस लाख पन्ने रख दें। वह बीच में छिपे किसी महत्वपूर्ण सुराग को मिस कर सकता है, या इतना अभिभूत हो सकता है कि वह अनुमान लगाने लगता है। यह "लॉन्ग-कॉन्टेक्स्ट" (long-context) AI की समस्या है। इसे ठीक करने के लिए, वैज्ञानिक इन जासूसों के लिए "याददाश्त" बना रहे हैं—डिजिटल फाइलिंग कैबिनेट जहाँ AI तथ्यों, कहानियों और सबूतों को स्टोर कर सकता है और ज़रूरत पड़ने पर उन्हें निकाल सकता है।
लंबे समय तक, लोगों को लगा कि सबसे अच्छी याददाश्त वह है जो सबसे अधिक पन्ने पढ़ सके। यह एक खेल की तरह था जहाँ विजेता वह होता था जो कागजों का सबसे बड़ा ढेर पढ़ सके। लेकिन यह शोध पत्र एक बेहतर सवाल पूछता है: क्या कागजों का एक पहाड़ पढ़ना बेहतर है, या केवल उन सही कुछ पन्नों को पढ़ना जो वास्तव में केस सुलझा सकते हैं? शोधकर्ता तर्क देते हैं कि वैज्ञानिक अनुसंधान के लिए, याददाश्त केवल तथ्यों को स्टोर करने के बारे में नहीं है; यह "कॉन्टेक्स्ट रेस्टोरेशन" (context restoration) के बारे में है। यह साक्ष्य के सटीक, परस्पर जुड़े जाल को फिर से बनाने की क्षमता है जिसकी आवश्यकता एक विशिष्ट प्रश्न का उत्तर देने के लिए होती है, बिना शोर में खो जाए। वे जानना चाहते हैं: यदि हम हर जासूस को पढ़ने के लिए कागज की बिल्कुल समान मात्रा दें, तो वास्तव में रहस्य कौन सबसे अच्छी तरह सुलझाता है?
इस शोध पत्र के लेखक, मैक्सिम शेवेरेव, डेविड फिंकेलस्टीन और सर्गेई निकोलेनको ने अनुमान लगाना बंद करने और मापने का निर्णय लिया। उन्होंने हजारों वास्तविक आर्टिफिशियल इंटेलिजेंस और कंप्यूटर साइंस से संबंधित वैज्ञानिक शोध पत्रों का उपयोग करके दो विशाल, वास्तविक दुनिया के टेस्ट लैब बनाए। उन्होंने इस खेल को खेलने का एक नया तरीका बनाया जिसे "बजटेड कॉन्टेक्स्ट रेस्टोरेशन" (budgeted context restoration) कहा गया। कल्पना कीजिए कि आप प्रत्येक जासूस को एक बैकपैक दे रहे हैं जो केवल 30,000 कैरेक्टर का टेक्स्ट ले जा सकता है। उनकी मेमोरी सिस्टम कितना भी अच्छा क्यों न हो, वे उससे अधिक नहीं ले जा सकते। फिर उन्होंने आठ अलग-अलग प्रकार के "मेमोरी सिस्टम्स" का परीक्षण किया—कुछ जो टेक्स्ट के टुकड़े उठाते हैं, कुछ जो तथ्यों के जटिल मानचित्र बनाते हैं, और कुछ जो सब कुछ छोटी टिप्पणियों में सारांशित करने की कोशिश करते हैं।
उन्होंने क्या पाया, और यह सामान्य लीडरबोर्ड को पूरी तरह से पलट देता है।
पहला, उन्होंने पाया कि पिछले मुकाबलों के "विजेता" अक्सर बड़े बैकपैक लेकर "चीटिंग" कर रहे थे। एक सिस्टम, जिसे ग्राफिटी (Graphiti) कहा जाता है, भारी अंतर से जीत रहा था, लेकिन ऐसा इसलिए था क्योंकि इसे प्रति प्रश्न 2.6 मिलियन कैरेक्टर ले जाने की अनुमति दी गई थी—जो लगभग एक छोटे उपन्यास के आकार के बराबर है! जब शोधकर्ताओं ने ग्राफिटी को भी अन्य सभी की तरह ही छोटा 30,000-कैरेक्टर का बैकपैक इस्तेमाल करने के लिए मजबूर किया, तो इसने न केवल हार मान ली; बल्कि यह सूची में सबसे नीचे आ गया। "जीत" इसलिए नहीं थी क्योंकि सिस्टम अधिक स्मार्ट था; बल्कि इसलिए थी क्योंकि उसके पास अधिक ईंधन था।
दूसरा, उन्होंने पाया कि याददाश्त का प्रकार उतना महत्वपूर्ण नहीं है जितना कि जानकारी खोजने के लिए उपयोग किए जाने वाले टूल्स। उनके एक टेस्ट सेट (जिसे PTr कहा गया) पर, जो "किमी लीनियर" या "रिंग-फ्लैश" जैसे विशिष्ट नामों से भरा था, सबसे अच्छी रणनीति कोई फैंसी नया आर्किटेक्चर नहीं थी। यह केवल दो खोज विधियों को मिलाना था: एक जो अर्थ (dense) खोजता है और दूसरा जो सटीक शब्दों (sparse/BM25) को खोजता है। जब उन्होंने अन्य सिस्टम्स में इस "वर्ड-सर्च" टूल को जोड़ा, तो स्कोर बढ़ गए, और शीर्ष तीन सिस्टम एक ही स्तर पर आ गए, जो दस के पैमाने पर एक अंक से भी कम के अंतर पर थे। यह सुझाव देता है कि वैज्ञानिक प्रश्नों के लिए, एक शानदार फाइलिंग कैबिनेट होने से अधिक महत्वपूर्ण एक सही सर्च इंजन होना है।
तीसरा, उन्होंने साबित किया कि उनके जवाबों को ग्रेड करने का तरीका निष्पक्ष और विश्वसनीय था। उन्होंने जवाबों को जज करने के लिए एक सुपर-स्मार्ट AI का उपयोग किया, लेकिन उन्हें डर था कि AI पक्षपाती हो सकता है। इसलिए, उन्होंने एक ही जवाबों को ग्रेड करने के लिए तीन अलग-अलग AI का उपयोग किया और मानव स्वयंसेवकों के 112 लोगों को भी आमने-सामने तुलना करने के लिए लाया। उन्होंने पाया कि AI जज 77% बार मनुष्यों के साथ सहमत थे, लेकिन केवल तभी जब स्कोर का अंतर स्पष्ट हो। यदि दो उत्तर बहुत करीब (एक अंक के भीतर) थे, तो AI भी उनके बीच अंतर नहीं बता सका। इसका मतलब है कि भविष्य में, हमें बहुत छोटे स्कोर अंतरों के लिए उत्साहित नहीं होना चाहिए; वे संभवतः केवल 'नॉइज़' (noise) हैं।
यह शोध पत्र "थियोरिया" (Theoria) नामक एक नया सिस्टम पेश करता है, जो वैज्ञानिक शोध पत्रों को साक्ष्यों की परतों, संबंधित विचारों के समुदायों और उच्च-स्तरीय सिद्धांतों में व्यवस्थित करने की कोशिश करता है। जबकि थियोरिया ने बहुत अच्छा प्रदर्शन किया और सर्वश्रेष्ठ सिस्टम्स के साथ प्रतिस्पर्धा की, लेकिन इसने जादू की तरह पूरी प्रतियोगिता नहीं जीती। शोधकर्ताओं का सुझाव है कि थियोरिया की असली शक्ति केवल एक टेस्ट में एक प्रश्न का उत्तर देने के बजाय, समय के साथ लंबे समय तक चलने वाले शोध प्रोजेक्ट्स को संभालने में हो सकती है।
अंत में, लेखक तर्क देते हैं कि हमें AI मेमोरी को वीडियो गेम लीडरबोर्ड की तरह मानना बंद करना चाहिए जहाँ उच्चतम स्कोर जीतता है। इसके बजाय, हमें इसे एक वैज्ञानिक प्रयोग की तरह मानना चाहिए जहाँ हम बजट को नियंत्रित करते हैं। उन्होंने दिखाया कि यदि आप यह नियंत्रित नहीं करते हैं कि AI को कितना टेक्स्ट पढ़ने की अनुमति है, तो आप बुद्धिमत्ता को नहीं माप रहे हैं; आप केवल यह माप रहे हैं कि किसके पास सबसे बड़ा बैकपैक है। उन्होंने अपने सभी डेटा, कोड और टेस्ट प्रश्न सार्वजनिक कर दिए हैं, और सभी को इन नए, निष्पक्ष नियमों के साथ अपने परिणामों को मात देने के लिए आमंत्रित किया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।