Reconstructing the Right Episode: Evaluating Interleaved Conversational Memory Beyond Long Context
यह शोध पत्र SCALE-QA प्रस्तुत करता है, जो एक ऐसा बेंचमार्क है जिसे फ्लैट, मिश्रित-विषय वाली संवादात्मक थ्रेड्स में मेमोरी सिस्टम का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो उनके द्वारा कार्य-कारण संबंधी प्रासंगिक पिछले प्रकरणों (एपिसोड्स) को पहचानने की क्षमता का परीक्षण करता है, और TSIM का प्रस्ताव करता है, जो एक पदानुक्रमित स्मृति पुनर्निर्माण विधि है जो एपिसोड की अखंडता बनाए रखने में मौजूदा लॉन्ग-कॉन्टेक्स्ट और RAG बेसलाइन से काफी बेहतर प्रदर्शन करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जटिल परियोजना की योजना बनाने के लिए एक सहायक के साथ बैठे हैं। आप अपने बजट, अपनी टीम के कौशल और आपके पास उपलब्ध उपकरणों पर चर्चा करते हैं। बाद में, आप किसी से यह पूछ सकते हैं कि किस सॉफ़्टवेयर का उपयोग करना चाहिए। एक अच्छा उत्तर देने के लिए, सहायक को उन विशिष्ट बाधाओं को याद रखने की आवश्यकता है जिनका आपने घंटों या दिनों पहले बातचीत के दौरान उल्लेख किया था। चुनौती तब उत्पन्न होती है जब बातचीत लंबी, अव्यवस्थित और यात्रा, चिकित्सा सलाह और कोड जैसे कई अलग-अलग विषयों के बीच घूमती रहती है। इन विस्तृत धागों में, शुरुआत में बताई गई एक छोटी सी नियम—जैसे "हम केवल एक ही कंप्यूटर का उपयोग कर सकते हैं"—हजारों संदेशों तक छिपी रह सकती है और अचानक एक नए निर्णय के लिए सबसे महत्वपूर्ण तथ्य बन सकती है। यदि सहायक इस नियम को भूल जाता है या इसे इस संदर्भ के बिना याद करता है कि यह क्यों महत्वपूर्ण है, तो वह गलत उत्तर देगा, भले ही उसने बातचीत के हर एक शब्द को पढ़ लिया हो।
कैलिफोर्निया विश्वविद्यालय सैन डिएगो के शोधकर्ताओं ने इस विशिष्ट समस्या की पहचान एक बातचीत के सही "एपिसोड" (episode) को पुनर्गठित करने में विफलता के रूप में की है। एक एपिसोड केवल एक वाक्य या एक अलग तथ्य नहीं है; यह संवाद का एक पूर्ण, सुसंगत ब्लॉक है जहाँ एक नियम या स्थिति स्थापित होती है और सक्रिय होती है। वर्तमान कंप्यूटर सिस्टम अक्सर लंबी बातचीत को छोटे, निश्चित टेक्स्ट चंक्स (chunks) में तोड़कर या केवल कीवर्ड खोजने के माध्यम से हल करने की कोशिश करते हैं। नया अध्ययन दिखाता है कि यह दृष्टिकोण विफल हो जाता है क्योंकि यह उन अंशों को प्राप्त करता है जो प्रासंगिक दिखते हैं लेकिन उस महत्वपूर्ण संदर्भ को छोड़ देते हैं जो एक नियम को बाध्यकारी बनाता है। इसका परीक्षण करने के लिए, टीम ने SCALE-QA नामक चुनौतियों का एक नया सेट बनाया, जिसमें सॉफ्टवेयर इंजीनियरिंग से लेकर वित्त तक दस विभिन्न क्षेत्रों में तीन हजार सावधानीपूर्वक जांच किए गए प्रश्न शामिल हैं। ये प्रश्न इस तरह से डिज़ाइन किए गए हैं कि सही उत्तर केवल एक छिपे हुए नियम को खोजने पर निर्भर करता है जो मिश्रित विषयों के एक सपाट, अटूट प्रवाह के भीतर गहराई में दबा हुआ है।
शोधकर्ताओं ने पाया कि यहाँ तक कि सबसे उन्नत आर्टिफिशियल इंटेलिजेंस मॉडल भी संघर्ष करते हैं जब उन्हें एक साथ अपनी पूरी स्मृति पर भरोसा करने के लिए मजबूर किया जाता है। 128,000 शब्दों तक फैली एक बातचीत दिए जाने पर, GPT-4o-mini नामक एक शक्तिशाली मॉडल 30 प्रतिशत से भी कम समय में सही उत्तर दे पाया। वह टेक्स्ट की विशाल मात्रा से अभिभूत हो गया और अप्रासंगिक बातचीत के शोर से महत्वपूर्ण नियम को अलग नहीं कर सका। टीम ने फिर TSIM नामक एक नई विधि का परीक्षण किया, जो इस तरीके को बदल देती है कि सिस्टम अपनी स्मृति को कैसे व्यवस्थित करता है। अलग-अलग वाक्यों को खोजने के बजाय, TSIM बातचीत को उन प्राकृतिक सीमाओं की पहचान करने के लिए स्कैन करता है जहाँ विषय या नियम बदलते हैं। यह संवाद को इन सार्थक एपिसोड्स में समूहित करता है और प्रत्येक के लिए एक सारांश बनाता है। जब कोई प्रश्न पूछा जाता है, तो सिस्टम पहले उस विशिष्ट एपिसोड को पुनर्गठित करने का प्रयास करता है जहाँ प्रासंगिक नियम स्थापित किया गया था, न कि केवल कीवर्ड वाले किसी यादृच्छिक टुकड़े को पकड़ने का।
इस रणनीति में बदलाव ने नाटकीय सुधार किया। इसी नए तरीके का उपयोग करते हुए, सिस्टम ने GPT-4o-mini के साथ लगभग 74 प्रतिशत की सटीकता हासिल की, और अन्य शक्तिशाली मॉडलों के साथ और भी उच्च स्कोर प्राप्त किया। मुख्य निष्कर्ष यह है कि समस्या पर्याप्त शब्दों को रखने के लिए पर्याप्त मेमोरी स्पेस होने के बारे में नहीं है, बल्कि निर्णय के पीछे की पूरी कहानी को प्राप्त करने के लिए सही संरचना होने के बारे में है। शोधकर्ताओं ने दिखाया कि बातचीत को लंबा बनाना या अधिक शक्तिशाली मॉडलों का उपयोग करना इस समस्या को हल नहीं करता है; सिस्टम को एक नियम को लागू करने के लिए उसके पूर्ण संदर्भ को जोड़ने में सक्षम होना चाहिए। एक परीक्षण में जहाँ बातचीत को दस लाख शब्दों तक बढ़ाया गया था, मानक दृष्टिकोण को 87 प्रतिशत सटीकता तक पहुँचने के लिए भारी मात्रा में कंप्यूटिंग शक्ति और समय की आवश्यकता थी, जबकि नए तरीके ने बहुत कम टेक्स्ट का उपयोग करके 96.5 प्रतिशत तक पहुँच प्राप्त की।
अध्ययन ने इस नए दृष्टिकोण की तुलना अन्य मौजूदा मेमोरी सिस्टम से भी की जो सारांश देने या जटिल ग्राफ में डेटा को व्यवस्थित करने के माध्यम से लंबी बातचीत को प्रबंधित करने का प्रयास करते हैं। हालाँकि इन प्रणालियों ने सरल कीवर्ड खोज की तुलना में बेहतर प्रदर्शन किया, फिर भी वे नए तरीके से पीछे रह गईं। शोधकर्ताओं ने प्रदर्शित किया कि इन लंबी, मिश्रित-विषय वाली थ्रेड्स को संभालने का सबसे प्रभावी तरीका बातचीत को अलग-अलग, सुसंगत घटनाओं की एक श्रृंखला के रूप में मानना है। उस पूर्ण एपिसोड को पुनर्गठित करने पर ध्यान केंद्रित करके जहाँ एक बाधा निर्धारित की गई थी, सिस्टम अप्रासंगिक विवरणों को अनदेखा कर सकता है और उस साक्ष्य पर ध्यान केंद्रित कर सकता है जो वास्तव में मायने रखता है। यह कार्य बताता है कि आर्टिफिशियल इंटेलिजेंस के लिए दीर्घकालिक, जटिल कार्यों में एक विश्वसनीय साथी बनने के लिए, इसे केवल टेक्स्ट की विशाल मात्रा को संग्रहीत करने से आगे बढ़ना होगा और मानव संपर्क की कथा संरचना (narrative structure) को समझना सीखना होगा। शोधकर्ताओं ने अपने परीक्षण डेटा और अपनी नई विधि को दूसरों के लिए उपलब्ध करा दिया है, इस उम्मीद में कि यह क्षेत्र को लंबी, वास्तविक दुनिया की बातचीत को संभालने की वर्तमान सीमाओं से आगे बढ़ने में मदद करेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।