Know It, Act on It: Investigating Memory Utilization in LLM Personalization
यह शोध पत्र एक विच्छेदित मूल्यांकन प्रतिमान (decoupled evaluation paradigm) प्रस्तुत करता है ताकि लार्ज लैंग्वेज मॉडल एजेंटों की उपयोगकर्ता प्राथमिकताओं को याद रखने की क्षमता और उन पर कार्य करने की क्षमता के बीच एक महत्वपूर्ण अंतर को उजागर किया जा सके, जिसमें यह पाया गया है कि हालांकि मेमोरी आर्किटेक्चर सहायता करते हैं, फिर भी स्वास्थ्य और थेरेपी जैसे उच्च-जोखिम वाले डोमेन के लिए उनका उपयोग अत्यंत कमजोर बना हुआ है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट दोस्त से बात कर रहे हैं जो महीनों से आपसे चैट कर रहा है। आपने उसे अपनी पसंदीदा फिल्में, मकड़ियों का डर और यह भी बताया है कि आपको मूंगफली से एलर्जी है। आप उम्मीद करते हैं कि यह रोबोट इन बातों को याद रखेगा और इनका उपयोग आपकी मदद के लिए करेगा। यह लार्ज लैंग्वेज मॉडल (LLM) एजेंट्स की दुनिया है। इन्हें सरल उपकरणों (जैसे कैलकुलेटर) से विकसित होते डिजिटल साथियों के रूप में देखें जो हफ्तों या वर्षों तक बातचीत कर सकते हैं। ऐसा करने के लिए, उन्हें मेमोरी (स्मृति) की आवश्यकता होती है: आपने उन्हें जो कुछ भी बताया है उसे स्टोर करने, व्यवस्थित करने और जरूरत पड़ने पर उसे निकालने का एक तरीका।
लेकिन यहाँ एक पेचीदा हिस्सा है: सिर्फ इसलिए कि एक रोबोट के पास उसके दिमाग में जानकारी है, इसका मतलब यह नहीं है कि वह उसका उपयोग भी करेगा। इसे नॉलेज यूटिलाइजेशन प्रॉब्लम (ज्ञान उपयोग की समस्या) कहा जाता है। यह एक ऐसी लाइब्रेरी होने जैसा है जिसमें किताबें तो बहुत हैं, लेकिन जब आप संकट में होते हैं, तो आप वास्तव में उस किताब को कभी नहीं पढ़ते जिसकी आपको जरूरत है। वैज्ञानिक काफी समय से जानते हैं कि ये एआई मॉडल कभी-कभी चीजें भूल जाते हैं, लेकिन वे इस बात को लेकर अनिश्चित थे कि समस्या यह है कि रोबोट तथ्य भूल गया है, या उसने इसे पूरी तरह से याद रखा लेकिन फिर भी इसे अनदेखा करने का फैसला किया। यह अंतर बहुत महत्वपूर्ण है। यदि रोबोट भूल जाता है कि आपको मूंगफली से एलर्जी है, तो यह मेमोरी की विफलता है। यदि वह याद रखता है कि आपको एलर्जी है लेकिन फिर भी "रचनात्मक रूप से सोचने" के चक्कर में आपको पीनट-बटर सैंडविच का सुझाव देता है, तो यह निर्णय लेने की एक बहुत अधिक खतरनाक विफलता है।
यह शोध पत्र, जिसका शीर्षक "नो इट, एक्ट ऑन इट" (जानो इसे, इस पर अमल करो) है, सीधे इसी उलझे हुए मध्य क्षेत्र में उतरता है। शोधकर्ता ज़ाओक्सिन फेंग, जियानफेई मा और इमैनुएल चेरसोनी (द हांगकांग पॉलिटेक्निक यूनिवर्सिटी से) यह पता लगाना चाहते थे कि रोबोट वास्तव में कहाँ टूटता है। उन्होंने एक चतुर परीक्षण खेल बनाया जिसे KnowAct कहा गया। कल्पना कीजिए कि वे रोबोट को उपयोगकर्ता की पसंद के बारे में एक गुप्त नोट देते हैं (जैसे "मुझे तीखा खाना पसंद नहीं है")। फिर, वे उसी गुप्त जानकारी पर रोबोट के दो परीक्षण करते हैं। पहला, नो टेस्ट (जानने का परीक्षण): वे रोबोट से सीधे पूछते हैं, "इस उपयोगकर्ता को कौन सा भोजन पसंद नहीं है?" यदि रोबोट कहता है, "तीखा भोजन," तो वह पास हो जाता है। दूसरा, एक्ट टेस्ट (कार्य करने का परीक्षण): वे रोबोट को एक नया परिदृश्य देते हैं, जैसे "उपयोगकर्ता रात का खाना ऑर्डर करना चाहता है," लेकिन वे एलर्जी का उल्लेख नहीं करते हैं। वे देखते हैं कि क्या रोबोट स्वाभाविक रूप से गैर-तीखा भोजन सुझाता है।
परिणाम चौंकाने वाले थे। टीम ने 16 अलग-अलग मेमोरी सिस्टम का परीक्षण किया (जो सरल "लॉन्ग-कॉन्टेक्स्ट" मॉडल से लेकर जटिल "एजेंटिक" सिस्टम तक, जो अपने स्वयं के नोट्स प्रबंधित करने का प्रयास करते हैं, तक फैले हुए थे)। उन्होंने पाया कि 'जानने' और 'करने' के बीच एक बड़ा अंतर है। कई मामलों में, रोबseits नो टेस्ट को शानदार तरीके से पास कर लेते थे—जब पूछा जाता था, तो वे उपयोगकर्ता की प्राथमिकताओं को पूरी तरह से सुना सकते थे। लेकिन जब एक्ट टेस्ट की बात आती थी, तो वे अक्सर बुरी तरह विफल हो जाते थे। उदाहरण के लिए, एक रोबोट सही ढंग से बता सकता है, "हाँ, इस उपयोगकर्ता को मूंगफली से एलर्जी है," लेकिन फिर, एक अलग बातचीत में, वह उत्साहपूर्वक क्रश किए हुए मूंगफली के ऊपर वाला थाई व्यंजन (Thai dish) रिकमेंड कर सकता है।
शोधकर्ताओं ने पाया कि यह अंतर केवल एक छोटी सी गड़बड़ी नहीं है; यह एक विशाल दीवार है। सबसे अच्छे प्रदर्शन करने वाले सिस्टम भी केवल लगभग दो-तिहाई तथ्यों को उपयोगी कार्यों में बदलने में सक्षम थे। यह और भी खराब हो जाता है जब यह देखा जाता है कि जानकारी कैसे दी गई थी। यदि उपयोगकर्ता ने स्पष्ट रूप से कहा, "मुझे मूंगफली से एलर्जी है," तो रोबोट इसे याद रखने में अच्छा था। लेकिन अगर उपयोगकर्ता ने अप्रत्यक्ष रूप से संकेत दिया था (जैसे ईमेल एडिट करने के लिए पूछते समय छींक वाले दिन की शिकायत करना), तो रोबोट अक्सर इसे मेमोरी में स्टोर करने में भी विफल रहा।
सबसे चिंताजनक खोज इस बारे में थी कि किस प्रकार की जानकारी सबसे कठिन थी। रोबोट स्वास्थ्य और थेरेपी से संबंधित प्राथमिकताओं पर अमल करने में आश्चर्यजनक रूप से खराब थे। भले ही उन्हें याद रहा कि उपयोगकर्ता को हे फीवर (hay fever) है या वह तनाव महसूस कर रहा है, वे अक्सर सलाह को बदलने में विफल रहे। वे किसी ऐसे व्यक्ति को, जिसे गंभीर पराग (pollen) एलर्जी है, धूप वाले पिकनिक का सुझाव दे सकते हैं या जो भावनात्मक रूप से थका हुआ महसूस कर रहा है, उसे हाई-एनर्जी वर्कआउट की सिफारिश कर सकते हैं। शोध पत्र बताता है कि जबकि मेमोरी सिस्टम रोबोट को अधिक तथ्य स्टोर करने में मदद करते हैं, वे रोबोट को यह नहीं सिखाते कि जब निर्णय लेने का समय आए तो उन तथ्यों के बारे में परवाह कैसे की जाए।
संक्षेप में, यह पेपर दिखाता है कि एआई को बेहतर मेमोरी देना अपने आप में उसे एक बेहतर दोस्त बनाना नहीं है। हम वर्तमान में ऐसे रोबोट बना रहे हैं जो आपके रहस्य याद रखने में तो माहिर हैं लेकिन उन्हें आपको सुरक्षित या खुश रखने के लिए उपयोग करने में बहुत खराब हैं। लेखक सुझाव देते हैं कि भविष्य के एआई को केवल डेटा "स्टोर" करने के बजाय, वास्तव में वास्तविक दुनिया की स्थितियों में उस डेटा को लागू करने के बारे में सीखने पर ध्यान केंद्रित करने की आवश्यकता है, विशेष रूप से स्वास्थ्य और सुरक्षा के मामले में। तब तक, आपको उस पीनट-बटर सैंडविच को खाने से पहले अपने रोबोट दोस्त की सलाह की दोबारा जांच कर लेनी चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।