Setoka: A Benchmark for Hierarchical User Understanding in Personalized Agents over Heterogeneous Data
यह शोध पत्र सेटोका (Setoka) को प्रस्तुत करता है, जो संज्ञानात्मक और व्यक्तित्व मनोविज्ञान पर आधारित एक नवीन बेंचमार्क है, जो विषम डेटा के माध्यम से पदानुक्रमित उपयोगकर्ता समझ—सिमेंटिक और एपिसोडिक मेमोरी से लेकर व्यवहार पैटर्न और व्यक्तित्व लक्षणों तक—करने की व्यक्तिगत एजेंटों की क्षमता का मूल्यांकन करता है, यह प्रकट करते हुए कि वर्तमान प्रणालियाँ सरल तथ्य पुनर्प्राप्ति से परे खंडित दीर्घकालिक जानकारी के एकीकरण और अमूर्तीकरण की आवश्यकता वाले कार्यों में काफी संघर्ष करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नए दोस्त को जानने की कोशिश कर रहे हैं। आप बस उनसे पूछ सकते हैं, "आपका फ़ोन नंबर क्या है?" या "आपकी मीटिंग कितने बजे है?" और जवाब लिख सकते हैं। यह आसान है; यह सिर्फ एक तथ्य को पकड़ना है। लेकिन सच्ची दोस्ती गहरी होती है। यह इस बात पर गौर करना है कि आपका दोस्त हमेशा एक ही तरह के चुटकुलों पर हंसता है, या वे बारिश होने पर चिड़चिड़े हो जाते हैं, या वे ऐसे व्यक्ति हैं जो अपना पूरा सप्ताह पहले से ही प्लान करते हैं। ये वे तथ्य नहीं हैं जिन्हें आप बस ढूँढ सकते हैं; ये वे पैटर्न हैं जिन्हें आपको कई अलग-अलग बातचीत, संदेशों और समय के क्षणों से जोड़कर समझना होता है।
आर्टिफिशियल इंटेलिजेंस की दुनिया में, हम "एजेंट्स" बना रहे हैं जो व्यक्तिगत सहायकों की तरह काम करते हैं। अभी, ये AI सहायक आसान कामों में काफी अच्छे होते जा रहे हैं: जैसे आपका फ़ोन नंबर याद रखना या आपके कैलेंडर में मीटिंग का समय ढूँढना। लेकिन वैज्ञानिक चिंतित हैं कि ये एजेंट "गहरे" कामों में बहुत खराब हैं। उन्हें यह समझने में संघर्ष होता है कि आप वास्तव में कौन हैं—आपकी आदतें, आपका व्यक्तित्व और आपका दीर्घकालिक व्यवहार। इसे ठीक करने के लिए, शोधकर्ताओं को एक ऐसे तरीके की आवश्यकता है जिससे यह परीक्षण किया जा सके कि क्या एक AI वास्तव में एक इंसान को "समझ" सकता है, न कि केवल एक फाइल पढ़ सकता है। यहीं पर एक नया अध्ययन आता है, जो यह देखने के लिए एक बेहतर परीक्षण बनाने की कोशिश कर रहा है कि क्या AI एक साधारण नोट लेने वाले से बदलकर एक सच्चा समझदार साथी बन सकता है।
समस्या: AI को "आप कौन हैं" के लिए भूलने की बीमारी है
अपने डिजिटल जीवन को एक विशाल, अस्त-व्यस्त अटारी के रूप में सोचें जो विभिन्न प्रकार के बक्सों से भरी है। कुछ बक्सों पर "संदेश" लिखा है, कुछ पर "कैलेंडर इवेंट्स" और अन्य पर "सामाजिक संबंध" लिखे हैं। अभी, अधिकांश AI सहायक एक ऐसे लाइब्रेरियन की तरह हैं जो केवल आपके पूछने पर एक विशिष्ट बॉक्स निकाल सकता है। यदि आप पूछते हैं, "एलिस का फ़ोन नंबर क्या है?" तो AI "संपर्क" वाला बॉक्स ढूँढता है और नंबर पढ़ लेता है। बहुत आसान।
लेकिन क्या होगा यदि आप पूछते हैं, "क्या मैं एक बहिर्मुखी (extroverted) व्यक्ति हूँ?" या "मैं आमतौर पर सप्ताहांत पर दोस्तों के साथ कितनी बार समय बिताता हूँ?" AI केवल एक बॉक्स नहीं खोल सकता। उसे आपके कैलेंडर को देखना होगा ताकि वह समूह कार्यक्रमों को देख सके, अपने संदेशों की जांच करनी होगी कि आप चैट में कितने सक्रिय हैं, और अपने सामाजिक संबंधों को स्कैन करना होगा कि आपके कितने दोस्त हैं। उसे पैटर्न का पता लगाने के लिए विभिन्न प्रकार के डेटा के बीच संबंध स्थापित करने होंगे। समस्या यह है कि वर्तमान AI सिस्टम इसमें बहुत खराब हैं। वे तथ्यों को खोजने में बेहतरीन हैं लेकिन तथ्यों के पीछे की कहानी को समझने में बहुत खराब हैं।
प्रवेश सेटोका (Setoka) में: "आपको जानने का" अंतिम परीक्षण
इसे हल करने के लिए, शोधकर्ताओं ने सेटोका (Setoka) नामक एक नया बेंचमार्क बनाया है। आप सेटोका को एक विशाल, सुपर-व्यवस्थित सिमुलेशन लैब के रूप में देख सकते हैं। वास्तविक लोगों के निजी डेटा का उपयोग करने के बजाय (जो गोपनीयता की दृष्टि से एक बुरा सपना होगा), शोधकर्ताओं ने एक "मनोविज्ञान फैक्ट्री" बनाई है।
यहाँ उनकी फैक्ट्री कैसे काम करती है:
- ब्लूप्रिंट (खाका): सबसे पहले, वे 10 नकली लोग बनाने के लिए वास्तविक मनोवैज्ञानिक विज्ञान का उपयोग करते हैं। वे केवल यह अनुमान नहीं लगाते कि ये लोग कैसे हैं; वे एक विशेष गणितीय मॉडल का उपयोग करते हैं ताकि यह सुनिश्चित हो सके कि व्यक्तित्व तर्कसंगत हों। उदाहरण के लिए, यदि कोई नकली व्यक्ति बहुत "मिलनसार" है, तो गणित यह सुनिश्चित करता है कि वे गुप्त रूप से "शर्मीले" भी न हों, जैसा कि वास्तविक मनुष्य शायद ही कभी होते हैं।
- व्यवहार: इसके बाद, वे इन व्यक्तित्वों को दैनिक आदतों में बदलते हैं। यदि कोई व्यक्ति "मिलनसार" है, तो सिस्टम एक वास्तविक शेड्यूल बनाता है जहाँ वे हर दूसरे दिन दोस्तों से बात करते हैं, रोज़ाना मल्टीप्लेयर गेम खेलते हैं, और सप्ताह में कुछ बार सिटकॉम देखते हैं।
- अस्त-व्यस्त डेटा: अंत में, वे उन आदतों को डिजिटल कचरे के एक विशाल ढेर में बदल देते हैं। वे हजारों नकली टेक्स्ट संदेश, कैलेंडर प्रविष्टियाँ और सोशल नेटवर्क लॉग बनाते हैं जो दो महीने तक फैले हुए हैं। यह "विषम डेटा" (heterogeneous data) है—विभिन्न प्रकार की फाइलों का मिश्रण जिसे एक AI को छानना होगा।
एक बार जब फैक्ट्री चल जाती है, तो वे इन नकली लोगों के बारे में AI से 1,426 प्रश्न पूछते हैं। प्रश्न कठिनाई के चार स्तरों में विभाजित हैं, जैसे कि बढ़ते हुए बॉस बैटल्स के साथ एक वीडियो गेम:
- स्तर 1 (सिमेंटिक मेमोरी): "एलिस का फ़ोन नंबर क्या है?" (बस तथ्य खोजें)।
- स्तर 2 (एपिसोडिक मेमोरी): "20 अप्रैल की शाम को उपयोगकर्ता क्या कर रहा था?" (एक विशिष्ट घटना को पुनर्गठित करने के लिए एक कैलेंडर प्रविष्टि, एक टेक्स्ट संदेश और एक स्थान लॉग को मिलाएं)।
- स्तर 3 (व्यवहार पैटर्न): "उपयोगकर्ता प्रति सप्ताह कितनी बार सामाजिक गतिविधियों में भाग लेता है?" (डेटा के हफ्तों को देखें और कुल संख्या गिनें)।
- स्तर 4 (व्यक्तित्व लक्षण): "उपयोगकर्ता कितना बहिर्मुखी है?" (गहरे व्यक्तित्व लक्षण का अनुमान लगाने के लिए सभी सामाजिक डेटा, कार्य आदतों और अवकाश गतिविधियों को देखें)।
उन्होंने क्या पाया: "तथ्य-खोजकर्ता" बनाम "मन-पठन"
शोधकर्ताओं ने 5 अलग-अलग मेमोरी सिस्टम (कुछ जो डेटा को ग्राफ की तरह व्यवस्थित करते हैं, कुछ जो एक साधारण सूची की तरह करते हैं) के साथ 3 अलग-अलग AI दिमागों (एक शक्तिशाली क्लाउड मॉडल से लेकर एक छोटे मॉडल तक जो फोन पर चल सकता है) का परीक्षण किया।
परिणाम AI जगत के लिए एक चेतावनी की तरह थे:
- आसान काम हल हो गए: जब प्रश्न केवल एक तथ्य खोजने के बारे में था (स्तर 1), तो AI ने बहुत अच्छा प्रदर्शन किया। वास्तव में, कभी-कभी AI को विशेष मेमोरी सिस्टम की आवश्यकता भी नहीं थी; वह बस डेटाबेस की तरह कच्चे डेटा को देख सकता था।
- मध्यम स्तर कठिन है: जैसे ही AI को एक विशिष्ट घटना को याद करने के लिए कुछ सूचनाओं को जोड़ने की आवश्यकता हुई (स्तर 2), स्कोर गिर गया।
- गहरा काम टूटा हुआ है: जब AI को पैटर्न खोजने या व्यक्तित्व लक्षणों का अनुमान लगाने की आवश्यकता थी (स्तर 3 और 4), तो प्रदर्शन पूरी तरह से गिर गया। सर्वश्रेष्ठ सिस्टम केवल लगभग 24% व्यक्तित्व संबंधी प्रश्नों का सही उत्तर दे पाए।
अध्ययन बताता है कि केवल AI को अधिक तथ्य "याद" कराने से काम नहीं चलेगा। वर्तमान सिस्टम उन छात्रों की तरह हैं जो एक पाठ्यपुस्तक को पूरी तरह से रट सकते हैं लेकिन निबंध वाले प्रश्न में विफल हो जाते हैं क्योंकि वे विचारों को जोड़ नहीं पाते हैं। शोधकर्ताओं ने पाया कि किसी उपयोगकर्ता को समझने के लिए, एक AI को केवल डेटा प्राप्त करने की आवश्यकता नहीं है; उसे विभिन्न स्रोतों को जोड़ने, उन्हें समय के साथ एकत्र (aggregate) करने और छिपे हुए लक्षणों को खोजने के लिए उन्हें सामान्यीकृत (generalize) करने की आवश्यकता है।
निष्कर्ष
सेटोका हमें दिखाता है कि हम अभी भी ऐसे AI से बहुत दूर हैं जो वास्तव में हमें "जानता" हो। जबकि हमारे डिजिटल सहायक हमारे फ़ोन नंबर और मीटिंग के समय को याद रखने में बेहतर हो रहे हैं, वे अभी भी हमारी आदतों और व्यक्तित्व को समझने के लिए संघर्ष कर रहे हैं। अध्ययन का सुझाव है कि अगला बड़ा बदलाव केवल AI को अधिक मेमोरी देने से नहीं आएगा, बल्कि इसे हमारे डिजिटल जीवन के बिखरे हुए, अस्त-व्यस्त टुकड़ों को हमारे वास्तविक स्वरूप की एक सुसंगत तस्वीर में बुनना सिखाने से आएगा। तब तक, हमारे AI मित्र यह तो जान सकते हैं कि कल आपने क्या किया था, लेकिन वे वास्तव में हमें नहीं जानते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।