VitaBench 2.0: Evaluating Personalized and Proactive Agents in Long-Term User Interactions
यह शोध पत्र VitaBench 2.0 प्रस्तुत करता है, जो एक नया बेंचमार्क है जिसे दीर्घकालिक, खंडित उपयोगकर्ता इंटरैक्शन में लार्ज लैंग्वेज मॉडल एजेंटों की व्यक्तिगत और सक्रिय निर्णय लेने की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो वर्तमान मॉडल क्षमताओं और वास्तविक दुनिया की आवश्यकताओं के बीच महत्वपूर्ण अंतराल को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक डिजिटल सहायक है जो पहेलियाँ सुलझाने और टूल्स का उपयोग करने में अविश्वसनीय रूप से स्मार्ट है, लेकिन उसे इस बात की बहुत खराब याददाश्त है कि आप कौन हैं। वह एक फ्लाइट बुक करना जानता है, लेकिन वह यह भूल जाता है कि आपको रात में उड़ना पसंद नहीं है, या आप खिड़की वाली सीट पसंद करते हैं, या आपने पिछले महीने अचानक मसालेदार खाना छोड़ दिया है।
यह पेपर, VitaBench 2.0, ठीक इसी समस्या का परीक्षण करने के लिए बनाया गया एक कठोर "फाइनल एग्जाम" है: क्या AI असिस्टेंट वास्तव में समय के साथ आपको जान सकते हैं और एक रोबोटिक अजनबी के बजाय एक विचारशील मित्र की तरह व्यवहार कर सकते हैं?
यहाँ सरल उपमाओं (analogies) का उपयोग करके इस पेपर के मुख्य विचारों का विवरण दिया गया है:
1. समस्या: "भुलक्कड़ बटलर" (The Amnesiac Butler)
वर्तमान AI एजेंट उन बटलर की तरह हैं जो विशिष्ट निर्देशों का पालन करने में माहिर हैं ("मेरे लिए कॉफी लाओ"), लेकिन माहौल को समझने में बहुत खराब हैं। यदि आप कहते हैं, "मैं उदास महसूस कर रहा हूँ," तो एक स्मार्ट बटलर समझ सकता है कि आपको राहत देने वाली कोई चीज़ लानी चाहिए। लेकिन यदि आप उनसे हफ्तों से बात कर रहे हैं, और आप अचानक कहते हैं, "मैं उदास महसूस कर रहा हूँ," तो एक वास्तव में व्यक्तिगत बटलर को याद होना चाहिए कि आप आमतौर पर बरसाती मंगलवार को उदास महसूस करते हैं और वह आपको आपके पसंदीदा इनडोर हॉबी का सुझाव दे सकता है, बजाय इसके कि वह सिर्फ यह पूछे, "क्या हुआ?"
मौजूदा टेस्ट ज्यादातर यह जांचते हैं कि क्या रोबोट एक रेसिपी का पालन कर सकता है। VitaBench 2.0 यह जांचता है कि क्या रोबोट आपके भोजन की पसंद, आपके बदलते मूड और आपकी छिपी हुई आदतों को लंबे समय तक याद रख सकता है।
2. परीक्षा: VitaBench 2.0
शोधकर्ताओं ने वास्तविक जीवन का एक सिमुलेशन बनाया है। कल्पना कीजिए कि एक वीडियो गेम है जहाँ आप एक यूजर हैं, और AI आपका सहायक है।
- सेटअप: उन्होंने जटिल जीवन वाले 56 अलग-अलग "यूजर्स" बनाए (नौकरी, परिवार, एलर्जी, शौक)।
- ट्विस्ट: AI को यूजर की पसंद की कोई 'चीट शीट' नहीं मिलती। इसके बजाय, उसे यह समझना होता है कि यूजर को क्या पसंद है, उनके बिखरे हुए संवादों को सुनकर और समय के साथ उनके व्यवहार को देखकर (जैसे कि आज उन्हें सलाद खरीदते देखना, लेकिन कल बर्गर खाते देखना)।
- बदलाव (The Drift): असली लोगों की तरह, ये सिम्युलेटेड यूजर्स भी अपने विचार बदलते हैं। शायद उन्होंने डाइट पर जाने का फैसला किया, या उन्हें अचानक एक नए प्रकार का संगीत पसंद आने लगा। AI को इन बदलावों को नोटिस करना होगा और यूजर के बारे में अपने "मानसिक मॉडल" को अपडेट करना होगा।
3. तीन कौशल जिनका परीक्षण किया गया
इस परीक्षा को पास करने के लिए, AI को तीन विशिष्ट कौशलों में महारत हासिल करनी होगी:
- जासूसी कार्य (Extraction - सुराग ढूंढना): सुरागों को खोजना। यदि कोई यूजर कहता है, "मैं चीनी कम करने की कोशिश कर रहा हूँ," तो AI को यह समझना चाहिए कि यह भविष्य के ऑर्डर्स के लिए एक नया नियम है, भले ही यूजर ने स्पष्ट रूप से यह न कहा हो कि "इसे याद रखो।"
- लाइब्रेरियन (Memory - याददाश्त): सुरागों को व्यवस्थित रखना। AI को इन प्राथमिकताओं को स्टोर करने के लिए एक "मेमोरी बैंक" की आवश्यकता होती है। पेपर ने दो प्रकार के लाइब्रेरियन का परीक्षण किया:
- एक्टिव मैनेजर (The Active Manager): एक AI जो यह तय करता है कि क्या रखना है, क्या फेंकना है, और यूजर के जीवन का सारांश कैसे बनाना है।
- सर्च इंजन (The Search Engine): एक AI जो बस पिछले सभी चैट्स को एक डेटाबेस में डाल देता है और जरूरत पड़ने पर कीवर्ड्स खोजता है।
- प्रोएक्टिव फ्रेंड (The Proactive Friend): कभी-कभी यूजर एक अस्पष्ट आदेश देता है जैसे, "मेरे लिए एक कॉफी ले आओ।" एक अच्छा सहायक जानता है कि कब जानकारी की कमी है। यदि आप सुबह स्ट्रॉन्ग कॉफी पीते हैं लेकिन दोपहर में हल्की कॉफी, तो AI ऑर्डर करने से पहले पूछना चाहिए, "आपकी मीटिंग कितने बजे है?"
4. परिणाम: "रियलिटी गैप" (The Reality Gap)
शोधकर्ताओं ने दुनिया के कई सबसे स्मार्ट AI मॉडल्स (OpenAI, Google, DeepSeek, आदि) का इस परीक्षा पर परीक्षण किया। परिणाम निराशाजनक थे:
- "सोचने" का जाल (The "Thinking" Trap): उन्होंने पाया कि केवल इसलिए कि एक AI अधिक गहराई से "सोच" सकता है (स्टेप-बाय-स्टेप रीजनिंग), इसका मतलब यह नहीं है कि वह आपको याद रखने में बेहतर हो जाएगा। वास्तव में, कुछ सबसे स्मार्ट रीजनिंग मॉडल्स भी "मुझे मसालेदार खाना पसंद नहीं है" जैसी सरल पसंद को याद रखने में विफल रहे।
- मेमोरी कठिन है: एक मेमोरी सिस्टम होने के बावजूद, अधिकांश AI संघर्ष करते हैं। वे अक्सर पुरानी पसंद भूल जाते हैं, नई पसंद के साथ भ्रमित हो जाते हैं, या पिछले संवाद और वर्तमान अनुरोध के बीच संबंध जोड़ने में असमर्थ होते हैं।
- प्रोएक्टिव गैप: AI यह समझने में बहुत खराब थे कि कब उनके पास जानकारी की कमी है। "क्या आप इसे लंच के लिए चाहते हैं या डिनर के लिए?" पूछने के बजाय, वे अक्सर अनुमान लगाते हैं और गलत साबित होते हैं।
5. निष्कर्ष
पेपर निष्कर्ष निकालता है कि जबकि AI गणित की समस्याओं को हल करने या कोड लिखने में अद्भुत हो रहा है, यह एक व्यक्तिगत साथी बनने के लिए संघर्ष कर रहा है।
इसे ऐसे समझें: हमने एक शक्तिशाली इंजन (रीजनिंग AI) वाला कार तो बना लिया है, लेकिन हमने अभी तक वह GPS इंस्टॉल करना नहीं सीखा है जो आपके पसंदीदा रास्तों और स्टॉप्स को जानता हो (पर्सनलाइजेशन)। VitaBench 2.0 वह मैप है जो हमें दिखाता है कि GPS कहाँ टूटा हुआ है, ताकि इंजीनियर इसे ठीक कर सकें।
संक्षेप में: पेपर कहता है, "हमारा AI स्मार्ट है, लेकिन यह अभी तक आपका नहीं है। यह आपका नाम, आपकी पसंद और आपके मूड के बदलावों को भूल जाता है। हमने यह साबित करने के लिए एक टेस्ट बनाया है, और परिणाम दिखाते हैं कि हमें एक व्यक्तिगत सहायक के रूप में कार्य करने के लिए अभी लंबा रास्ता तय करना है।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।