Language Models Don't Know What You Want: Evaluating Personalization in Deep Research Needs Real Users
यह शोध पत्र MyScholarQA प्रस्तुत करता है, जो एक व्यक्तिगत डीप रिसर्च टूल है जो सिंथेटिक बेंचमार्क पर बेसलाइन से बेहतर प्रदर्शन करता है लेकिन वास्तविक उपयोगकर्ता साक्षात्कार के माध्यम से महत्वपूर्ण, अप्राप्य सीमाओं को प्रकट करता है, यह तर्क देते हुए कि वैयक्तिकरण में वास्तविक प्रगति के लिए केवल LLM जजों पर निर्भर रहने के बजाय वास्तविक उपयोगकर्ताओं के साथ मूल्यांकन की आवश्यकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र "Language Models Don't Know What You Want: Evaluating Personalization in Deep Research Needs Real Users" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।
मुख्य विचार: वह "स्मार्ट" लाइब्रेरियन जो आपको नहीं जानता
कल्पना कीजिए कि आप एक विशाल, हाई-टेक लाइब्रेरी (इंटरनेट का संपूर्ण वैज्ञानिक शोध संग्रह) में जाते हैं और एक सुपर-स्मार्ट लाइब्रेरियन (एक AI) से किसी विशिष्ट विषय पर सबसे अच्छी किताबें खोजने के लिए कहते हैं।
अतीत में, लाइब्रेरियन केवल सबसे लोकप्रिय किताबें या वे किताबें उठा लेता था जिन्हें सबसे अधिक स्टार मिले हों। लेकिन आप, एक शोधकर्ता के रूप में, आपकी अपनी एक विशिष्ट शैली है। शायद आपको लंबी प्रस्तावनाएँ पसंद नहीं हैं, शायद आप केवल प्रयोगों (experiments) की परवाह करते हैं, या शायद आप टेक्स्ट के बजाय विजुअल डायग्राम पसंद करते हैं। आप चाहते हैं कि लाइब्रेरियन आपको जाने ताकि वह आपके दिमाग के अनुकूल एकदम सही सूची तैयार कर सके।
यह शोध पत्र एक नया सिस्टम पेश करता है जिसे MyScholarQA कहा जाता है। यह एक "डीप रिसर्च" टूल है जो उस व्यक्तिगत लाइब्रेरियन की तरह काम करने की कोशिश करता है। यह तीन चीजें करता है:
- यह आपके पिछले कार्यों को पढ़कर एक "प्रोफाइल" बनाता है कि आप कौन हैं।
- यह आपसे पूछता है कि आपको क्या चाहिए, जैसे कि खोज को विशिष्ट तरीकों से बदलने के सुझाव देना (जैसे "बेसिक चीजों को छोड़ दें" या "गणित पर ध्यान केंद्रित करें")।
- यह आपके प्रोफाइल और आपके सुझावों के आधार पर एक कस्टम रिपोर्ट लिखता है।
समस्या: "नकली" टेस्ट बनाम "असली" टेस्ट
शोधकर्ताओं ने यह देखना चाहा कि क्या उनका नया "पर्सनल लाइब्रेरियन" वास्तव में अच्छा था। इसलिए, उन्होंने इसे टेस्ट करने के दो अलग तरीके आजमाए।
1. सिमुलेशन टेस्ट (द "रोबोट जज")
सबसे पहले, उन्होंने वही किया जो अधिकांश कंप्यूटर वैज्ञानिक करते हैं: उन्होंने एक नकली टेस्ट बनाया।
- सेटअप: उन्होंने नकली शोधकर्ता और नकली पेपर बनाए। उन्होंने रिपोर्ट को ग्रेड देने के लिए अन्य एआई (जिन्हें "LLM Judges" कहा जाता है) का उपयोग किया।
- परिणाम: AI जजों ने नए सिस्टम को गोल्ड स्टार दिया! उन्होंने कहा, "बहुत बढ़िया! इसने सही पेपर्स को साइट किया और नियमों का पालन किया।"
- उपमा: एक कुकिंग कॉन्टेस्ट की कल्पना करें जहाँ जज रोबोट हैं। रोबोट सूप चखता है और कहता है, "परफेक्ट! इसमें नमक और काली मिर्च है।" लेकिन रोबोट यह नहीं बता सकता कि सूप किसी इंसान को स्वाद में कैसा लगा, या क्या यह किसी विशेष व्यक्ति के स्वाद के लिए बहुत तीखा है। रोबोट केवल बॉक्स चेक कर रहा है, खाने का स्वाद नहीं ले रहा है।
2. असली यूजर टेस्ट (द "टेस्ट ऑफ टेस्ट")
फिर, शोधकर्ताओं ने कुछ दुर्लभ किया: उन्होंने 21 वास्तविक मानव शोधकर्ताओं को सिस्टम का उपयोग करने के लिए कहा।
- सेटअप: असली लोगों ने टूल का उपयोग किया, प्रोफाइल को एडिट किया और रिपोर्ट को रेट किया।
- परिणाम: इंसान बहुत अधिक चूजी (picky) निकले। उन्होंने नौ विशिष्ट तरीके खोज निकाले जिनसे सिस्टम विफल हुआ, जिन्हें रोबट जजों ने पूरी तरह से मिस कर दिया था।
- उपमा: जब एक असली इंसान ने सूप चखा, तो उन्होंने कहा, "यह मेरे लिए बहुत नमकीन है," या "मुझे इसका टेक्सचर पसंद नहीं आया," या "आप भूल गए कि मैंने मुख्य सामग्री के बारे में पूछा था।" रोबोट ने इन चीजों पर कभी ध्यान नहीं दिया क्योंकि वह केवल "नमक" और "काली मिर्च" की तलाश में था।
नौ "छिपे हुए" दोष
पेपर ने पाया कि जबकि AI को लगा कि वह बहुत अच्छा काम कर रहा है, वह वास्तव में सूक्ष्म गलतियाँ कर रहा था जिन्हें केवल इंसान ही पकड़ सकते थे। यहाँ कुछ उदाहरण दिए गए हैं:
- "अति-आत्मविश्वासी" प्रोफाइल: AI कहता था, "आप क्वांटम फिजिक्स के विशेषज्ञ हैं," जबकि उपयोगकर्ता वास्तव में केवल एक नौसिखिया (beginner) था। यह प्रशंसात्मक था लेकिन गलत था।
- "विषय से हटकर" सुझाव: AI ने ऐसे सुझाव दिए जो तकनीकी रूप से सही थे लेकिन उपयोगकर्ता वास्तव में जो जानना चाहता था उससे पूरी तरह अप्रासंगिक थे।
- "अस्पष्ट" रिपोर्ट: AI ने ऐसी रिपोर्ट लिखी जो बहुत ही ऊपरी स्तर (high-level) की थी। उपयोगकर्ता को गहरे विवरण चाहिए थे, लेकिन AI ने केवल एक सारांश दिया।
बड़ा सबक: "रोबोट जज" (अन्य AI) यह अनुमान लगाने में बहुत खराब थे कि वास्तविक मनुष्य क्या चाहते हैं। वास्तविक मानव फीडबैक की तुलना में उनका स्कोर 100% गलत था।
निष्कर्ष: सिमुलेशन करना बंद करें, बात करना शुरू करें
लेखकों का तर्क है कि आर्टिफिशियल इंटेलिजेंस का क्षेत्र सिमुलेशन (simulations) पर बहुत अधिक निर्भर हो रहा है। हम अन्य AI के साथ AI टूल्स बना रहे हैं और उनका परीक्षण कर रहे हैं, यह सोचकर कि, "यदि AI को यह पसंद है, तो इंसानों को भी होगा।"
यह पेपर कहता है: नहीं, यह काम नहीं करता।
- रूपक (Metaphor): आप एक नई कार डिजाइन नहीं करेंगे और उसका परीक्षण केवल एक वीडियो गेम में करेंगे। आपको इसे वास्तविक सड़कों पर और वास्तविक ड्राइवरों के साथ चलाना होगा ताकि यह देखा जा सके कि सीटें आरामदायक हैं या ब्रेक सही काम कर रहे हैं।
- निष्कर्ष: ऐसी AI बनाने के लिए जो वास्तव में लोगों की मदद करे, हमें केवल "रोबोट जजों" का उपयोग करना बंद करना होगा और वास्तविक उपयोगकर्ताओं से बात करना शुरू करना होगा। हमें यह देखना होगा कि वे टूल का उपयोग कैसे करते हैं, उनकी शिकायतों को सुनना होगा, और उन्हें निराश होते हुए देखना होगा।
एक वाक्य में सारांश
सिर्फ इसलिए कि एक AI सोचता है कि वह रिपोर्ट को पर्सनलाइज करने में बहुत अच्छा काम कर रहा है, इसका मतलब यह नहीं है कि वह वास्तव में जानता है कि आप क्या चाहते हैं; आप एक व्यक्तिगत सहायक का परीक्षण रोबोट के साथ नहीं कर सकते, आपको उसका परीक्षण एक वास्तविक व्यक्ति के साथ करना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।