GISTBench: Evaluating LLM User Understanding via Evidence-Based Interest Verification
यह शोध पत्र GISTBench प्रस्तुत करता है, जो एक नया बेंचमार्क और सिंथेटिक डेटासेट है जिसे अनुशंसा प्रणालियों (रिकमेंडेशन सिस्टम) में इंटरेक्शन इतिहास से उपयोगकर्ता की रुचियों को निकालने और सत्यापित करने की लार्ज लैंग्वेज मॉडल्स की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो विषम जुड़ाव संकेतों (हेटरोजीनियस एंगेजमेंट सिग्नल्स) को संभालने में वर्तमान प्रदर्शन संबंधी बाधाओं को उजागर करने के लिए 'इंटरेस्ट ग्राउंडेडनेस' और 'स्पेसिफिसिटी' के नए मेट्रिक्स का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अस्त-व्यस्त अलमारी के लिए एक पर्सनल स्टाइलिस्ट हैं। आपका काम सिर्फ यह चुनना नहीं है कि कौन सी शर्ट शायद फिट आ जाए; बल्कि आपका काम यह देखना है कि उस व्यक्ति के पास अब तक क्या-क्या रहा है, उन्होंने क्या कचरे में फेंक दिया, क्या उन्होंने एक साल तक लगातार एक ही चीज़ पहनी, और क्या उन्होंने केवल एक बार पहनने के लिए आज़माया था, और फिर उनके स्टाइल की एक जीवनी लिखना है।
GISTBench ठीक यही परीक्षण करने की कोशिश कर रहा है।
यहाँ इस पेपर का सरल विवरण दिया गया है, रोज़मर्रा के उपमाओं (analogies) का उपयोग करते हुए:
1. समस्या: "अंदाज़ा लगाने वाला खेल" बनाम "जासूस"
रिकमेंडेशन सिस्टम की दुनिया में (जैसे TikTok, YouTube, या Netflix), कंप्यूटर आमतौर पर जुआरी की तरह काम करते हैं। वे देखते हैं कि आपने कल क्या क्लिक किया और अंदाज़ा लगाते हैं कि आप कल क्या क्लिक करेंगे। उन्हें वास्तव में इस बात की परवाह नहीं होती कि आपने क्यों क्लिक किया; वे बस अगले क्लिक के बारे में सही होना चाहते हैं।
लेकिन शोधकर्ताओं ने Meta में कुछ अलग परीक्षण करने की इच्छा जताई। वे देखना चाहते थे कि क्या AI एक जासूस की तरह काम कर सकता है।
- जासूस का काम: उपयोगकर्ता के कार्यों के पूरे इतिहास (उन्होंने क्या देखा, क्या छोड़ा, क्या पसंद किया) को देखना और इस बात का सारांश लिखना कि वह व्यक्ति वास्तव में कौन है।
- जाल (The Trap): यदि AI लिखता है, "इस व्यक्ति को खाना बनाना पसंद है," लेकिन उपयोगकर्ता ने केवल एक कुकिंग वीडियो देखा और 50 को छोड़ दिया, तो AI झूठ बोल रहा है (या "हैलुसिनेट" कर रहा है)।
2. नया परीक्षण: GISTBench
यह पेपर GISTBench पेश करता है, जो AI मॉडल्स के लिए एक नई परीक्षा है। यह पूछने के बजाय कि, "क्या आपने सही वीडियो की सिफारिश की?", यह पूछता है, "क्या आपने उस व्यक्ति को सही ढंग से समझा?"
इसे निष्पक्ष बनाने के लिए, उन्होंने एक सिंथेटिक डेटासेट (Synthetic Dataset) बनाया। इसे उपयोगकर्ताओं के लिए "SimCity" की तरह समझें। उन्होंने लाखों लोगों के वास्तविक डेटा को लिया, उसे मिलाया-जुलाया, और नकली लेकिन वास्तविक दिखने वाली यूजर प्रोफाइल बनाईं। यह गोपनीयता की रक्षा करता है और AI को अध्ययन करने के लिए एक विशाल "इंटरैक्शन हिस्ट्री" लाइब्रेरी प्रदान करता है।
3. परीक्षा के दो नियम
परीक्षा AI को दो विशिष्ट चीजों पर ग्रेड देती है, जिन्हें लेखक IG और IS कहते हैं।
A. इंटरेस्ट ग्राउंडेडनेस (IG) = "मुझे सबूत दिखाओ"
यह सबसे महत्वपूर्ण हिस्सा है। यदि AI कहता है, "इस उपयोगकर्ता को Sci-Fi फिल्में पसंद हैं," तो उसे इसे साबित करना होगा।
- नियम: AI केवल अंदाज़ा नहीं लगा सकता। उसे इतिहास में विशिष्ट साक्ष्य दिखाने होंगे।
- क्या उपयोगकर्ता ने वास्तव में 3 Sci-Fi फिल्में देखीं? (इम्प्लिसिट पॉजिटिव)
- क्या उन्होंने एक को पसंद किया या शेयर किया? (एक्सप्लिसिट पॉजिटिव)
- क्या उन्होंने 10 Sci-Fi फिल्में छोड़ दीं (skip)? (इम्प्लिसिट नेगेटिव)
- उपमा: कल्पना कीजिए कि अदालत में एक वकील है। यदि वे कहते हैं, "मेरा क्लाइंट निर्दोष है," तो वे केवल ऐसा कह नहीं सकते; उन्हें तीन भौतिक साक्ष्य प्रस्तुत करने होंगे। यदि वे ऐसा नहीं कर पाते, तो जज (बेंचमार्क) कहता है, "केस खारिज किया जाता है।"
- परिणाम: यदि AI मनगढ़ंत रुचियां बनाता है (हैलुसिनेशन) या यदि वह स्पष्ट रुचियों को छोड़ देता है (लो कवरेज), तो उसे दंडित किया जाता है।
B. इंटरेस्ट स्पेसिफिसिटी (IS) = "बोरिंग मत बनो"
भले ही AI के पास सबूत हों, क्या वह बहुत अस्पष्ट हो रहा है?
- नियम: यदि AI कहता है, "इस उपयोगकर्ता को मनोरंजन (Entertainment) पसंद है," तो यह तकनीकी रूप से सही है, लेकिन यह बेकार है। हर किसी को मनोरंजन पसंद होता है।
- उपमा: यह मौसम रिपोर्ट की तरह है जो कहती है, "पृथ्वी पर कहीं बारिश हो रही है।" तकनीकी रूप से सही, लेकिन मददगार नहीं। AI को कहना चाहिए, "सीैटल (Seattle) में बारिश हो रही है।"
- परीक्षण: बेंचमार्क यह जाँचता है कि क्या AI का विशिष्ट दावा (जैसे, "90 के दशक का हिप हॉप पसंद है") इतना अनूठा है कि यह केवल इसी विशिष्ट उपयोगकर्ता के इतिहास पर लागू हो सकता है, न कि किसी भी अन्य व्यक्ति पर।
4. उन्होंने क्या पाया (प्लॉट ट्विस्ट)
शोधकर्ताओं ने 8 अलग-अलग AI मॉडल्स (छोटे से लेकर विशाल तक) का इस परीक्षा पर परीक्षण किया। यहाँ उनकी खोज है:
- "गिनती" की समस्या: सबसे बड़ी विफलता यह नहीं थी कि AI "बेवकूफ" या "रचनात्मक" था। समस्या यह थी कि AI गिनती (counting) करने में बुरा था।
- उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है जिसे पता है कि उत्तर "3 सेब" है, लेकिन उसका ध्यान भटक जाता है और वह "2 सेब" या "4 सेब" गिन लेता है। AI उपयोगकर्ता के क्लिक करने, छोड़ने या वीडियो देखने की संख्या गिनने में संघर्ष कर रहा था।
- प्रिसिजन बनाम कवरेज (Precision vs. Coverage):
- कुछ AI बहुत सावधान थे। उन्होंने केवल उन्हीं रुचियों का अनुमान लगाया जिनके बारे में वे 100% सुनिश्चित थे। वे सटीकता (accuracy) के लिए उच्च स्कोर प्राप्त करते थे लेकिन उपयोगकर्ता के कई वास्तविक शौक छूट जाते थे।
- अन्य AI अति-आत्मविश्वासी (overconfident) थे। उन्होंने बहुत सी चीज़ों का अनुमान लगाया, लेकिन उनमें से कई गलत थीं।
- विजेता: सबसे बड़े मॉडल्स (जैसे GPT-OSS-120B) इस संतुलन को बनाने में सबसे अच्छे थे, लेकिन वे भी "गिनती" वाले हिस्से में संघर्ष कर रहे थे।
- आकार मायने रखता है (लेकिन हर चीज़ के लिए नहीं): बड़े, स्मार्ट मॉडल सही रुचियों (Groundedness) को खोजने में बेहतर थे। लेकिन आश्चर्यजनक रूप से, छोटे मॉडल्स भी उन रुचियों को बहुत विशिष्ट रूप से वर्णित (Specificity) कर सकते थे। "स्मार्ट" होना आपको सच खोजने में मदद करता है; "सुवक्ता" होना उसे वर्णन करने में मदद करता है।
5. यह क्यों मायने रखता है
अभी, अधिकांश AI बेंचमार्क ड्राइविंग टेस्ट की तरह हैं जहाँ आपको बस अपनी लेन में रहना होता है। GISTBench एक नेविगेशन टेस्ट की तरह है जहाँ आपको ट्रैफिक, मौसम और सड़क की स्थिति के आधार पर यह समझाना होगा कि आपने एक विशिष्ट मार्ग क्यों लिया।
यदि हम चाहते हैं कि AI एक सच्चा "पर्सनल असिस्टेंट" बने जो हमें गहराई से समझता है (न कि केवल विज्ञापन बेचने वाला बॉट), तो उसे इस परीक्षा को पास करना होगा। इसे केवल अंदाज़ा लगाना बंद करना होगा और हमारे वास्तविक व्यवहार के आधार पर हमें समझने का प्रमाण देना होगा।
संक्षेप में: GISTBench यह जाँचने का एक नया तरीका है कि क्या AI वास्तव में हमें सुन रहा है, या वह केवल स्मार्ट दिखने के लिए बातें बना रहा है। और अभी, AI को "C+" मिल रहा है क्योंकि वह बातें करने में तो बहुत अच्छा है, लेकिन सबूतों को गिनने में अभी भी कमजोर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।