Research-Oriented Human-Centric Evaluation for Foundation Models
यह शोध पत्र एक अनुसंधान-उन्मुख मानव-केंद्रित मूल्यांकन ढांचे (Human-Centric Evaluation framework) को प्रस्तुत करता है जो 604 मानव सत्रों के माध्यम से समस्या-समाधान क्षमता, सूचना की गुणवत्ता और इंटरेक्शन अनुभव के माध्यम से उपयोगकर्ता की धारणाओं को कैप्चर करके वस्तुनिष्ठ बेंचमार्क की सीमाओं को संबोधित करता है, साथ ही यह प्रदर्शित करता है कि उन्नत LLMs भी प्रथम-व्यक्ति मानव निर्णय के अपूरणीय मूल्य की पूरी तरह से नकल नहीं कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक आदर्श अध्ययन साथी (study buddy) की तलाश कर रहे हैं। आपने इन बेहद बुद्धिमान डिजिटल सहायकों, "फाउंडेशन मॉडल्स" के बारे में सुना है जो किताबें पढ़ सकते हैं, कोड लिख सकते हैं और गणित की समस्याओं को हल कर सकते हैं। लंबे समय तक, वैज्ञानिकों ने इन डिजिटल दिमागों का परीक्षण सख्त, बहुविकल्पीय क्विज़ के माध्यम से किया। उन्होंने पूछा, "क्या रोबोट ने सही उत्तर दिया?" और "उसने कितनी तेज़ी से गणना की?" यह एक छात्र को केवल उसके अंतिम टेस्ट स्कोर के आधार पर ग्रेड देने जैसा है, यह नज़रअंदाज़ करते हुए कि क्या वह मददगार था, बात करने में कितना सहज था, या क्या उसने वास्तव में आपकी बात समझी थी।
लेकिन वास्तविक दुनिया में, हम केवल एक ऐसा रोबोट नहीं चाहते जो सही उत्तर दे; हम एक ऐसा साथी चाहते हैं जो हमें सोचने में मदद करे। यहीं पर "ह्यूमन-सेंट्रिक इवैल्यूएशन" (मानव-केंद्रित मूल्यांकन) का क्षेत्र आता है। यह इस विचार के बारे में है कि एक स्मार्ट AI को वास्तव में परखने के लिए, हमें मानव उपयोगकर्ता से पूछने की आवश्यकता है: "इसके साथ काम करना कैसा लगा?" "क्या इसने मेरा समय बचाया?" और "क्या इसने वास्तव में मेरी समस्या को हल करने में मदद की?" यह शोध पत्र इस प्रश्न की गहराई में जाता है, और यह देखने के लिए कि ये मॉडल वास्तविक, जटिल शोध कार्यों पर लोगों के साथ सहयोग करते समय कैसा प्रदर्शन करते हैं, साधारण टेस्ट स्कोर से आगे बढ़ता है।
द ग्रेट AI स्टडी बडी चेक-अप
तो, इस शोध पत्र के पीछे के शोधकर्ताओं ने AI के साथ एक टेस्ट-टेकर (परीक्षा देने वाले) की तरह व्यवहार करना बंद करने और इसे एक अध्ययन साथी की तरह मानने का निर्णय लिया। उन्होंने इन मॉडल्स का मूल्यांकन करने का एक नया तरीका बनाया जिसे ह्यूमन-सेंट्रिक इवैल्यूएशन (HCE) फ्रेमवर्क कहा जाता है। केवल यह जाँचने के बजाय कि उत्तर सही है या नहीं, उन्होंने तीन बड़ी चीजों को देखा जो एक इंसान को AI के साथ काम करते समय खुश या निराश करती हैं:
- समस्या-समाधान क्षमता (Problem-Solving Ability): क्या AI ने वास्तव में पहेली सुलझाने में मदद की? क्या यह सटीक था, क्या इसने सभी पहलुओं को कवर किया, और क्या इसने उपयोगकर्ता का समय बचाया?
- सूचना की गुणवत्ता (Information Quality): क्या AI द्वारा दी गई जानकारी भरोसेमंद, गहरी और पूर्ण थी? या यह अधूरी थी?
- इंटरैक्शन अनुभव (Interaction Experience): क्या बातचीत सुचारू थी? जब आपने कहा, "मेरा मतलब यह नहीं था," तो क्या AI ने आपकी बात सुनी, या वह बड़बड़ाता रहा? क्या यह स्वाभाविक लगा, या किसी मैनुअल को पढ़ने वाले रोबोट की तरह?
इसे परखने के लिए, टीम ने केवल कंप्यूटर सिमुलेशन नहीं चलाया। उन्होंने एक वास्तविक दुनिया का प्रयोग स्थापित किया। उन्होंने 604 मानव मूल्यांकन सत्र एकत्र किए जिसमें 82 अलग-अलग लोग (मुख्यतः छात्र और शोधकर्ता) और उस समय उपलब्ध 4 सबसे उन्नत AI मॉडल शामिल थे।
यह प्रयोग कैसे काम करता था: कल्पना कीजिए कि आप एक शोधकर्ता हैं। आप एक विषय चुनते हैं जिसकी आप परवाह करते हैं—शायद यह नई ऊर्जा कारों के बारे में हो, या वित्त में जोखिम-हेजिंग रणनीति कैसे बनाई जाए, या यहाँ तक कि पास्ता सॉस पर रिपोर्ट कैसे लिखी जाए। फिर आप 20 मिनट के लिए एक AI के साथ बैठते हैं। आप स्वतंत्र रूप से चैट करते हैं, सवाल पूछते हैं, और काम पूरा करने की कोशिश करते हैं। एक बार जब टाइमर रुक जाता है, तो आप एक प्रश्नावली भरते हैं। आप AI को 1 से 5 के पैमाने पर रेटिंग देते हैं, जैसे कि "क्या इसने मुझे समझा?" और "क्या जानकारी विश्वसनीय थी?"
उन्हें क्या मिला: "संतुलित" विजेता
परिणाम दिलचस्प थे। शोध पत्र ने पाया कि "सर्वश्रेष्ठ" AI वह नहीं था जो केवल एक चीज़ में सबसे मजबूत था। इसके बजाय, विजेता वह था जो हर चीज़ में लगातार अच्छा था।
एक मॉडल, Grok-3 ने 4.30 के औसत स्कोर के साथ शीर्ष स्थान प्राप्त किया। क्यों? क्योंकि इसमें कोई बड़ी कमजोरी नहीं थी। यह समस्याओं को हल करने में अच्छा था, उच्च गुणवत्ता वाली जानकारी देता था, और इसका चैट अनुभव भी बेहतरीन था।
दूसरी ओर, Gemini-2.5 और DeepSeek-R1 जैसे मॉडल्स के पास कुछ सुपरपावर्स थीं। शायद वे गहरी जानकारी खोजने में अद्भुत थे, लेकिन वे अपनी प्रतिक्रिया की गति या आपके सुधारों के अनुसार खुद को ढालने में थोड़े लड़खड़ा गए। शोध पत्र सुझाव देता है कि वास्तविक दुनिया के शोध परिवेश में, आपके पास केवल एक सुपरपावर नहीं होनी चाहिए; आपको एक संतुलित टीम प्लेयर की आवश्यकता होती है। यदि आपका AI एक जीनियस है लेकिन जवाब देने में बहुत समय लेता है या आपके सुधारों को अनदेखा करता है, तो वह एक अच्छा साथी नहीं है।
अध्ययन ने कानून, चिकित्सा और जीव विज्ञान जैसे विभिन्न विषयों को भी देखा। उन्होंने पाया कि हालांकि विषय के आधार पर स्कोर थोड़ा बदल गया, लेकिन मॉडल्स की रैंकिंग काफी हद तक समान रही। इसका मतलब है कि जो मॉडल एक क्षेत्र में एक अच्छा "स्टडी बडी" है, वह दूसरे क्षेत्र में भी एक अच्छा साथी होने की संभावना रखता है।
"रोबोट जज" प्रयोग: एक वास्तविकता की जाँच
यहाँ कहानी का सबसे आश्चर्यजनक हिस्सा है। शोधकर्ताओं ने एक बड़ा सवाल पूछा: क्या हम इन AI मॉडल्स को ग्रेड करने के लिए दूसरे AI का उपयोग कर सकते हैं? इसे "LLM-as-a-judge" कहा जाता है। उन्होंने मानव प्रयोगों के चैट लॉग्स को अन्य उन्नत AI मॉडल्स को दिया, और उनसे वही रेटिंग देने को कहा जो इंसानों ने दी थी।
परिणाम? रोबोट विफल रहे।
यहाँ तक कि GPT-5.2 जैसे स्मार्ट AI जज भी केवल लगभग 51.5% रेटिंग सही दे पाए। यह सिक्का उछालकर अनुमान लगाने (coin flip) से मुश्किल से बेहतर था! कई अन्य मॉडल्स का स्कोर और भी कम था, जो 30-40% के आसपास था, जो कि लगभग रैंडम गेसिंग (तुक्का मारना) के बराबर है।
यह हमें एक बहुत महत्वपूर्ण बात बताता है: AI अभी तक मानवीय भावनाओं को प्रतिस्थापित नहीं कर सकता। एक AI टेक्स्ट को पढ़ सकता है और देख सकता है कि तथ्य वहाँ हैं या नहीं, लेकिन वह जवाब के लिए लंबा इंतजार करने की हताशा या एक पूरी तरह से स्वाभाविक बातचीत के आनंद को "महसूस" नहीं कर सकता। शोध पत्र सुझाव देता है कि चूंकि AI के पास वास्तविक जीवन का अनुभव और बातचीत के "प्रवाह" को समझने की क्षमता नहीं है, इसलिए यह अभी तक यह तय करने के लिए तैयार नहीं है कि किसी मॉडल का मानव के लिए कितना उपयोगी होना वास्तव में कैसा है।
निष्कर्ष
तो, बड़ी तस्वीर क्या है? शोध पत्र तर्क देता है कि हमें AI को परखने के लिए केवल ठंडे, कठोर टेस्ट स्कोर पर निर्भर करना बंद करने की आवश्यकता है। हमें उन मनुष्यों की बात सुनने की आवश्यकता है जो वास्तव में इन उपकरणों का उपयोग कर रहे हैं। अध्ययन सिद्ध करता है कि जटिल कार्यों जैसे कि शोध के लिए, सबसे अच्छा AI वह है जो एक मददगार, विश्वसनीय और त्वरित सोच वाले साथी की तरह महसूस होता है, न कि केवल एक शब्दकोश की तरह जो सवालों के जवाब देता है। और जब तक रोबोट वास्तव में यह नहीं समझ पाते कि एक मानव उपयोगकर्ता होना कैसा लगता है, हमें ग्रेडिंग करने के लिए वास्तविक लोगों की आवश्यकता होगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।