Interactive Benchmarks
यह शोध पत्र "इंटरएक्टिव बेंचमार्क" का प्रस्ताव करता है, जो एक एकीकृत मूल्यांकन प्रतिमान है जो इंटरैक्टिव प्रमाणों और खेलों में बजट संबंधी बाधाओं के तहत सक्रिय सूचना प्राप्ति और तर्क के माध्यम से मॉडल की बुद्धिमत्ता का आकलन करता है, यह प्रदर्शित करते हुए कि वर्तमान मॉडलों में इन गतिशील परिदृश्यों में अभी भी सुधार की काफी गुंजाइश है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन आपको सुरागों की सूची दी जाने के बजाय, आपको उनके लिए पूछना होगा। आपके पास सवाल पूछने के लिए सीमित संख्या में प्रश्न हैं इससे पहले कि खेल समाप्त हो जाए। यदि आप गलत सवाल पूछते हैं, तो आपका समय समाप्त हो जाएगा और आप हार जाएंगे। यदि आप सही सवाल पूछते हैं, तो आप केस सुलझा लेंगे।
यह "इंटरएक्टिव बेंचमार्क्स" (Interactive Benchmarks) नामक शोध पत्र का मूल विचार है।
यहाँ बताया गया है कि यह क्यों महत्वपूर्ण है, उन्होंने क्या किया, और उन्हें क्या मिला, सरल उपमाओं (analogies) का उपयोग करते हुए।
1. समस्या: "रट्टा मारना" बनाम "जासूस बनना"
लंबे समय से, हम AI मॉडल्स (जैसे कि चैटबॉट्स को चलाने वाले मॉडल) का परीक्षण स्थिर बेंचमार्क्स (static benchmarks) का उपयोग करके करते आए हैं।
- पुराना तरीका: यह एक छात्र को बहुविकल्पीय परीक्षा (multiple-choice test) देने जैसा है जहाँ वह शिक्षक से मदद नहीं मांग सकता। उन्हें बस तथ्यों को याद करना होता है या केवल प्रश्न के आधार पर उत्तर का अनुमान लगाना होता है।
- दोष: AI इन परीक्षणों को याद करने में इतना अच्छा हो गया है कि वे प्रशिक्षण के दौरान उत्तर देख लेने के कारण "चीटिंग" कर रहे हैं। साथ भी, वास्तविक दुनिया में, समस्याएं बहुविकल्पीय नहीं होतीं। आपको सारी जानकारी एक साथ नहीं मिलती; आपको जानकारी खोजने के लिए बाहर निकलना पड़ता है।
लेखकों का तर्क है कि सच्ची बुद्धिमत्ता केवल उत्तर जानने के बारे में नहीं है; बल्कि यह जानने के बारे में है कि उत्तर पाने के लिए क्या पूछना है।
2. समाधान: "इंटरएक्टिव बेंचमार्क्स"
लेखकों ने AI को टेस्ट करने का एक नया तरीका बनाया जिसे इंटरैक्टिव बेंचमार्क्स कहा जाता है। एक स्थिर परीक्षण के बजाय, उन्होंने एक संवाद (conversation) तैयार किया जहाँ AI को एक सख्त "बजट" (कितने दौर या सवाल किए जा सकते हैं, इसकी सीमा) के भीतर सक्रिय रूप से जानकारी की तलाश करनी होती है।
उन्होंने इसे दो मुख्य "खेलों" में विभाजित किया है:
गेम A: जासूस (इंटरएक्टिव प्रूफ)
- परिदृश्य: एक "सिचुएशन पजल" (जैसे कोई पहेली) की कल्पना करें। आपको बताया जाता है: "आ ज़िंग को एक बच्चे ने गिरा दिया था, लेकिन वह खुश था। क्यों?"
- नियम: आप केवल अनुमान नहीं लगा सकते। आपको एक "जज" (जो सच जानता है) से हाँ/नहीं वाले सवाल पूछने होंगे। लेकिन आपके पास इसे सुलझाने के लिए केवल 20 सवाल हैं।
- परीक्षण: क्या AI सही सवाल पूछना सीख सकता है? (जैसे, "क्या बच्चा उससे उम्र में बड़ा था?" "क्या बच्चा एक छात्र जैसा दिखता था?")
- परिणाम: जब AI ने बिना सवाल पूछे केवल अनुमान लगाने की कोशिश की, तो सभी विफल रहे (0% सटीकता)। लेकिन जब उन्हें सवाल पूछने की अनुमति दी गई, तो कुछ मॉडल्स (जैसे जेमिनी और GPT-5) ने इन्हें हल करना शुरू कर दिया। यह साबित करता है कि सवाल पूछना एक ऐसा कौशल है जिसे AI को सीखना होगा।
गेम B: पोकर खिलाड़ी और राजनयिक (इंटरएक्टिव गेम्स)
यहाँ, कोई "जज" नहीं है जिसके पास उत्तर हो। AI को जीतने के लिए दूसरों के खिलाफ खेलना होता है।
- पोकर (टेक्सस होल्ड'म): AI को ब्लफ (धोखा देना), संभावनाओं की गणना करना और अन्य खिलाड़ियों के हाव-भाव (tally) को बिना उनके कार्ड देखे पढ़ना होता है। यह कमरे में अजनबियों के बीच पोकर खेलने जैसा है जहाँ आपको तय करना होता है कि कब बड़ी बाजी लगानी है और कब फोल्ड करना है।
- ट्रस्ट गेम (विश्वास का खेल): एक बार-बार खेले जाने वाले "सहयोग करें या विश्वासघात करें" खेल की कल्पना करें। यदि आप सहयोग करते हैं, तो हम दोनों थोड़ा जीतते हैं। यदि आप विश्वासघात करते हैं, तो आप बड़ा जीतते हैं और मैं हार जाता हूँ। लेकिन यदि हम दोनों विश्वासघात करते हैं, तो हम दोनों हार जाते हैं। AI को सीखना होगा: क्या मुझे इस व्यक्ति पर भरोसा करना चाहिए? क्या मुझे धोखाधड़ी के लिए उसे दंडित करना चाहिए? मुझे कब माफ करना चाहिए?
3. बड़ी खोज: "द गैप" (अंतराल)
शोधकर्ताओं ने इन इंटरएक्टिव खेलों में शीर्ष AI मॉडल्स (Grok, Gemini, GPT-5, आदि) का परीक्षण किया। यहाँ उन्हें क्या मिला:
- "रट्टा मारने वाले" मॉडल्स अटक गए हैं: कई मॉडल्स तब बेहतरीन होते हैं जब उनके पास सारी जानकारी हो, लेकिन वे यह समझने में बहुत खराब हैं कि उन्हें किस जानकारी की कमी है।
- "जासूस" कौशल दुर्लभ है: पहेली वाले खेल में, अधिकांश मॉडल्स पूरी तरह से विफल रहे क्योंकि वे संभावनाओं को कम करने के लिए सवाल पूछना नहीं जानते थे।
- पोकर टेबल: पोकर के खेल में, एक मॉडल (Gemini) सबसे सुसंगत विजेता था, जिसने आक्रामकता और सावधानी के बीच संतुलन बनाया। अन्य या तो बहुत डरपोक थे या बहुत लापरवाह।
- ट्रस्ट गेम: केवल कुछ ही मॉडल्स ने समय के साथ विश्वास बनाना और प्रभावी ढंग से सहयोग करना सीखा। अधिकांश या तो बहुत आसानी से विश्वासघात करते थे या बहुत भोले थे।
4. यह क्यों महत्वपूर्ण है (मुख्य निष्कर्ष)
पुराने बेंचमार्क्स को एक कैलकुलेटर का परीक्षण करने के रूप में सोचें: "2+2 क्या है?"
नए बेंचमार्क्स एक जासूस का परीक्षण करते हैं: "यहाँ एक अपराध स्थल है। सुराग छिपे हुए हैं। उन्हें खोजें, सही सवाल पूछें, और अपना समय समाप्त होने से पहले अपराध सुलझाएं।"
शोध पत्र यह निष्कर्ष निकालता है कि:
- वर्तमान AI अभी भी बहुत "निष्क्रिय" (passive) है। यह जानकारी मिलने का इंतज़ार करता है।
- वास्तविक बुद्धिमत्ता के लिए सक्रिय जिज्ञासा (active curiosity) की आवश्यकता होती है—यह महसूस करने की क्षमता कि "मुझे यह नहीं पता, इसलिए मुझे इसके लिए पूछना होगा।"
- अभी भी सुधार की बहुत बड़ी गुंजाइश है। आज के सबसे स्मार्ट AI मॉडल्स भी अच्छे जासूस या रणनीतिक खिलाड़ी बनने के लिए संघर्ष कर रहे हैं।
संक्षेप में: हमने AI का परीक्षण इस आधार पर करना बंद कर दिया कि वह कितनी अच्छी तरह पाठ्यपुस्तक रट सकता है, और इस आधार पर शुरू किया कि वह कितनी अच्छी तरह एक भूलभुलैया (maze) में रास्ता खोज सकता है, जबकि उसकी आँखों पर पट्टी बंधी हो और वह केवल तभी दिशा पूछ सके जब वह फंस जाए। और अंदाज़ा लगाइए क्या? वे अभी भी काफी रास्ता भटक रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।