Playing ZendoWorld: Challenging AI Agents on Active Visual Concept Induction
यह शोधपत्र ZendoWorld प्रस्तुत करता है, जो सक्रिय प्रयोग के माध्यम से छिपे हुए दृश्य नियमों (visual rules) को अनुमान लगाने की एजेंटों की क्षमता का मूल्यांकन करने के लिए एक संवादात्मक वातावरण है, जो यह प्रकट करता है कि वर्तमान AI मॉडल देखे गए डेटा पर उच्च भविष्यवाणी सटीकता के बावजूद वास्तविक आगमनात्मक तर्क (inductive reasoning) और परिकल्पना परिशोधन (hypothesis refinement) में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्यमयी, अदृश्य रेफरी के साथ "सीक्रेट रूल गेस द गेम" (गुप्त नियम पहचानो) का एक हाई-स्टेक्स खेल खेल रहे हैं। आप केवल सुरागों को देखते हुए चुपचाप नहीं बैठ सकते; आपको रंगीन ब्लॉकों, वेजेज और पिरामिड्स का उपयोग करके अपने स्वयं के छोटे दृश्य बनाने होंगे, और रेफरी से पूछना होगा, "क्या यह नियम का पालन करता है?" यदि आप सही अनुमान लगाते हैं, तो आप खेलना जारी रख सकते हैं। यदि आप गलत अनुमान लगाते हैं, तो रेफरी आपको एक "काउंटर-एग्जांपल" (प्रति-उदाहरण) दिखाएगा—एक ऐसा दृश्य जो आपके वर्तमान सिद्धांत का उल्लंघन करता है लेकिन वास्तव में गुप्त नियम का पालन करता है। आपका लक्ष्य गुप्त नियम को दूसरों की तुलना में तेज़ी से समझना है।
यह ZendoWorld है, एक नया डिजिटल प्लेग्राउंड जिसे शोधकर्ताओं द्वारा यह परीक्षण करने के लिए बनाया गया है कि AI एजेंट कितनी अच्छी तरह सीख सकते हैं, प्रयोग कर सकते हैं और मनुष्यों की तरह सोच सकते हैं। उन्होंने केवल यह नहीं देखा कि क्या AI पैटर्न को पहचान सकता है; वे यह देखना चाहते थे कि क्या AI सक्रिय रूप से प्रयोग बनाकर उन्हें खोज सकता है।
बड़ी आश्चर्य की बात: सही होना यह नहीं दर्शाता कि आप समझ गए हैं
शोधकर्ताओं ने 22 अलग-अलग गुप्त नियम सेट किए, जो सरल चीजों जैसे "कम से कम तीन लाल ब्लॉक होने चाहिए" से लेकर जटिल चीजों जैसे "टुकड़ों की संख्या विषम होनी चाहिए" या "पिरामिडों से अधिक वेजेज होने चाहिए" तक विस्तृत थे। उन्होंने विभिन्न प्रकार के AI को खेलते हुए देखा, साधारण न्यूरल नेटवर्क से लेकर जटिल "न्यूरो-सिम्बोलिक" सिस्टम तक, जो मानव जैसी तर्कशक्ति को मशीन विजन के साथ मिलाने की कोशिश करते हैं।
यहाँ वह मोड़ आया जिसने टीम को चौंका दिया: सिर्फ इसलिए कि एक AI चित्रों को लेबल करने में माहिर है, इसका मतलब यह नहीं है कि वह वास्तव में नियम जानता है।
एक छात्र की कल्पना करें जो गुरुत्वाकर्षण के बारे में एक बहुविकल्पीय प्रश्नोत्तरी पर पूरी तरह से "सही" या "गलत" उत्तर दे सकता है। यह अच्छा है! लेकिन यदि आप उसी छात्र से गुरुत्वाकर्षण का परीक्षण करने के लिए एक नया प्रयोग डिजाइन करने को कहें, तो वे शायद बस एक दीवार पर पत्थर फेंकेंगे और उम्मीद करेंगे कि कुछ हो जाए। शोध पत्र ने पाया कि कई AI एजेंट उसी छात्र की तरह थे। वे एक दृश्य को देख सकते थे और सही ढंग से कह सकते थे, "हाँ, यह नियम का पालन करता है" या "नहीं, यह नहीं करता है।" लेकिन जब अपने स्वयं के सिद्धांतों का परीक्षण करने के लिए एक नया दृश्य बनाने की बारी आई, तो वे बहुत खराब प्रदर्शन करते थे। वे ऐसे दृश्य बनाते रहे जो बिल्कुल वैसे ही दिखते थे जैसे वे पहले देख चुके थे, जिससे कोई नई जानकारी नहीं मिल पा रही थी। यह एक रहस्य को सुलझाने की कोशिश करने जैसा है जहाँ आप केवल उन्हीं सवालों को पूछते हैं जिनके जवाब आप पहले से जानते हैं।
तीन बाधाएं: आँखें, मस्तिष्क और हाथ
शोधकर्ताओं ने खेल को तीन भागों में विभाजित किया ताकि यह देखा जा सके कि AI कहाँ विफल हो रहा है:
- परसेप्शन (आँखें): क्या AI ब्लॉकों को देख सकता है और जान सकता है कि वे लाल, नीले या पीले हैं?
- इंडक्शन (मस्तिष्क):ंड: क्या AI सुरागों को देखकर गुप्त नियम का अनुमान लगा सकता है?
- एक्सपेरिमेंटेशन (हाथ): क्या AI एक नया दृश्य बना सकता है जो उसे कुछ नया सीखने में मदद करे?
उन्होंने पाया कि अलग-अलग AI एजेंट सड़क के अलग-अलग हिस्सों में फंस गए।
- "प्योर विजन" एजेंट: ये एजेंट, जो छवियों को देख सकने वाले विशाल लैंग्वेज मॉडल्स द्वारा संचालित हैं, नियम का सही अनुमान लगाने में संघर्ष कर रहे थे, और आधे से अधिक एपिसोड में विफल रहे। वे प्रयोग बनाने में भी बहुत खराब थे। उन्होंने ऐसे दृश्य प्रस्तावित किए जो "न्यूनतम सूचनात्मक" (near-uninformative) थे, जिसका अर्थ था कि वे संभावनाओं को सीमित करने में मदद नहीं कर रहे थे। वे एक ऐसे जासूस की तरह थे जो बार-बार पूछता रहता है, "क्या बटलर लाइब्रेरी में है?" भले ही उन्होंने लाइब्रेरी को दस बार पहले ही चेक कर लिया हो।
- "सिम्बोलिक" एजेंट: ये एजेंट तर्क में बेहतर हैं लेकिन कभी-कभी दुनिया को सही ढंग से "देखने" में संघर्ष करते हैं। जब शोधकर्ताओं ने उन्हें सादे टेक्स्ट में दृश्यों का विवरण दिया (इमेज वाले हिस्से को छोड़कर), तो ये एजेंट खेल को हल करने में बहुत बेहतर हो गए। इससे पता चलता है कि कुछ AI के लिए, समस्या तर्क की नहीं है; बल्कि यह है कि उनकी "आँखें" धुंधली हैं।
- इंसान: जब वास्तविक लोगों ने खेल खेला, तो वे मानक AI एजेंटों की तुलना में काफी बेहतर थे, विशेष रूप से कठिन, जटिल नियमों पर। इंसानों ने लगभग 73.3% गेम हल किए, जबकि सबसे अच्छा मानक AI एजेंट (VLM) केवल 44.5% ही हल कर पाया। (नोट: एक विशेष "ओरेकल" एजेंट जिसके पास पूर्ण दृष्टि और तर्क था, उसने 95.5% हल किया, लेकिन उसके पास एक बड़ा लाभ था)। और भी दिलचस्प बात यह है कि इंसान एक "वाइल्डकार्ड" नियम को समझने में सक्षम थे जो खेल के मानक नियमों से पूरी तरह बाहर था, और एक विशिष्ट AI एजेंट (VLP) ने भी इस वाइल्ड-कार्ड कार्य को हल करने में सफलता प्राप्त की, जबकि कोई अन्य विजुअल एजेंट ऐसा नहीं कर सका।
"ओवरकरेक्शन" का जाल
शोधकर्ताओं की एक और दिलचस्प खोज यह थी कि कैसे मनुष्य और AI दोनों एक ही मूर्खतापूर्ण गलती करते हैं। जब किसी AI (या इंसान) को लगता है कि उसे सही नियम पता चल गया है, लेकिन फिर वह अपना अनुमान प्रस्तुत करता है और रेफरी एक काउंटर-एग्जेंडर दिखाता है (एक ऐसा दृश्य जो उनके विशिष्ट नियम परिकल्पना को तोड़ता है लेकिन फिर भी वास्तविक गुप्त नियम का पालन करता है), तो वे अक्सर घबरा जाते हैं और दूसरी दिशा में बहुत अधिक झुक जाते हैं।
कल्पना कीजिए कि आप सोचते हैं कि नियम है "सभी ब्लॉक लाल होने चाहिए।" आप यह नियम प्रस्तुत करते हैं, और रेफरी एक नीला ब्लॉक दिखाता है और कहता, "नहीं, यह वह नहीं है।" केवल "लाल" को "नीला" में बदलने के बजाय, आप अचानक निर्णय ले सकते हैं कि नियम है "सभी ब्लॉक नीले होने चाहिए और ठीक तीन होने चाहिए।" आपने ओवरकरेक्शन कर दिया! शोध पत्र ने पाया कि मनुष्यों और AI एजेंटों दोनों ने ऐसा किया, एक गलत अनुमान के बाद वे सच्चाई से और भी दूर होते गए।
भविष्य के लिए इसका क्या अर्थ है
यह पेपर यह दावा नहीं करता है कि इसने AI को मानव जितना स्मार्ट बनाने की समस्या को हल कर दिया है। वास्तव में, यह सुझाव देता है कि वर्तमान AI अभी भी काफी विशिष्ट है। कुछ देखने में अच्छे हैं, कुछ तर्क में, लेकिन बहुत कम ऐसे हैं जो तीनों को—देखना, सोचना और प्रयोग करना—सुचारू रूप से एक लूप में कर सकते हैं।
शोधकर्ता सुझाव देते हैं कि बेहतर होने के लिए, AI को "देखने" और "सोचने" को अलग-अलग चरणों के रूप में मानना बंद करना होगा। इसके बजाय, AI का वर्तमान सर्वोत्तम अनुमान यह तय करने में मदद करना चाहिए कि आगे क्या देखना है। यह एक ऐसे जासूस की तरह है जो सब कुछ बेतरतीब ढंग से देखने के बजाय, अपने वर्तमान सिद्धांत का उपयोग यह तय करने के लिए करता है कि किस सुराग की जांच करनी है।
संक्षेप में, ZendoWorld हमें दिखाता है कि हालांकि AI पैटर्न पहचानने में बहुत अच्छा होता जा रहा है, लेकिन यह एक जिज्ञासु वैज्ञानिक बनने के लिए अभी भी संघर्ष कर रहा है। यह आपको बता सकता है कि वह क्या देख रहा है, लेकिन इसने अभी तक यह नहीं सीखा है कि यह जानने के लिए सही सवाल कैसे पूछे जाएँ कि वह क्यों देख रहा है। और जब तक यह बेहतर प्रयोग बनाना नहीं सीख लेता, तब तक यह केवल पुराने दृश्यों को बार-बार दोहराकर गुप्त नियम का अनुमान लगाता रहेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।