Evaluating Language Models' Evaluations of Games
यह शोध पत्र बोर्ड गेम का मूल्यांकन करने की एआई प्रणालियों की क्षमता को मापने के लिए एक औपचारिक पद्धति और डेटासेट प्रस्तुत करता है, जो यह प्रकट करता है कि जबकि रीजनिंग मॉडल गैर-रीजनिंग मॉडलों की तुलना में मानव निर्णयों के साथ बेहतर तालमेल रखते हैं, गेम-थ्योरेटिक अनुकूलता (game-theoretic optimality) के करीब पहुँचने पर मानव डेटा के साथ उनका सामंजस्य कमजोर हो जाता है और वे अप्रत्याशित संसाधन उपयोग प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पार्टी में हैं जहाँ हर कोई एक विशाल, जटिल पहेली को सुलझाने की कोशिश कर रहा है। आमतौर पर, जब हम आर्टिफिशियल इंटेलिजेंस (AI) का परीक्षण करते हैं, तो हम AI से पूछते हैं, "क्या तुम इस पहेली को हल कर सकते हो?" और हम देखते हैं कि वह उत्तर खोजने में कितना तेज़ या सटीक है।
लेकिन यह शोध पत्र एक अलग, अधिक सूक्ष्म प्रश्न पूछता है: "क्या AI पहेली को देखकर हमें यह बता सकता है कि क्या इसे हल करना भी सार्थक है?"
शोधकर्ता यह देखना चाहते थे कि क्या AI मॉडल केवल एक खिलाड़ी के बजाय एक गेम क्रिटिक (समीक्षक) या एक रेफरी की तरह काम कर सकते हैं। उन्होंने इसका परीक्षण करने के लिए AI को 121 बिल्कुल नए बोर्ड गेम्स (ऐसे खेल जो AI ने पहले कभी नहीं देखे थे) दिए और प्रत्येक के बारे में दो विशिष्ट प्रश्न पूछे:
- "निष्पक्षता" का प्रश्न: यदि दो लोग इसे पूरी तरह से खेलें, तो कौन जीतेगा? क्या खेल संतुलित है, या एक खिलाड़ी शुरुआत से ही हारने के लिए मजबूर है?
- "मज़ा" का प्रश्न: क्या लोग वास्तव में इस खेल को खेलना पसंद करेंगे?
यहाँ उन्हें क्या मिला, जिसे सरल अवधारणाओं में विभाजित किया गया है:
1. "स्मार्ट" बनाम "मानव"
शोधकर्ताओं ने तीन प्रकार के "विचारकों" की तुलना की:
- द इंस्टेंट गेसर (तुरंत अनुमान लगाने वाला): मानक AI मॉडल जो तुरंत उत्तर दे देते हैं।
- द डीप थिंकर (गहराई से सोचने वाला): नए AI मॉडल जो उत्तर देने से पहले "सोचने" (चेन ऑफ थॉट का उपयोग करके) के लिए समय लेते हैं।
- द ह्यूमन (मानव): वास्तविक लोग जिन्होंने खेल के नियमों को देखा और अपनी सहज भावना (gut feeling) दी।
परिणाम: "इंस्टेंट गेसर्स" बहुत खराब थे। वे आत्मविश्वास से भरे लगते थे लेकिन अक्सर पूरी तरह से गलत होते थे, क्योंकि वे वास्तव में नए नियमों का विश्लेषण करने के बजाय अपने ट्रेनिंग डेटा में देखे गए पैटर्न के आधार पर अनुमान लगा रहे थे।
"डीप थिंकर्स" बहुत बेहतर थे। उन्होंने वास्तव में नियमों को देखा, अपने "मन" में खेल का अनुकरण (simulate) किया, और ऐसे उत्तर दिए जो मनुष्यों के विचारों के करीब थे। हालाँकि, वे भी पूर्ण नहीं थे।
2. "गोल्डिलॉक्स" समस्या (बहुत स्मार्ट होना बुरा है)
यहाँ सबसे आश्चर्यजनक खोज हुई। शोधकर्ताओं ने पाया कि AI कितना "स्मार्ट" है और वह मनुष्यों के साथ कितना सहमत है, इसके बीच एक अजीब, गैर-सीधी रेखा वाला संबंध था।
- बहुत कम बुद्धिमान: AI रैंडम अनुमान लगाता है और मनुष्यों से असहमत होता है।
- बिल्कुल सही: AI गहराई से सोचता है और मनुष्यों से सहमत होता है।
- बहुत अधिक पूर्ण: जैसे-जैसे AI गणितीय रूप से पूर्ण परिणाम (जैसे कि एक सुपर-कंप्यूटर चेस इंजन) की गणना करने में अत्यधिक कुशल होता जाता है, वह मनुष्यों से असहमत होने लगता है।
उपमा: "रॉक, पेपर, सिज़र्स" के खेल की कल्पना करें।
- एक मानव सोचता है, "मैं रॉक चुनूँगा क्योंकि मुझे भाग्य का साथ महसूस हो रहा है।"
- एक "बिल्कुल सही" AI सोचता है, "लोग अक्सर रॉक चुनते हैं, इसलिए मुझे पेपर चुनना चाहिए।"
- एक "बहुत अधिक पूर्ण" AI सोचता है, "सांख्यिकीय रूप से, इष्टतम चाल पेपर है, इसलिए मैं पेपर चुनूँगा।"
शोधपत्र में पाया गया कि जब AI गणितीय रूप से पूर्ण होने के प्रति बहुत अधिक जुनूनी हो जाता है, तो वह यह समझना बंद कर देता है कि एक मानव वास्तव में क्या करेगा या क्या महसूस करेगा। वह इतना तर्कसंगत हो जाता है कि वह अपना "मानवीय स्पर्श" खो देता है।
3. "मज़ा" का कारक मापना कठिन है
जब AI से "निष्पक्षता" (गणित) के बारे में पूछा गया, तो परिणाम सुसंगत थे। लेकिन जब "मज़ा" के बारे में पूछा गया, तो परिणाम बहुत बिखरे हुए थे।
उपमा: AI को "निष्पक्षता" के बारे में पूछना एक स्केल से मेज की लंबाई मापने के समान है। इसका एक स्पष्ट उत्तर होता है। "मज़ा" के बारे में पूछना एक गाने की "खुशी" को मापने के समान है। यह व्यक्तिपरक और अव्यवस्थित है।
शोधपत्र में पाया गया कि विभिन्न AI मॉडलों की "मज़ा" के बारे में बहुत अलग-अलग धारणाएँ थीं। कुछ ने सोचा कि छोटा खेल मज़ेदार है, दूसरों ने सोचा कि लंबा, रणनीतिक खेल मज़ेदार है। क्योंकि "मज़ा" को परिभाषित करना कठिन है, इसलिए AI मॉडल असंगत थे, और कभी-कभी सबसे उन्नत मॉडल भी एक-दूसरे से सहमत नहीं हो पाते थे, मनुष्यों से तो बिल्कुल भी नहीं।
4. "एनर्जी ड्रिंक" की समस्या
अंत में, शोधकर्ताओं ने यह देखा कि AI ने इन सवालों के जवाब देने के लिए कितनी "दिमागी शक्ति" (कंप्यूटिंग संसाधन) का उपयोग किया।
उपमा: कल्पना कीजिए कि आपसे पूछा गया है कि क्या कोई नया व्यंजन (recipe) अच्छा है।
- कभी-कभी आप केवल सामग्री की सूची पर एक नज़र डालते हैं (कम प्रयास)।
- कभी-कभी आप पूरी रेसिपी पढ़ते हैं, स्वाद की कल्पना करते हैं, और खाना पकाने के समय की जाँच करते हैं (उच्च प्रयास)।
शोधपत्र में पाया गया कि AI मॉडल बहुत अप्रत्याशित थे। कभी-कभी वे एक जटिल खेल का निर्णय लेने के लिए बहुत कम प्रयास का उपयोग करते थे, और कभी-कभी वे एक सरल खेल के लिए बहुत अधिक प्रयास का उपयोग करते थे। वे "कब रुकना है" के बारे में एक अच्छा बोध नहीं रखते थे। वे "संसाधन-तर्कसंगत" (resource-rational) होने के बारे में नहीं जानते थे—उन्हें नहीं पता था कि अपनी ऊर्जा कैसे बचाएं।
सारांश
यह शोध पत्र सुझाव देता है कि AI के लिए मनुष्यों का एक सच्चा साथी बनने के लिए, उसे केवल समस्याओं को हल करने से अधिक करने की आवश्यकता है। उसे समस्याओं का मूल्यांकन करने में भी सक्षम होना चाहिए।
- मानक AI एक कैलकुलेटर की तरह है: गणित में तेज़, लेकिन "वाइब" (vibe) समझने में बुरा।
- रीजनिंग AI (तर्क करने वाला AI) बेहतर है: यह नियमों के बारे में सोच सकता है और मानवीय विचारों के करीब पहुँच सकता है।
- सावधानी: यदि AI गणितीय रूप से पूर्ण होने पर बहुत अधिक केंद्रित हो जाता है, तो वह एक इंसान की तरह बात करना बंद कर देता है। और जब "मज़ा" जैसी व्यक्तिपरक चीजों की बात आती है, तो सबसे स्मार्ट AI भी इस पर सहमत होने में संघर्ष करते हैं कि क्या चीज़ आनंदमय है।
लेखक निष्कर्ष निकालते हैं कि हमें AI को न केवल यह सिखाने की आवश्यकता है कि कैसे हल किया जाए, बल्कि यह भी कि क्या हल करने योग्य है, यह कैसे तय किया जाए, और बिना बहुत अधिक सोचने या कम सोचने के, अपनी दिमागी शक्ति का कुशलतापूर्वक उपयोग कैसे किया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।