Strategic Behavior of Large Language Models: Game Structure vs. Contextual Framing
यह शोध पत्र चार गेम थ्योरी परिदृश्यों में GPT-3.5, GPT-4 और LLaMa-2 की रणनीतिक निर्णय लेने की क्षमताओं का मूल्यांकन करता है, जिससे यह पता चलता है कि जहाँ GPT-3.5 संदर्भ संबंधी फ्रेमिंग के प्रति अत्यधिक संवेदनशील है लेकिन इसमें अमूर्त तर्क का अभाव है, वहीं GPT-4 और LLaMa-2 दोनों गेम संरचनाओं के अनुकूल होते हैं, जिसमें LLaMa-2 अंतर्निहित तंत्र की बेहतर समझ प्रदर्शित करता है, जिससे मॉडलों की विविध दक्षता और जटिल रणनीतिक कार्यों में उनकी वर्तमान सीमाओं पर प्रकाश पड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल सवालों के जवाब ही नहीं देते, बल्कि हमारे साथ खेल भी खेलते हैं। यह विस्फोटों और हाई स्कोर्स वाले वीडियो गेम के बारे में नहीं है, बल्कि उन अदृश्य, उच्च-दांव वाले खेलों के बारे में है जो हम हर दिन खेलते हैं: यह तय करना कि क्या कोई रहस्य साझा करना चाहिए, बिल को बांटना चाहिए, या किसी अजनबी पर भरोसा करना चाहिए। वैज्ञानिक इस क्षेत्र को "गेम थ्योरी" (खेल सिद्धांत) कहते हैं, जो मूल रूप से इस बात का गणित है कि हम कैसे चुनाव करते हैं जब हमारी सफलता इस बात पर निर्भर करती है कि दूसरा व्यक्ति क्या निर्णय लेता है। यहाँ एक मुख्य विचार "सोशल डिलेमा" (सामाजिक दुविधा) का है, जो एक पेचीदा स्थिति है जहाँ स्वार्थी होना उस क्षण में सही लगता है, लेकिन यदि हर कोई ऐसा करता है, तो सभी हार जाते हैं। लंबे समय से, हम यह जानना चाहते थे कि क्या आर्टिफिशियल इंटेलिजेंस (AI) वास्तव में इन स्थितियों में इंसान की तरह "सोच" सकता है। क्या एक कंप्यूटर समझ सकता है कि कभी-कभी, दयालु होना सबसे स्मार्ट कदम होता है, या यह हमेशा बस जीतने के लिए ही प्रयास करेगा? यह सवाल महत्वपूर्ण है क्योंकि जैसे-जैसे AI अधिक स्मार्ट होता जा रहा है, हम उन्हें हमारे लिए बड़े निर्णय लेने के लिए छोड़ सकते हैं, जैसे कि व्यावसायिक सौदों पर बातचीत करना या वैश्विक समस्याओं को हल करने में मदद करना। यदि वे खेल के नियमों को नहीं समझ पाते हैं, तो वे अनजाने में अराजकता पैदा कर सकते हैं।
इस अध्ययन में, शोधकर्ताओं ने तीन अलग-अलग AI "मस्तिष्कों" को परखने के लिए उन्हें टेस्ट किया: GPT-3.5, GPT-4, और LLaMa-2। उन्होंने केवल AI से चैट नहीं की; उन्होंने उन्हें रणनीति के चार क्लासिक खेल खेलने के लिए मजबूर किया, जिसमें प्रसिद्ध "प्रिजनर्स डिलेमा" (जहाँ दो संदिग्धों को एक-दूसरे को धोखा देने या न देने का निर्णय लेना होता है) से लेकर "स्टैग हंट" (जहाँ आपको मिलकर एक बड़े पुरस्कार का शिकार करने या अकेले एक छोटे पुरस्कार का शिकार करने का निर्णय लेना होता है) तक शामिल थे। इसे दिलचस्प बनाने के लिए, शोधकर्ताओं ने केवल AI को नियम ही नहीं दिए; उन्होंने खेलों को अलग-अलग "पोशाकों" या कहानियों में लपेटा। कभी AI को एक बोर्डरूम में CEO होने के रूप में बताया गया, कभी एक शिखर सम्मेलन में राजनयिक के रूप में, और कभी बस एक दोस्त के रूप में जो अपने साथी के साथ समय बिता रहा है। लक्ष्य यह देखना था कि क्या AI खेल के गणित के आधार पर अलग तरह से खेलेगा, या वह केवल उस कहानी के आधार पर कार्य करेगा जो उसे बताई गई थी।
परिणाम कुछ ऐसे थे जैसे तीन अलग-अलग छात्रों को एक ही कठिन परीक्षा देते हुए देखना। पहला छात्र, GPT-3.5, कहानी से आश्चर्यजनक रूप से प्रभावित हुआ। यदि खेल को दोस्तों के बीच बातचीत के रूप में पेश किया गया था, तो यह AI सहयोग करने के लिए बहुत अधिक इच्छुक था। लेकिन यदि कहानी व्यापार या प्रतिस्पर्धा के बारे में थी, तो यह बहुत संदिग्ध हो गया और अक्सर "डिफेक्ट" (यानी स्वार्थी होकर खेलना) चुनता था, भले ही गणित कहता कि उसे सहयोग करना चाहिए। ऐसा लगता है कि GPT-3.5 स्थिति के "वाइब" (माहौल) के प्रति बहुत संवेदनशील है लेकिन खेल के वास्तविक तर्क को समझने में संघर्ष करता है। यह एक ऐसे बच्चे की तरह है जो अपनी कैंडी साझा करेगा यदि आप उसे "शेयरिंग पार्टी" कहते हैं, लेकिन उसे छिपा लेगा यदि आप कहते हैं कि यह एक "प्रतियोगिता" है, बिना यह समझे कि खेल के नियम वास्तव में बदले नहीं हैं।
दूसरा छात्र, GPT-4, बहुत गंभीर था। इसने खेल के गणित पर बहुत ध्यान दिया। ऐसा लगा कि इसे समझ में आ गया कि कुछ खेल "विन-विन" (जहाँ सभी को सहयोग करना चाहिए) होते हैं और अन्य "चालबाज जाल" (जहाँ आपको सावधान रहना पड़ता है) होते हैं। हालाँकि, GPT-4 की एक अंध बिंदु (blind spot) थी: यह दुनिया को काले और सफेद के रूप में देखने की प्रवृत्ति रखता था। यह खेलों को "उच्च जोखिम" और "कम जोखिम" के बकेटों (वर्गों) में बांट देता था, जिससे सूक्ष्म अंतर छूट जाते थे। उदाहरण के लिए, यह दो बहुत अलग खेलों को ऐसे व्यवहार कर सकता था जैसे कि वे एक ही हों। साथ ही, भले ही यह गणित के मामले में स्मार्ट था, फिर भी यह "दोस्तों" वाली कहानी के दौरान थोड़ा अधिक मिलनसार हो जाता था, कभी-कभी दयालु होने के लिए खेल के नियमों को अनदेखा कर देता था।
तीसरा छात्र, LLaMa-2, सबसे दिलचस्प मिश्रण था। यह खेलों के बीच के सूक्ष्म अंतर को पहचानने में GPT-4 से बेहतर था, यह समझते हुए कि एक खेल को दूसरे की तुलना में अलग रणनीति की आवश्यकता होती है। हालाँकि, यह कहानी से सबसे आसानी से विचलित होने वाला भी था। यह अपनी रणनीति बदल देता था कि वह एक "बॉस" से बात कर रहा है या एक "दोस्त" से, कभी-कभी खेल के नियमों की आवश्यकता से भी अधिक। यह एक ऐसे शतरंज खिलाड़ी की तरह है जो सभी चालें पूरी तरह से जानता है लेकिन इस बात से विचलित होता रहता है कि मेज के दूसरी ओर कौन बैठा है।
शोधकर्ताओं ने परिणामों को वास्तविक बनाने के लिए (न कि केवल एक इत्तेफाक) प्रत्येक खेल और कहानी के संयोजन के लिए इन सिमुलेशन को 300 बार चलाया। उन्होंने पाया कि जबकि ये AI मॉडल सोचने में बेहतर हो रहे हैं, अभी तक इनमें से कोई भी पूर्ण रणनीतिकार नहीं है। वे सभी कहानी के "फ्रेम" (ढांचे) से भ्रमित हो जाते हैं, और वे हमेशा गणितीय रूप से सटीक चाल नहीं चलते हैं। अध्ययन सुझाव देता है कि यदि हम इन AI पर जटिल रणनीतिक कार्यों के लिए भरोसा करते हैं, तो हमें सावधान रहने की आवश्यकता है। वे केवल ठंडे, तार्किक रोबोट नहीं हैं; वे शब्दों से प्रभावित होते हैं जिनका उपयोग हम स्थिति का वर्णन करने के लिए करते हैं, ठीक वैसे ही जैसे इंसान होते हैं। जब तक वे कहानी को रणनीति से अलग नहीं कर पाते, तब तक हमें उन्हें सबसे महत्वपूर्ण निर्णय लेने वाले कमरों से दूर रखना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।