Comparing Exploration-Exploitation Strategies of LLMs and Humans: Insights from Standard Multi-armed Bandit Experiments
यह अध्ययन मल्टी-आर्म्ड बैंडिट कार्यों में लार्ज लैंग्वेज मॉडल्स, मनुष्यों और एल्गोरिदम की एक्सप्लोरेशन-एक्सप्लोइटेशन रणनीतियों की तुलना करता है और पाता है कि जबकि "सोचने" (thinking) को सक्षम करने से लार्ज लैंग्वेज मॉडल्स स्थिर वातावरण में अधिक मानव-समान हो जाते हैं, वे फिर भी जटिल, गैर-स्थिर वातावरण में मानवीय अनुकूलन क्षमता और निर्देशित अन्वेषण (directed exploration) प्राप्त करने में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप चार अलग-अलग रास्तों वाले एक विशाल, रहस्यमय जंगल में हाइकिंग कर रहे हैं। आपको नहीं पता कि कौन सा रास्ता खजाने के संदूक (उच्च इनाम) की ओर ले जाता है और कौन सा बंद रास्ते (कम इनाम) की ओर। सबसे अच्छे रास्ते को खोजने के लिए, आपको हर कुछ मिनटों में एक चुनाव करना होगा:
- एक्सप्लॉइट (Exploit): उसी रास्ते पर चलते रहें जिसे आप पहले ही चल चुके हैं और जो ठीक लग रहा था, इस उम्मीद में कि शायद यही सबसे अच्छा हो।
- एक्सप्लोर (Explore): एक नया, अज्ञात रास्ता आजमाएं यह देखने के लिए कि क्या वह बेहतर हो सकता है।
यह "एक्सप्लोरेशन-एक्सप्लोइटेशन" (Exploration-Exploitation) का ट्रेड-ऑफ है। यह निर्णय लेने की एक मौलिक पहेली है जिसे मनुष्य सहज रूप से हल करते हैं, जो अक्सर यादृच्छिक अनुमानों (random guesses) और स्मार्ट, गणनात्मक जोखिमों के मिश्रण के माध्यम से किया जाता है।
यह कार्य एक सरल प्रश्न पूछता है: क्या लार्ज लैंग्वेज मॉडल्स (LLMs) – जो ChatGPT जैसे टूल्स के पीछे के AI दिमाग हैं – इस जंगल की पहेली को उसी तरह हल कर सकते हैं जैसे इंसान करते हैं?
प्रयोग: एक डिजिटल गेम मशीन
शोधकर्ताओं ने केवल AI को अनुमान लगाने के लिए नहीं कहा; उन्होंने इसे एक "मल्टी-आर्म्ड बैंडिट" (Multi-Armed Bandit) गेम में रखा। कल्पना कीजिए कि यह स्लॉट मशीनों की एक पंक्ति है।
- सरल खेल: दो मशीनें। एक दूसरी की तुलना में थोड़ा अधिक भुगतान करती है, लेकिन भुगतान की जाने वाली राशि रैंडम होती है। आप 10 बार लीवर खींचते हैं।
- कठिन खेल: चार मशीनें। "सबसे अच्छी" मशीन समय के साथ बदलती रहती है (जैसे कि एक स्लॉट मशीन जो हर कुछ मिनटों में अपने ऑड्स रीसेट कर देती है)। आप 300 बार लीवर खींचते हैं।
उन्होंने तीन समूहों का परीक्षण किया:
- इंसान: लैब में खेल रहे वास्तविक लोग।
- स्टैंडर्ड AI: अग्रणी मॉडल्स (जैसे GPT-4o-mini या Gemini) के "बेसिक" संस्करण जो केवल एक उत्तर देते हैं।
- "थिंकिंग" AI: "इंटेलिजेंट" संस्करण (जैसे GPT-o3-mini या DeepSeek-R1) जिन्हें उत्तर देने से पहले अपनी विचार प्रक्रिया लिखने के लिए मजबूर किया जाता है, या जिनमें एक विशेष "थिंकिंग मोड" सक्रिय होता है।
परिणाम: AI ने कैसा प्रदर्शन किया
1. "बेसिक" AI एक घबराया हुआ खिलाड़ी है
जब स्टैंडर्ड AI मॉडल्स ने खेला, तो वे थोड़े घबराए हुए खिलाड़ी की तरह व्यवहार कर रहे थे।
- बहुत अधिक रैंडम अनुमान: वे बिना किसी स्पष्ट योजना के मशीनों के बीच बेतरतीब ढंग से कूदते रहे।
- बहुत कम इंटेलिजेंट सर्चिंग: वे शायद ही कभी "डायरेक्टेड एक्सप्लोरेशन" (निर्देशित अन्वेषण) का उपयोग करते थे। यह वह क्षण है जब एक इंसान सोचता है: "मैंने काफी समय से मशीन C को नहीं आजमाया है, और मुझे यकीन नहीं है कि वह कैसी चल रही है, इसलिए मैं अधिक जानकारी प्राप्त करने के लिए इसे आजमाऊंगा।" बेसिक AI या तो रैंडम अनुमान लगाता था या जो वह जानता था उसी पर टिका रहता था।
- परिणाम: सरल खेल में, वे काफी अच्छा प्रदर्शन कर पाए। लेकिन जटिल, बदलते खेल में, वे भटक गए, गलतियाँ करते रहे, और अंत में मनुष्यों की तुलना में बहुत कम "खजाना" (उच्च रिग्रेट) प्राप्त किया।
2. "थिंकिंग" AI एक बेहतर जासूस है
जब शोधकर्ताओं ने "थिंकिंग" फंक्शन को सक्रिय किया (AI को अपने विचार लिखने या थिंकिंग इंजन का उपयोग करने के लिए प्रेरित किया), तो व्यवहार नाटकीय रूप से बदल गया।
- बदलाव: AI ने इंसानों की तरह व्यवहार करना शुरू कर दिया। उसने रैंडम अनुमान लगाना बंद कर दिया और "डायरेक्टेड एक्सप्लोरेशन" का उपयोग करना शुरू कर दिया। इसने कहना शुरू किया जैसे: "मुझे इस मशीन के बारे में यकीन नहीं है, इसलिए मैं अधिक जानने के लिए इसे टेस्ट करूँगा।"
- सरल खेल: सरल दो-मशीन वाले खेल में, "थिंकिंग" AI इंसानों से लगभग अभिन्न हो गया। उसने जल्दी से सबसे अच्छी मशीन को खोजा और उसी के साथ बना रहा।
- कठिन खेल: जटिल चार-मशीन वाले खेल में, "थिंकिंग" AI में काफी सुधार हुआ और उसने मानव प्रदर्शन के करीब पहुंच लिया, लेकिन वह अभी भी पूर्ण नहीं था। जब खेल के नियम बदलते हैं, तो उसे अनुकूलित होने में संघर्ष करना पड़ता है।
3. "रिग्रेट" स्कोर
शोधकर्ताओं ने "रिग्रेट" (Regret) को मापा, जो वास्तव में उस पैसे (या पॉइंट्स) की मात्रा है जो एक खिलाड़ी ने सबसे अच्छी मशीन को हर बार चुनने के बजाय खो दिया।
- इंसान: लगातार सबसे कम रिग्रेट रखते थे। वे नई चीजों को आजमाने और विजेता के साथ बने रहने के बीच संतुलन बनाने में सबसे अच्छे थे।
- बेसिक AI: जटिल खेल में उच्च रिग्रेट था। उन्होंने खराब मशीनों पर बहुत समय बर्बाद किया।
- थिंकिंग AI: इनका रिग्रेट बहुत कम था। "सोचकर" कार्य करने से, उन्होंने कम गलतियाँ कीं और मानव प्रदर्शन स्तर के करीब पहुँच गए।
बड़ी अंतर्दृष्टि
यह कार्य निष्कर्ष निकालता है कि AI स्वाभाविक रूप से मानव जैसा नहीं है कि वह कैसे एक्सप्लोर करता है। डिफ़ॉल्ट रूप से, यह या तो बहुत रैंडम या बहुत कठोर होता है।
हालाँकि, AI को एक "थिंकिंग पाथ" देना (उसे जोर से तर्क करने के लिए प्रेरित करना) एक सुपरपावर की तरह काम करता है। यह AI को धीमा होने, अनिश्चितता की गणना करने और अधिक स्मार्ट, मानव-समान तरीके से एक्सप्लोर करने के लिए मजबूर करता है।
- सरल, स्थिर स्थितियों में: थिंकिंग AI इंसानों की पूरी तरह से नकल कर सकता है।
- जटिल, परिवर्तनशील स्थितियों में: थिंकिंग AI बहुत बेहतर हो जाता है, लेकिन इंसान अभी भी अनुकूलन क्षमता में थोड़ा आगे हैं।
शोधकर्ता इस बात पर जोर देते हैं कि इसका मतलब यह नहीं है कि AI हर जटिल निर्णय में मनुष्यों को बदलने के लिए तैयार है, लेकिन यह दिखाता है कि AI को "सोचने" के लिए प्रॉम्प्ट करना उसकी निर्णय रणनीतियों को अधिक विश्वसनीय और मानव-समान बनाने का एक शक्तिशाली तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।