Are LLMs Effective Negotiators? Systematic Evaluation of the Multifaceted Capabilities of LLMs in Negotiation Dialogues
यह शोध पत्र विविध संवाद परिदृश्यों में लार्ज लैंग्वेज मॉडल्स (LLMs) की बहुआयामी बातचीत क्षमताओं का एक व्यवस्थित मूल्यांकन प्रस्तुत करता है, जो GPT-4 के उत्कृष्ट प्रदर्शन को उजागर करते हुए व्यक्तिपरक मूल्यांकन और रणनीतिक प्रतिक्रिया निर्माण में विशिष्ट चुनौतियों की पहचान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपनी कैंपिंग ट्रिप के लिए सबसे अच्छी डील पाने के लिए अपने पड़ोसी के साथ सामानों का व्यापार करने की कोशिश कर रहे हैं। आप दोनों के पास चीजों की एक सूची है जिनकी आपको आवश्यकता है (भोजन, पानी, जलाऊ लकड़ी), और प्रत्येक वस्तु का आपके लिए अलग-अलग "पॉइंट्स" (अंक) में मूल्य है। जीतने के लिए, आपको नियमों को समझने, अपने पड़ोसी की इच्छा का अनुमान लगाने और अधिक अंक प्राप्त करने के लिए सही बातें कहने की आवश्यकता है बिना उन्हें नाराज किए।
यह पेपर आर्टिफिशियल इंटेलिजेंस (AI) के लिए एक रिपोर्ट कार्ड की तरह है जो इस ट्रेडिंग गेम को खेलने की कोशिश कर रहा है। शोधकर्ताओं ने पूछा: क्या आधुनिक AI चैटबॉट्स (जिन्हें लार्ज लैंग्वेज मॉडल्स या LLMs कहा जाता है) वास्तव में अच्छे वार्ताकार (negotiators) हो सकते हैं?
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "परीक्षा" सेटअप
शोधकर्ताओं ने केवल AI को चैट करते हुए नहीं देखा; उन्होंने इसे विभिन्न विषयों पर एक छात्र को ग्रेड देने वाले शिक्षक की तरह विशिष्ट परीक्षणों की एक श्रृंखला दी। उन्होंने बातचीत की जटिल प्रक्रिया को चार मुख्य कौशलों में विभाजित किया:
- पठन बोध (Reading Comprehension): क्या AI ने नियमों और अंतिम सौदे को समझा? (जैसे, "मुझे कितने अंक मिले?")
- लेबलिंग (Labeling): क्या AI दूसरे व्यक्ति की गतिविधियों को पहचान सकता है? (जैसे, "क्या यह वाक्य एक 'प्रस्ताव' है या एक 'शिकायत'?")
- मन पढ़ना (Theory of Mind): क्या AI दूसरे व्यक्ति की इच्छा या उनकी खुशी का अनुमान लगा सकता है, भले ही उन्होंने इसे ज़ोर से न कहा हो?
- बोलना (Speaking): क्या AI एक ऐसा जवाब लिख सकता है जो विनम्र भी हो और एक अच्छी डील पाने के लिए पर्याप्त स्मार्ट भी हो?
उन्होंने इसका परीक्षण चार अलग-अलग "ट्रेडिंग परिदृश्यों" पर किया, जिसमें कैंपिंग के सामानों की अदला-बदली से लेकर नौकरी के वेतन पर बातचीत करना शामिल था।
2. स्टार स्टूडेंट: GPT-4
परिणामों ने दिखाया कि GPT-4 वर्तमान में इस क्लास का "वैलडििक्टोरियन" (सर्वश्रेष्ठ छात्र) है।
- अच्छी खबर: यह नियमों को समझने, गणित करने और दूसरे व्यक्ति की इच्छा को समझने में अन्य सभी AI मॉडलों से काफी बेहतर था। कई परीक्षणों में, इसने एक विशेष रूप से प्रशिक्षित AI (जैसे एक छात्र जिसने केवल इसी एक टेस्ट के लिए पढ़ाई की हो) को भी पीछे छोड़ दिया, जबकि एक सामान्य AI (जो बस बहुत कुछ जानता था) ने भी इसे मात दी।
- "मानवीय" स्पर्श: जब बात जवाब लिखने की आई, तो GPT-4 लगभग एक मानव विशेषज्ञ की तरह सुसंगत और तार्किक लगा।
3. संघर्ष: जहाँ AI भ्रमित होता है
यहाँ तक कि सबसे स्मार्ट AI को भी मुश्किलों का सामना करना पड़ा, जो एक ऐसे छात्र की तरह व्यवहार करता है जो गणित में तो बहुत अच्छा है लेकिन सामाजिक संकेतों (social cues) को समझने में बुरा है।
- "मन पढ़ने" की गड़बड़ी (The "Mind-Reading" Glitch): जब यह अनुमान लगाने के लिए पूछा गया कि दूसरा व्यक्ति सौदे से कितना खुश था, तो AI अक्सर गलत निकला। यह एक ऐसे छात्र की तरह है जो सोचता है कि शिक्षक खुश है क्योंकि उसे 'A' मिला है, लेकिन वास्तव में शिक्षक गुस्से में है क्योंकि छात्र ने नकल की है। AI शब्दों के पीछे की भावनाओं को समझने में संघर्ष कर रहा था।
- "रणनीति" की चूक (The "Strategy" Slip-up): कभी-कभी AI केवल दयालु होने के लिए एक खराब सौदे के लिए मान जाता था। यह नींबू के स्टाल पर बैठे उस बच्चे की तरह है जो ग्राहक के प्यार से पूछने पर अपने सारे नींबू एक पैसे में दे देता है, यह भूलकर कि उसे मुनाफा कमाना था। वह अक्सर अपने हितों की रक्षा करने के लिए दी गई जानकारी का उपयोग करने में विफल रहा।
- "इको चैंबर" (The "Echo Chamber"): कुछ मामलों में, AI एक ऐसा प्रस्ताव दोहरा देता था जिसे दूसरे व्यक्ति ने पहले ही खारिज कर दिया था, जैसे कि उसे बातचीत का इतिहास याद न हो। यह किसी ऐसे व्यक्ति के साथ बातचीत करने जैसा है जो बार-बार वही चीजें सुझाता रहता है जो आपने पहले ही "ना" कह दिया था।
4. "चीट कोड्स" (प्रॉम्प्टिंग)
शोधकर्ताओं ने पाया कि आप AI से कैसे सवाल पूछते हैं, इससे इसके प्रदर्शन में बदलाव आता है।
- चेन-ऑफ-थॉट (CoT): यदि आप AI को कहते हैं, "जवाब देने से पहले चरण-दर-चरण सोचें," तो यह गणित की समस्याओं में बहुत बेहतर हो जाता है। यह एक छात्र को, "अपना काम दिखाओ" (Show your work) कहने जैसा है, जो उसे सही उत्तर पाने में मदद करता है।
- फ्यू-शॉट लर्निंग (Few-Shot Learning): यदि आप समस्या को हल करने से पहले AI को जवाब देने के कुछ उदाहरण देते हैं, तो यह बेहतर प्रदर्शन करता है। यह एक छात्र को निबंध लिखने के लिए कहने से पहले एक नमूना निबंध दिखाने जैसा है।
5. निर्णय (The Verdict)
पेपर यह निष्कर्ष निकालता है कि हालांकि AI (विशेष रूप से GPT-4) वार्ता अनुसंधान के लिए एक बहुत ही सक्षम उपकरण बनता जा रहा है, फिर भी यह एक पूर्ण वार्ताकार नहीं है।
- यह इसमें माहिर है: नियमों का पालन करना, गणित करना और बातचीत की संरचना को समझना।
- यह अभी भी सीख रहा है: मानवीय भावनाओं को समझना, रणनीतिक रूप से स्वार्थी होना (अच्छे तरीके से), और लंबी बातचीत में भ्रमित न होना।
शोधकर्ता सुझाव देते हैं कि फिलहाल, AI का उपयोग डेटा का विश्लेषण करने या मनुष्यों को प्रशिक्षित करने के लिए एक सहायक के रूप में किया जाना सबसे अच्छा है, न कि एक पूरी तरह से स्वायत्त वार्ताकार के रूप में जो उच्च-दांव वाले सौदों में इंसान की जगह ले सके। यह एक शक्तिशाली सहायक है, लेकिन इसके "सामाजिक" कार्यों की जांच करने के लिए इसमें एक मानव की निगरानी की आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।