Learning to Negotiate: Multi-Agent Deliberation for Collective Value Alignment in LLMs
यह शोध पत्र एक मल्टी-एजेंट नेगोशिएशन फ्रेमवर्क पेश करता है जो बड़े भाषा मॉडलों (LLMs) को सामूहिक एजेंसी (Collective Agency) के साथ संरेखित करने और GRPO के माध्यम से RLAIF द्वारा अनुकूलित सेल्फ-प्ले डेलिब्रेशन के जरिए मूल्य संघर्षों को हल करने के लिए प्रशिक्षित करता है, जो सामान्य भाषा प्रदर्शन से समझौता किए बिना बेहतर संघर्ष-समाधान क्षमताओं का प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, बहुत ही विनम्र रोबोट सहायक है। अभी, हमने इस रोबोट को "अच्छा" होना सिखाया है, उसे मददगार, ईमानदार और हानिरहित व्यवहार के उदाहरण दिखाकर। यह एक बच्चे को "कृपया" और "धन्यवाद" कहना सिखाने जैसा है। यह तब बहुत अच्छा काम करता है जब रोबोट केवल एक व्यक्ति के सवालों के जवाब दे रहा हो।
लेकिन क्या होता है जब रोबोट को लोगों के एक पूरे समूह की मदद करनी होती जो आपस में असहमति रखते हों?
एक पारिवारिक रात्रिभोज की कल्पना करें जहाँ:
- पिता पैसे बचाना चाहते हैं और सस्ता पिज्जा खाना चाहते हैं।
- माता एक स्वस्थ, जैविक (organic) दावत चाहती हैं।
- दादी अपनी पारंपरिक रेसिपी बनाना चाहती हैं, भले ही इसमें पूरा दिन लग जाए।
- किशोर (Teenager) बस सुशी ऑर्डर करना चाहता है।
यदि आप एक मानक रोबोट से पूछते हैं, तो वह या तो किसी एक व्यक्ति के विचार को चुन सकता है (आमतौर पर वही जिसे उसने सबसे पहले सुना था) या एक अस्पष्ट उत्तर दे सकता है जैसे, "आइए हम सब खुश रहें।" उसे वास्तव में एक ऐसा समाधान खोजने के लिए बातचीत (negotiate) करना नहीं आता जहाँ हर कोई महसूस करे कि उसकी बात सुनी गई है और उसे वह मिल सके जो वह चाहता है।
यह शोध पत्र इस बारे में है कि रोबानों को इन उलझी हुई, विरोधाभासी स्थितियों को संभालने के लिए कैसे प्रशिक्षित किया जाए। वे इसे "सीखना कि बातचीत कैसे करें" (Learning to Negotiate) कहते हैं।
बड़ा विचार: रोबोट डिबेट क्लब
रोबोट को केवल एक "सही" उत्तर देना सिखाने के बजाय, शोधकर्ताओं ने उसे एक बीच का रास्ता खोजने के लिए अपने आप से बातचीत करना सिखाया।
यहाँ बताया गया है कि उन्होंने यह कैसे किया, एक सरल उपमा का उपयोग करते हुए:
1. "सेल्फ-प्ले" गेम (द मिरर मैच)
कल्पना कीजिए कि रोबोट एक शतरंज खिलाड़ी है। आमतौर पर, वह एक इंसान के खिलाफ खेलता है। लेकिन यहाँ, शोधकर्ताओं ने रोबोट को अपने ही एक स्थिर (frozen) प्रतिरूप के खिलाफ खेलने के लिए बनाया।
- रोबोट A को एक व्यक्तित्व दिया गया: "एक सख्त बजट प्रबंधक।"
- रोबोट B को एक व्यक्तित्व दिया गया: "एक विलासिता प्रेमी।"
उन्हें एक मेज पर बैठने के लिए मजबूर किया गया और बात करनी है। उन्हें अपने तर्क देने होंगे, एक-दूसरे की बात सुननी होगी, और एक ऐसी योजना खोजने की कोशिश करनी होगी जो बजट और विलासिता की इच्छा दोनों को संतुष्ट करे। वे केवल चिल्ला नहीं रहे हैं; वे एक समझौते पर पहुँचने की कोशिश कर रहे हैं।
2. "स्कोरकार्ड" (द जज)
बातचीत के बाद, एक "जज" (एक अन्य AI) उनकी अंतिम योजना को देखता है।
- क्या वे सहमत हुए? यदि वे केवल बहस करते रहे और कभी समाधान नहीं निकाला, तो उन्हें शून्य मिलता है।
- क्या उन्होंने "कलेक्टिव एजेंसी" (Collective Agency) समाधान खोजा? यह एक तकनीकी शब्द है जिसका उपयोग लेखक करते हैं। इसे "विन-विन स्कोर" के रूप में समझें।
- एक बुरा समाधान है: "हम सस्ता पिज्जा खाते हैं, और माँ दुखी है।" (एक व्यक्ति जीतता है, एक हारता है)।
- एक अच्छा "कलेक्टिव एजेंसी" समाधान है: "हम बजट के लिए पिज्जा के कुछ स्लाइस मंगवाते हैं, लेकिन हम माँ के लिए एक शानदार घर का बना सलाद बनाते हैं, और हम सब मिलकर खाते हैं।" (हर किसी की एजेंसी—हर किसी की अपनी ज़रूरत पाने की क्षमता—का विस्तार होता है)।
3. ट्रेनिंग लूप (गलतियों से सीखना)
रोबोट इस खेल को हजारों बार खेलता है।
- यदि वह बहुत अधिक बहस करता है और सहमत होने में विफल रहता है, तो उसे "खराब ग्रेड" (नकारात्मक इनाम) मिलता है।
- यदि वह एक चतुर, रचनात्मक समझौता खोज लेता है जो सभी को खुश करता है, तो उसे "गोल्ड स्टार" (सकारात्मक इनाम) मिलता है।
समय के साथ, रोबोट सीख जाता है कि लगातार बहस करना बुरा है, लेकिन एक रचनात्मक समझौता खोजना जीतने का सबसे अच्छा तरीका है।
यह एक बड़ी बात क्यों है?
1. यह केवल "अच्छा" होने के बारे में नहीं है।
पुराने प्रशिक्षण तरीकों ने रोबोट को "मददगार, ईमानदार और हानिरहित" होना सिखाया। लेकिन वास्तविक दुनिया में, "हानिरहित" होना पर्याप्त नहीं है। कभी-कभी आपको दो "अच्छी" चीजों के बीच चयन करना पड़ता जो आपस में टकराती हैं (जैसे, गोपनीयता बनाम सुरक्षा)। यह नया तरीका रोबोट को दो अच्छे मूल्यों के बीच के तनाव को नेविगेट करना सिखाता है, न कि केवल एक को चुनना।
2. यह AI के लिए "ग्रुप थेरेपी" सत्र जैसा है।
शोध पत्र दिखाता है कि जब रोबोट बातचीत करना सीखता है, तो वह केवल बहस करने में बेहतर नहीं होता; वह सोचने में बेहतर हो जाता है। वह विभिन्न दृष्टिकोणों को एक एकल, मजबूत विचार में संश्लेषित करना सीखता है। यह दोस्तों के एक समूह के मंथन (brainstorming) जैसा है: अंतिम विचार अक्सर अकेले एक व्यक्ति के विचार से बेहतर होता है।
3. यह रोबोट को "मूर्ख" नहीं बनाता।
एक सामान्य डर यह है कि यदि आप रोबोट को बहस करना सिखाते हैं, तो हो सकता है कि वह गणित करना या निर्देशों का पालन करना भूल जाए। शोधकर्ताओं ने इसका परीक्षण किया, और रोबोट पहले की तरह ही गणित और तर्क में कुशल रहा। उसने बस एक नया सुपरपावर प्राप्त किया: कूटनीति (Diplomacy)।
शोध पत्र से वास्तविक दुनिया का उदाहरण
शोध पत्र एक बेहतरीन उदाहरण देता: एक चिकित्सक (therapist) के पास एक क्लाइंट है जो अपराध कबूल करता है, लेकिन एक अन्य निर्दोष व्यक्ति वर्तमान में उस अपराध के लिए जेल में है।
- नियम A: गोपनीयता बनाए रखें (किसी को न बताएं)।
- नियम B: निर्दोष व्यक्ति के लिए न्याय करें (सच बताएं)।
एक मानक रोबोट शायद कहेगा, "मैं गोपनीयता भंग नहीं कर सकता," या "मुझे पुलिस को बताना चाहिए," एक पक्ष को चुनकर दूसरे को अनदेखा कर देगा।
नेगोशिएशन-ट्रेन्ड रोबोट एक तीसरा रास्ता निकालता है: "आइए हम क्लाइंट को अधिकारियों के सामने स्वैच्छिक रूप से आत्मसमर्पण करने के लिए प्रोत्साहित करें। इस प्रकार, क्लाइंट जिम्मेदारी लेता है (उनकी एजेंसी को बनाए रखना), निर्दोष व्यक्ति मुक्त हो जाता है (न्याय), और चिकित्सक ने विश्वास का उल्लंघन करने के लिए दबाव नहीं डाला (संबंध को बनाए रखना)।"
निष्कर्ष
यह शोध पत्र सुझाव देता है कि हमारे जटिल, विभाजित संसार में AI को वास्तव में उपयोगी बनाने के लिए, हमें उन्हें केवल आज्ञाकारी सेवक के रूप में नहीं सिखाना चाहिए। हमें उन्हें डिप्लोमैट (राजनयिक) बनना सिखाना चाहिए।
उन्हें अपने आप से बातचीत करना सिखाकर, हम ऐसे AI का निर्माण कर रहे हैं जो हमारे अपने मानवीय संघर्षों को सुलझाने में हमारी मदद कर सके, ऐसे समाधान खोज सके जहाँ हर कोई थोड़ा अधिक सुना हुआ और थोड़ा अधिक स्वतंत्र महसूस करे। यह एक ऐसे AI की ओर एक कदम है जो न केवल हमारे सवालों के जवाब देता है, बल्कि हमें यह समझने में भी मदद करता है कि हमें साथ मिलकर क्या करना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।