← नवीनतम पेपर
💬 NLP

Multiplayer Nash Preference Optimization

यह शोध पत्र मल्टीप्लेयर नैश प्रेफरेंस ऑप्टिमाइजेशन (MNPO) को प्रस्तुत करता है, जो एक नया ढांचा है जो मानव फीडबैक से दो-खिलाड़ी नैश लर्निंग को n-खिलाड़ियों के खेल में सामान्यीकृत करता है, जिससे एकल-प्रतिद्वंद्वी पूर्वाग्रह को दूर करते हुए जटिल, गैर-संक्रामक मानव प्राथमिकताओं को बेहतर ढंग से पकड़ने और एलाइनमेंट की गुणवत्ता में मौजूदा बेसलाइन से बेहतर प्रदर्शन करने में मदद मिलती है।

मूल लेखक: Fang Wu, Xu Huang, Weihao Xuan, Zhiwei Zhang, Yijia Xiao, Guancheng Wan, Xiaomin Li, Bing Hu, Peng Xia, Jure Leskovec, Yejin Choi

प्रकाशित 2026-04-08
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Fang Wu, Xu Huang, Weihao Xuan, Zhiwei Zhang, Yijia Xiao, Guancheng Wan, Xiaomin Li, Bing Hu, Peng Xia, Jure Leskovec, Yejin Choi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट (एक लार्ज लैंग्वेज मॉडल) को यह सिखाने की कोशिश कर रहे हैं कि कैसे मददगार, सुरक्षित और ईमानदार बना जाए। अतीत में, इसे करने का मानक तरीका एक आमने-सामने की मुक्केबाजी (boxing match) जैसा था।

रोबोट दो उत्तर उत्पन्न करता था। एक मानव निर्णायक (या एक कंप्यूटर जो मानव का अनुकरण करता है) विजेता को चुनता था। रोबोट उस विशिष्ट लड़ाई को जीतने की कोशिश करके सीखता था। यह ठीक-ठाक काम करता था, लेकिन इसमें एक बड़ी खामी थी: इसने यह मान लिया था कि यदि उत्तर A, उत्तर B से बेहतर है, और B, C से बेहतर है, तो A को C से बेहतर होना चाहिए। वास्तविक दुनिया में, मानव प्राथमिकताएं जटिल होती हैं। कभी A सुरक्षा के लिए बेहतर होता है, B रचनात्मकता के लिए बेहतर होता है, और C गति के लिए बेहतर होता है। एक साधारण मुक्केबाजी इस जटिलता को नहीं पकड़ सकती।

हाल ही में, शोधकर्ताओं ने एक दो-खिलाड़ी शतरंज के खेल का परीक्षण किया। केवल विजेता चुनने के बजाय, रोबोट अपने ही एक "प्रतिद्वंद्वी" संस्करण के खिलाफ खेलकर एक "नैश इक्विलिब्रियम" (Nash Equilibrium) खोजने की कोशिश करता था—एक ऐसी स्थिति जहाँ कोई भी खिलाड़ी अकेले अपनी रणनीति बदलकर सुधार नहीं कर सकता। यह एक बहुत बड़ा कदम था, लेकिन यह अभी भी केवल एक जोड़ी (duo) था। यह एक सॉकर खिलाड़ी को केवल एक विशिष्ट प्रतिद्वंद्वी के खिलाफ खेलकर प्रशिक्षित करने जैसा था। वे उस विशेष व्यक्ति को हराने में बहुत अच्छे हो सकते हैं, लेकिन वे पूरी लीग के खिलाफ खराब प्रदर्शन करेंगे।

MNPO का आगमन: "ग्रैंड टूर्नामेंट"

यह पेपर मल्टीप्लेयर नैश प्रेफरेंस ऑप्टिमाइज़ेशन (MNPO) पेश करता है। मुक्केबाजी या शतरंज के द्वंद्व के बजाय, MNPO प्रशिक्षण प्रक्रिया को एक विशाल, अराजक, बहु-टीम टूर्नामेंट में बदल देता है।

यह कैसे काम करता है, इसके लिए एक सरल उपमा देखें:

1. "जिम" बनाम "लीग"

  • पुराना तरीका (दो-खिलाड़ी): कल्पना करें कि एक बॉक्सर जिम में प्रशिक्षण ले रहा है। वह केवल अपने एक साथी के साथ अभ्यास करता है। वह उस विशिष्ट साथी की शैली में बहुत अच्छा हो जाता है, लेकिन वास्तविक दुनिया में एक पूरी तरह से अलग लड़ने की शैली के सामने वह हैरान हो सकता है।
  • MNPO (मल्टीप्लेयर): अब, कल्पना करें कि वह बॉक्सर एक साथ दर्जनों विरोधियों के साथ एक विशाल अरीना में उतरता है। कुछ लंबे हैं, कुछ तेज़ हैं, कुछ रक्षात्मक हैं, और कुछ आक्रामक हैं। बॉक्सर को एक साथ उन सभी के अनुकूल ढलना सीखना होगा।

पेपर के शब्दों में, AI मॉडल केवल एक "प्रतिद्वंद्वी" AI के खिलाफ नहीं लड़ता है। यह विभिन्न AI संस्करणों (कुछ अतीत के, कुछ सुरक्षा जैसे विभिन्न लक्ष्यों के साथ प्रशिक्षित, कुछ रचनात्मकता जैसे विभिन्न लक्ष्यों के साथ प्रशिक्षित) की एक जनसंख्या (population) के खिलाफ प्रतिस्पर्धा करता है।

2. सहमति का "ग्रुप हग" (Group Hug)

इस टूर्नामेंट में, लक्ष्य केवल सबको हराना नहीं है। यह एक संतुलित रणनीति खोजने के बारे में है जो पूरे समूह के खिलाफ अच्छी काम करे।

  • यदि AI बहुत अधिक "सुरक्षित" होने की कोशिश करता है, तो वह "रचनात्मक" विरोधियों से हार सकता है।
  • यदि वह बहुत अधिक "रचनात्मक" होने की कोशिश करता है, तो वह "तथ्यात्मक" विरोधियों से हार सकता है।
  • MNPO का जादू: AI बीच का एक "स्वीट स्पॉट" खोजने के लिए सीखता है। यह एक "गिरगिट" (chameleon) बन जाता है जो बिना टूटे मानवीय प्राथमिकताओं की एक विस्तृत श्रृंखला को संभाल सकता है। यह सीखता है कि कभी-कभी आपको मजाकिया होना पड़ता है, कभी गंभीर होना पड़ता है, और कभी सतर्क रहना पड़ता है, यह इस पर निर्भर करता है कि आप किससे बात कर रहे हैं।

3. "समय-यात्रा" करने वाले प्रतिद्वंद्वी

यह पेपर एक चतुर तकनीक पेश करता है जिसे TD-MNPO (टाइम-डिपेंडेंट) कहा जाता है।
कल्पना कीजिए कि आप टेनिस खेलना सीख रहे हैं। केवल अपने वर्तमान स्वरूप के खिलाफ खेलने के बजाय, आप इनके खिलाफ भी खेलते हैं:

  • अपने कल के स्वरूप के खिलाफ।
  • अपने पिछले सप्ताह के स्वरूप के खिलाफ।
  • अपने पिछले महीने के स्वरूप के खिलाफ।

अपने "पिछले स्वरूपों" के खिलाफ खेलकर, आप केवल अपने वर्तमान स्वरूप को हराना नहीं सीखते; आप एक सुसंगत शैली (consistent style) सीखते हैं जो समय के साथ बनी रहती है। यह AI को "भूलने" या पागल होने (एक समस्या जिसे "रिवॉर्ड हैकिंग" कहा जाता है जहाँ AI जीतने के लिए एक रास्ता खोज लेता है लेकिन मददगार होना छोड़ देता है) से बचाता है।

4. "विशेषज्ञ" टीम (Heterogeneous)

कभी-कभी, अलग-अलग नियमों के साथ अलग-अलग जज होते हैं। एक जज सुरक्षा की परवाह करता है, दूसरा उपयोगिता की, और तीसरा सत्यता की।

  • पुराना तरीका: आपको एक जज चुनना होता था और दूसरों को अनदेखा करना होता था।
  • MNPO (HT-MNPO): AI एक ऐसी टीम बनाता है जहाँ उसके विभिन्न "संस्करण" अलग-अलग नियमों में विशेषज्ञता हासिल करते हैं। वे एक साथ एक जटिल खेल खेलते हैं, और इन सभी विरोधाभासी मांगों को संतुलित करना सीखते हैं। यह एक बैंड की तरह है जहाँ ड्रमर, गिटारवादक और गायक के अलग-अलग स्टाइल होते हैं, लेकिन वे एक ऐसा गाना बजाना सीखते हैं जो सभी को अच्छा लगे।

यह क्यों मायने रखता है?

लेखकों ने इस "ग्रैंड टूर्नामेंट" पद्धति का परीक्षण AI के कुछ सबसे कठिन परीक्षणों पर किया:

  1. निर्देशों का पालन करना: क्या यह बिल्कुल वही कर सकता है जो आप उससे पूछते हैं?
  2. तर्क (Reasoning): क्या यह गणित और तर्क की पहेलियों को हल कर सकता है?
  3. रचनात्मकता: क्या यह अच्छी कहानियाँ लिख सकता है?

परिणाम: MNPO के साथ प्रशिक्षित AI पिछले "द्वंद्व" (duel) तरीकों की तुलना में हर चीज़ में बेहतर था। यह केवल एक चीज़ में अच्छा नहीं हुआ; यह अधिक मजबूत, विश्वसनीय और अनुकूलन योग्य सहायक बन गया।

निचोड़ (Bottom Line)

पुराने तरीकों को एक बच्चे को एक छोटे पूल में दूसरे बच्चे के साथ दौड़ने के माध्यम से तैरना सिखाने के रूप में सोचें।
MNPO उस बच्चे को एक व्यस्त समुद्र में लहरों, धाराओं और विभिन्न शैलियों के अन्य तैराकों के बीच छोड़ने जैसा है। वे केवल दौड़ जीतने के लिए नहीं, बल्कि मानव प्राथमिकताओं की वास्तविक, अव्यवśćित और जटिल दुनिया में जीवित रहने और फलने-फूलने के लिए तैरना सीखते हैं।

यह पेपर साबित करता है कि AI मॉडल को एक साधारण द्वंद्व के बजाय एक मल्टीप्लेयर गेम खेलने की अनुमति देकर, हम स्मार्ट, सुरक्षित और अधिक मददगार AI असिस्टेंट बना सकते हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →