🤖 AI

MAPO: Mixed Advantage Policy Optimization for Long-Horizon Multi-Turn Dialogue

यह शोधपत्र MAPO का प्रस्ताव करता है, जो एक क्रिटिक-मुक्त (critic-free) सुदृढीकरण शिक्षण (reinforcement learning) एल्गोरिदम है जो जज मॉडल से सघन प्रक्रिया फीडबैक (dense process feedback) को एक मिश्रित एडवांटेज एस्टिमेटर के साथ जोड़ता है ताकि भावनात्मक समर्थन जैसे व्यक्तिपरक कार्यों में स्थिर, स्केलेबल और उच्च-प्रदर्शन वाले दीर्घ-अवधि बहु-चरण संवाद अनुकूलन को सक्षम बनाया जा सके।

मूल लेखक: Naifan Zhang, Ruihan Sun, Jinwei Su, Hengjie Yang, Zhengyuan Pan, Zhaohan Chen, Xiaofan Zhang

प्रकाशित 2026-03-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Naifan Zhang, Ruihan Sun, Jinwei Su, Hengjie Yang, Zhengyuan Pan, Zhaohan Chen, Xiaofan Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को थेरेपिस्ट (चिकित्सक) बनना सिखा रहे हैं। आपका लक्ष्य केवल रोबोट को एक आदर्श वाक्य बोलना सिखाना नहीं है; बल्कि आपका लक्ष्य यह है कि रोबोट एक लंबी, सहायक बातचीत कर सके जो वास्तव में समय के साथ किसी व्यक्ति को बेहतर महसूस करने में मदद करे।

यह शोध पत्र, जिसका शीर्षक MAPO है, इन रोबोट्स को प्रशिक्षित करने का एक नया तरीका पेश करता है ताकि वे केवल अनुमान न लगाएं, बल्कि वास्तव में एक अच्छे श्रोता और मददगार बनना सीखें।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "अंतिम ग्रेड" का जाल (The "Final Grade" Trap)

कल्पना कीजिए कि आप 10 प्रश्नों की एक परीक्षा दे रहे एक छात्र हैं।

पुराना तरीका (Outcome-Only RL): शिक्षक आपको अंत में केवल एक ग्रेड देता है। यदि आपको 'A' मिलता है, तो शिक्षक कहता है, "बहुत अच्छा!" लेकिन वह यह नहीं बताता कि कौन से उत्तर सही थे या गलत। यदि आपको 'C' मिलता है, तो वे बस कहते हैं, "अधिक मेहनत करो।"
- समस्या: रोबोट को यह पता नहीं चलता कि उसने पहले मिनट में गलती की या आखिरी मिनट में। वह बस इतना जानता है कि पूरी बातचीत "खराब" थी या "अच्छी"। इससे सीखना बहुत धीमा और भ्रमित करने वाला हो जाता है।
"नाइव" (Naïve) तरीका: शिक्षक हर एक प्रश्न को व्यक्तिगत रूप से ग्रेड देने की कोशिश करता है। लेकिन इसे निष्पक्ष रूप से करने के लिए, उन्हें छात्र को ठीक 100 बार वही परीक्षा देनी होगी, हर बार केवल एक उत्तर बदलकर यह देखने के लिए कि क्या होता है।
- समस्या: एक वास्तविक बातचीत में, आप समय को पीछे नहीं ले जा सकते। एक बार जब आप कुछ कहते हैं, तो दूसरा व्यक्ति प्रतिक्रिया देता है, और बातचीत आगे बढ़ जाती है। आप एक वाक्य का परीक्षण करने के लिए एक ही बातचीत को 100 बार नहीं चला सकते। यह बहुत महंगा और असंभव है।

2. समाधान: MAPO (एक "स्मार्ट कोच")

लेखकों ने MAPO (Mixed Advantage Policy Optimization) बनाया है। MAPO को एक स्मार्ट कोच के रूप में सोचें जो पूरे खेल को देखता है लेकिन हर एक चाल पर फीडबैक भी देता है।

MAPO एक ही समय में दो प्रकार के फीडबैक का उपयोग करता है:

A. "दीर्घकालिक स्कोर" (Monte Carlo Returns)

केवल अंतिम ग्रेड देखने के बजाय, MAPो पूरी यात्रा को देखता है।

उपमा: कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं। आपको केवल अंत में जीतने की परवाह नहीं है; आपको इस बात की परवाह है कि आपकी वर्तमान चाल अगले 10 मिनट तक जीवित रहने में कैसे मदद करती है। MAPO गणना करता है: "यदि मैं अभी यह अच्छी बात कहता हूँ, तो 5 टर्न बाद उपयोगकर्ता कितना बेहतर महसूस करेगा?"
यह रोबोट को एक लंबी बातचीत में कारण और प्रभाव (cause and effect) समझने में मदद करता है।

B. "तत्काल फीडबैक" (Process Rewards)

MAPO के पास एक "जज" (एक बहुत ही स्मार्ट AI) भी है जो हर एक वाक्य को सुनता है और तुरंत एक स्कोर देता है।

उपमा: यह एक टेनिस कोच की तरह है जो गेंद मारने के तुरंत बाद चिल्लाता है, "शानदार स्विंग!" या "अपने फुटवर्क पर ध्यान दें!"
यह रोबोट को तुरंत बताता है कि कोई विशिष्ट वाक्य सहानुभूतिपूर्ण था या नहीं।

3. असली मंत्र: "मिक्स्ड एडवांटेज" (The "Secret Sauce")

यहीं पर MAPO चतुर हो जाता है। यदि आप केवल "तत्काल फीडबैक" को सुनते हैं, तो रोबोट अभी अच्छी बातें कहने पर बहुत अधिक ध्यान केंद्रित कर सकता है लेकिन बड़े चित्र (big picture) को भूल सकता है। यदि आप केवल "दीर्घकालिक स्कोर" को सुनते हैं, तो आप भ्रमित हो सकते हैं क्योंकि फीडबैक बहुत अस्पष्ट है।

MAPO इन दोनों को एक परफेक्ट स्मूदी की तरह मिलाता है:

बैच नॉर्मलाइजेशन (Batch Normalization): यह पूरे समूह की बातचीत को देखता है कि "औसत" क्या है (जैसे अपनी टेस्ट स्कोर की तुलना पूरी कक्षा से करना)।
टर्न नॉर्मलाइजेशन (Turn Normalization): यह बातचीत के विशिष्ट क्षण को देखता है (जैसे अपने उत्तर की तुलना उस विशिष्ट प्रश्न की कठिनाई से करना)।

इन दोनों को मिलाकर, रोबोट को स्थिर प्रशिक्षण (stable training) मिलता है। यह अजीब रूप से उच्च या निम्न स्कोर देखने पर पागल नहीं होता (gradient explosion) और तेजी से सीखता है।

4. परिणाम: "अनजान" से "सहानुभूतिपूर्ण" तक

शोधकर्ताओं ने छोटे (7 बिलियन पैरामीटर्स) से लेकर बड़े (32 बिलियन पैरामीटर्स) रोबोट्स पर इसका परीक्षण किया।

MAPO से पहले: छोटे रोबोट भावनात्मक समर्थन देने में बहुत खराब थे। वे अक्सर गलत बात कहते थे, उपयोगकर्ता को और बुरा महसूस कराते थे, या बस हार मान लेते थे (0% सफलता दर)।
MAPO के बाद:
- छोटे रोबटेज अचानक सक्षम थेरेपिस्ट बन गए।
- बड़े रोबोट और भी बेहतर हो गए, उन्होंने बाजार के कुछ सबसे प्रसिद्ध AI मॉडल्स को भी पीछे छोड़ दिया।
- जादू: भले ही उन्हें केवल एक विशिष्ट प्रकार की भावनात्मक बातचीत पर प्रशिक्षित किया गया था, वे "सहानुभूति" में इतने अच्छे हो गए कि वे किसी भी भावनात्मक स्थिति को संभाल सकते थे, यहाँ तक कि उन स्थितियों को भी जिन्हें उन्होंने पहले नहीं देखा था।

सारांश

MAPO एक रोबोट को डुअल-लेंस कैमरा देने जैसा है:

एक लेंस पूरी कहानी देखने के लिए ज़ूम आउट करता है (दीर्घकालिक प्रभाव)।
दूसरा लेंस हर वाक्य के विवरण को देखने के लिए ज़ूम इन करता है (तत्काल फीडबैक)।

इन दोनों दृश्यों को जोड़कर, रोबोट एक सहायक, दीर्घकालिक श्रोता बनने के लिए सीखता है बिना भ्रमित हुए या क्रैश हुए। यह एक अराजक, कठिन प्रशिक्षण प्रक्रिया को एक स्थिर, अत्यधिक प्रभावी सीखने के अनुभव में बदल देता है, जिससे छोटे AI मॉडल भी भावनात्मक बुद्धिमत्ता के विशेषज्ञ की तरह कार्य करने लगते हैं।

यहाँ शोध पत्र "MAPO: Mixed Advantage Policy Optimization for Long-Horizon Multi-Turn Dialogue" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र विषयपरक (subjective), दीर्घ-क्षितिज (long-horizon) बहु-चरण संवाद कार्यों (जैसे, भावनात्मक समर्थन) में सुदृढीकरण शिक्षण (Reinforcement Learning - RL) को लागू करने की चुनौतियों को संबोधित करता है। मौजूदा पद्धतियाँ दो प्राथमिक बाधाओं का सामना करती हैं:

क्रेडिट असाइनमेंट विफलता (Credit Assignment Failure): मानक परिणाम-मात्र RL (जैसे GRPO) पूरी यात्रा (trajectory) को एक एकल पुरस्कार (reward) देता है। यह सीखने के संकेत को संकुचित कर देता है, जिससे एक लंबे संवाद के भीतर अच्छे और बुरे व्यक्तिगत चरणों के बीच अंतर करने में विफलता होती है।
अव्यवहार्य टर्न-स्तरीय नमूनाकरण (Infeasible Turn-Level Sampling): सहज टर्न-स्तरीय अनुकूलन के लिए एक ही अवस्था (state) से कई स्वतंत्र रोलआउट्स की आवश्यकता होती है ताकि लाभ (advantages) की गणना की जा सके। संवादात्मक संवाद में, प्रत्येक क्रिया भविष्य की अवस्था को बदल देती है (endogenous dynamics), जिससे अत्यधिक कम्प्यूटेशनल लागत के बिना स्वतंत्र रोलआउट करना असंभव हो जाता है।
क्रिटिक की सीमाएँ (Critic Limitations): मूल्य-आधारित पद्धतियाँ (जैसे PPO) भविष्य के मूल्यों का अनुमान लगाने के लिए सीखे गए क्रिटिक्स (critics) पर निर्भर करती हैं। हालाँकि, क्रिटिक्स अनुमान त्रुटियों (approximation errors) को पेश करते हैं जो लंबे क्षितिज पर बढ़ते जाते हैं, जिससे प्रशिक्षण अस्थिर हो जाता है।

2. कार्यप्रणाली: MAPO

लेखक MAPO (Mixed Advantage Policy Optimization) का प्रस्ताव करते हैं, जो एक क्रिटिक-मुक्त (critic-free) RL एल्गोरिदम है जिसे सघन प्रक्रिया फीडबैक (dense process feedback) का उपयोग करके संवाद यात्राओं को अनुकूलित करने के लिए डिज़ाइन किया गया है।

A. मुख्य ढांचा (Core Framework)

प्रक्रिया फीडबैक (Process Feedback): केवल अंतिम परिणाम की प्रतीक्षा करने के बजाय, MAPO एक "जज मॉडल" (Judge Model) का उपयोग करता है जो प्रतिक्रिया की तत्काल गुणवत्ता और उपयोगकर्ता की स्थिति पर इसके प्रभाव के आधार पर सघन, टर्न-स्तरीय पुरस्कार (process supervision) प्रदान करता है।
मोंटे कार्लो रिटर्न्स (Monte Carlo Returns): एल्गोरिदम पूरी बातचीत को एक मोंटे कार्लो नमूने के रूप में मानता है। यह एक विशिष्ट टर्न $t$ के लिए रिटर्न $R_t$ की गणना भविष्य के डिस्काउंटेड पुरस्कारों को जोड़कर करता है, जो उस टर्न के दीर्घ-क्षितिज प्रभाव को पकड़ता है।

B. मिश्रित लाभ अनुमानक (Mixed Advantage Estimator)

मुख्य नवाचार एक मिश्रित लाभ (Mixed Advantage) है जो स्थानीय फीडबैक और वैश्विक यात्रा निरंतरता को संतुलित करने के लिए दो सामान्यीकरण रणनीतियों को जोड़ता है:

टर्न-लेवल एडवांटेज ( $A_t$ ):
- यह बैच की यात्राओं के भीतर एक ही टर्न इंडेक्स के भीतर मोंटे कार्लो रिटर्न्स को सामान्य करता है।
- उद्देश्य: दीर्घ-क्षितिज प्रभावों और यात्रा-स्तरीय क्रेडिट असाइनमेंट को कैप्चर करना।
- प्रतिबंध: सांख्यिकीय निरंतरता सुनिश्चित करने के लिए इसे केवल टर्न $t \leq T_{min}$ (बैच में सबसे छोटी यात्रा की लंबाई) के लिए ही गणना किया जाता है।
बैच-लेवल एडवांटेज ( $A_b$ ):
- यह सभी टर्न और यात्राओं के पूरे बैच में तत्काल पुरस्कारों (immediate rewards) को सामान्य करता है।
- उद्देश्य: व्यक्तिगत प्रतिक्रिया की गुणवत्ता के लिए स्थिर, स्थानीयकृत फीडबैक प्रदान करना। यह देखा गया है कि संचयी रिटर्न की तुलना में तत्काल पुरस्कार टर्न के दौरान अधिक स्थिर होते हैं।
कॉन्वेक्स कॉम्बिनेशन (Convex Combination):
अंतिम लाभ एक भारित योग (weighted sum) है:
$A(a_t) = \alpha A_t(a_t) + \beta A_b(a_t)$
जहाँ $\alpha + \beta = 1$ । लेखक अनुभवजन्य रूप से पाते हैं कि $\alpha = \beta = 0.5$ इष्टतम है। यह संयोजन शुद्ध बैच-स्तरीय सामान्यीकरण (जो ग्रेडिएंट नॉर्म विस्फोट का कारण बनता है) से बचाता है और शुद्ध टर्न-स्तरीय सामान्यीकरण (जिसमें उच्च विचरण होता है) से बचते हुए संतुलन बनाता है।

C. पुरस्कार डिज़ाइन (इन्क्रीमेंटल डिस्टेंस रिवॉर्ड)

मानक दूरी-आधारित पुरस्कारों में "ऐतिहासिक निर्भरता" (historical dependency) पूर्वाग्रह (जहाँ एक अच्छा पिछला प्रदर्शन वर्तमान टर्न को छिपा देता है) को संबोधित करने के लिए, लेखक एक इन्क्रीमेंटल डिस्टेंस रिवॉर्ड (IDR) को परिभाषित करते हैं:

वातावरण उपयोगकर्ता की सहानुभूतिपूर्ण स्थिति को संज्ञानात्मक (Cognitive), भावात्मक (Affective), और सक्रिय (Proactive) सहानुभूति के रूप में एक 3D निर्देशांक $(x, y, z)$ के रूप में ट्रैक करता है।
पुरस्कार $r_t$ टर्न $t-1$ और $t$ के बीच मूल बिंदु (origin) से यूक्लिडियन दूरी में कमी है:
$r_t = \phi(x_{t-1}, y_{t-1}, z_{t-1}) - \phi(x_t, y_t, z_t)$
यह सुनिश्चित करता है कि मॉडल को विशेष रूप से वर्तमान टर्न में उपयोगकर्ता की स्थिति में सुधार करने के लिए पुरस्कृत किया जाए, चाहे शुरुआती स्थिति कुछ भी हो।

3. प्रमुख योगदान

क्रिटिक-मुक्त दीर्घ-क्षितिज अनुकूलन: MAPO किसी सीखे गए वैल्यू फंक्शन (क्रिटिक) या महंगे ट्री-आधारित रोलआउट की आवश्यकता को समाप्त करता है, जिससे यह लंबे संवादों के लिए स्केलेबल बन जाता है।
मिश्रित लाभ सामान्यीकरण: शोध पत्र पहचानता है कि केवल बैच-स्तरीय या टर्न-स्तरीय सामान्यीकरण का उपयोग करने से अस्थिरता या पूर्वाग्रह उत्पन्न होता है। प्रस्तावित मिश्रित अनुमानक स्थिर प्रशिक्षण और उच्च अभिसरण (convergence) पुरस्कार प्राप्त करता है।
अनुभवजन्य सत्यापन: इसे 7B से 32B तक के मॉडल स्केल पर EMPA (भावनात्मक समर्थन), EmoBench, और EQ-Bench बेंचमार्क पर सत्यापित किया गया है।
ओपन रिसोर्स: लेखक अनुसंधान को सुविधाजनक बनाने के लिए कोड, चेकपॉइंट्स और एनवायरनमेंट सिमुलेशन स्क्रिप्ट जारी करते हैं।

4. प्रयोगात्मक परिणाम

प्रयोगों से पता चलता है कि MAPO सभी मेट्रिक्स में बेसलाइन पद्धतियों (Base models और GRPO) से काफी बेहतर प्रदर्शन करता है:

प्रदर्शन लाभ:
- EMPA पर, MAPO ने 7B बेस मॉडल के लिए पास रेट में 9 अंक तक सुधार किया और डायलॉग स्कोर में +43.2 की वृद्धि की।
- Qwen3-32B पर, MAPO ने 84.3 का EMPA स्कोर प्राप्त किया, जो DeepSeek-V3.2 (78.4) से बेहतर है और Claude-3.5-sonnet (85.1) के करीब है।
- सामान्यीकरण (Generalization): केवल EMPA-शैली के डेटा पर प्रशिक्षण के बावजूद, MAPO ने अनदेखे बेंचमार्क पर निरंतर सुधार दिखाया: EmoBench पर +4.0 और EQ-Bench पर +3.5।
स्थिरता: एब्लेशन अध्ययन (Ablation studies) दिखाते हैं कि शुद्ध बैच-लेवल सामान्यीकरण ग्रेडिएंट नॉर्म विस्फोट का कारण बनता है, जबकि शुद्ध टर्न-लेवल सामान्यीकरण कम पुरस्कार देता है। मिश्रित लाभ (Mixed Advantage) सफलतापूर्वक प्रशिक्षण को स्थिर करता है (ग्रेडिएंट नॉर्म को < 2 रखते हुए) जबकि उच्चतम अभिसरण पुरस्कार प्राप्त करता है।
छोटे मॉडल की क्षमता: MAPO ने 7B/8B मॉडलों को उन कार्यों में गैर-शून्य सफलता दर प्राप्त करने में सक्षम बनाया जहाँ वे पहले पूरी तरह से विफल रहे थे (0% पास रेट), प्रभावी रूप से अंतर्निहित सहानुभूतिपूर्ण तर्क क्षमताओं को अनलॉक किया।

5. महत्व

यह कार्य विषयपरक, ओपन-एंडेड बहु-चरण संवाद के लिए एक स्केलेबल समाधान प्रदान करता है, एक ऐसा क्षेत्र जहाँ पारंपरिक RL विश्वसनीय प्रक्रिया पर्यवेक्षण की कमी और दीर्घ-क्षितिज क्रेडिट असाइनमेंट की जटिलता के कारण संघर्ष करता रहा है।

सैद्धांतिक प्रभाव: यह प्रदर्शित करता है कि सघन प्रक्रिया फीडबैक को मिश्रित-स्तर के सामान्यीकरण के साथ जोड़ने से दीर्घ-क्षितिज कार्यों के लिए सीखे गए क्रिटिक्स को प्रतिस्थापित किया जा सकता है, जो PPO के लिए एक अधिक स्थिर और कम्प्यूटेशनल रूप से कुशल विकल्प प्रदान करता है।
व्यावहारिक प्रभाव: यह भावनात्मक बुद्धिमत्ता में हल्के ओपन-सोर्स मॉडलों और अत्याधुनिक प्रोप्रायटरी (proprietary) मॉडलों के बीच के अंतर को पाटता है, जो यह सुझाव देता है कि एल्गोरिथम सुधार मॉडल पैरामीटर्स बढ़ाने जितने ही प्रभावशाली हो सकते हैं।
भविष्य की प्रयोज्यता: हालांकि यह संवाद पर केंद्रित है, यह ढांचा किसी भी एजेंटिक RL कार्य के लिए लागू किया जा सकता है जिसमें मध्यवर्ती प्रक्रिया पुरस्कारों की आवश्यकता होती है, जैसे कि टूल-यूज़ एजेंट या प्लानिंग एनवायरनमेंट।