💬 NLP

MaPPO: Maximum a Posteriori Preference Optimization with Prior Knowledge

यह शोध पत्र MaPPO को प्रस्तुत करता है, जो एक प्राथमिकता अनुकूलन (preference optimization) विधि है जो पूर्व रिवॉर्ड ज्ञान को मैक्सिमम अ पोस्टीरियर (Maximum a Posteriori) उद्देश्य में शामिल करके DPO जैसे मौजूदा दृष्टिकोणों का सामान्यीकरण करती है, जिससे बिना किसी हाइपरपैरामीटर को जोड़े या दक्षता से समझौता किए विभिन्न बेंचमार्क पर LLM संरेखण (alignment) में सुधार होता है।

मूल लेखक: Guangchen Lan, Sipeng Zhang, Tianle Wang, Yuwei Zhang, Daoan Zhang, Xinpeng Wei, Xiaoman Pan, Hongming Zhang, Dong-Jun Han, Christopher G. Brinton

प्रकाशित 2026-05-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Guangchen Lan, Sipeng Zhang, Tianle Wang, Yuwei Zhang, Daoan Zhang, Xinpeng Wei, Xiaoman Pan, Hongming Zhang, Dong-Jun Han, Christopher G. Brinton

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: एक AI को मददगार बनाना सिखाना

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन थोड़े भ्रमित रोबोट (एक लार्ज लैंग्वेज मॉडल) को कहानियाँ लिखने या सवालों के जवाब देने के लिए प्रशिक्षित कर रहे हैं। आप चाहते हैं कि वह एक मददगार इंसान की तरह व्यवहार करे।

लंबे समय तक, इसे करने का सबसे अच्छा तरीका RLHF (ह्यूमन फीडबैक से रिइन्फोर्समेंट लर्निंग) था। इसे एक खेल की तरह समझें जहाँ रोबोट दो उत्तर लिखता है, एक मानव जज बेहतर वाले को चुनता है, और रोबोट को विजेता के लिए "गोल्ड स्टार" और हारने वाले के लिए "टाइम-आउट" मिलता है। रोबोट विजेताओं को दोहराना और हारने वालों से बचना सीखता है।

हालाँकि, यह तरीका महंगा, धीमा है और कभी-कभी रोबोट को घबराया हुआ बना सकता है। यह गलती करने से बचने के लिए छोटे, उबाऊ या अजीब उत्तर लिखना शुरू कर सकता है, भले ही "गलत" उत्तर वास्तव में काफी अच्छा रहा हो।

समस्या: "बाइनरी ट्रैप" (द्वि-विकल्प का जाल)

यह पेपर तर्क देता है कि वर्तमान लोकप्रिय तरीका (जिसे DPO कहा जाता है) सीखने को एक सरल बाइनरी चॉइस (दो विकल्पों में से एक) की तरह मानता है: "यह अच्छा है, वह बुरा है।"

उपमा: कल्पना कीजिए कि एक छात्र गणित की परीक्षा दे रहा है।

प्रश्न: "2 + 2 क्या होता है?"
उत्तर A: "4" (सही)
उत्तर B: "4.0" (यह भी सही है, बस अलग तरह से लिखा गया है)

वर्तमान प्रणाली (DPO) में, शिक्षक इन दोनों उत्तरों को देखता है और कहता है, "ठीक है, A विजेता है, B हार गया।" शिक्षक फिर छात्र को यह मानने के लिए मजबूर करता है कि A पूरी तरह से सही है और B बहुत गलत है।

समस्या यह है कि दोनों उत्तर वास्तव में अच्छे हैं। छात्र को उत्तर B से नफरत करने के लिए मजबूर करके, शिक्षक अनजाने में छात्र का दोनों उत्तरों पर से विश्वास कम कर देता है। छात्र सोचने लगता है, "शायद 4 भी गलत है? शायद मुझे नंबर लिखना ही नहीं चाहिए?" इसे "स्क्वीजिंग इफेक्ट" (दबाव का प्रभाव) कहा जाता है। रोबोट "गलत" होने के डर से इतना डर जाता है कि वह "सही" होने के अपने आत्मविश्वास को खो देता है।

समाधान: MaPPO ("भीड़ की बुद्धिमत्ता" वाला दृष्टिकोण)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे MaPPO कहा जाता है। केवल विजेता और हारने वाले को देखने के बजाय, MaPPO पूछता है: "विजेता वास्तव में कितना अच्छा था? और हारने वाला वास्तव में कितना बुरा था?"

उपमा:
कल्प laइए कि आप एक कुकिंग कॉम्पिटिशन में जज हैं।

DPO (पुराना तरीका): आप दो सूप चखते हैं। सूप A स्वादिष्ट है। सूप B भी स्वादिष्ट है, बस थोड़ा कम नमकीन है। आप घोषणा करते हैं कि सूप A विजेता है और सूप B हार गया। आप शेफ्स से कहते हैं, "सूप B कचरा है! इसे फिर कभी मत बनाना!" शेफ्स भ्रमित हो जाते हैं क्योंकि सूप B का स्वाद बहुत अच्छा था।
MaPPO (नया तरीका): आप सूप चखते हैं। आप अनुभव से जानते हैं (आपका प्रायर नॉलेज/पूर्व ज्ञान) कि सूप A 9.5/10 है और सूप B 9.0/10 है। आप शेफ्स से कहते हैं: "सूप A अद्भुत है, लेकिन सूप B भी बहुत अच्छा है। सूप B की रेसिपी को सिर्फ इसलिए मत फेंक देना क्योंकि वह मामूली अंतर से हार गया।"

MaPPO एक "रिवॉर्ड मॉडल" (एक पूर्व-प्रशिक्षित AI जो एक विशेषज्ञ जज की तरह काम करता है) का उपयोग करता है ताकि दोनों उत्तरों को एक स्कोर दिया जा सके। फिर यह इन स्कोर का उपयोग प्रशिक्षण को समायोजित करने के लिए करता है। यदि "हारने वाला" वास्तव में एक उच्च-गुणवत्ता वाला उत्तर था, तो MaPPO रोबोट को बताता है: "इस उत्तर को इतनी कड़ी सजा न दें।"

यह कैसे काम करता है (जादुई ट्रिक)

"प्रायर" (पूर्व) ज्ञान: रोबोट के प्रशिक्षण शुरू करने से पहले ही, MaPPO उत्तरों को देखता है और पूछता है, "इस उत्तर के अच्छा होने की कितनी संभावना है?" यह सीखने के मार्गदर्शन के लिए एक मौजूदा स्कोर (जैसे प्रतिष्ठा स्कोर) का उपयोग करता है।
"कैलिब्रेशन" (अंशांकन): यदि "विजेता" और "हारने वाला" गुणवत्ता में बहुत करीब हैं (एक "निकट-टाई"), तो MaPPO रोबोट को धीरे से संकेत देता है। यह उन्हें एक बड़ा अंतर बनाने के लिए मजबूर नहीं करता है। यह कहता है, "आप दोनों बहुत अच्छा कर रहे हैं, बस जो कर रहे हैं उसे जारी रखें।"
कोई अतिरिक्त लागत नहीं: सबसे अच्छी बात? MaPPO के लिए रोब सहित कुछ भी नया सीखने या अतिरिक्त समय लेने की आवश्यकता नहीं है। यह एक ऐसी रेसिपी में नया मसाला डालने जैसा है जिसे आप पहले से जानते हैं। यह बिना किसी नए सेटिंग या अतिरिक्त कंप्यूटर के मौजूदा तरीकों (जैसे DPO, SimPO, IPO) में पूरी तरह फिट बैठता है।

परिणाम: क्या यह काम करता है?

लेखकों ने कई अलग-अलग रोबोट दिमागों (Llama, Mistral और Qwen जैसे मॉडल) और तीन प्रमुख "परीक्षाओं" (MT-Bench और Arena-Hard जैसे बेंचमार्क) पर इसका परीक्षण किया।

परिणाम: MaPPO के साथ प्रशिक्षित रोबोटों ने पुराने तरीकों से प्रशिक्षित रोबोटों की तुलना में लगातार उच्च स्कोर किया।
अनुभूति: रोबोट अधिक आत्मविश्वासी हो गए। वे गलतियों से बचने के लिए अजीब, छोटे उत्तर लिखना शुरू नहीं हुए। उन्होंने अपना उच्च-गुणवत्ता वाला स्टाइल बनाए रखा और साथ ही बेहतर उत्तरों को प्राथमिकता देना भी सीखा।
दक्षता: यह पुराने तरीकों जितना ही तेज़ और सस्ता था।

सारांश

MaPPO को एक स्मार्ट और दयालु शिक्षक के रूप में सोचें। केवल यह कहने के बजाय कि "तुम सही हो, तुम गलत हो," यह कहता है, "तुमने सही किया, और वह दूसरा उत्तर भी वास्तव में काफी अच्छा था। चलो इस आत्मविश्वास को बनाए रखते हैं।"

इस "प्रायर नॉलेज" का उपयोग करके रोबोट को शांत करने से, MaPPO AI मॉडल्स को अपना आत्मविश्वास खोए बिना या अस्थिर हुए बिना मानवीय प्राथमिकताओं के अनुरूप रहने में मदद करता है। यह एक सरल अपग्रेड है जो पूरी प्रशिक्षण प्रक्रिया को अधिक विश्वसनीय बनाता है।

तकनीकी सारांश: MaPPO (मैक्सिमम अ पोस्टीरियर प्रेफरेंस ऑप्टिमाइज़ेशन)

समस्या विवरण (Problem Statement)

यह शोध पत्र वर्तमान प्रेफरेंस ऑप्टिमाइज़ेशन (PO) विधियों, विशेष रूप से डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) और इसके वेरिएंट्स की मौलिक सीमाओं को संबोधित करता है, जिनका उपयोग लार्ज लैंग्वेज मॉडल्स (LLMs) को मानवीय प्राथमिकताओं के साथ संरेखित (align) करने के लिए किया जाता है। जबकि DPO सफलतापूर्वक प्रेफरेंस लर्निंग को मैक्सिमम लाइकलीहुड एस्टीमेशन (MLE) समस्या के रूप में पुनर्गठित करता है—जिससे जटिल सुदृढीकरण शिक्षण (reinforcement learning) रोलआउट्स की आवश्यकता समाप्त हो जाती है—यह एक गंभीर दोष पेश करता है: स्क्वीजिंग इफेक्ट (squeezing effect)।

चूंकि MLE-आधारित ऑब्जेक्टिव केवल पसंदीदा प्रतिक्रिया ( $y_w$ ) और अस्वीकृत प्रतिक्रिया ( $y_l$ ) के बीच सापेक्ष संभावना के अंतर (relative likelihood gap) को अधिकतम करने पर ध्यान केंद्रित करते हैं, इसलिए वे अक्सर पुरस्कारों के पूर्ण परिमाण (absolute magnitude of rewards) की अनदेखी करते हैं। अनुभवजन्य साक्ष्य बताते हैं कि जैसे-जैसे प्रशिक्षण आगे बढ़ता है, मॉडल अंतर को चौड़ा करने के लिए दोनों प्रतिक्रियाओं की संभावनाओं को कम करने (downscale) का प्रयास करता है, न कि उच्च गुणवत्ता वाली प्रतिक्रिया की संभावना को बढ़ाने का। इससे निम्नलिखित स्थितियाँ उत्पन्न होती हैं:

कॉन्फिडेंस डिजनरेशन (Confidence Degeneration): उच्च गुणवत्ता वाले आउटपुट की पूर्ण संभावना (absolute likelihood) में कमी।
अस्थिरता (Instability): विशेष रूप से "नियर-टाई" (near-tie) मामलों में जहाँ दोनों प्रतिक्रियाएँ उच्च गुणवत्ता वाली हैं लेकिन शैलीगत रूप से भिन्न हैं, MLE ऑब्जेक्टिव एक कृत्रिम अलगाव लागू करता है, जिससे आउटपुट स्पेस के उच्च-गुणवत्ता वाले क्षेत्र से संभाव्यता द्रव्यमान (probability mass) कम हो जाता है।
वैश्विक अंशांकन का अभाव (Lack of Global Calibration): प्रशिक्षण संकेत युग्म-वार तुलनाओं (pairwise comparisons) तक ही सीमित है और बाहरी पूर्व ज्ञान या पूर्ण पुरस्कार परिमाणों से जुड़ा हुआ नहीं है।

कार्यप्रणाली: MaPPO

लेखक मैक्सिमम अ पोस्टीरियर प्रेफरेंस ऑप्टिमाइज़ेशन (MaPPO) का प्रस्ताव करते हैं, जो DPO का एक सिद्धांतवादी विस्तार है जो अनुकूलन ऑब्जेक्टिव में डेटा-संचालित पूर्व पुरस्कार ज्ञान (prior reward knowledge) को एकीकृत करता है।

मुख्य सूत्र (Core Formulation)

MaPPO, मैक्सिमम लाइकलीहुड एस्टीमेशन (MLE) से मैक्सिमम अ पोस्टीरियर (MaP) एस्टीमेशन की ओर प्रतिमान (paradigm) को बदल देता है।

पूर्व ज्ञान का एकीकरण (Prior Knowledge Integration): यह विधि चुनी गई और अस्वीकृत प्रतिक्रियाओं के लिए पूर्व पुरस्कार अनुमानों ( $r_w$ और $r_l$ ) तक पहुँच मानती है, जो आमतौर पर एक प्री-ट्रेंड रिवॉर्ड मॉडल या एक ऑरेकल (oracle) से प्राप्त होते हैं।
MaP लॉस (The MaP Loss): मानक DPO लॉस को रिवॉर्ड गैप $\Delta r = r_w - r_l$ पर आधारित एक कैलिब्रेशन टर्म के साथ बढ़ाया गया है। व्युत्पन्न लॉस फंक्शन है:
$\mathcal{L}_{MaP}(\theta) = \mathbb{E}_{(y_w, y_l, x) \sim \mathcal{D}} \left[ -\log \sigma \left( \beta \log \frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \Delta r \cdot \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)} \right) \right]$
यहाँ, $\Delta r \in [0, 1]$ अस्वीकृत प्रतिक्रिया पद के लिए एक स्केलिंग फैक्टर के रूप में कार्य करता है।
तंत्र (Mechanism):
- जब रिवॉर्ड गैप बड़ा होता है (स्पष्ट प्राथमिकता), तो $\Delta r$ , 1 के करीब होता है, और MaPPO मानक DPO के समान व्यवहार करता है।
- जब रिवॉर्ड गैप छोटा होता है (नियर-टाई या दोनों उच्च-गुणवत्ता वाली प्रतिक्रियाएँ), तो $\Delta r$ छोटा होता है। यह अस्वीकृत प्रतिक्रिया ( $y_l$ ) पर दंड को कम करता है, जिससे मॉडल को इसकी संभावना को आक्रामक रूप से दबाने से रोका जा सके। यह स्क्वीजिंग इफेक्ट को कम करता है और उच्च-गुणवत्ता वाले आउटपुट के पूर्ण आत्मविश्वास (absolute confidence) को बनाए रखता है।

मुख्य गुण (Key Properties)

कोई नए हाइपरपैरामीटर नहीं: MaPPO में DPO में मौजूद हाइपरपैरामीटर्स के अलावा कोई अतिरिक्त हाइपरपैरामीटर नहीं है। $\Delta r$ को सीधे रिवॉर्ड मॉडल स्कोर से प्राप्त किया जाता है जिनका उपयोग प्रेफरेंस पेयर्स बनाने के लिए किया गया था।
अनुकूलता (Compatibility): इसे एक "ड्रॉप-इन" प्लगइन के रूप में डिज़ाइन किया गया है। यह मौजूदा DPO वेरिएंट्स (जैसे SimPO, IPO, CPO) में MLE घटक को निर्बाध रूप से बदल सकता है और ऑफलाइन (स्थिर डेटासेट) और ऑनलाइन/इटरेटिव (वर्तमान पॉलिसी से प्रतिक्रियाएं उत्पन्न करना) दोनों सेटिंग्स का समर्थन करता है।
सैद्धांतिक स्थिरता (Theoretical Stability): लेखक सैद्धांतिक विश्लेषण प्रदान करते हैं जो दिखाते हैं कि MaPPO का ग्रेडिएंट ऑपरेटर के लिए लिप्सचिट्ज़ स्थिरांक (Lipschitz constant) DPO की तुलना में कम है, जिसका अर्थ है अधिक स्थिर अपडेट और $y_w$ एवं $y_l$ के बीच एक सीमित लॉग-संभाव्यता अनुपात।

मुख्य योगदान (Key Contributions)

सिद्धांतवादी सामान्यीकरण (Principled Generalization): MaPPO, MLE के अत्यधिक सरलीकृत बाइनरी वर्गीकरण से आगे बढ़ते हुए, पूर्व पुरस्कार अनुमानों को एक मैक्सिमम अ पोस्टरियर ऑब्जेक्टिव में शामिल करके DPO का सामान्यीकरण करता है।
स्क्वीजिंग इफेक्ट का शमन (Mitigation of Squeezing Effect): रिवॉर्ड गैप के आधार पर अस्वीकृत प्रतिक्रिया को वेट (weight) देकर, MaPPO नियर-टाई पेयर्स के अत्यधिक दंड को रोकता है, जिससे बेहतर-कैलिब्रेटेड पॉलिसियाँ प्राप्त होती हैं।
बहुमुखी प्रतिभा (Versatility): यह विधि ऑफलाइन और ऑनलाइन दोनों प्रेफरेंस ऑप्टिमाइज़ेशन का समर्थन करती है और बिना किसी आर्किटेक्चरल परिवर्तन या अतिरिक्त ट्यूनिंग के SimPO, IPO, CPO, Iterative-DPO जैसे व्यापक स्पेक्ट्रम के DPO वेरिएंट्स के साथ संगत है।
अनुभवजन्य सत्यापन (Empirical Validation): विभिन्न मॉडल परिवारों (Llama-3, Qwen2.5, Mistral) और आकारों (1.5B से 32B) में व्यापक प्रयोग निरंतर सुधार प्रदर्शित करते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन मानक बेंचमार्क पर MaPPO का मूल्यांकन किया: MT-Bench, AlpacaEval 2.0, और Arena-Hard।

प्रदर्शन लाभ (Performance Gains):
- AlpacaEval 2.0 पर, MaPPO ने Mistral-7B-Instruct मॉडल की विन रेट (win rate) को 18.24% (DPO) से बढ़ाकर 30.56% (+12.32 पॉइंट्स) कर दिया।
- Arena-Hard पर, उसी मॉडल ने 14.2% से 18.4% (+4.2 पॉइंट्स) का सुधार किया।
- Qwen2.5-7B-Instruct मॉडल के लिए, MaPPO ने AlpacaEval 2.0 पर DPO से +6.23 और Arena-Hard पर +13.7 का सुधार किया।
सामान्यीकरण (Generalization): सुधार विभिन्न मॉडल आकारों और श्रृंखलाओं में सुसंगत थे। विशेष रूप रूप से, MaPPO ने छोटे मॉडल्स को एलाइनमेंट कार्यों में बड़े बेस मॉडल्स से बेहतर प्रदर्शन करने में सक्षम बनाया।
अनुकूलता (Compatibility): SimPO, IPO, और CPO जैसे वेरिएंट्स पर लागू होने पर, MaPPO ने बिना किसी अतिरिक्त कम्प्यूटेशनल लागत या हाइपरपैरामीटर ट्यूनिंग के लगातार लाभ दिए (जैसे, SimPO के लिए AlpacaEval पर +7.60)।
मजबूती (Robustness): विभिन्न रिवॉर्ड मॉडल्स (कम गुणवत्ता वाले मॉडल्स सहित) का उपयोग करते हुए एब्लेशन अध्ययन (ablation studies) ने दिखाया कि MaPPO ने बेसलाइन्स को लगातार पछाड़ दिया, जो पूर्व संकेतों (prior signals) में विविधताओं के प्रति इसकी मजबूती को दर्शाता है।
अकादमिक बेंचमार्क (Academic Benchmarks): पद्धति ने अकादमिक बेंचमार्क (IFEval, GPQA, MMLU, GSM8K) पर प्रदर्शन को बनाए रखा या सुधारा, जो बताता है कि यह सामान्य क्षमताओं पर महत्वपूर्ण "एलाइनमेंट टैक्स" (alignment tax) नहीं लगाता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि MaPPO, MLE-आधारित प्रेफरेंस ऑप्टिमाइज़ेशन में निहित कॉन्फिडेंस डिजनरेशन समस्या का एक सरल लेकिन सिद्धांतवादी समाधान प्रदान करता है। पूर्व पुरस्कार ज्ञान को स्पष्ट रूप से शामिल करके, MaPPO एक अधिक कैलिब्रेटेड प्रशिक्षण संकेत प्रदान करता है जो केवल उनके सापेक्ष क्रम (relative ordering) के बजाय प्रतिक्रियाओं की पूर्ण गुणवत्ता का सम्मान करता है।

लेखक इस बात पर जोर देते हैं कि MaPPO कम्प्यूटेशनल दक्षता का त्याग किए बिना इन सुधारों को प्राप्त करता है। यह DPO की क्लोज्ड-फॉर्म, वन-स्टेप ऑप्टिमाइज़ेशन संरचना को बनाए रखता है, जिसमें एलाइनमेंट चरण के दौरान किसी अतिरिक्त रोलआउट, वैल्यू फंक्शन, या रिवॉर्ड मॉडल प्रशिक्षण की आवश्यकता नहीं होती है। यह कार्य MaPPO को RLHF पाइपलाइनों के विकल्प के रूप में नहीं, बल्कि एक मजबूत, सामान्य संवर्धन रणनीति के रूप में स्थापित करता है जिसे अधिक विश्वसनीय और स्थिर एलाइन्ड मॉडल बनाने के लिए मौजूदा प्रेफरेंस ट्रेनिंग पाइपलाइनों में एकीकृत किया जा सकता है।