🤖 AI

Beyond Mode Collapse: Distribution Matching for Diverse Reasoning

यह शोध पत्र DMPO को प्रस्तुत करता है, जो एक वितरण-मिलान नीति अनुकूलन (distribution-matching policy optimization) विधि है जो नीति को रिवॉर्ड-अनुपातिक लक्ष्य वितरण के साथ संरेखित करके ऑन-पॉलिसी सुदृढीकरण शिक्षण (on-policy reinforcement learning) में मोड कोलैप्स (mode collapse) को कम करती है, जिससे अन्वेषण (exploration) बना रहता है और NP-हार्ड ऑप्टिमाइज़ेशन और गणितीय तर्क जैसे विविध तर्क कार्यों में प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Xiaozhe Li, Yang Li, Xinyu Fang, Shengyuan Ding, Peiji Li, Yongkang Chen, Yichuan Ma, Tianyi Lyu, Linyang Li, Dahua Lin, Qipeng Guo, Qingwen Liu, Kai Chen

प्रकाशित 2026-05-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiaozhe Li, Yang Li, Xinyu Fang, Shengyuan Ding, Peiji Li, Yongkang Chen, Yichuan Ma, Tianyi Lyu, Linyang Li, Dahua Lin, Qipeng Guo, Qingwen Liu, Kai Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Beyond Mode Collapse: Distribution Matching for Diverse Reasoning" का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ स्पष्टीकरण दिया गया है।

बड़ी समस्या: "एक ही सुर वाला" जीनियस (The "One-Note" Genius)

कल्पना कीजिए कि आप एक छात्र (AI) को एक जटिल पहेली हल करना सिखा रहे हैं, जैसे कि 20 अलग-अलग शहरों की यात्रा करने के लिए सबसे छोटा रास्ता खोजना (एक क्लासिक गणितीय समस्या)।

अतीत में, जब हमने इन AI छात्रों को मानक तरीकों (जैसे GRPO) का उपयोग करके प्रशिक्षित किया, तो वे अक्सर "मोड कोलैप्स" (Mode Collapse) नामक एक जाल में फंस जाते थे।

यह इस प्रकार होता है:

छात्र कई अलग-अलग रास्ते आज़माता है।
शुद्ध भाग्य से, उसे एक ऐसा रास्ता मिल जाता है जो "काफी अच्छा" है और उसे उच्च स्कोर मिलता है।
शिक्षक कहता है, "बहुत बढ़िया! बस यही दोबारा करो!"
छात्र कुछ भी नया करने से डरने लगता है। वह अन्वेषण (exploring) करना बंद कर देता है। उसे एहसास होता है, "अगर मैं इसी एक रास्ते पर टिका रहता हूँ, तो मुझे इनाम मिलेगा। अगर मैं कुछ नया आज़माता हूँ, तो मैं असफल हो सकता हूँ।"
परिणाम: छात्र रचनात्मक होना बंद कर देता है। वह केवल उस एक "काफी अच्छे" रास्ते को ही बार-बार दोहराता है, भले ही कोई "सर्वश्रेष्ठ" रास्ता मौजूद हो। उसने सीखना छोड़ दिया है और केवल दोहराना शुरू कर दिया है।

शोध पत्र का तर्क है कि ऐसा इसलिए होता है क्योंकि AI द्वारा उपयोग किया जाने वाला गणित (जिसे Reverse KL कहा जाता है) स्वाभाविक रूप से "लालची" (greedy) है। इसे केवल पहले मिले अच्छे उत्तर की परवाह होती है और यह बाकी सब कुछ अनदेखा कर देता है।

समाधान: "समूह का वोट" (The "Group Vote" - DMPO)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे DMPO (डिस्ट्रीब्यूशन-मैचिंग पॉलिसी ऑप्टिमाइज़ेशन) कहा जाता है। केवल अब तक मिले सबसे अच्छे उत्तर को पुरस्कृत करने के बजाय, DMPO खेल के नियमों को बदल देता है ताकि छात्र जिज्ञासु बना रहे।

उपमा: टैलेंट शो बनाम एकल प्रदर्शन (The Talent Show vs. The Solo Act)

पुराना तरीका (GRPO): कल्पना कीजिए कि एक टैलेंट शो है जहाँ जज केवल उस एक व्यक्ति को पुरस्कार देते हैं जो सबसे ज़ोर से गाता है। एक बार वह व्यक्ति मिल जाने के बाद, जज बाकी सभी को सुनना बंद कर देते हैं। अन्य गायक घर चले जाते हैं, और शो उबाऊ हो जाता है।
नया तरीका (DMPO): कल्पना कीजिए कि जज एक साथ गायकों के पूरे समूह को देखते हैं। वे कहते हैं, "ठीक है, हमारे पास 8 गायक हैं। आइए हम उन सभी को अंक दें, लेकिन बेहतर गायकों को अधिक अंक और ठीक-ठाक गायकों को कम अंक दें। महत्वपूर्ण बात यह है कि जब तक वे बहुत खराब न हों, किसी को भी शून्य अंक नहीं मिलेंगे।"

ऐसा करके, AI को विभिन्न अच्छे समाधानों का एक "पोर्टफोलियो" बनाए रखने के लिए प्रोत्साहित किया जाता है। यह सीखता है कि केवल एक सही उत्तर नहीं होता, बल्कि समस्या को हल करने के कई अलग-अलग तरीके होते हैं, और उसे उन सभी को तलाशते रहना चाहिए।

उन्होंने इसका परीक्षण कैसे किया: "NP-Bench" प्लेग्राउंड

इसे सिद्ध करने के लिए, शोधकर्ताओं ने एक विशेष परीक्षण मैदान बनाया जिसे MM-NP-Bench कहा जाता है।

इसे 10 अलग-अलग प्रकार के कठिन बाधा कोर्स (जैसे पहेलियाँ, ग्राफ कलरिंग और पाथफाइंडिंग) वाले एक जिम के रूप में समझें।

टेक्स्ट वर्शन: बाधाओं का वर्णन शब्दों में किया गया है।
विजुअल वर्शन: बाधाओं को चित्रों (ग्राफ, मानचित्र, आकृतियों) के रूप में दिखाया गया है।

उन्होंने यह देखने के लिए इनका उपयोग किया कि क्या AI सबसे अच्छा समाधान खोज सकता है या केवल एक "काफी अच्छा" समाधान। उन्होंने दो चीजें मापीं:

सफलता दर (Success Rate): क्या AI बिना दुर्घटना के कोर्स पूरा कर पाया? (क्या उसने नियमों का पालन किया?)
गुणवत्ता अनुपात (Quality Ratio): अंतिम समय (finish time) परफेक्ट रिकॉर्ड के कितने करीब था? (क्या उसने अनुकूलन/optimize किया?)

परिणाम:
पुराना AI (GRPO) नियमों का पालन करने में अच्छा था (उच्च सफलता दर) लेकिन अक्सर औसत दर्जे के समाधानों पर अटक जाता था (कम गुणवत्ता अनुपात)। यह एक ऐसे धावक की तरह था जो दौड़ पूरी तो करता है लेकिन गोल-गोल घूमता रहता है।
नया AI (DMPO) न केवल नियमों का पालन करता है बल्कि बहुत तेज़ और बेहतर रास्ते भी खोजता है। इसने पुराने तरीके की तुलना में समाधानों की गुणवत्ता में 9% से 12% तक सुधार किया।

यह क्यों मायने रखता है (शोध पत्र के अनुसार)

शोध पत्र का दावा है कि AI को अपने मन में समाधानों का एक "विविध" (diverse) सेट रखने के लिए मजबूर करके, यह सामान्य रूप से बेहतर तर्क करने में सक्षम हो जाता है।

गणित: यह गणित की समस्याओं को हल करने में बेहतर हो गया क्योंकि यह पहले मिले समाधान पर अटकने के बजाय विभिन्न प्रमाण रणनीतियों (proof strategies) को खोजने में सक्षम था।
आउट ऑफ द बॉक्स: उन कार्यों पर परीक्षण किए जाने के बावजूद जिन पर इसे विशेष रूप से प्रशिक्षित नहीं किया गया था (जैसे सामान्य तर्क पहेलियाँ), इसने बेहतर प्रदर्शन किया।

सारांश

शोध पत्र कहता है: "अपने AI को बहुत जल्दी केवल एक 'विजेता' चुनने के लिए मजबूर करना बंद करें। इसके बजाय, एक 'समूह वोट' प्रणाली का उपयोग करें जो विविध अच्छे समाधानों को पुरस्कृत करती है। यह AI को आलसी होने और एक ही उत्तर पर अटक जाने से रोकता है, जिससे अधिक स्मार्ट, अधिक रचनात्मक और अधिक मजबूत तर्क क्षमता आती है।"

मुख्य निष्कर्ष: विविधता केवल एक अच्छी चीज़ नहीं है; यह केवल पहला समाधान खोजने के बजाय सर्वश्रेष्ठ समाधान खोजने का गुप्त मंत्र है।

तकनीकी सारांश: मोड कोलैप्स से परे: विविध तर्क के लिए वितरण मिलान (Distribution Matching)

1. समस्या विवरण

यह शोध पत्र ऑन-पॉलिसी सुदृढीकरण शिक्षण (Reinforcement Learning - RL) विधियों में एक मौलिक सीमा के रूप में मोड कोलैप्स (mode collapse) की पहचान करता है, विशेष रूप से उन विधियों में जिनका उपयोग वेरीफिएबल रिवॉर्ड्स के माध्यम से लार्ज रीजनिंग मॉडल्स (LRMs) को प्रशिक्षित करने के लिए किया जाता है। जबकि ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) जैसी विधियों ने गणितीय समस्या समाधान और कोड जनरेशन में सफलता प्राप्त की है, वे एक बार उच्च-पुरस्कार वाले प्रक्षेपवक्र (trajectory) की खोज होने के बाद उस पर एकल संभाव्यता द्रव्यमान (probability mass) केंद्रित करने की प्रवृत्ति प्रदर्शित करती हैं। यह व्यवहार वैकल्पिक समाधान रणनीतियों को दबा देता है, अन्वेषण (exploration) को रोकता है, और ऐसे भंगुर तर्क (brittle reasoning) की ओर ले जाता है जो सामान्यीकरण (generalize) करने में विफल रहता है।

लेखक तर्क देते हैं कि यह घटना केवल एक कार्यान्वयन संबंधी त्रुटि नहीं है, बल्कि अनुकूलन उद्देश्य (optimization objective) का सीधा परिणाम है: मानक ऑन-पॉलिसी RL स्वाभाविक रूप से रिवर्स कुलबैक-लीब्लर (KL) डाइवर्जेंस ( $D_{KL}(\pi_\theta \| p^*)$ ) को कम करता है। रिवर्स KL स्वभावतः "मोड-सीकिंग" (mode-seeking) है, जो कई विविध उच्च-पुरस्कार समाधानों के ऊपर एक वितरण बनाए रखने के बजाय पहले मिले सफल प्रक्षेपवक्र को बढ़ा देती है। इसके विपरीत, फॉरवर्ड KL डाइवर्जेंस ( $D_{KL}(p^* \| \pi_\theta)$ ) "मोड-कवरिंग" (mode-covering) व्यवहार प्रदर्शित करता है, जो नीति को लक्ष्य वितरण के पूर्ण सपोर्ट से मेल खाने के लिए प्रोत्साहित करता है, लेकिन यह आमतौर पर अव्यवहार्य (intractable) होता है क्योंकि इसके लिए वैश्विक रिवॉर्ड-वेटेड वितरण से नमूना लेने की आवश्यकता होती है।

2. कार्यप्रणाली: DMPO

मोड कोलैप्स को संबोधित करने के लिए, जो वैश्विक सैंपलिंग की आवश्यकता के बिना संभव हो, लेखक डिस्ट्रीब्यूशन-मैचिंग पॉलिसी ऑप्टिमाइजेशन (DMPO) का प्रस्ताव करते हैं।

मुख्य अंतर्दृष्टि

DMPO, वैश्विक स्तर पर नहीं, बल्कि ग्रुप स्तर पर फॉरवर्ड KL मिनिमाइजेशन का अनुमान लगाता है। एक विशिष्ट प्रॉम्प्ट के लिए नमूनों के एक समूह से प्राप्त प्रक्षेपवक्यों के लिए एक लक्ष्य वितरण बनाने के बजाय, यह एल्गोरिदम एक लक्षित वितरण का निर्माण करता है।

एल्गोरिदम संरचना

ग्रुप-स्तरीय लक्ष्य वितरण: वर्तमान नीति $\pi_{\theta_{old}}$ से लिए गए $G$ प्रक्षेपवक्यों के एक समूह $\mathcal{O} = \{o_1, \dots, o_G\}$ के लिए, एक लक्ष्य वितरण $p(o_i | \mathcal{O})$ उनके रिवॉर्ड के एक्सपोनेंशियल के समानुपाती (एक बोल्ट्ज़मैन वितरण) बनाया जाता है:
$p(o_i | \mathcal{O}) = \frac{\exp(r(o_i)/\alpha)}{\sum_{j=1}^G \exp(r(o_j)/\alpha)}$
यह गणनात्मक रूप से व्यवहार्य है क्योंकि इसके लिए केवल ग्रुप-स्तरीय पार्टीशन फंक्शन की आवश्यकता होती है।
ग्रुप-स्तरीय पॉलिसी वितरण: नीति को इस लक्ष्य के साथ संरेखित करने के लिए, विधि प्रक्षेपवक्र लंबाई पूर्वाग्रह (length bias) को ध्यान में रखते हुए लेंथ-नॉर्मलाइज्ड लॉग-लाइक्लीहुड के आधार पर एक पॉलिसी वितरण $q_\theta(o_i | \mathcal{O})$ को परिभाषित करती है:
$q_\theta(o_i | \mathcal{O}) = \frac{\exp(\varphi(o_i))}{\sum_{j=1}^G \exp(\varphi(o_j))}$
जहाँ $\varphi(o_i)$ प्रति टोकन औसत लॉग-संभाव्यता है।
डिस्ट्रीब्यूशन-मैचिंग लॉस: नीति को $q_\theta$ और $p$ के बीच डाइवर्जेंस को कम करके लक्ष्य के साथ संरेखित किया जाता है। लेखक संख्यात्मक स्थिरता के लिए KL डाइवर्जेंस के स्थान पर मीन स्क्वेर्ड एरर (MSE) का उपयोग करते हैं, ताकि जब पॉलिसी की संभाव्यता शून्य के करीब पहुँच जाए तो ग्रेडिएंट विस्फोट (gradient explosion) को रोका जा सके:
$\mathcal{L}_{DM}(\theta) = \frac{1}{G} \sum_{i=1}^G (p(o_i | \mathcal{O}) - q_\theta(o_i | \mathcal{O}))^2$
एकीकृत उद्देश्य (Unified Objective): अंतिम उद्देश्य GRPO रिवॉर्ड मैक्सिमाइजेशन टर्म के साथ डिस्ट्रीब्यूशन-मैचिंग रेगुलराइजेशन को जोड़ता है:
$\mathcal{L}_{DMPO}(\theta) = \mathcal{L}_{GRPO}(\theta) + \lambda \mathcal{L}_{DM}(\theta)$
यहाँ, $\mathcal{L}_{GRPO}$ शोषण (exploitation/रिवॉर्ड मैक्सिमाइजेशन) को संचालित करता है, जबकि $\mathcal{L}_{DM}$ उच्च-रिवॉर्ड क्षेत्र के भीतर एकल मोड में पॉलिसी को ढहने से रोककर अन्वेषण (exploration) को लागू करता है।

3. प्रमुख योगदान

A. DMPO एल्गोरिदम

शोध पत्र मोड कोलैप्स के एक सिद्धांतपूर्ण और व्यावहारिक समाधान के रूप में DMPO को प्रस्तुत करता है। ग्रुप स्तर पर फॉरवर्ड KL का अनुमान लगाकर, यह किसी सीखे गए पार्टीशन फंक्शन या वैश्विक सैंपलिंग की आवश्यकता के बिना मोड-कवरिंग व्यवहार प्राप्त करता है। यह विधि मौजूदा GRPO फ्रेमवर्क के साथ संगत है, जिसमें केवल एक एकल रेगुलराइजेशन टर्म जोड़ने की आवश्यकता होती है।

B. MM-NP-Bench

लेखक MM-NP-Bench पेश करते हैं, जो रीजनिंग मॉडल्स में अन्वेषण का मूल्यांकन करने के लिए डिज़ाइन किया गया एक मल्टीमॉडल बेंचमार्क है।

दायरा: यह 10 NP-हार्ड कॉम्बिनेटरियल ऑप्टिमाइजेशन कार्यों (जैसे TSP, ग्राफ कलरिंग, वर्टेक्स कवर) के दृश्य निरूपणों को शामिल करने के लिए टेक्स्ट-आधारित NP-Bench का विस्तार करता है।
दोहरा-मीट्रिक मूल्यांकन: मोड कोलैप्स को मापने योग्य बनाने के लिए, बेंचमार्क दो मेट्रिक्स का उपयोग करता है:
- सफलता दर (Success Rate - SR): बाधा संतुष्टि (feasibility) को मापता है।
- क्वालिटी रेश्यो (Quality Ratio - QR): एक ह्यूरिस्टिक बेसलाइन के सापेक्ष अनुकूलन गुणवत्ता को मापता है।
- महत्व: मोड कोलैप्स उच्च SR लेकिन निम्न QR के रूप में प्रकट होता है (वैध लेकिन उप-इष्टतम समाधान खोजना)।
इंफ्रास्ट्रक्चर: निकट-इष्टतम बेसलाइन प्रदान करने के लिए पैरामीट्रिक जनरेटर, नियम-आधारित वेरिफायर और ह्यूरिस्टिक सॉल्वर शामिल हैं।

C. अनुभवजन्य सत्यापन (Empirical Validation)

शोध पत्र व्यापक प्रयोग प्रस्तुत करता है जो दर्शाता है कि DMPO कई डोमेन में मजबूत बेसलाइन (GRPO, GSPO, GPG, FlowRL, आदि) को पछाड़ देता है।

4. परिणाम

अनुकूलन कार्यों पर प्रदर्शन

MM-NP-Bench (मल्टीमॉडल): DMPO ने 43.1% क्वालिटी रेश्यो प्राप्त किया, जो GRPO (38.4%) पर 12% सापेक्ष सुधार है। इसने उच्चतम सफलता दर (61.9% बनाम 55.7%) भी प्राप्त की।
NP-Bench (केवल टेक्स्ट): DMPO ने 43.9% क्वालिटी रेश्यो प्राप्त किया, जो GRPO (40.1%) पर 9% सापेक्ष सुधार है।
एब्लेशन (Ablation): विधि ने हाइपरपैरामीटर विकल्पों ( $\lambda \in [0.3, 0.7]$ और $\alpha \in [0.8, 1.2]$ ) के प्रति मजबूती दिखाई।

सामान्यीकरण और स्थानांतरण (Generalization and Transfer)

गणितीय तर्क (Mathematical Reasoning): DMPO के साथ ऑप्टिमाइजेशन कार्यों पर प्रशिक्षण ने गणितीय तर्क बेंचमार्क (AIME, AMC, आदि) पर GRPO की तुलना में प्रदर्शन में 2.0% का सुधार किया।
आउट-ऑफ-डोमेन कार्य: DMPO ने आउट-ऑफ-डोमेन विजुअल रीजनिंग बेंचमार्क (LogicVista, MathVista, आदि) पर 2.3% का सुधार प्रदर्शित किया, जो सुझाव देता है कि विविधता-संरक्षण प्रशिक्षण सामान्य तर्क क्षमताओं को बढ़ाता है।

प्रशिक्षण गतिशीलता (Training Dynamics)

प्रशिक्षण लॉग के विश्लेषण से पता चला कि जहाँ GRPO "लेंथ कोलैप्स" (लघु, तुच्छ प्रतिक्रियाओं में पतन) और समयपूर्व रिवॉर्ड प्लेट्यू से ग्रस्त होता है, वहीं DMPO निरंतर सुधार बनाए रखता है और मजबूत तर्क श्रृंखलाओं (~400 टोकन) को संरक्षित करता है। DMPO, GRPO की तुलना में कम एंट्रॉपी बनाए रखता है, जो "स्ट्रक्चर्ड डाइवर्सिटी" (विभिन्न तार्किक रणनीतियों के आत्मविश्वासी निष्पादन) को दर्शाता है, न कि स्टोकेस्टिक कन्फ्यूजन को।

5. महत्व और दावे

शोध पत्र का दावा है कि वह मोड कोलैप्स को रोकने के लिए एक व्यावहारिक और सिद्धांतपूर्ण दृष्टिकोण के रूप में डिस्ट्रीब्यूशन मैचिंग को स्थापित करता है। लेखक तर्क देते हैं कि:

मूल कारण की पहचान: RLVR में मोड कोलैप्स मौलिक रूप से रिवर्स KL मिनिमाइजेशन की मोड-सीकिंग प्रकृति के कारण होता है।
व्यवहार्य समाधान: फॉरवर्ड KL मिनिमाइजेशन, जिसे पारंपरिक रूप से अव्यवहार्य माना जाता था, समाधान विविधता को बनाए रखने के लिए ग्रुप स्तर पर प्रभावी ढंग से अनुमानित किया जा सकता है।
सामान्य लाभ: विशिष्ट अनुकूलन कार्यों पर प्रशिक्षण के दौरान विविधता को संरक्षित करना बेहतर सामान्य तर्क क्षमताओं में स्थानांतरित होता है, जो यह सुझाव देता है कि अन्वेषण (exploration) लार्ज रीजनिंग मॉडल्स में मजबूत तर्क के लिए एक महत्वपूर्ण घटक है।

यह कार्य DMPO को केवल एक विविधता रेगुलराइज़र के रूप में नहीं, बल्कि एक ऐसी प्रक्रिया के रूप में स्थापित करता है जो उच्च-गुणवत्ता वाले समाधानों की खोज को सक्षम बनाती है जिन्हें मोड-सीकिंग उद्देश्य मिस कर देते हैं, जिससे अनुकूलन प्रदर्शन और विभिन्न माध्यमों (modalities) में तर्क की मजबूती बढ़ती है।