🤖 AI

MARS: Margin-Adversarial Risk-controlled Stopping for Parallel LLM Test-time Scaling

यह शोध पत्र MARS को प्रस्तुत करता है, जो एक मार्जिन-एडवर्सरियल स्टॉपिंग रूल (margin-adversarial stopping rule) है जो समानांतर LLM रीजनिंग ट्रेसेस को तब गतिशील रूप से रोकता है जब अग्रणी उत्तर सांख्यिकीय रूप से स्थिर रहने की गारंटी देता है, जिससे पूर्ण-बजट अनुमान (full-budget inference) की तुलना में सटीकता से समझौता किए बिना कम्प्यूटेशनल लागत में 25-47% की कमी आती है।

मूल लेखक: Wenbo Chen, Puheng Li, Mengyang Liu, Weijie Su, Tianpei Xie

प्रकाशित 2026-06-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenbo Chen, Puheng Li, Mengyang Liu, Weijie Su, Tianpei Xie

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही कठिन गणित की समस्या को हल करने की कोशिश कर रहे हैं। इसके बजाय कि एक व्यक्ति को इसे सोचने के लिए कहा जाए, आप एक साथ काम करने के लिए 512 अलग-अलग लोगों (या AI "ट्रेस") को काम पर रखते हैं। इसे पैरेलल टेस्ट-टाइम स्केलिंग (parallel test-time scaling) कहा जाता है।

आमतौर पर, आपको सभी 512 लोगों के पूरा निबंध लिखने का इंतज़ार करना पड़ता है, इससे पहले कि आप वोटों की गिनती कर सकें और देख सकें कि सही उत्तर क्या है। इसमें बहुत समय और पैसा (कंप्यूटिंग पावर) लगता है, भले ही कई सवालों में, विजेता बहुत पहले ही स्पष्ट हो जाता है।

यह पेपर एक नई विधि पेश करता है जिसे MARS (मार्जिन-एडवर्सरियल रिस्क-कंट्रोल्ड स्टॉपिंग - Margin-Adversarial Risk-controlled Stopping) कहा जाता है। MARS को एक स्मार्ट रेफरी के रूप में सोचें जो लेखकों के ड्राफ्ट (drafts) को बीच में ही देख सकता है और यह तय कर सकता है कि गलत विजेता का जोखिम उठाए बिना दौड़ को जल्दी कैसे रोका जाए।

यह इस प्रकार काम करता है, सरल उपमाओं (analogies) का उपयोग करते हुए:

1. समस्या: "फॉल्स कंसेंसस" (False Consensus) का जाल

एक ऐसी दौड़ की कल्पना करें जहाँ 89% धावक वर्तमान में लाल शर्ट पहने हुए हैं (एक गलत उत्तर) और केवल 11% नीली शर्ट पहने हुए हैं (सही उत्तर)।

पुराना तरीका (कंसेंसस स्टॉपिंग): एक नासमझ रेफरी देखता है कि रेड टीम बहुत बड़े अंतर से जीत रही है और कहता है, "ठीक है, रेड टीम स्पष्ट रूप से जीत रही है, चलो दौड़ को यहीं रोक देते हैं!" लेकिन बाद में, ब्लू टीम के सदस्य अपनी रणनीति बेहतर कर लेते हैं, नीली शर्ट पहन लेते हैं और रेड टीम को पीछे छोड़ देते हैं। रेफरी ने बहुत जल्दी दौड़ रोक दी और गलत विजेता चुन लिया।
पेपर का अवलोकन: सिर्फ इसलिए कि कोई टीम अभी जीत रही है, इसका मतलब यह नहीं है कि वह सुरक्षित है। हमें यह जानने की ज़रूरत है कि क्या हारने वाली टीम के पास आगे बढ़ने के लिए पर्याप्त "ईंधन" बचा है।

2. MARS समाधान: "सेफ्टी मार्जिन" (Safety Margin) की जाँच

MARS एक सतर्क रेफरी की तरह कार्य करता है जो केवल वर्तमान स्कोर को नहीं देखता, बल्कि भविष्य के लिए सबसे खराब स्थिति (worst-case scenario) की गणना करता है।

नियमित अंतराल (चेकपॉइंट्स) पर, रेफरी धावकों को रुकने के लिए कहता है और पूछता है, "आपका वर्तमान उत्तर क्या है?" (इसे प्रोबिंग/probing कहा जाता है)। फिर MARS दो चीजें करता है:

चरण A: बदलावों की भविष्यवाणी करना (कौन):
MARS प्रत्येक धावक के इतिहास को देखता है। क्या उन्होंने पहले भी अपना विचार बदला है? क्या वे आत्मविश्वासी हैं? इसके आधार पर, यह अनुमान लगाता है कि किसी विशिष्ट धावक द्वारा बाद में अपना उत्तर बदलने की संभावना (probability) कितनी है।
- उपमा: यह एक कोच की तरह है जो धावक के पसीने और सांस लेने के तरीके को देखकर अंदाजा लगाता है कि, "यह धावक छोड़ने या अपना विचार बदलने की संभावना रखता है," बनाम "यह धावक स्थिर है।"
चरण B: एडवर्सरियल सेफ्टी नेट (कितना बुरा):
MARS एक डरावना सवाल पूछता है: "हारने वाली टीम के साथ सबसे बुरा क्या हो सकता है?" यह मान लेता है कि यदि कोई धावक अपना विचार बदलता है, तो वे जीतने के लिए सबसे मजबूत प्रतिद्वंद्वी टीम की ओर जा सकते हैं।
- उपमा: कल्पना करें कि रेफरी गणना करता है: "रेड टीम 100 अंकों से आगे है। लेकिन, यदि अनिश्चित धावकों में से 50 ब्लू टीम में स्विच कर जाते हैं, और रेड टीम के 20 सदस्य भी ब्लू टीम में चले जाते हैं, तो ब्लू टीम जीत सकती है।"
- MARS दौड़ को तभी रोकता है जब वर्तमान लीडर की बढ़त इतनी बड़ी हो कि यदि हर एक अनिश्चित धावक सबसे मजबूत प्रतिद्वंद्वी की ओर स्विच कर जाए और सबसे खराब स्थिति पैदा हो जाए, तब भी लीडर जीत जाएगा।

3. "कैलिब्रेशन" (Calibration) का तरीका

पेपर स्वीकार करता है कि यह मानना कि सभी लोग सबसे खराब प्रतिद्वंद्वी की ओर स्विच करेंगे, बहुत अधिक डरावना (बहुत अधिक रूढ़िवादी) है। इससे रेफरी अंत तक इंतज़ार करेगा, जिससे उद्देश्य ही विफल हो जाएगा।

इसलिए, MARS पहले एक छोटी "अभ्यास दौड़" (जिसे वार्मअप ट्रेसेस/warmup traces कहा जाता है) चलाता है। यह इन अभ्यास धावकों को देखता है कि वे कितनी बार और कहाँ अपना विचार बदलते हैं। यह डेटा का उपयोग अपने "डरावने कारक" (जिसे गामा/gamma कहा जाता है) को समायोजित करने के लिए करता है।

उपमा: यदि अभ्यास दौड़ दिखाती है कि धावक शायद ही कभी प्रतिद्वंद्वी टीम की ओर स्विच करते हैं, तो रेफरी अपने नियम को थोड़ा ढीला कर देता है। "ठीक है, हमें बिल्कुल सबसे खराब स्थिति की प्रतीक्षा करने की आवश्यकता नहीं है; हमें बस एक बहुत ही संभावित बुरे मामले की प्रतीक्षा करने की आवश्यकता है।" यह दौड़ को जल्दी रोकने की अनुमति देता है जबकि सुरक्षित भी रहता है।

4. परिणाम

इस पेपर ने तीन अलग-अलग AI मॉडलों पर परीक्षण किया जो कठिन गणित प्रतियोगिताओं (जैसे AIME और HMMT) को हल कर रहे थे।

बचत: MARS ने सभी के खत्म होने का इंतज़ार करने की तुलना में 25% से 47% तक कंप्यूटिंग समय (टोकन) बचाया। यहाँ तक कि उन अन्य स्मार्ट तरीकों की तुलना में भी जो पहले से ही शॉर्टकट लेने की कोशिश करते हैं, MARS ने अतिरिक्त 14% से 29% की बचत की।
सटीकता (Accuracy): महत्वपूर्ण रूप से, MARS ने सटीकता को कम नहीं किया। इसने बिल्कुल उतनी ही बार सही उत्तर चुना जितना कि तब होता यदि इसने सभी के पूरा होने का इंतज़ार किया होता।
तुलना: एक अन्य विधि जिसे "पैरेलल-प्रोब" (Parallel-Probe) कहा जाता है, बहुमत के स्थिर होने का इंतज़ार करके जल्दी रुकने की कोशिश करती है। पेपर दिखाता है कि यह कठिन समस्याओं पर बुरी तरह विफल रही (सटीकता आधी हो गई) क्योंकि इसने बहुत जल्दी रुकने का निर्णय लिया जब "गलत" उत्तर स्थिर दिख रहा था। MARS ने केवल वर्तमान स्कोर देखने के बजाय "सेफ्टी मार्जिन" की जाँच करके इस विफलता से खुद को बचाया।

सारांश

MARS AI रीजनिंग को जल्दी रोकने का एक स्मार्ट तरीका है। सभी के निबंध लिखने के पूरे समय का इंतज़ार करने के बजाय, यह ड्राफ्ट की जाँच करता है, भविष्यवाणी करता है कि कौन अपना विचार बदल सकता है, और गणना करता है कि यदि हारने वाले अपनी पूरी ताकत से मुकाबला करें, तो भी वर्तमान विजेता सुरक्षित है या नहीं। यदि विजेता सुरक्षित है, तो यह दौड़ को रोक देता है, जिससे सही उत्तर से समझौता किए बिना समय और पैसे की भारी बचत होती है।

तकनीकी सारांश: MARS (Margin-Adversarial Risk-controlled Stopping)

1. समस्या विवरण (Problem Statement)

पैरेलल टेस्ट-टाइम स्केलिंग (Parallel test-time scaling) जटिल तर्क कार्यों (reasoning tasks) पर लार्ज लैंग्वेज मॉडल (LLM) की सटीकता में सुधार करती है, जो कई रीजनिंग ट्रेसेस (reasoning traces) को सैंपल करने और बहुमत मत (majority vote) के माध्यम से उनके उत्तरों को एकत्रित करने पर आधारित है (जैसे, Self-Consistency)। हालांकि, यह दृष्टिकोण पर्याप्त कम्प्यूटेशनल ओवरहेड (computational overhead) उत्पन्न करता है क्योंकि आमतौर पर सभी ट्रेसेस को पूर्णता तक चलाया जाता है, भले ही विजेता उत्तर जल्दी ही निर्धारित हो गया हो।

आधुनिक रीजनिंग मॉडल मध्यवर्ती "सोचने के ट्रेसेस" (thinking traces) को प्रदर्शित करते हैं, जिससे जनरेशन को बाधित किए बिना प्रोबिंग (probing) के माध्यम से आंशिक उत्तर प्राप्त करना संभव होता है। मौजूदा अर्ली-स्टॉपिंग (early-stopping) विधियां कंसेंसस ह्यूरिस्टिक्स (consensus heuristics) (जैसे, जब बहुमत वाला उत्तर $u$ लगातार चेकपॉइंट्स तक स्थिर रहता है) पर निर्भर करती हैं। शोध पत्र का तर्क है कि कठिन समस्याओं के लिए ये ह्यूरिस्टिक्स मौलिक रूप से त्रुटिपूर्ण हैं: वे अक्सर उन गलत उत्तरों को लॉक कर देते हैं जो शुरुआत में स्थिर दिखाई देते हैं, लेकिन बाद में सही उत्तर द्वारा पीछे छोड़ दिए जाते हैं क्योंकि अधिक ट्रेसेस अपने तर्क को संशोधित करते हैं। मुख्य चुनौती यह निर्धारित करना है कि टोकन बचाने के लिए जनरेशन को कब रोकना सुरक्षित है, जबकि प्रमाणित रूप से (provably) अंतिम फुल-बजट वोट के परिणाम को सुरक्षित रखा जा सके।

2. कार्यप्रणाली: MARS

लेखक MARS (Margin-Adversarial Risk-controlled Stopping) का प्रस्ताव करते हैं, जो एक सिद्धांत आधारित अर्ली-स्टॉपिंग नियम है जो ध्यान ऐतिहासिक स्थिरता (historical stability) से हटाकर भविष्य के जोखिम (future risk) पर केंद्रित करता है।

मुख्य अंतर्दृष्टि (Core Insight)

सुरक्षा इस बात से निर्धारित नहीं होती है कि वोट बदला है या नहीं, बल्कि इस बात से होती है कि क्या यह अभी भी बदल सकता है। एक लीड (lead) तभी सुरक्षित है यदि प्रत्येक चैलेंजर (challenger) पर वर्तमान मार्जिन भविष्य के संभावित उत्तर परिवर्तनों (answer switches) से होने वाले सबसे खराब मामले के नुकसान से अधिक हो।

स्टॉपिंग रूल (The Stopping Rule)

प्रत्येक चेकपॉइंट $t$ पर, MARS प्रत्येक सक्रिय ट्रेस $j$ और प्रत्येक संभावित चैलेंजर $k$ (एक सिंथेटिक "अनसीन" चैलेंजर $\perp$ सहित जो नवीन उत्तरों का प्रतिनिधित्व करता है) का मूल्यांकन करता है। एल्गोरिदम तब रुकता है यदि, सभी चैलेंजर्स $k$ के लिए:
$M_k(t) \ge \Gamma_k(t) + \epsilon(N, \delta)$
जहाँ:

$M_k(t)$ : लीडर $L(t)$ का चैलेंजर $k$ पर वर्तमान वोट मार्जिन है।
$\Gamma_k(t)$ : अपेक्षित एडवर्सरियल स्विच डैमेज (adversarial switch damage) है। यह उन अपेक्षित वोट नुकसानों का योग है यदि सक्रिय ट्रेसेस लीडर के लिए सबसे खराब संभावित गंतव्य की ओर स्विच होते हैं।
- यदि एक ट्रेस जो वर्तमान में लीडर के लिए वोट दे रहा है, स्विच होता है, तो यह $2w_j$ का डैमेज (लीडर के लिए $w_j$ का नुकसान, चैलेंजर के लिए $w_j$ का लाभ) पहुंचाता है।
- यदि एक ट्रेस जो न्यूट्रल विकल्प के लिए वोट दे रहा है, चैलेंजर की ओर स्विच होता है, तो डैमेज $w_j$ है।
- यदि एक ट्रेस जो चैलेंजर के लिए वोट दे रहा है, स्विच होता है, तो यह वास्तव में लीडर की मदद करता है (नेगेटिव डैमेज)।
$\epsilon(N, \delta)$ : एक कंसंट्रेशन बाउंड (concentration bound) है (जो Hoeffding's inequality से प्राप्त है) जो यह सुनिश्चित करता है कि लीडर के बदलने की संभावना जोखिम स्तर $\delta$ से कम है।

दो-भाग वाली मॉडलिंग (Two-Part Modeling)

नियम को व्यावहारिक बनाने के लिए, MARS अनिश्चितता को दो घटकों में अलग करता है:

स्विच प्रोबेबिलिटी ( $q_j$ ): क्या एक ट्रेस अपने उत्तर को बदलेगा। इसे एक हल्के 5-फीचर लॉजिस्टिक रिग्रेशन मॉडल का उपयोग करके सीखा जाता है, जिसे "वार्मअप" ट्रेसेस के एक छोटे सेट पर प्रशिक्षित किया गया है। फीचर्स में चेकपॉइंट पोजीशन, प्रोब कॉन्फिडेंस, आंसर-फ्लिप काउंट, स्ट्रीक लेंथ और कॉन्फिडेंस ट्रेंड शामिल हैं।
डेस्टिनेशन बिहेवियर (Destination Behavior): स्विच करने वाला ट्रेस कहाँ जाएगा। चूंकि भविष्य के सटीक उत्तर स्ट्रिंग की भविष्यवाणी करना अव्यवहारिक है, MARS इसे एडवर्सरियल (adversarial) मानता है। अत्यधिक रूढ़िवादी होने से बचने के लिए (यह मानकर कि सभी स्विच लीडर के विरुद्ध समन्वय करते हैं), MARS एक कॉन्ट्रैक्शन पैरामीटर $\gamma \in [0.5, 1]$ पेश करता है। इस पैरामीटर को वार्मअप ट्रेसेस का उपयोग करके प्रति प्रश्न कैलिब्रेट किया जाता है ताकि यह अनुमान लगाया जा सके कि स्विचिंग मास का कितना हिस्सा वास्तव में एडवर्सियल व्यवहार करता है।

एल्गोरिदम फ्लो (Algorithm Flow)

वार्मअप (Warmup): स्विच प्रोबेबिलिटी मॉडल को फिट करने और $\gamma$ को कैलिब्रेट करने के लिए 16 ट्रेसेस को पूर्णता तक चलाएं।
पैरेलल एक्जीक्यूशन (Parallel Execution): $N$ ट्रेसेस लॉन्च करें।
चेकपॉइंटिंग (Checkpointing): अंतराल पर, सक्रिय ट्रेसेस के वर्तमान उत्तरों को प्रोब करें।
सर्टिफिकेशन (Certification): मार्जिन और अपेक्षित एडवर्सरियल डैमेज की गणना करें। यदि मार्जिन सभी चैलेंजर्स के लिए डैमेज बाउंड से अधिक है, तो जनरेशन रोक दें और वर्तमान लीडर को आउटपुट करें।
फालबैक (Fallback): यदि शर्त कभी पूरी नहीं होती है, तो पूरे बजट तक चलाएं।

3. प्रमुख योगदान (Key Contributions)

सिद्धांत आधारित स्टॉपिंग क्राइटेरिया: एक मार्जिन-आधारित, रिस्क-कंट्रोल्ड स्टॉपिंग नियम पेश करता है जो उच्च-संभावना गारंटी प्रदान करता है कि अर्ली-स्टेप्ड उत्तर फुल-बजट वोट के समान होगा, जो कि कंसेंसस ह्यूरिस्टिक्स के विपरीत है।
एडवर्सरियल कैलिब्रेशन: यह संभालने के लिए एक विधि विकसित करता है कि ट्रेसेस कहाँ स्विच करेंगे, जिसमें स्विच प्रोबेबिलिटी के लिए एक सीखे गए मॉडल को एक कैलिब्रेटेड एडवर्सरियल बाउंड के साथ जोड़ा गया है, जिससे जटिल डेस्टिनेशन डिस्ट्रीब्यूशन मॉडलिंग की आवश्यकता समाप्त हो जाती है।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शित करता है कि स्विच प्रोबेबिलिटी के लिए एक सरल लॉजिस्टिक मॉडल "ऑरेकल" व्यवहार (भविष्य के स्विच स्टेटस को जानना) के बहुत करीब है, जो "क्या स्विच होगा" और "कहाँ लैंड करेगा" के अलगाव को सत्यापित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

तीन मॉडल्स (DeepSeek-R1-8B, Qwen3-32B, Qwen3-next) का तीन प्रतियोगिता गणित बेंचमार्क (AIME 2025, HMMT, BRUMO 2025) पर मूल्यांकन किया गया:

टोकन बचत (Token Savings):
- स्टैंडर्ड Self-Consistency (SC) की तुलना में 25–47% की कमी।
- DeepConf Online (एक मजबूत बेसलाइन जो कॉन्फिडेंस के आधार पर कमजोर ट्रेसेस को फ़िल्टर और ट्रंकेट करता है) के ऊपर अतिरिक्त 14–29% की कमी।
सटीकता संरक्षण (Accuracy Preservation):
- MARS सभी 18 सेटिंग्स में फुल-बजट बेसलाइन सटीकता से मेल खाता है (जहाँ परिवर्तन होते हैं वहाँ 0.6 प्रतिशत अंक के भीतर)।
- कई सेटिंग्स में, सटीकता में 0.8 अंक तक सुधार हुआ (जैसे, SC के तहत AIME पर Qwen3-next)।
Parallel-Probe के साथ तुलना:
- समवर्ती विधि Parallel-Probe (जो कंसेंसस स्टेबिलिटी का उपयोग करती है) एक ट्रेड-ऑफ का सामना करती है: यह महत्वपूर्ण सटीकता (6–45 प्रतिशत अंक) का त्याग करके उच्च बचत (20–51%) प्राप्त करती है। जब इसे सटीकता बनाए रखने के लिए ट्यून किया जाता है, तो इसकी बचत $\le 4\%$ तक गिर जाती है।
- MARS सटीकता खोए बिना उच्च बचत प्राप्त करता है क्योंकि यह स्थिरता का पता लगाने के बजाय मार्जिन को प्रमाणित करता है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि एग्रीगेट मार्जिन स्टेबिलिटी (aggregate margin stability) टेस्ट-टाइम एफिशिएंसी का एक विशिष्ट और प्रभावी स्रोत है, जो प्रति-ट्रेस कॉन्फिडेंस फ़िल्टरिंग से अलग है। इसका महत्व निम्नलिखित में निहित है:

सुरक्षा गारंटी: एक थ्योरिटिकल गारंटी (Hoeffding bounds के माध्यम से) प्रदान करना कि अर्ली-स्टॉपिंग अंतिम वोट के परिणाम को नहीं बदलता है, जो कठिन समस्याओं पर कंसेंसस ह्यूरिस्टिक्स की विफलता को संबोधित करता है।
बिना ट्रेनिंग के दक्षता: अतिरिक्त वर्िफायर ट्रेनिंग या रिवॉर्ड मॉडल की आवश्यकता के बिना, केवल जनरेशन डायनेमिक्स को देखने और प्रोब करने से दक्षता प्राप्त करना।
व्यावहारिकता: यह प्रदर्शित करना कि स्विच प्रोबेबिलिटी के लिए एक सरल, लाइटवेट मॉडल और एक कैलिब्रेटेड एडवर्सियल बाउंड का संयोजन, पैरेलल रीजनिंग की जटिल डायनेमिक्स को कैप्चर करने के लिए पर्याप्त है, जिससे वास्तविक दुनिया के पैरेलल डिकोडिंग परिदृश्यों में पर्याप्त टोकन बचत संभव होती है।

लेखक उल्लेख करते हैं कि भविष्य के कार्य अनुकूलित प्रोबिंग अंतराल (adaptive probing intervals) की खोज कर सकते हैं और गणितीय तर्क के अलावा अन्य डोमेन जैसे कोड जनरेशन या एजेंटिक कार्यों तक ढांचे का विस्तार कर सकते हैं।