💻 computer science

Knowing What to Solve Before How: Preplan Empowered LLM Mathematical Reasoning

यह शोध पत्र PPC (Preplan-Plan-CoT) का प्रस्ताव करता है, जो एक नवीन ढांचा है जो योजना बनाने से पहले समस्या के प्रकारों और उपकरणों को स्पष्ट करने के लिए एक स्पष्ट "प्रीप्लान" (preplan) चरण पेश करता है, जो बिना किसी इन्फरेंस ओवरहेड के कई बेंचमार्क पर LLM गणितीय तर्क प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है।

मूल लेखक: Shaojie Wang, Liang Zhang

प्रकाशित 2026-05-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shaojie Wang, Liang Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही कठिन गणित की समस्या को हल करने की कोशिश कर रहे हैं, जैसे कि कोई जटिल पहेली। अतीत में, लार्ज लैंग्वेज मॉडल्स (LLMs) इन्हें सीधे काम में जुट जाने की कोशिश करते थे: "ठीक है, चलिए उत्तर तक पहुँचने के लिए चरण-दर-चरण गणना शुरू करते हैं।" इसे चेन-ऑफ-थॉट (Chain-of-Thought) कहा जाता है।

हालाँकि, जैसे-जैसे समस्याएँ कठिन होती जाती हैं, "सीधे काम शुरू करने" का यह दृष्टिकोण मॉडल को भटकने, गलत रास्ते लेने या ऐसे तरीकों पर समय बर्बाद करने की ओर ले जाता है जो पहेली के अनुकूल नहीं होते।

इसे ठीक करने के लिए, शोधकर्ताओं ने एक नई विधि आजमाई: प्लान-देन-सॉल्व (Plan-then-Solve)। उन्होंने मॉडल को बताया, "रुको! पहले एक योजना (Plan) लिखो, फिर काम करो।" इससे मदद मिली, लेकिन पेपर का तर्क है कि अभी भी एक हिस्सा गायब था। मॉडल यह तो प्लान कर रहा था कि गणित कैसे करना है, लेकिन वह वास्तव में यह समझने के लिए एक पल भी नहीं रुक रहा था कि समस्या वास्तव में उससे क्या मांग रही है।

यहाँ इस पेपर का समाधान सरल रूप में दिया गया है:

गायब चरण: द "प्रीप्लान" (The "Preplan")

लेखक एक नया चरण पेश करते हैं जिसे प्रीप्लान (Preplan) कहा जाता है। इसे दौड़ शुरू होने से पहले एक एथलीट से बात करने वाले कोच की तरह समझें।

पुराना तरीका (प्रश्न $\rightarrow$ योजना $\rightarrow$ समाधान): एथलीट शुरुआती बंदूक की आवाज़ सुनता है और तुरंत दौड़ना शुरू कर देता है, सोचते हुए, "मैं तेज़ दौड़ूँगा, फिर बाएँ मुड़ूँगा, फिर स्प्रिंट मारूँगा।" वे तेज़ तो दौड़ सकते हैं, लेकिन अगर वे गलत दिशा में दौड़ रहे हैं, तो गति का कोई महत्व नहीं रह जाता।
नया तरीका (प्रश्न $\rightarrow$ प्रीप्लान $\rightarrow$ योजना $\rightarrow$ समाधान): एथलीट दौड़ के बारे में सोचने से पहले ही, कोच कहता है: "रुको। ट्रैक को देखो। यह एक गोलाकार ट्रैक है जिसमें एक खड़ी ढलान है। हवा हमारे खिलाफ चल रही है। हमें ढलान के लिए ऊर्जा बचाकर रखनी होगी, न कि शुरुआत में ही स्प्रिंट मारना है।"

यह "प्रीप्लान" कोई दौड़ (गणना) नहीं करता है। यह केवल मैदान (समस्या का प्रकार), सही गियर (उपकरण/अवधारणाएं) चुनता है, और जालों (कमियों) की पहचान करता है।

प्रीप्लान बनाने की समस्या

लेखकों ने पाया कि जब उन्होंने मॉडल को केवल यह "प्रीप्लान" लिखने के लिए कहा, तो मॉडल अक्सर नकल (चीटिंग) करने लगा।

लीकेज (Leakage): ट्रैक का विश्लेषण करने के बजाय, मॉडल गलती से दौड़ के चरणों का वर्णन करने लगा ("पहले मैं 10 मीटर दौड़ूँगा...")। उसने विश्लेषण को छोड़ दिया और सीधे योजना पर चला गया।
स्पॉइलर (Spoiler): मॉडल ने ट्रैक का विश्लेषण तो किया, लेकिन गुप्त रूप से विश्लेषण के भीतर ही गणित की समस्या को हल करने लगा ("पहाड़ी 50 मीटर ऊँची है, इसलिए मैं समय की गणना करूँगा...")। उसने काम को बहुत जल्दी करके सरप्राइज को खराब कर दिया।

इसे ठीक करने के लिए, टीम ने एक सख्त फ़िल्टर (सीटी बजाने वाले रेफरी की तरह) बनाया। यदि "प्रीप्लान" में कोई भी वास्तविक गणित या चरण-दर-चरण निर्देश शामिल थे, तो रेफरी सीटी बजा देता था, उत्तर को खारिज कर देता था, और मॉडल को फिर से प्रयास करने के लिए कहता था। इसने यह सुनिश्चित किया कि प्रीप्लान पूरी तरह से समस्या को समझने के बारे में था, न कि उसे हल करने के बारे में।

"फेथफुल" (Faithful) रिवॉर्ड सिस्टम

एक बार जब मॉडल ने एक अच्छा प्रीप्लान लिखना सीख लिया, तो शोधकर्ताओं को यह सुनिश्चित करना था कि मॉडल वास्तव में उस पर ध्यान दे। कभी-कभी, मॉडल उन छात्रों की तरह होते हैं जो एक बेहतरीन अध्ययन योजना लिखते हैं लेकिन फिर उसे अनदेखा कर देते हैं और कुछ और ही पढ़ते हैं।

इसे रोकने के लिए, उन्होंने एक विशेष रिवॉर्ड सिस्टम (वीडियो गेम स्कोरिंग सिस्टम की तरह) बनाया:

स्कोर: मॉडल को सही उत्तर पाने के लिए अंक मिलते हैं।
लॉयल्टी बोनस (Loyalty Bonus): मॉडल को अतिरिक्त अंक केवल तभी मिलते हैं यदि उसके द्वारा उठाए गए चरण (योजना) वास्तव में प्रीप्लान में दी गई सलाह का पालन करते हैं।
पेनल्टी (Penalty): यदि मॉडल ऐसा प्रीप्लान लिखता है जो गणित जैसा दिखता है (फ़िल्टर को धोखा देना), तो उसके अंक कट जाते हैं।

यह मॉडल को प्रीप्लान को एक वास्तविक मानचित्र की तरह मानने के लिए मजबूर करता है। यदि मानचित्र कहता है "उत्तर की ओर जाओ," तो मॉडल केवल यह सोचकर "दक्षिण की ओर" नहीं जा सकता कि वह किस्मत के भरोसे काम चला लेगा।

परिणाम

शोधकर्ताओं ने इस नई विधि (PPC) का परीक्षण चार अलग-अलग AI मॉडल्स और पांच कठिन गणित प्रतियोगिताओं पर किया।

बेहतर सटीकता: नया तरीका किसी भी पिछले तरीके की तुलना में सही उत्तर अधिक बार लाया, विशेष रूप से सबसे कठिन समस्याओं पर।
तेज़ सोच: आश्चर्यजनक रूप से, भले ही मॉडल को एक अतिरिक्त "प्रीप्लान" अनुभाग लिखना पड़ा, फिर भी इसने समस्या को हल करने के लिए कुल कम शब्दों का उपयोग किया। क्यों? क्योंकि इसने गलत तरीकों को आज़माने या गोल-गोल घूमने में समय बर्बाद नहीं किया। वह शुरुआत से ही जानता था कि उसे कहाँ जाना है।

संक्षेप में

पेपर का तर्क है कि कठिन समस्याओं को हल करने के लिए, आपको केवल "कैसे" में नहीं कूदना चाहिए। आपको पहले यह समझने के लिए एक क्षण लेना चाहिए कि "क्या" है। AI को समस्या के प्रकार का विश्लेषण करने और कमियों की पहचान करने के लिए मजबूर करके, AI एक बहुत अधिक स्मार्ट और कुशल समस्या समाधानकर्ता बन जाता है। यह एक घबराए हुए धावक और एक रणनीतिक मार्गदर्शक के बीच का अंतर है।

तकनीकी सारांश: प्रीप्लान एम्पोवर्ड एलएलएम मैथमेटिकल रीजनिंग (PPC)

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए वर्तमान योजना-आधारित तर्क विधियों ने एक प्रश्न → योजना → CoT (Chain of Thought) प्रतिमान स्थापित किया है। हालांकि यह प्रभावी है, लेखक इस दृष्टिकोण में एक मौलिक, प्रतिमान-स्तर के अंतर की पहचान करते हैं: योजना और निष्पादन (execution) दोनों चरण समस्या को कैसे हल किया जाए (चरणों को व्यवस्थित करने और उन्हें पूरा करने) पर केंद्रित हैं, जबकि उससे पहले का प्रश्न कि क्या हल करना है, पूरी तरह से निहित (implicit) बना रहता है।

"क्या हल करना है" वाले चरण में समस्या के प्रकार को पहचानना, लागू होने वाले उपकरणों और अवधारणाओं की पहचान करना, सीमा स्थितियों (boundary conditions) को चिह्नित करना और संभावित बाधाओं का पूर्वानुमान लगाना शामिल है। मौजूदा विधियाँ मानती हैं कि यह समझ योजना निर्माण के दौरान स्वतः उत्पन्न हो जाती है। हालांकि, त्रुटि विश्लेषण (चित्र 1) से पता चलता है कि वर्तमान योजना-आधारित विधियों में विफलताओं का एक बड़ा हिस्सा गणना संबंधी त्रुटियों के कारण नहीं, बल्कि समस्या की प्रकृति को सही ढंग से समझने में विफलता (जैसे, एक समरूप द्विघात समीकरण को गलत पहचानना, जिससे एक अक्षम समाधान पथ बन जाता है) के कारण होता है।

2. कार्यप्रणाली: PPC फ्रेमवर्क

इस अंतर को पाटने के लिए, लेखक PPC (Preplan-Plan-CoT) प्रस्तावित करते हैं, जो एक स्पष्ट प्रीप्लान (preplan) चरण पेश करता है, जिससे एक नया प्रश्न → प्रीप्लान → योजना → CoT प्रतिमान बनता है। प्रीप्लान एक व्यापक, गैर-गणनात्मक विश्लेषण है जो यह तय करता है कि क्या हल करना है, जिससे कैसे हल करना है का कार्य बाद के नियोजन और निष्पादन चरणों के लिए छोड़ दिया जाता है।

यह फ्रेमवर्क एक विशिष्ट पाइपलाइन के माध्यम से दो प्राथमिक चुनौतियों का समाधान करता है:

चुनौती hel 1: डेटा निर्माण (लीकेज और स्पॉइलर को रोकना)

स्वच्छ प्रीप्लान सुपरविजन बनाना कठिन है क्योंकि मॉडल "कैसे हल करें" वाले व्यवहार की ओर वापस जाने की प्रवृत्ति रखते हैं।

लीकेज विफलता (Leakage Failure): प्रीप्लान आगामी योजना के चरण अनुक्रम का पूर्वाभ्यास (rehearse) कर लेता है।
स्पॉइलर विफलता (Spoiler Failure): प्रीप्लान विश्लेषण के बहाने मध्यवर्ती गणनाएँ करता है।

समाधान: लेखक एक तीन-चरणीय संश्लेषण पाइपलाइन डिजाइन करते हैं जो एक स्पॉइलर-स्कोर डिटेक्टर द्वारा सुरक्षित है।

तीन-चरणीय पीढ़ी: प्रक्षेपवक्र (trajectories) सख्ती से बाएँ-से-दाएँ जनरेट किए जाते हैं: $y_{pp} \sim \pi_{pp}(\cdot|q)$ , $y_p \sim \pi_p(\cdot|q, y_{pp})$ , और $y_e \sim \pi_e(\cdot|q, y_p)$ । प्रीप्लान प्रॉम्प्ट स्पष्ट रूप रूप से व्युत्पत्तियों (derivations), विस्तारित सूत्रों और गणना किए गए मानों को प्रतिबंधित करता है।
स्पॉइलर-स्कोर फ़िल्टरिंग: एक नियम-आधारित स्कोर $s(\cdot) \in \{0, \dots, 6\}$ व्युत्पत्ति और उत्तर प्रकट करने के संकेतों (जैसे, "सरल होकर बनता है" जैसे वाक्यांश, समीकरणों का उच्च घनत्व, लंबे इनलाइन मैथ स्पैन, बहु-अंकों वाले स्थिरांक) को एकत्रित करता है। प्रक्षेपवक्रों को केवल तभी रखा जाता है जब $s(y_{pp}) \leq \tau_s$ (जहाँ $\tau_s=2$ ) हो AND अंतिम उत्तर सही हो। यह सुनिश्चित करता है कि प्रीप्लान शुद्ध समस्या की समझ है, न कि एक छद्म समाधान।

चुनौती 2: प्रशिक्षण-समय पालन (उपयोगिता सुनिश्चित करना)

स्वच्छ डेटा के साथ भी, एक मॉडल एक सतही तौर पर सही प्रीप्लान उत्पन्न करना सीख सकता है जबकि योजना चरण के दौरान उसे अनदेखा कर सकता है।

समाधान: लेखक ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) को एक कंपोजिट रिवॉर्ड फंक्शन $R(y)$ के साथ विस्तारित करते हैं जो संरचनात्मक और अर्थपूर्ण संरेखण (alignment) को लागू करता है:
$R(y) = R_{out}(y) + \lambda_a R_{adh}(y) + \lambda_f R_{fmt}(y) - \lambda_s R_{sty}(y)$

$R_{out}$ (आउटकम रिवॉर्ड): समाधान पथ की निकटता (केवल बाइनरी शुद्धता नहीं, बल्कि LLM-निर्णित निकटता) के आधार पर आंशिक क्रेडिट का उपयोग करता है ताकि 'नियर-मिस' (near-miss) प्रक्षेपवक्रों के लिए ग्रेडिएंट प्रदान किया जा सके।
$R_{adh}$ (अनुपालन रिवॉर्ड): एक LLM क्रिटिक प्रीप्लान और योजना के बीच रणनीतिक संरेखण को स्कोर करता है। महत्वपूर्ण रूप से, एक उच्च-गुणवत्ता वाला प्लान जो प्रीप्लान को अनदेखा करता है, उसे कम स्कोर मिलता है, जो मॉडल को वास्तव में प्रीप्लान के मार्गदर्शन का पालन करने के लिए मजबूर करता है।
$R_{fmt}$ (फॉर्मेट गार्ड): यह सुनिश्चित करता है कि आउटपुट में क्रम के अनुसार प्रत्येक टैग (<preplan>, <plan>, <execute>) का ठीक एक उदाहरण और एक बॉक्स किया हुआ उत्तर हो।
$R_{sty}$ (स्टाइल पेनल्टी): RL के दौरान दंड के रूप में स्पॉइलर स्कोर $s(\cdot)$ का पुन: उपयोग करता है। यदि प्रशिक्षण के दौरान प्रीप्लान वापस गणनात्मक सामग्री की ओर जाता है, तो रिवॉर्ड को दंडित किया जाता है, जिससे डेटा निर्माण के दौरान स्थापित वैचारिक अखंडता बनी रहती है।

3. मुख्य योगदान

वैचारिक: पेपर मौजूदा तर्क विधियों में एक प्रतिमान-स्तर के अंतर को औपचारिक रूप देता है: कैसे हल करने बनाम क्या हल करने की स्पष्ट मॉडलिंग। यह "क्या हल करना है" को स्पष्ट करने के लिए प्रश्न → प्रीप्लान → योजना → CoT प्रतिमान प्रस्तावित करता है।
कार्यप्रणाली:
- पहला रीजनिंग डेटासेट बनाया गया जिसमें स्पष्ट प्रीप्लान सुपरविजन है, जिसे लीकेज और स्पॉइलर विफलताओं के विरुद्ध स्पॉइलर-स्कोर डिटेक्टर द्वारा सुरक्षित किया गया है।
- एक कंपोजिट GRPO रिवॉर्ड डिजाइन किया गया जो स्पष्ट रूप से प्लान-प्रीप्लान संरेखण को लागू करता है, जिससे मॉडल को प्रीप्लान को एक सजावटी लेकिन अनदेखे चरण के रूप में लेने से रोका जा सके।
अनुभवजन्य (Empirical): चार बैकबोन (Qwen3-4B, Qwen2.5-7B, Qwen2.5-Math-7B, Llama-3.1-8B) और पांच गणितीय बेंचमार्क (AIME25, Minerva-Math, OlympiadBench, MATH-500, GSM8K) पर व्यापक मूल्यांकन।

4. प्रयोगात्मक परिणाम

प्रदर्शन: PPC सभी बेंचमार्क और बैकबोन पर 40 में से 39 मेट्रिक्स पर सर्वश्रेष्ठ परिणाम प्राप्त करता है।
सुधार: सबसे मजबूत बेसलाइन (Plan-Tuning, PTA-GRPO) की तुलना में, PPC maj@16 में +2.23 और pass@16 में +3.06 का सुधार करता है।
दक्षता: एक अतिरिक्त चरण जोड़ने के बावजूद, PPC पूर्ण CoT की तुलना में कम टोकन उत्पन्न करता है और PTA-GRPO से काफी कम। प्रीप्लान और योजना निष्पादन को एक एकल समाधान पथ तक सीमित करते हैं, जिससे अनियंत्रित CoT में होने वाले अनावश्यक भटकाव से बचा जा जा सकता है।
विश्वसनीयता (Faithfulness): इन्फरेंस-टाइम हस्तक्षेप (प्रीप्लान वाक्यों को बदलना, बेमेल प्रीप्लान का उपयोग करना, या जेनेरिक प्लेसहोल्डर का उपयोग करना) प्रदर्शन में भारी गिरावट (उदाहरण के लिए, बेमेल प्रीप्लान के साथ Qwen3-4B पर maj@16 का 97.2 से 46.8 तक गिरना) का कारण बनते हैं। यह पुष्टि करता है कि मॉडल वास्तव में प्रीप्लान की सामग्री पर निर्भर करता है न कि केवल उसे उत्पन्न करने पर।

5. महत्व और दावे

पेपर का दावा है कि वर्तमान योजना-आधारित तर्क की प्राथमिक सीमा योजना की कमी नहीं है, बल्कि समस्या की समझ के लिए एक समर्पित चरण की कमी है। प्रीप्लान के माध्यम से "क्या हल करना है" को स्पष्ट करके, मॉडल समाधान पथ के लिए प्रतिबद्ध होने से पहले उपयुक्त उपकरण और रणनीतियों का चयन कर सकता है।

लेखक इस बात पर जोर देते हैं कि यह सुधार केवल प्रॉम्प्टिंग के कारण नहीं है (जैसा कि "Prompt-Only" बेसलाइन से पता चलता है जो कम प्रदर्शन करता है), बल्कि इसके लिए विशिष्ट डेटा निर्माण और कंपोजिट रिवॉर्ड ट्रेनिंग के माध्यम से प्रतिमान को सीखना आवश्यक है। फ्रेमवर्क यह प्रदर्शित करता है कि स्पष्ट समस्या की समझ, मानक CoT की तुलना में अतिरिक्त टोकन ओवरहेड पेश किए बिना, उच्च सटीकता और अधिक निष्पादन दक्षता दोनों प्रदान करती है।