🤖 AI

Asking the Right Questions: Improving Reasoning with Generated Stepping Stones

यह शोध पत्र ARQ का परिचय देता है, जो एक ऐसा ढांचा है जो हस्तांतरणीय मध्यवर्ती "स्टेपिंग स्टोन" (stepping stone) प्रश्न उत्पन्न करके जटिल कार्यों पर LLM की तर्क क्षमता को बढ़ाता है, और यह प्रदर्शित करता है कि इन लाभकारी प्रॉम्प्ट्स को उत्पन्न करने के लिए सिंथेटिक डेटा पर SFT और RL के माध्यम से मॉडल्स को प्रभावी ढंग से फाइन-ट्यून किया जा सकता है।

मूल लेखक: Hengyuan Hu, Tingchen Fu, Minqi Jiang, Alexander H Miller, Yoram Bachrach, Jakob Nicolaus Foerster

प्रकाशित 2026-05-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hengyuan Hu, Tingchen Fu, Minqi Jiang, Alexander H Miller, Yoram Bachrach, Jakob Nicolaus Foerster

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत बड़े, जटिल जिग्सॉ पज़ल (jigsaw puzzle) को हल करने की कोशिश कर रहे हैं। आप डिब्बे को देखते हैं, टुकड़ों के ढेर को देखते हैं, और आपका दिमाग सुन्न हो जाता है। आप एक टुकड़े को ज़बरदस्ती फिट करने की कोशिश करते हैं, लेकिन वह नहीं बैठता। आप फिर से कोशिश करते हैं, बार-बार, जब तक कि आप हार मानकर छोड़ नहीं देते।

अक्सर यही होता है जब आर्टिफिशियल इंटेलिजेंस (AI) बहुत कठिन गणित या तर्क संबंधी समस्याओं को हल करने की कोशिश करता है। यह पूरी समस्या को देखता है और सीधे उत्तर पर कूदने की कोशिश करता है, लेकिन यह फंस जाता है।

यह पेपर एक नया सोचने का तरीका पेश करता है जिसे ARQ (Asking the Right Questions - सही सवाल पूछना) कहा जाता है। AI को तुरंत बड़े पज़ल को हल करने के लिए मजबूर करने के बजाय, ARQ AI को पहले एक छोटा, सरल अभ्यास पज़ल बनाने के लिए सिखाता है।

द "स्टेपिंग स्टोन" एनालॉजी (Stepping Stone Analogy)

कठिन समस्या को एक चौड़ी नदी के रूप में सोचें जिसे आपको पार करना है।

पुराना तरीका: AI सीधे गहरे, तेज़ बहते पानी में तैरकर पार करने की कोशिश करता है। वह अक्सर डूब जाता है (असफल हो जाता है)।
ARQ का तरीका: AI पहले नदी के बीच में एक छोटा, उथला पत्थर ढूँढता है। वह उस पत्थर पर (Stepping Stone/कदम रखने का पत्थर) कूदता है, अपनी सांसें थामता है, और उस छोटे हिस्से को पार करने का तरीका समझता है। एक बार जब वह पत्थर पर पहुँच जाता है, तो उसके पास बेहतर नज़रिया और आत्मविश्वास होता है कि वह अगले पत्थर पर कूदे, और अंततः, दूसरे किनारे तक पहुँचे।

इस पेपर में, "पत्थर" मूल समस्या का एक सरल संस्करण है।

यह कैसे काम करता है (दो-चरणीय नृत्य)

शोधकर्ताओं ने एक सिस्टम बनाया जिसमें दो AI "दिमाग" मिलकर काम करते हैं:

द क्वेश्चन जनरेटर (द आर्किटेक्ट - वास्तुकार): यह AI कठिन समस्या को देखता है और कहता है, "यह एक साथ करने के लिए बहुत कठिन है। आइए इस समस्या का एक छोटा, आसान संस्करण बनाते हैं जो उन्हीं नियमों का उपयोग करता हो।"
- उदाहरण: यदि कठिन समस्या 6 सिक्कों के घेरे के बारे में है, तो जनरेटर पूछ सकता है, "क्या होगा अगर हमारे पास केवल 4 सिक्के हों?"
द सॉल्वर (द बिल्डर - निर्माता): यह AI पहले छोटी, आसान समस्या को हल करता है। एक बार जब वह छोटी समस्या का उत्तर पा लेता है, तो वह उस उत्तर का उपयोग बड़ी, कठिन समस्या को हल करने के लिए एक संकेत (hint) के रूप में करता है।

उन्होंने क्या खोजा

शोधकर्ताओं ने इसका परीक्षण कुछ बहुत ही पेचीदा गणित प्रतियोगिताओं (जैसे AIME) पर किया। यहाँ उन्हें क्या मिला:

अच्छे पत्थर मौजूद हैं: उन्होंने साबित किया कि ये "स्टेपिंग स्टोन" वाले सवाल वास्तव में मौजूद हैं। जब AI ने पहले छोटी समस्या को हल किया, तो उसने बड़ी समस्या को बहुत अधिक बार सही ढंग से हल किया।
सभी पत्थर एक जैसे नहीं होते: कभी-कभी, AI एक "खराब" स्टेपिंग स्टोन बनाता है (जैसे कि ऐसा पत्थर जो फिसलन भरा हो या किसी गलत रास्ते की ओर ले जाए)। यदि AI एक बुरा पत्थर चुन लेता है, तो वह भ्रमित हो सकता है। लेकिन यदि वह एक अच्छा पत्थर चुनता है, तो सुधार बहुत बड़ा होता है।
यह सभी के लिए काम करता है: सबसे अच्छी बात यह है कि एक अच्छा स्टेपिंग स्टोन किसी भी AI की मदद करता है, न कि केवल उसी की जिसने इसे बनाया है। यह एक सार्वभौमिक कुंजी (universal key) की तरह है; यदि आपके पास सही संकेत है, तो एक कमजोर AI भी पहेली को हल कर सकता है।
आर्किटेक्ट को प्रशिक्षित करना: शोधकर्ताओं ने महसूस किया कि "क्वेश्चन जनरेटर" AI हमेशा सबसे बेहतरीन सवाल नहीं पूछ रहा था। इसलिए, उन्होंने उसे एक विशेष प्रशिक्षण कोर्स दिया। उन्होंने उसे अच्छे और बुरे सवालों के हजारों उदाहरण दिखाए और उसे सिखाया कि कौन से सवाल वास्तव में मदद करेंगे। इस प्रशिक्षण के बाद, AI सही सवाल पूछने में बहुत बेहतर हो गया, और पूरा सिस्टम बहुत अधिक स्मार्ट बन गया।

"प्रैक्टिस रन" का रूपक (The "Practice Run" Metaphor)

कल्पना कीजिए कि आप एक पेशेवर बास्केटबॉल खिलाड़ी हैं जो चैंपियनशिप जीतने वाला फ्री थ्रो लेने जा रहे हैं।

ARQ के बिना: आप लाइन पर कदम रखते हैं, आँखें बंद करते हैं और शॉट मारते हैं। यदि आप चूक जाते हैं, तो आप चूक जाते हैं।
ARQ के साथ: बड़े शॉट से पहले, आप केवल 3 फीट की दूरी से कुछ अभ्यास शॉट लेते हैं। आप लय को महसूस करते हैं, अपने फॉर्म की जाँच करते हैं, और महसूस करते हैं, "आह, मुझे अपने घुटनों को थोड़ा और मोड़ने की ज़रूरत है।" फिर आप उस अहसास को वास्तविक, लंबी दूरी के शॉट पर लागू करते हैं। आप बास्केट करने की बहुत अधिक संभावना रखते हैं।

मुख्य निष्कर्ष (The Bottom Line)

यह पेपर दिखाता है कि कठिन कार्यों में बेहतर होने के लिए, AI को केवल अधिक प्रयास नहीं करना चाहिए; उसे अलग तरह से सोचना चाहिए। एक विशाल समस्या को पहले एक छोटे, प्रबंधनीय अभ्यास प्रश्न में तोड़कर, AI उस सहज ज्ञान (intuition) का निर्माण कर सकता है जिसकी उसे वास्तविक चीज़ को हल करने के लिए आवश्यकता होती है। शोधकर्ताओं ने यह भी दिखाया है कि वे AI को इन अभ्यास प्रश्नों को खोजने में बहुत कुशल बनाने के लिए प्रशिक्षित कर सकते हैं, जिससे यह पूरी प्रक्रिया बहुत अधिक विश्वसनीय हो जाती है।

तकनीकी सारांश: सही प्रश्न पूछना (ARQ)

समस्या विवरण (Problem Statement)

जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) ने पोस्ट-ट्रेनिंग और टेस्ट-टाइम स्कैफोल्डिंग के माध्यम से जटिल तर्क कार्यों (गणित, कोडिंग) को हल करने में महत्वपूर्ण प्रगति की है, वर्तमान दृष्टिकोण मुख्य रूप से एक समस्या को सीधे हल करने या प्रस्तावित समाधानों को सत्यापित करने के लिए लंबी 'चेन ऑफ थॉट' (CoT) उत्पन्न करने पर केंद्रित हैं। मानव बुद्धि का एक मुख्य घटक—एक कठिन समस्या को प्रबंधनीय मध्यवर्ती चरणों में विभाजित करने के लिए प्रासंगिक, अंतर्दृष्टि उत्पन्न करने वाले प्रश्न पूछने की क्षमता—पर कम ध्यान दिया गया है। मौजूदा इन्फरेंस-टाइम विधियाँ (जैसे, Self-Ask, Analogical Reasoners) सहायक प्रश्न उगलने के लिए प्रॉम्प्टिंग पर निर्भर करती हैं, लेकिन ये विधियाँ उन आधुनिक रीजनिंग LLMs पर लागू होने पर घटते प्रतिफल (diminishing returns) दिखाती हैं जो पहले से ही लंबी CoT उत्पन्न करते हैं। इसके अलावा, इस बात का व्यवस्थित अध्ययन करने में कमी है कि क्या LLMs "स्टेपिंग स्टोन्स" (सरल, संबंधित उप-समस्याएं) उत्पन्न कर सकते हैं जो वास्तव में मूल लक्ष्य कार्य को हल करने की सफलता दर में सुधार करते हैं, और क्या ऐसी जनरेशन क्षमताओं को पोस्ट-ट्रेनिंग के माध्यम से सीखा जा सकता है।

कार्यप्रणाली: ARQ फ्रेमवर्क (Methodology: The ARQ Framework)

लेखक ARQ (Asking the Right Questions) का प्रस्ताव करते हैं, जो एक क्वेश्चन जनरेटर ( $\phi$ ) और एक प्रॉब्लम सॉल्वर ( $\pi$ ) से बना एक दो-चरणीय ढांचा है।

1. इन्फरेंस प्रक्रिया (Inference Procedure)

लक्ष्य समस्या $x$ को सीधे हल करके समाधान $y \sim \pi(x)$ उत्पन्न करने के बजाय, ARQ एक बहु-चरणीय इन्फरेंस पाइपलाइन पेश करता है:

जनरेशन (Generation): जनरेटर $\phi$ , $x$ पर आधारित एक "स्टेपिंग स्टोन" समस्या $z$ उत्पन्न करता है ( $z \sim \phi(x)$ )। एक स्टेपिंग स्टोन को $x$ से संबंधित लेकिन हल करने में आसान समस्या (जैसे, एक विशेष मामला, एक सरल संस्करण, या एक संबंधित उप-समस्या) के रूप में परिभाषित किया गया है।
स्टोन को हल करना (Solving the Stone): सॉल्वर $\pi$ , स्टेपिंग स्टोन $z$ का एक समाधान $y_z$ उत्पन्न करता है ( $y_z \sim \pi(z)$ )।
लक्ष्य को हल करना (Solving the Target): सॉल्वर $\pi$ को मूल समस्या $x$ , स्टेपिंग स्टोन $z$ , और उसके समाधान $y_z$ के साथ प्रॉम्प्ट किया जाता है ताकि अंतिम समाधान $y$ उत्पन्न किया जा सके ( $y \sim \pi(x; z, y_z)$ )।

फ्रेमवर्क कई स्टोन्स के लिए दो रणनीतियों का समर्थन करता है:

सीक्वेंशियल (Sequential): $x$ और पिछले सभी स्टोन्स ( $z_1, \dots, z_{i-1}$ ) पर आधारित स्टोन्स $z_i$ उत्पन्न करना।
रिकर्सिव (Recursive): पिछले स्टोन $z_{i-1}$ को हल करने में मदद करने के लिए एक नया स्टोन $z_i$ उत्पन्न करना, जो प्रभावी रूप से रिवर्स में एक करिकुलम (curriculum) बनाता है।

2. पोस्ट-ट्रेनिंग और डेटा क्यूरेशन (Post-Training and Data Curation)

यह पहचानते हुए कि 'ऑफ-द-शेल्फ' LLMs मददगार और हानिकारक दोनों प्रकार के स्टेपिंग स्टोन्स का मिश्रण उत्पन्न करते हैं, लेखक जनरेटर $\phi$ को बेहतर बनाने के लिए एक पोस्ट-ट्रेनिंग पाइपलाइन का प्रस्ताव करते हैं:

स्कोरिंग फंक्शन (Scoring Function): एक उत्पन्न किए गए स्टोन $z$ की गुणवत्ता का मूल्यांकन $z$ की स्थिति में लक्ष्य $x$ को हल करते समय सॉल्वर $\pi$ के अपेक्षित रिवॉर्ड द्वारा किया जाता है। औपचारिक रूप से: $S(z, x) = \mathbb{E}_{y_z, y} [R(x, y)]$ , जिसे मोंटे कार्लो रोलआउट्स के माध्यम से अनुमानित किया जाता है।
सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): जनरेटर को लक्षित समस्याओं के एक डेटासेट के लिए उच्चतम स्कोर वाले स्टोन्स पर फाइन-ट्यून किया जाता है।
डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO): एक प्रेफरेंस डेटासेट बनाया जाता है जिसमें एक ही लक्ष्य के लिए उच्च-स्कोर वाले स्टोन्स को निम्न-स्कोर वाले स्टोन्स के साथ जोड़ा जाता है। जनरेटर को निम्न-स्कोर वाले स्टोन्स के ऊपर उच्च-स्कोर वाले स्टोन्स उत्पन्न करने की संभावना को अधिकतम करने के लिए DPO का उपयोग करके और अधिक फाइन-ट्यून किया जाता है।
सिंथेटिक डेटा (Synthetic Data): पूरी पाइपलाइन फ्रंटियर मॉडल्स (जैसे, GPT-120B) का उपयोग करके सिंथेटिक डेटा जनरेशन पर निर्भर करती है ताकि प्रशिक्षण जोड़े बनाए जा सकें, जिससे स्टेपिंग स्टोन्स के महंगे मानव एनोटेशन की आवश्यकता समाप्त हो जाती है।

मुख्य योगदान (Key Contributions)

अच्छे स्टेपिंग स्टोन्स का अस्तित्व और हस्तांतरणीयता (Existence and Transferability of Good Stepping Stones): पेपर यह प्रदर्शित करता है कि "अच्छे" स्टेपिंग स्टोन्स मौजूद हैं और हस्तांतरणीय हैं। एक मजबूत मॉडल द्वारा उत्पन्न उच्च-गुणवत्ता वाले स्टोन्स विभिन्न क्षमताओं वाले सॉल्वर्स (छोटे मॉडल्स सहित) की सफलता दर में उल्लेखनीय सुधार करते हैं, जो यह दर्शाता है कि लाभ किसी विशिष्ट सॉल्वर के पूर्वाग्रहों के कारण ओवरफिटिंग नहीं है।
ARQ फ्रेमवर्क: एक नवीन इन्फरेंस-टाइम स्कैफोल्ड जो प्रश्न जनरेशन को समस्या समाधान से अलग करता है, जिससे स्टेपिंग स्टोन जनरेशन का अलग से अध्ययन संभव होता है।
पोस्ट-ट्रेनिंग रेसिपी: सिंथेटिक डेटा और सॉल्वर के प्रदर्शन से प्राप्त रिवॉर्ड सिग्नल का उपयोग करके बेहतर स्टेपिंग स्टोन जनरेटर बनने के लिए LLMs को फाइन-ट्यून करने की एक विधि। यह दिखाता है कि सही प्रश्न पूछने की क्षमता सीखी जा सकती है।
मल्टी-स्टोन एक्सटेंशन: फ्रेमवर्क को क्रमवार (sequentially) या रिकर्सिव रूप से कई स्टेपिंग स्टोन्स उत्पन्न करने के लिए विस्तारित किया गया है, जो दिखाता है कि सीक्वेंशियल जनरेशन से प्रदर्शन में और सुधार होता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन चुनौतीपूर्ण गणितीय बेंचमार्क: AIME 2024, AIME 2025, और BeyondAIME पर ARQ का मूल्यांकन किया।

इन्फरेंस-टाइम प्रदर्शन: जनरेटर के रूप में एक मजबूत ऑफ-द-शेल्फ मॉडल (GPT-120B) का उपयोग करते हुए, ARQ ने 20 उम्मीदवारों में से सर्वश्रेष्ठ स्टेपिंग स्टोन का चयन करने पर सॉल्वर की सफलता दर में औसतन 13% का सुधार किया। हालांकि, सभी 20 स्टोन्स का औसत प्रदर्शन कम था क्योंकि हानिकारक स्टोन्स की उपस्थिति थी, जो बेहतर जनरेशन की आवश्यकता को रेखांकित करती है।
हस्तांतरणीयता (Transferability): एक संदर्भ सॉल्वर (GPT-120B) द्वारा चुने गए अच्छे स्टेपिंग स्टोन्स ने कमजोर सॉल्वर्स (GPT-20B, Qwen3-4B) के प्रदर्शन में भी उतना ही सुधार किया जितना कि सॉल्वर्स द्वारा स्वयं चुने गए स्टोन्स ने किया।
पोस्ट-ट्रेनिंग प्रभाव: सिंथेटिक स्टेपिंग स्टोन डेटासेट पर Qwen3-8B और Qwen2.5-32B को फाइन-ट्यून करने से महत्वपूर्ण सुधार हुआ। फाइन-ट्यून किए गए मॉडल्स ने ऐसे स्टोन्स उत्पन्न किए जिन्होंने सॉल्वर के प्रदर्शन में क्रमशः औसतन 3.1% और 2.9% का सुधार किया, जो बेसलाइन "सोल्वर ओनली" और प्री-ट्रेन वर्जन से बेहतर थे।
मल्टी-स्टोन स्केलिंग: ARQ को 3 सीक्वेंशियल स्टेपिंग स्टोन्स उत्पन्न करने के लिए विस्तारित करने से प्रदर्शन में और सुधार हुआ। GPT-120B के लिए, सिंगल स्टोन का उपयोग करने की तुलना में बेस्ट-केस स्कोर में 5.2% और औसत में 3-पॉइंट की वृद्धि हुई। रिकर्सिव जनरेशन ने सीक्वेंशियल दृष्टिकोण की तुलना में उतार-चढ़ाव भरा या घटता हुआ प्रदर्शन दिखाया।
तुलना: ARQ ने अन्य मध्यवर्ती-चरण विधियों जैसे Analogical Reasoning, Least-to-Most, और Plan-and-Solve को पछाड़ दिया। यह मौजूदा LLMs पर Self-Refine (समाधान का पुनरावृत्ति परिशोधन) से थोड़ा पीछे रहा, संभवतः इसलिए क्योंकि Self-Refine मौजूदा RLVR प्रशिक्षण पाइपलाइनों के साथ अधिक सीधे संरेखित है, लेकिन ARQ पूरक है और अधिक लाभ के लिए Self-Refine के साथ जोड़ा जा सकता है।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि ARQ एक अनछुए अनुसंधान क्षेत्र में एक उत्साहजनक कदम है: यह पहचानना कि कौन से प्रश्न पूछने योग्य हैं और उन्हें उत्पन्न करने के लिए LLMs को प्रशिक्षित करना। लेखक इस बात पर जोर देते हैं कि:

स्टेपिंग स्टोन्स एक विशिष्ट तर्क क्षमता हैं: वे केवल लंबी CoT नहीं हैं बल्कि अंतर्दृष्टि और रणनीतियों को सत्यापित करने के लिए संबंधित, आसान समस्याएं बनाने में शामिल हैं।
जनरेटिव क्षमता सीखी जा सकती है: सही प्रश्न पूछने की क्षमता सभी रीजनिंग मॉडल्स का अंतर्निहित गुण नहीं है, बल्कि लक्षित पोस्ट-ट्रेनिंग के माध्यम से इसे महत्वपूर्ण रूप से बढ़ाया जा सकता है।
स्केलेबिलिटी: यह दृष्टिकोण विशेष रूप से अत्यंत चुनौतीपूर्ण डोमेन (जैसे, IMO-स्तर का गणित, वैज्ञानिक अनुसंधान) के लिए आशाजनक है जहाँ प्रत्यक्ष समाधान जनरेशन कठिन है, और जहाँ मनुष्य विचारों को मान्य करने के लिए सरलीकृत प्रोटोटाइप का उपयोग करते हैं।

लेखक अपने पोस्ट-ट्रेनिंग प्रयोगों के वर्तमान पैमाने (कंप्यूट और डेटा स्रोतों द्वारा सीमित) के बारे में विनम्र रहते हैं और बड़े डेटासेट, कोडिंग जैसे अन्य डोमेन में विस्तार करने और प्रश्न जनरेशन के लिए ऑनलाइन RL का पता लगाने के लिए भविष्य के कार्य का सुझाव देते हैं।