🤖 AI

DyCon: Dynamic Reasoning Control via Evolving Difficulty Modeling

DyCon एक प्रशिक्षण-मुक्त (training-free) फ्रेमवर्क है जो तर्क की गहराई को नियंत्रित करने के लिए लेटेंट स्टेप-लेवल एम्बेडिंग्स से विकसित होती कार्य कठिनाई को गतिशील रूप से मॉडल करके लार्ज रीजनिंग मॉडल्स में "ओवरथिंकिंग" की समस्या को कम करता है, जिससे सटीकता से समझौता किए बिना दक्षता में उल्लेखनीय सुधार होता है।

मूल लेखक: Tengyao Tu, Yulin Li, Hui-Ling Zhen, Libo Qin, Zhoujun Wei, Jinghua Piao, Zhuotao Tian, Yong Li, Min Zhang

प्रकाशित 2026-06-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tengyao Tu, Yulin Li, Hui-Ling Zhen, Libo Qin, Zhoujun Wei, Jinghua Piao, Zhuotao Tian, Yong Li, Min Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली, अति-बुद्धिमान सहायक है जिसे समस्याओं को हल करना पसंद है। यह सहायक इतना उत्सुक है कि वह सही होना चाहता है, इसलिए वह अक्सर "ज्यादा सोचने" (overthinking) लगता है। यहाँ तक कि जब उत्तर सरल हो, तब भी वह एक 20 पन्नों का निबंध लिख सकता है, अपने गणित की तीन बार दोबारा जाँच कर सकता है, और अंतिम उत्तर देने से पहले हर छोटी बारीकी पर खुद से बहस कर सकता है। इसे "ओवरथिंकिंग" (overthinking) कहा जाता है, और जबकि यह सटीकता सुनिश्चित करता है, यह बहुत सारा समय और ऊर्जा (कंप्यूटिंग पावर) बर्बाद करता है।

यह शोध पत्र इस समस्या को ठीक करने के लिए DyCon (डायनेमिक रीजनिंग कंट्रोल) नामक एक नया टूल पेश करता है। DyCon को सहायक के मस्तिष्क के लिए एक स्मार्ट "ट्रैफिक पुलिस" के रूप में समझें।

यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. समस्या: "ओवर-इंजीनियर्ड" समाधान

वर्तमान में, ये AI मॉडल हर समस्या को एक संभावित संकट की तरह देखते हैं। चाहे आप उनसे पूछें, "2+2 क्या है?" या "ओलंपिक के जटिल भौतिकी समीकरण को कैसे हल करें?", मॉडल अपनी आंतरिक बातचीत (internal monologue) को उसी तीव्रता के साथ शुरू करता है। उसे यह नहीं पता होता कि कब रुकना है। वह तब तक विचार उत्पन्न करता रहता है जब तक कि वह एक कठिन सीमा तक न पहुँच जाए, भले ही उसने पाँच मिनट पहले ही समस्या हल कर ली हो।

2. खोज: कठिनाई एक बदलता हुआ लक्ष्य है

शोधकर्ताओं ने कुछ दिलचस्प खोजा: जैसे-जैसे AI किसी समस्या को हल करता है, समस्या की कठिनाई बदल जाती है।

उपमा: कल्पना कीजिए कि आप एक पहाड़ चढ़ रहे हैं। नीचे से, रास्ता खड़ा और डरावना दिखता है (उच्च कठिनाई)। जैसे-जैसे आप ऊपर चढ़ते हैं और एक स्पष्ट रास्ता पाते हैं, रास्ता आसान होता जाता है (कठिनाई कम हो जाती है)। लेकिन यदि आप गलत मोड़ ले लेते हैं, तो रास्ता फिर से खड़ा हो सकता है।
निष्कर्ष: AI वास्तव में इस बदलाव को "महसूस" करता है। शोधकर्ताओं ने पाया कि AI के आंतरिक "विचार" (जिसे गणितीय रूप से एम्बेडिंग्स कहा जाता है) में एक छिपा हुआ संकेत होता है जो उन्हें बताता है कि उस विशिष्ट क्षण में समस्या कितनी कठिन लग रही है।

3. समाधान: "डिफिकल्टी रडार" (DyCon)

AI को अधिक स्मार्ट बनाने के बजाय (जो महंगा और धीमा है), DyCon एक रियल-टाइम रडार की तरह काम करता है जो AI के आंतरिक विचारों को सुनता है।

यह कैसे काम करता है:
1. सुनना: जैसे-जैसे AI सोचता है, DyCon उसके आंतरिक "मस्तिष्क तरंगों" की जाँच करता है ताकि यह अनुमान लगाया जा सके कि समस्या अभी कितनी कठिन लग रही है।
2. निर्णय लेना:
  - यदि रडार कहता है "आसान": समस्या हल हो गई है या बहुत करीब है। DyCon धीरे से AI को सोचना बंद करने और उत्तर देने के लिए प्रेरित करता है। यह एक घबराए हुए ड्राइवर को यह कहने जैसा है, "रास्ता साफ है, आप शीशे देखना बंद कर सकते हैं और बस गाड़ी चला सकते हैं।"
  - यदि रडार कहता है "कठिन": AI अभी भी फँसा हुआ है या रास्ता पेचीदा है। DyCon AI को कहता है, "चलते रहो! अभी मत रुको!" यह AI को और अधिक खोजने और गहराई से सोचने के लिए प्रोत्साहित करता है।

4. परिणाम: एक स्मार्ट, तेज़ सहायक

इस रडार का उपयोग करके, AI दो मोड के बीच स्विच करना सीख जाता है:

फास्ट मोड (सिस्टम 1): आसान समस्याओं के लिए, यह ज्यादा सोचना बंद कर देता है और जल्दी उत्तर देता है।
डीप मोड (सिस्टम 2): कठिन समस्याओं के लिए, यह तब तक सोचता रहता है जब तक कि वह पूरी तरह आश्वस्त न हो जाए।

परिणाम:
इस शोध पत्र ने कई अलग-अलग प्रकार की समस्याओं (गणित, कोडिंग, सामान्य प्रश्न) और विभिन्न आकार के AI मॉडलों पर इसका परीक्षण किया। परिणामों ने दिखाया कि:

यह समय बचाता है: AI काफी कम "टोकन" (शब्द/विचार) का उपयोग करता है, जिसका अर्थ है कि यह चलाने में बहुत तेज़ और सस्ता है।
यह सटीकता नहीं खोता: क्योंकि यह केवल तभी रुकता है जब समस्या वास्तव में आसान होती है, इसलिए यह कठिन समस्याओं पर गलतियाँ नहीं करता है। यह बस आसान समस्याओं पर समय बर्बाद करना बंद कर देता है।

सारांश उपमा

कल्पना कीजिए कि एक शेफ रात का खाना बना रहा है।

DyCon के बिना: शेफ एक घंटे तक परफेक्ट होने के बाद भी हर 30 सेकंड में सूप चखता है। वे टाइमर खत्म होने तक चम्मच चलाते रहते हैं और चखते रहते हैं, जिससे ऊर्जा बर्बाद होती है।
DyCon के साथ: शेफ के पास एक जादुई चम्मच है जो उन्हें ठीक से बताता है कि सूप कब तैयार है। यदि सूप परफेक्ट है, तो चम्मच कहता है, "रुको!" और शेफ उसे तुरंत परोस देता है। यदि सूप में और नमक की आवश्यकता है, तो चम्मच कहता है, "पकाना जारी रखें!"

DyCon वह जादुई चम्मच है। यह AI को यह जानने में मदद करता है कि सोचना कब बंद करना है, जिससे इसकी बुद्धिमत्ता से समझौता किए बिना यह तेज़ और अधिक कुशल बन जाता है।

तकनीकी सारांश: DyCon: विकसित होती कठिनाई मॉडलिंग के माध्यम से गतिशील तर्क नियंत्रण (Dynamic Reasoning Control)

समस्या विवरण

हाल के लार्ज रीजनिंग मॉडल्स (LRMs) ने जटिल कार्यों जैसे कि गणितीय समस्या समाधान और कोड जनरेशन पर बार-बार चिंतन (reflection), अन्वेषण (exploration) और निष्पादन (execution) के माध्यम से महत्वपूर्ण प्रदर्शन सुधार प्रदर्शित किए हैं। हालाँकि, ये मॉडल अक्सर "ओवरथिंकिंग" (overthinking) से ग्रस्त होते हैं, जो एक ऐसी घटना है जहाँ वे सरल या पहले से हल किए जा चुके कार्यों पर भी अनावश्यक रूप से चिंतन और अन्वेषण करते हैं। यह अक्षमता तर्क प्रक्रिया (reasoning traces) को अनावश्यक रूप से लंबा करती है, इन्फरेंस लागत (inference costs) बढ़ाती है, और अतिरिक्त मतिभ्रम (hallucinations) उत्पन्न कर सकती है।

ओवरथिंकिंग को कम करने के मौजूदा तरीके तीन श्रेणियों में आते हैं, जिनमें से प्रत्येक की अपनी सीमाएँ हैं:

स्थिर कठिनाई अनुमान (Static Difficulty Estimation): वे विधियाँ जो तर्क शुरू होने से पहले (प्रारंभिक प्रॉम्प्ट के आधार पर) एक निश्चित कठिनाई स्कोर असाइन करती हैं, वे तर्क प्रक्रिया के दौरान समस्या की जटिलता कैसे गतिशील रूप से बदलती है, इसे पकड़ने में विफल रहती हैं।
समान समाप्ति मानदंड (Uniform Termination Criteria): TrimR और FlashThink जैसे दृष्टिकोण बाहरी मॉडलों या समान मानदंडों पर निर्भर करते हैं, जो समस्या-विशिष्ट कठिनाई विविधताओं की अनदेखी करते हैं।
प्रशिक्षण-आधारित दृष्टिकोण (Training-Based Approaches): SFT या RL का उपयोग करने वाली विधियाँ जो समाप्ति बिंदुओं को अंतर्निहित रूप से सीखने की कोशिश करती हैं, डेटा की गुणवत्ता के प्रति संवेदनशील होती हैं, मोड कोलैप्स (mode collapse) की संभावना रखती हैं, और उन्हें कार्य-विशिष्ट प्रशिक्षण की आवश्यकता होती है, जिससे उनकी सामान्यीकरण क्षमता सीमित हो जाती है।

मुख्य चुनौती कार्य की कठिनाई को इस तरह से स्पष्ट रूप से मॉडल करने की है जो तर्क प्रक्रिया के दौरान गतिशील रूप से अनुकूलित हो सके, जिससे बिना पुन: प्रशिक्षण (retraining) के तर्क को अनुकूल रूप से समाप्त या विस्तारित किया जा सके।

कार्यप्रणाली: DyCon

लेखक DyCon प्रस्तावित करते हैं, जो एक ट्रेनिंग-फ्री फ्रेमवर्क है जो विकसित होती कार्य कठिनाई को मॉडल करने और तर्क की गहराई को गतिशील रूप से नियंत्रित करने के लिए लेटेंट स्टेप-लेवल रिप्रेजेंटेशन (latent step-level representations) का लाभ उठाता है। यह विधि दो प्राथमिक चरणों में कार्य करती है:

1. विकसित होती कठिनाई का स्पष्ट मॉडलिंग

लेखक अनुभवजन्य रूप से देखते हैं कि समस्या की कठिनाई स्थिर नहीं होती है, बल्कि तर्क के दौरान गतिशील रूप से विकसित होती है। उनका अनुमान है कि यह विकसित होती कठिनाई LRM के स्टेप-लेवल एम्बेडिंग्स (step-level embeddings) के भीतर रैखिक रूप से एनकोड की गई है।

स्टेप एम्बेडिंग्स (Step Embeddings): तर्क प्रक्रिया को अलग-अलग चरणों (जो \n\n द्वारा विभाजित हैं) में विभाजित किया जाता है। प्रत्येक स्टेप बाउंड्री पर हिडन स्टेट एक स्टेप एम्बेडिंग ( $e_s$ ) के रूप में कार्य करती है।
डिफिकल्टी प्रॉक्सी (Difficulty Proxy): चूंकि स्पष्ट डायनेमिक डिफिकल्टी लेबल उपलब्ध नहीं हैं, इसलिए लेखक शेष तर्क लंबाई ( $r_s$ ) को कठिनाई के प्रॉक्सी के रूप में उपयोग करते हैं। एक बड़ी शेष लंबाई एक अधिक चुनौतीपूर्ण स्थिति का संकेत देती है, जबकि एक छोटी लंबाई यह बताती है कि कार्य पूर्णता के करीब है।
रिग्रेसर्स (Regressors): एक हल्का लीनियर रिग्रेसर (Ridge regression) एक छोटे पैमाने के डेटासेट (जैसे, MATH ट्रेनिंग सेट से 600 नमूने) पर ऑफलाइन फिट किया जाता है। यह रिग्रेसर स्टेप एम्बेडिंग्स को एक नॉर्मलाइज्ड डिफिकल्टी स्कोर ( $d_s \in [0, 1]$ ) में मैप करता है। टारगेट डिफिकल्टी को हेवी-टेल्ड डिस्ट्रीब्यूशन को संभालने के लिए लॉग-ट्रांसफॉर्म और मिन-मैक्स नॉर्मलाइजेशन के माध्यम से प्राप्त किया जाता है।
मुख्य निष्कर्ष: अध्ययन यह प्रदर्शित करता है कि स्टेप एम्बेडिंग्स और डिफिकल्टी प्रॉक्सी के बीच एक मजबूत रैखिक सहसंबंध ( $R^2 \approx 0.8$ ) है, जो यह दर्शाता है कि LRMs में स्वाभाविक रूप से विकसित होती कठिनाई के संबंध में लेटेंट ज्ञान होता है।

2. कठिनाई-जागरूक गतिशील तर्क नियंत्रण (Difficulty-Aware Dynamic Reasoning Control)

इन्फरेंस के दौरान, फिट किया गया रिग्रेसर प्रत्येक तर्क चरण पर कठिनाई का अनुमान लगाता है। इस अनुमान के आधार पर, DyCon प्रतिबिंब संबंधी कीवर्ड्स (जैसे, "wait," "however," "check") के लॉजिट्स (logits) को गतिशील रूप से समायोजित करता है ताकि मॉडल के व्यवहार को नियंत्रित किया जा सके:

कम कठिनाई (Low Difficulty): यदि अनुमानित कठिनाई कम है (जो पर्याप्त तर्क होने का संकेत देती है), तो रिफ्लेक्शन कीवर्ड्स के लॉजिट्स को कम कर दिया जाता है। यह मॉडल को तर्क प्रक्रिया को जल्दी समाप्त करने के लिए प्रोत्साहित करता है।
उच्च कठिनाई (High Difficulty): यदि अनुमानित कठिनाई अधिक है, तो रिफ्लेक्शन कीवर्ड्स का दमन (suppression) कमजोर कर दिया जाता है (या हटा दिया जाता है), जिससे मॉडल को गहराई से अन्वेषण और चिंतन करने की अनुमति मिलती है।
लॉजिट हस्तक्षेप (Logit Intervention): समायोजन की गणना रिफ्लेक्शन ट्रिगर्स के लॉजिट्स से घटाए जाने वाले बायस (bias) के रूप में की जाती है। इस बायस का परिमाण $(1 - \hat{d}_s)$ द्वारा स्केल किया जाता है, यह सुनिश्चित करता है कि दमन आसान चरणों के लिए अधिक मजबूत और कठिन चरणों के लिए सौम्य हो। उच्च-कठिनाई वाले चरणों पर अत्यधिक दमन को रोकने के लिए एक थ्रेशोल्ड तंत्र का भी उपयोग किया जाता है।

मुख्य योगदान

गतिशील कठिनाई का अनुभवजन्य सत्यापन: लेखकों ने अनुभवजन्य प्रमाण प्रदान किए हैं कि LRMs में समस्या की कठिनाई तर्क के दौरान गतिशील रूप से विकसित होती है और स्टेप-लेवल एम्बेडिंग्स में रैखिक रूप से एनकोड की गई है। यह स्थिर कठिनाई की धारणा को चुनौती देता है और यह प्रकट करता है कि मॉडल्स में इस विकास के संबंध में लेटेंट ज्ञान होता है।
DyCon फ्रेमवर्क: उन्होंने DyCan पेश किया है, जो एक ट्रेनिंग-फ्री मैकेनिज्म है जो स्टेप एम्बेडिंग्स से लेटेंट डिफिकल्टी सिग्नल को डिकोड करने के लिए एक हल्के लीनियर रिग्रेसर का उपयोग करता है। यह मूल मॉडल पैरामीटर्स को बदले बिना तर्क की गहराई पर गतिशील, सूक्ष्म नियंत्रण सक्षम करता है।
सामान्यीकरण और दक्षता: व्यापक प्रयोगों से पता चलता है कि DyCon सटीकता या सामान्यीकरण (विभिन्न मॉडल्स (4B से 32B पैरामीटर्स) और डोमेन (गणित, कोडिंग, सामान्य QA) के बीच) से समझौता किए बिना रेडंडेंट रीजनिंग स्टेप्स को काफी कम कर देता है (दक्षता में सुधार)।

प्रयोगात्मक परिणाम

लेखकों ने चार मॉडल्स (DeepSeek-R1-Distill-Qwen-7B, Qwen3-4B, QwQ-32B, Qwen3-14B) पर बारह बेंचमार्क्स (MATH-500, AIME2024/2025, GSM8K, LiveCodeBench, और GPQA सहित) पर DyCon का मूल्यांकन किया।

दक्षता लाभ (Efficiency Gains): DyCan ने बेसलाइन्स की तुलना में गणितीय बेंचमार्क्स पर टोकन उपयोग को 18.7% से 40.6% तक और गैर-गणितीय बेंचमार्क्स पर 52.5% तक लगातार कम किया।
सटीकता संरक्षण (Accuracy Preservation): महत्वपूर्ण रूप से, ये दक्षता लाभ सटीकता से समझौता किए बिना प्राप्त किए गए। कई मामलों में (जैसे, Qwen3-4B पर AIME2024), टोकन कम करने के साथ सटीकता वास्तव में बढ़ी (जैसे, +3.4% Pass@1)।
क्रॉस-आर्किटेक्चर मजबूती (Cross-Architecture Robustness): यह विधि विभिन्न मॉडल परिवारों (Qwen, DeepSeek, LLaMA) और आकारों में प्रभावी ढंग से सामान्यीकृत हुई, जो यह सुझाव देती है कि अंतर्निहित तंत्र मॉडल-अज्ञेयवादी (model-agnostic) है।
डोमेन ट्रांसफर (Domain Transfer): केवल गणितीय डेटा पर फिट किया गया रिग्रेसर गैर-गणितीय डोमेन (जैसे, GPQA, StrategyQA) में प्रभावी ढंग से स्थानांतरित हुआ, जो यह दर्शाता है कि तर्क की कठिनाई के विकास के पैटर्न विभिन्न डोमेन में गुणात्मक रूप से समान हैं।

महत्व और दावे

पेपर का दावा है कि DyCon LRMs के व्यावहारिक परिनियोजन (deployment) में एक महत्वपूर्ण बाधा को संबोधित करता है: ओवरथिंकिंग के कारण होने वाली अक्षमता। लेटेंट रिप्रेजेंटेशन का उपयोग करके कठिनाई के गतिशील विकास को स्पष्ट रूप से मॉडल करके, DyCon अनुकूली इन्फरेंस (adaptive inference) को सक्षम करता है जो तर्क के "सिस्टम 1" (फास्ट, ह्यूरिस्टिक) और "सिस्टम 2" (स्लो, डेलिब्रेटिव) मोड के बीच संतुलन बनाता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण ट्रेनिंग-फ्री है, जिससे यह SFT या RL से जुड़ी डेटा संग्रह और कम्प्यूटेशनल लागतों के बिना मौजूदा मॉडल्स के लिए तुरंत लागू करने योग्य बन जाता है। वे दावा करते हैं कि एम्बेडिंग्स और डिफिकल्टी के बीच रैखिक संबंध स्पष्ट, सूक्ष्म नियंत्रण के लिए एक मजबूत आधार प्रदान करता है, जिससे मॉडल्स को सरल कार्यों पर कुशलतापूर्वक तर्क समाप्त करने और जटिल समस्याओं के लिए आवश्यक गहराई बनाए रखने की अनुमति मिलती है। यह कार्य सुझाव देता है कि भविष्य के रीजनिंग मॉडल्स को स्थिर समाप्ति मानदंडों पर निर्भर नहीं होना चाहिए, बल्कि उन्हें लागत और समाधान की गुणवत्ता के बीच संतुलन बनाने के लिए आंतरिक, विकसित होते संकेतों का लाभ उठाना चाहिए।