💬 NLP

CopT: Contrastive On-Policy Thinking with Continuous Spaces for General and Agentic Reasoning

CopT एक प्रशिक्षण-मुक्त तर्क ढांचा (training-free reasoning framework) है जो मानक चेन-ऑफ-थॉट प्रतिमान को उलट देता है, जिसमें पहले एक ड्राफ्ट उत्तर उत्पन्न किया जाता है और फिर केवल आवश्यकता होने पर ही गतिशील रूप से ऑन-पॉलिसी प्रतिबिंब (on-policy reflection) को ट्रिगर करने के लिए निरंतर-स्थान कंट्रास्टिव सत्यापनकर्ताओं (continuous-space contrastive verifiers) का उपयोग किया जाता है, जिससे विविध तर्क कार्यों में सटीकता में उल्लेखनीय सुधार होता है और टोकन लागत कम होती है।

मूल लेखक: Dachuan Shi, Hanlin Zhu, Xiangchi Yuan, Wanjia Zhao, Kejing Xia, Wen Xiao, Wenke Lee

प्रकाशित 2026-05-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dachuan Shi, Hanlin Zhu, Xiangchi Yuan, Wanjia Zhao, Kejing Xia, Wen Xiao, Wenke Lee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रहस्य सुलझाने वाले एक प्रतिभाशाली जासूस हैं।

पुराना तरीका (Chain-of-Thought):
पारंपरिक रूप से, जब Large Language Models (LLMs) किसी समस्या को हल करने की कोशिश करते हैं, तो वे एक ऐसे जासूस की तरह व्यवहार करते हैं जो अपराधी का नाम बताने से पहले 10 पन्नों की पुलिस रिपोर्ट लिखने पर अड़ा रहता है। वे सोचते हैं, सोचते हैं, सोचते हैं, हर कदम को लिखते हैं, और फिर उत्तर देते हैं।

समस्या: कभी-कभी, जासूस को पहले ही सेकंड में उत्तर पता होता है। लेकिन क्योंकि नियम कहते हैं "पहले सोचो," वे फिर भी रिपोर्ट लिखते रहते हैं। यह समय (tokens) और ऊर्जा बर्बाद करता है, भले ही उत्तर स्पष्ट हो। इसे "परफॉर्मेटिव रीजनिंग" (performative reasoning) कहा जाता है—सिर्फ सोचने के लिए सोचना।

नया तरीका (CopT):
यह पेपर CopT (Contrastive On-Policy Thinking) पेश करता है। यह कहानी को पूरी तरह बदल देता है। जवाब देने से पहले सोचने के बजाय, CopT एक ऐसे जासूस की तरह काम करता है जो तुरंत एक ड्राफ्ट उत्तर चिल्लाकर बोल देता है।

चरण 1: अंतर्मन की जांच (The Gut Check)। मॉडल कहता है, "मुझे लगता है कि उत्तर X है।"
चरण 2: जादुई दर्पण (The Magic Mirror)। इस उत्तर को स्वीकार करने से पहले, CopT एक विशेष "जादुई दर्पण" (एक कंट्रास्टिव मैकेनिज्म) का उपयोग करके यह जांचता है कि क्या उत्तर भरोसेमंद है।
- यह उत्तर को एक मानक दृश्य (discrete tokens) के माध्यम से देखता है।
- यह उत्तर को एक "धुंधले, अनिश्चित" दृश्य (continuous embeddings जो उन सभी "शायद" संभावनाओं को समेटे हुए हैं जिन पर मॉडल विचार कर रहा था) के माध्यम से देखता है।
- यदि मॉडल आश्वस्त है, तो दोनों दृश्य पूरी तरह से मेल खाते हैं। यदि मॉडल अनुमान लगा रहा है या भ्रमित है, तो दोनों दृश्य आपस में टकराते हैं।
चरण 3: निर्णय।
- यदि दर्पण कहता है "ठीक लग रहा है": जासूस तुरंत उत्तर को स्वीकार कर लेता है। लंबी रिपोर्ट लिखने की कोई आवश्यकता नहीं है। परिणाम: समय और पैसे की भारी बचत।
- यदि दर्पण कहता "डगमगा रहा है": जासूस कहता है, "ठीक है, मुझे और सोचने की जरूरत है।" लेकिन यहाँ चतुराई भरी बात यह है कि वे अपना पहला अनुमान नहीं भूलते। वे एक "विजिबिलिटी स्विच" (visibility switch) का उपयोग करते हैं। वे अपने पहले अनुमान को छिपा सकते हैं यदि वह उन्हें भ्रमित कर रहा हो, या उसे मददगार संकेत के रूप में रख सकते हैं, जबकि वे सुधार के लिए गहरी सोच का उपयोग करते हैं।

मुख्य रूपक: "धुंधला लेंस" बनाम "साफ लेंस"

"जादुई दर्पण" (कंट्रास्टिव वेरीफायर) को समझने के लिए, कल्पना करें कि आप दो अलग-अलग लेंसों के माध्यम से एक पेंटिंग देख रहे हैं:

साफ लेंस (Discrete Input): आप ब्रश के वे अंतिम, स्पष्ट स्ट्रोक देखते हैं जिन्हें मॉडल ने पेंट करने का निर्णय लिया है। यह "ड्राफ्ट उत्तर" है।
धुंधला लेंस (Continuous Input): आप रंगों के उस पूरे पैलेट को देखते हैं जिस पर मॉडल अंतिम स्ट्रोक चुनने से पहले विचार कर रहा था। इसमें सभी "क्या होगा अगर" और अनिश्चितताएं शामिल हैं।

CopT इसका उपयोग कैसे करता है:
CopT पूछता है: "क्या साफ लेंस, धुंधले लेंस जैसा ही दिखता है?"

हाँ: मॉडल निश्चित था। उत्तर संभवतः सही है। सोचना बंद करें, टोकन बचाएं।
नहीं: धुंधला लेंस दिखाता है कि मॉडल वास्तव में बहुत भ्रमित था या कई अलग-अलग संभावनाओं पर विचार कर रहा था, भले ही उसने एक विशिष्ट रंग चुना हो। उत्तर संभवतः गलत है। इसे ठीक करने के लिए गहरी सोच (on-policy thinking) शुरू करें।

यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

पेपर का दावा है कि यह तरीका गेम-चेंजर है क्योंकि यह मॉडल को अनावश्यक रूप से "सोचने का प्रदर्शन" करने से रोकता है।

गति और लागत: आसान समस्याओं पर जहाँ मॉडल को उत्तर तुरंत पता चल जाता है, CopT पूरी लंबी सोचने की प्रक्रिया को छोड़ देता है। पेपर दिखाता है कि यह कुछ मामलों में "लागत" (शब्दों/टोकन की संख्या) को लगभग आधा कर देता है।
स्मार्टर थिंकिंग: कठिन समस्याओं पर जहाँ पहला अनुमान गलत होता है, CopT हार नहीं मानता। यह "जादुई दर्पण" का उपयोग यह महसूस करने के लिए करता है कि, "रुको, मैं भ्रमित हूँ," और फिर केवल आवश्यकता होने पर ही गहरी सोच में संलग्न होता है।
कोई प्रशिक्षण आवश्यक नहीं: यह कोई नया मॉडल नहीं है जिसे वर्षों के प्रशिक्षण की आवश्यकता है। यह मौजूदा मॉडलों का उपयोग करने का एक नया तरीका है। यह एक स्मार्ट जासूस को एक नई भाषा सिखाने के बजाय, उसे पालन करने के लिए नए नियम देने जैसा है।

द विजिबिलिटी स्विच (The Visibility Switch)

जब मॉडल को एहसास होता है कि उसे और सोचने की आवश्यकता है, तो उसे अपने पहले (संभवतः गलत) अनुमान को देखते रहने का निर्णय लेना होता है।

यदि सोचने की प्रक्रिया उलझ जाती है, तो CopT पहले अनुमान को छिपा सकता है ताकि मॉडल अपने ही mistake से भ्रमित न हो।
यदि पहले अनुमान में कोई अच्छा संकेत है, तो CopT उसे सुधार के लिए मार्गदर्शन करने हेतु दिखाता है।
यह प्रक्रिया के दौरान दूसरे "जादुई दर्पण" चेक द्वारा नियंत्रित होती है।

सारांश

CopT एआई रीजनिंग (AI reasoning) का उपयोग करने का एक स्मार्ट तरीका है। एआई को बोलने से पहले लंबे समय तक सोचने के लिए मजबूर करने के बजाय, यह एआई को पहले बोलने देता है, फिर एक विशेष "अनिश्चितता डिटेक्टर" का उपयोग करके यह जांचता है कि क्या उसका बोलना भरोसेमंद है, और केवल तभी उसे गहराई से सोचने के लिए मजबूर करता है जब डिटेक्टर कहता है, "हे, यह सही नहीं लग रहा है।" यह एआई को तेज, सस्ता और कठिन समस्याओं पर उतना ही स्मार्ट (या उससे भी स्मार्ट) बनाता है।

तकनीकी सारांश: CopT: सामान्य और एजेंटिक रीजनिंग के लिए निरंतर स्थानों (Continuous Spaces) के साथ कंट्रास्टिव ऑन-पॉलिसी थिंकिंग

समस्या विवरण

चेन-ऑफ-थॉट (CoT) प्रॉम्प्टिंग बड़े भाषा मॉडलों (LLMs) में तर्क क्षमताओं को निकालने के लिए मानक बन गई है। हालांकि, प्रचलित CoT प्रतिमान सोचने को उत्तर देने के लिए एक सख्त पूर्व शर्त के रूप में मानता है, जो मॉडलों को अंतिम उत्तर देने से पहले एक पूर्ण तर्क प्रक्रिया (reasoning trace) उत्पन्न करने के लिए मजबूर करता है। हालिया अवलोकन संकेत देते हैं कि LLMs अक्सर "परफॉर्मेटिव रीजनिंग" प्रदर्शित करते हैं, जहाँ वे एक संभावित उत्तर की पहचान करने के बाद भी तर्क चरणों को उत्पन्न करना जारी रखते हैं। यह व्यवहार सही उत्तरों तक पहुँच में देरी करता है और अनावश्यक टोकन लागत उत्पन्न करता है। इसके अलावा, निरंतर एम्बेडिंग्स (Latent CoT) का उपयोग करने वाली मौजूदा विधियाँ अक्सर स्पष्ट तर्क की पठनीयता का त्याग करती हैं या सीधे पीढ़ी (generation) के लिए उपयोग किए जाने पर अनदेखी प्रस्तुतियों (unseen representations) या शोर (noise) में बह जाने जैसी समस्याएँ उत्पन्न करती हैं।

कार्यप्रणाली: CopT

लेखक CopT (कंट्रास्टिव ऑन-पॉलिसी थिंकिंग) प्रस्तावित करते हैं, जो एक प्रशिक्षण-मुक्त (training-free) रीजनिंग पाइपलाइन है जो मानक संचालन क्रम को उलट देती है: पहले उत्तर, फिर सोच (Answer First, Then Think)। यह कार्यप्रणाली दो प्राथमिक चरणों और एक नवीन कंट्रास्टिव वेरिफिकेशन तंत्र से बनी है।

1. उलटा तर्क पाइपलाइन (Reversed Reasoning Pipeline)

ड्राफ्ट उत्तर उद्देलन (Draft Answer Elicitation): पहले सोचने के बजाय, मॉडल को तुरंत एक <answer> टोकन आउटपुट करने और इनपुट प्रश्न ( $q$ ) के आधार पर एक ड्राफ्ट उत्तर ( $a$ ) उत्पन्न करने के लिए मजबूर किया जाता है।
ऑन-पॉलिसी थिंकिंग: यदि ड्राफ्ट उत्तर अविश्वसनीय माना जाता है, तो मॉडल ड्राफ्ट पर आधारित एक अनुवर्ती विचार चरण (thinking phase) को ट्रिगर करता है। यह केवल आवश्यकता होने पर प्रतिबिंब (reflection) और सुधार की अनुमति देता है।

2. कंट्रास्टिव रिलायबिलिटी एस्टीमेशन (Contrastive Reliability Estimation)

यह निर्धारित करने के लिए कि क्या एक ड्राफ्ट उत्तर पर भरोसा किया जाना चाहिए या आगे सोचने की आवश्यकता है, CopT एक सामान्यीकृत अनुक्रम-स्तरीय रिवर्स KL एस्टीमेटर ( $\kappa$ ) पेश करता है। यह तंत्र निरंतर एम्बेडिंग्स को पीढ़ी (generation) के लिए उपयोग किए बिना, निष्कर्ष समय (inference-time) के सत्यापनकर्ताओं (verifiers) के रूप में उपयोग करता है।

डिस्क्रीट बनाम निरंतर इनपुट: पीढ़ी के दौरान, मॉडल प्रत्येक चरण के लिए दो प्रस्तुतियों को कैश करता है:
1. डिस्क्रीट प्रीफिक्स (Discrete Prefix): चुने गए टोकन की डिस्क्रीट टोकन हिस्ट्री के आधार पर मानक प्रायिकता $p_t$ ।
2. निरंतर प्रीफिक्स (Continuous Prefix): एक निरंतर एम्बेडिंग $e_t$ , जिसे अनिश्चितता की जानकारी को संरक्षित करने के लिए सभी शब्दावली एम्बेडिंग्स के प्रायिकता-भारित औसत के रूप में गणना किया जाता है।
एस्टिमेटर: लंबाई $T_a$ के ड्राफ्ट को उत्पन्न करने के बाद, मॉडल डिस्क्रीट प्रीफिक्स ( $p_\theta(a_t | q, a_{<t})$ ) के तहत उत्पन्न टोकन की प्रायिकता की तुलना निरंतर प्रीफिक्स ( $p_\theta(a_t | q, e_{<t})$ ) के तहत प्रायिकता से करता है।
$\kappa_a = \frac{1}{T_a} \sum_{t=1}^{T_a} \left[ \log p_\theta(a_t | q, a_{<t}) - \log p_\theta(a_t | q, e_{<t}) \right]$
व्याख्या: एक उच्च $\kappa_a$ इंगित करता है कि जब अनिश्चितता की जानकारी (निरंतर एम्बेडिंग्स) पर विचार किया जाता है, तो उत्तर काफी कम समर्थित होता है, जो सुझाव देता है कि ड्राफ्ट अविश्वसनीय है। यदि $\kappa_a$ एक थ्रेशोल्ड $\tau_a$ से अधिक हो जाता है, तो मॉडल ऑन-पॉलिसी थिंकिंग चरण में प्रवेश करता है।

3. डायनेमिक विजिबिलिटी कंट्रोल (Dynamic Visibility Control)

ऑन-पॉलिसी थिंकिंग चरण के दौरान, ड्राफ्ट उत्तर में उपयोगी आंशिक जानकारी हो सकती है लेकिन यदि वह मौलिक रूप से त्रुटिपूर्ण है तो वह मॉडल को गुमराह भी कर सकता है। CopT इसे बाद के थिंकिंग चंक्स (chunks) के दौरान ड्राफ्ट उत्तर की दृश्यता (visibility) को गतिशील रूप से नियंत्रित करके संबोधित करता है।

थिंकिंग ट्राजेक्टरी को चंक्स में विभाजित किया जाता है।
वर्तमान थिंकिंग प्रक्रिया की स्थिरता का आकलन करने के लिए प्रत्येक चंक के लिए दूसरा KL एस्टीमेटर ( $\kappa_r$ ) की गणना की जाती है।
यदि $\kappa_r$ अस्थिरता (उच्च विसंगति) का संकेत देता है, तो अगले चंक के लिए ड्राफ्ट को छिपा दिया जाता है ( $m_k=0$ ) ताकि मॉडल को गुमराह होने से रोका जा सके। यदि स्थिर है, तो ड्राफ्ट दृश्य रहता है ( $m_k=1$ )।

4. सैद्धांतिक आधार

पेपर एक सैद्धांतिक विश्लेषण प्रदान करता है जो दिखाता है कि "मिक्सचर-लीनियर" धारणा के तहत, रिवर्स KL एस्टीमेटर का अपेक्षित मान अनसुलझे लेटेंट रीजनिंग स्टेट $S$ और उत्सर्जित उत्तर टोकन $A$ के बीच म्युचुअल इंफॉर्मेशन $I(S; A)$ के बराबर है। यह सिद्ध करता है कि एस्टीमेटर उत्तर-प्रासंगिक अनिश्चितता (answer-relevant uncertainty) को मापता है, न कि लेटेंट स्टेट में मनमानी अनिश्चितता को। फलस्वरूप, स्कोर केवल तभी बढ़ता है जब निरंतर एम्बेडिंग्स में संरक्षित अनिश्चितता वास्तव में जेनरेट किए गए टोकन के लिए मॉडल के समर्थन को बदल देती है।

मुख्य योगदान

उल्टा प्रतिमान (Reversed Paradigm): एक प्रशिक्षण-मुक्त पाइपलाइन का प्रस्ताव करता है जहाँ LLMs पहले एक ड्राफ्ट उत्तर उत्पन्न करते हैं और केवल तभी ऑन-पॉलिसी थिंकिंग को कॉल करते हैं जब ड्राफ्ट को अविश्वसनीय माना जाता है, जिससे उत्तरों तक शीघ्र पहुँच और चयनात्मक सुधार सक्षम होता है।
कंट्रास्टिव वेरिफिकेशन: एक तंत्र पेश करता है जो निरंतर एम्बेडिंग्स (जो पहले Latent CoT में पीढ़ी के लिए उपयोग किए जाते थे) को निष्कर्ष-समय सत्यापनकर्ताओं के रूप में पुनर्गठित करता है। डिस्क्रीट और निरंतर इनपुट के बीच विषमता (contrast) बनाकर, यह ड्राफ्ट विश्वसनीयता का अनुमान लगाता है और स्पष्ट CoT की पठनीयता से समझौता किए बिना ड्राफ्ट दृश्यता को नियंत्रित करता है।
सैद्धांतिक अंतर्दृष्टि: यह प्रदर्शित करता है कि प्रस्तावित एस्टीमेटर लेटेंट स्टेट्स और उत्तरों के बीच म्युचुअल इंफॉर्मेशन को मापता है, जो यह समझाता है कि यह प्रभावी रूप से उत्तर-प्रासंगिक अनिश्चितता को क्यों पकड़ता है।
अनुभवजन्य सत्यापन (Empirical Validation): गणित, कोडिंग और एजेंटिक रीजनिंग कार्यों पर Qwen3 और Qwen3.5 मॉडल्स (2B, 8B, और 35B स्केल) पर 10 बेंचमार्क (GSM8K, Math500, AIME, HumanEval, LeetCode-Contest, और एजेंटिक बेंचमार्क जैसे BFCL v4, ZebraArena) के माध्यम से व्यापक रूप से सत्यापन करता है।

प्रयोगात्मक परिणाम

लेखकों ने 10 बेंचमार्क पर Qwen3 और Qwen3.5 मॉडल्स (2B, 8B, और 35B स्केल) पर CopT का मूल्यांकन किया।

सटीकता और दक्षता: CopT पीक सटीकता में 23% तक सुधार करता है (जैसे, ZebraArena लार्ज स्प्लिट पर) और मानक CoT की तुलना में समान या उच्च सटीकता स्तरों पर टोकन उपयोग को 57% तक कम करता है।
गणित और कोडिंग: GSM8K पर, CopT ने 55.1% टोकन की कमी के साथ +0.23% सटीकता लाभ प्राप्त किया। चुनौतीपूर्ण AIME बेंचमार्क पर, इसने AIME24 पर +3.34% और AIME25 पर +2.92% की सटीकता में सुधार किया।
एजेंटिक रीजनिंग: मल्टी-टर्न एजेंटिक कार्यों (ZebraArena) में, CopT ने टोकन उपयोग को 19.6% कम करते हुए लार्ज स्प्लिट पर +23.03% की सटीकता में सुधार किया।
लेटेंट विधियों के साथ तुलना: निरंतर एम्बेडिंग्स का पीढ़ी के लिए उपयोग करने वाली प्रशिक्षण-मुक्त विधियों (जैसे, Soft-Thinking, SwiReasoning) के विपरीत, CopT पूरी तरह से स्पष्ट, पठनीय रीजनिंग बनाए रखता है जबकि कम टोकन के साथ उच्च सटीकता प्राप्त करता है।
विलंबता (Latency): टोकन की बचत सीधे तौर पर विलंबता में कमी में बदल जाती है, जिसमें CopT ने HumanEval पर औसत प्रति-नमूना विलंबता को 69% तक कम कर दिया।

महत्व और दावे

पेपर दावा करता है कि CopT बिना किसी अतिरिक्त प्रशिक्षण के, निष्कर्ष समय (inference time) पर अधिक लागत प्रभावी LLM रीजनिंग के लिए एक व्यावहारिक मार्ग प्रदान करता है। विचारों के क्रम को उलटकर और निरंतर एम्बेडिंग्स को कंट्रास्टिव सत्यापनकर्ताओं के रूप में उपयोग करके, CopT सटीकता, दक्षता और रीजनिंग पारदर्शिता के बीच संतुलन सफलतापूर्वक बनाता है। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण प्रत्यक्ष निरंतर पीढ़ी (जैसे, डी-डाइवर्सिफिकेशन और शोर) के दोषों से बचता है, जबकि यह निर्णय लेने के लिए कि कब सोचना है और कब रुकना है, निरंतर स्थानों में निहित अनिश्चितता की जानकारी का लाभ उठाता है। इस पद्धति को विभिन्न मॉडल आर्किटेक्चर और रीजनिंग डोमेन के लिए लागू करने योग्य एक सामान्य ढाँचे के रूप में प्रस्तुत किया गया है।