तकनीकी सारांश: CLORE – तर्क दक्षता के लिए सामग्री-स्तरीय अनुकूलन (Content-Level Optimization for Reasoning Efficiency)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs), विशेष रूप से वे जो पोस्ट-ट्रेनिंग में सुदृढीकरण शिक्षण (Reinforcement Learning - RL) का उपयोग करते हैं (जैसे, OpenAI o1, DeepSeek-R1), ने गणितीय समस्या समाधान जैसे बहु-चरणीय तर्क कार्यों में उल्लेखनीय क्षमताएं प्रदर्शित की हैं। ये सिस्टम विस्तृत चेन-ऑफ-थॉट (Chain-of-Thought - CoT) ट्रेसेस को प्रोत्साहित करते हैं। हालांकि, यह शोध पत्र पहचानता है कि अत्यधिक लंबे तर्क पथ (reasoning trajectories) अक्सर "ओवरथिंकिंग" (overthinking) से ग्रस्त होते हैं, जो निम्न-गुणवत्ता वाली सामग्री के तीन विशिष्ट पैटर्न द्वारा पहचाने जाते हैं:

1. पुनरावृत्ति वाले तर्क खंड (Repetitive reasoning segments): नए प्रगति के बिना समतुल्य मध्यवर्ती अवस्थाओं पर अनावश्यक पुनरावृत्ति।
2. अपठनीय या कार्य-अप्रासंगिक सामग्री (Illegible or task-irrelevant content): अर्थहीन, दूषित, या विच्छेदित टेक्स्ट जो व्याख्यात्मकता (interpretability) को कम करता है।
3. अनावश्यक अन्वेषण (Superfluous exploration): सही समाधान निर्धारित होने के बाद भी निरंतर तर्क प्रक्रिया जारी रहना।

मौजूदा कुशल तर्क विधियां मुख्य रूप से लंबाई-स्तर के नियंत्रण (length-level control) के माध्यम से इस समस्या का समाधान करती हैं, जैसे कि स्पष्ट टोकन बजट लागू करना या लंबाई-जागरूक पुरस्कार (rewards) डिजाइन करना। लेखक तर्क देते हैं कि ये दृष्टिकोण मोटे, अनुक्रम-स्तर के संकेतों पर निर्भर करते हैं जो यह नियंत्रित करते हैं कि कितना तर्क उत्पन्न किया जाए, लेकिन वे इस बात को विफल करते हैं कि क्या सामग्री उत्पन्न की जाए। फलस्वरूप, वे मध्यवर्ती तर्क सामग्री को कमजोर रूप से सुपर्वाइज (supervise) छोड़ देते हैं, जिससे कम उपयोगी, अपठनीय, या गैर-योगदान देने वाले खंड बने रहते हैं और संभावित रूप से RL प्रशिक्षण गतिकी (dynamics) को अस्थिर कर सकते हैं।

कार्यप्रणाली: CLORE फ्रेमवर्क

यह शोध पत्र CLORE (Content-Level Optimization for Reasoning Efficiency) प्रस्तावित करता है, जो केवल उनकी लंबाई को सीमित करने के बजाय सही तर्क पथों की सामग्री को संपादित करके तर्क दक्षता को अनुकूलित करता है।

मुख्य वर्कफ़्लो

1. रोलआउट जनरेशन (Rollout Generation): पॉलिसी मॉडल $\pi_\theta$ दिए गए प्रॉम्प्ट $x$ के लिए कई तर्क पथ $\tau$ सैंपल करता है।
2. सही पथों का चयन (Selection of Correct Trajectories): फ्रेमवर्क संवर्धन (augmentation) को केवल उन पथों तक सीमित रखता है जहाँ अंतिम उत्तर सही है ($R(x, \tau) = 1$)। यह सुनिश्चित करता है कि संवर्धित डेटा में गलत पथों की तुलना में कम निम्न-गुणवत्ता वाला तर्क हो और संवर्धित डेटा पॉलिसी वितरण के करीब रहे।
3. तर्क संवर्धन (Reasoning Augmentation): एक बाहरी संवर्धन मॉडल (एक LLM जो एक संपादक के रूप में कार्य करता है) सही पथों को प्रोसेस करता है। इसे निम्नलिखित निर्देश दिए जाते हैं:
   • दोहराव वाले तर्क स्पैन (spans) को हटाना।
   • अपठनीय या कार्य-अप्रासंगिक सामग्री को हटाना।
   • समाधान स्थापित होने के बाद होने वाले अनावश्यक अन्वेषण को काटना।
   • प्रतिबंध: संपादक को सामग्री को फिर से लिखना, पैराफ्रेस (paraphrase) करना या पुनर्व्यवस्थित नहीं करना चाहिए; यह मूल संरचना और समाधान की वैधता को बनाए रखने के लिए केवल डिलीशन-ओनली (deletion-only) संचालन करता है।
4. वरीयता युग्म निर्माण (Preference Pair Construction): परिणाम एक पथ $(\tau, \tilde{\tau})$ का युग्म है, जहाँ $\tilde{\tau}$ अधिक संक्षिप्त, संपादित संस्करण है। एक वरीयता स्थापित की जाती है जहाँ $\tilde{\tau} \succ \tau$ तर्क की गुणवत्ता के आधार पर होती है (चूंकि दोनों सही हैं)।
5. प्रशिक्षण उद्देश्य (Training Objective): पॉलिसी को एक हाइब्रिड उद्देश्य का उपयोग करके प्रशिक्षित किया जाता है जो जोड़ता है:
   • मानक पॉलिसी ग्रेडिएंट (Policy Gradient - PG): मूल पथों को अनुकूलित करना (जैसे, GRPO, DAPO)।
   • रेफरेंस-फ्री DPO (Reference-Free DPO): $(\tau, \tilde{\tau})$ युग्मों पर लागू एक सहायक डायरेक्ट प्रिफरेंस ऑप्टिमाइजेशन (DPO) उद्देश्य। लॉस को इस प्रकार तैयार किया गया है:
     $$L_{DPO} = -\log \sigma(\beta [\log \pi_\theta(\tilde{\tau} | x) - \log \pi_\theta(\tau | x)])$$
     मानक DPO के विपरीत, यह फॉर्मूलेशन किसी स्पष्ट रेफरेंस पॉलिसी की आवश्यकता नहीं रखता है। लेखक तर्क देते हैं कि चूंकि $\tilde{\tau}$ को $\tau$ से स्थानीय विलोपन (local deletion) के माध्यम से प्राप्त किया गया है, इसलिए यह संरचनात्मक रूप से मूल पॉलिसी वितरण के करीब रहता है, जो विचलन को अप्रत्यक्ष रूप से नियंत्रित करता है।

अनुकूलता (Compatibility)

CLORE को अंतर्निद्य (agnostic) बनाया गया है ताकि यह किसी भी अंडरलाइंग RL बैकबोन के साथ काम कर सके। इसे विभिन्न पॉलिसी-ग्रेडिएंट विधियों (PPO, GRPO, REINFORCE) और मौजूदा लंबाई-आधारित कुशल तर्क विधियों (जैसे, ThinkPrune, Training Efficient) के साथ मौजूदा लॉस फंक्शन में DPO टर्म जोड़कर एकीकृत किया जा सकता है।

मुख्य योगदान

1. सामग्री-स्तर अनुकूलन फ्रेमवर्क: CLORE ध्यान को अनुक्रम-स्तर के लंबाई नियंत्रण से हटाकर सामग्री-स्तर के पर्यवेक्षण (supervision) पर केंद्रित करता है। यह स्पष्ट रूप से दोहराव, अपठनीयता और उत्तर-पश्चात शोर (post-answer noise) जैसे निम्न-गुणवत्ता वाले तर्क घटकों को लक्षित करता है और उन्हें हटाता है, जबकि अंतिम उत्तर को सुरक्षित रखता है।
2. संवर्धित-मूल वरीयता शिक्षण (Augmented-Original Preference Learning): यह विधि एक रेफरेंस-फ्री DPO उद्देश्य के माध्यम से संवर्धित-मूल युग्मों का उपयोग करके पॉलिसी को प्रशिक्षित करने के लिए एक तंत्र पेश करती है, जो पोस्ट-होक एडिटिंग से जुड़ी ऑफ-पॉलिसी मिसमैच समस्याओं को कम करती है।
3. अनुभवजन्य सत्यापन (Empirical Validation): फ्रेमवर्क का मूल्यांकन पांच गणितीय तर्क बेंचमार्क (OlympiadBench, Minerva, MATH500, AMC2023, AIME2025) पर DeepSeek-R1-Distill-Qwen-7B और Qwen2.5-Math-7B पर किया गया है।
4. पूरकता प्रदर्शन: शोध पत्र दर्शाता है कि CLORE मौजूदा विधियों के प्रतिस्थापन के रूप में नहीं, बल्कि एक पूरक परत के रूप में कार्य करता है जो सटीकता-दक्षता ट्रेड-ऑफ (accuracy-efficiency trade-off) में सुधार करता है।

प्रयोगात्मक परिणाम

• सटीकता-दक्षता ट्रेड-ऑफ (Accuracy-Efficiency Trade-off): CLORE सभी परीक्षण किए गए बेसलाइन्स (GRPO, DAPO, Training Efficient, ThinkPrude) में लगातार एकरूपता (AE) स्कोर में सुधार करता है।
  • DeepSeek-R1-Distill-Qwen-7B पर, CLORE लागू करने से बेंचमार्क में औसत AE स्कोर में लगभग 0.4 का सुधार हुआ।
  • Qwen2.5-Math-7B पर, सुधार अधिक स्पष्ट थे, जिसमें औसत AE लाभ अक्सर 1.0 से अधिक था, और GRPO पर लागू होने पर Minerva पर 6 अंक से अधिक का विशिष्ट लाभ हुआ।
• लंबाई में कमी: CLORE व्यवस्थित सटीकता पतन (accuracy collapse) के बिना आउटपुट टोकन गणना को काफी कम कर देता है (DeepSeek पर 20–30%, Qwen पर 30–50%)।
• सामग्री विश्लेषण:
  • पुनरावृत्ति: CLORE स्थानीय n-gram पुनरावृत्ति और सबसे लंबे दोहराए गए स्पैन दोनों को कम करता है।
  • अपठनीयता: यह अपठनीय या कार्य-अप्रासंगिक सामग्री की दर को काफी कम कर देता है (LLM-as-a-judge द्वारा मापा गया)।
  • उत्तर-पश्चात अन्वेषण: यह समाधान मिलने के बाद जारी रहने वाले तर्क को प्रभावी ढंग से दबाता है।
• एब्लेशन अध्ययन (Ablation Studies):
  • DPO वेट: एक मध्यम DPO वेट ($\lambda$) लंबाई में कमी और सटीकता बनाए रखने के बीच सबसे अच्छा संतुलन प्रदान करता है।
  • संवर्धन मॉडल: विधि एक छोटे संवर्धन मॉडल (Qwen3-1.7B) के साथ भी प्रभावी रहती है, हालांकि एक मजबूत मॉडल (Qwen3-4B) थोड़े बेहतर परिणाम देता है।

महत्व और दावे

शोध पत्र का दावा है कि कुशल तर्क के लिए दोहरा अनुकूलन (dual optimization) आवश्यक है: तर्क की मात्रा (लंबाई) को नियंत्रित करना और तर्क की गुणवत्ता (सामग्री) का पर्यवेक्षण करना।

• लंबाई नियंत्रण से परे: लेखक तर्क देते हैं कि केवल लंबाई को कम करना या बजट लागू करना अपर्याप्त है क्योंकि यह उच्च-मूल्य वाले तर्क और अनावश्यक शोर के बीच अंतर नहीं करता है। CLORE मध्यवर्ती सामग्री के "कमजोर पर्यवेक्षण" को संबोधित करता है जो मानक RL प्रशिक्षण में निहित है।
• स्थिर अनुकूलन: केवल सही पथों तक संवर्धन को सीमित करके और स्थानीय विलोपन का उपयोग करके, CLORE संपादित रोलआउट्स को पॉलिसी वितरण के करीब रखता है, जिससे पोस्ट-होक एडिटिंग से होने वाले ऑफ-पॉलिसी मिसमैच का जोखिम कम हो जाता है।
• सामान्य प्रयोज्यता: फ्रेमवर्क को मौजूदा RL-आधारित तर्क प्रशिक्षण पाइपलाइनों के एक सामान्य संवर्धन के रूप में प्रस्तुत किया गया है, जो प्रशिक्षण दक्षता (निम्न-गुणवत्ता वाले टोकन से शोर वाले ग्रेडिएंट्स को कम करके) और अनुमान दक्षता (अधिक संक्षिप्त, सघन तर्क पथ उत्पन्न करके) दोनों में सुधार करने में सक्षम है।

लेखक निष्कर्ष निकालते हैं कि जबकि लंबाई-स्तर का नियंत्रण यह नियंत्रित करता है कि कितना तर्क उत्पन्न किया जाए, तो सामग्री-स्तर का पर्यवेक्षण (जैसा कि CLORE द्वारा प्रदान किया गया है) यह निर्धारित करने के लिए आवश्यक है कि कौन सी तर्क सामग्री सूचनात्मक है और उसे बनाए रखना सार्थक है।