💬 NLP

CATPO: Critique-Augmented Tree Policy Optimization

CATPO (Critique-Augmented Tree Policy Optimization) अनइंफॉर्मेटिव सैंपल्स को फ़िल्टर करने के लिए ट्री-लेवल इन्फॉर्मेटिवनेस स्कोर पेश करके, विफल पेड़ों से सिग्नल को रिकवर करने के लिए क्रिटीक-गाइडेड हीलिंग लागू करके, और मौजूदा ट्री-आधारित तरीकों जैसे कि TreeRPO की तुलना में बेहतर गणितीय तर्क प्रदर्शन प्राप्त करने के लिए इन्फॉर्मेटिवनेस-वेटेड लॉस का उपयोग करके, सत्यापन योग्य रिवॉर्ड्स के साथ सुदृढीकरण शिक्षण (reinforcement learning) को बढ़ाता है।

मूल लेखक: Ayush Singh, Umang Goyal, Ankur Dahiya

प्रकाशित 2026-06-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ayush Singh, Umang Goyal, Ankur Dahiya

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन कभी-कभी जिद्दी छात्र को जटिल गणित के सवाल हल करना सिखा रहे हैं। आप उसे हर एक कदम पर ग्रेड देने के लिए कोई शिक्षक नहीं देते; इसके बजाय, आप उसे कोशिश करने देते हैं, और आप उसे केवल अंत में बताते हैं कि अंतिम उत्तर सही है या गलत। आधुनिक AI मॉडल इसी तरह से तर्क करना सीखते हैं।

यह शोध पत्र एक नई विधि पेश करता है जिसे CATPO (क्रिटिक-ऑगमेंटेड ट्री पॉलिसी ऑप्टिमाइज़ेशन) कहा जाता है। यह समझने के लिए कि यह क्यों विशेष है, आइए देखें कि वर्तमान तरीके कैसे काम करते हैं और वे कहाँ समय बर्बाद करते हैं।

समस्या: "डेड" (मृत) पेड़ों पर समय बर्बाद करना

वर्तमान विधियाँ (जैसे TREERPO) एक रणनीति का उपयोग करती हैं जिसे "ट्री रोलआउट्स" (Tree Rollouts) कहा जाता है। कल्पना कीजिए कि आप छात्र को एक समस्या हल करने के लिए कह रहे हैं, लेकिन एक लंबा उत्तर लिखने के बजाय, वे एक पेड़ की तरह शाखाएँ निकालते हैं:

शाखा A: विधि 1 आज़माती है।
शाखा B: विधि 2 आज़माती है।
शाखा C: विधि 3 आज़माती है।

दिन के अंत में, आप पेड़ की पत्तियों की जाँच करते हैं। यदि किसी भी शाखा ने सही उत्तर प्राप्त कर लिया, तो पूरा पेड़ एक सफलता है। यदि सभी शाखाएँ विफल रहीं, तो पेड़ एक विफलता है।

बर्बादी:
शोध पत्र का तर्क है कि कंप्यूटर उन पेड़ों पर प्रशिक्षण देकर बहुत अधिक ऊर्जा बर्बाद करता है जो उसे कुछ भी नहीं सिखाते:

"डेड-करेक्ट" (Dead-Correct) पेड़: प्रत्येक शाखा ने सही उत्तर प्राप्त किया। छात्र इसे पहले से ही जानता है। यहाँ सीखने के लिए कुछ नहीं है; यह पियानो का वह गाना बजाने जैसा है जिसे आपने पहले ही पूरी तरह से मास्टर कर लिया है।
"डेड-रॉन्ग" (Dead-Wrong) पेड़: प्रत्येक शाखा विफल रही। छात्र पूरी तरह से खो गया है। बिना किसी शिक्षक के जो यह बता सके कि वे कहाँ गलत हुए, कंप्यूटर बस "0% सफलता" देखता है और भ्रमित हो जाता है। यह बिना किसी निर्देश के पूल में डूबने की कोशिश करने जैसा है।
"स्टेल" (Stale) पेड़: छात्र अंदाज़ा लगा रहा है, और परिणाम उसके आत्मविश्वास से मेल नहीं खाते। यह एक अव्यवस्थित, अनुपयोगी मिश्रण है।

वर्तमान विधियाँ इन सभी पेड़ों के साथ एक जैसा व्यवहार करती हैं, जिससे उनकी कंप्यूटिंग शक्ति बर्बाद होती है।

समाधान: CATPO

CATPO एक स्मार्ट कोच की तरह है जो छात्र के प्रयासों के "पेड़" को देखता है और यह तय करता है कि उसे ठीक से कैसे प्रतिक्रिया देनी है, जिससे समय और ऊर्जा की बचत होती है। यह तीन चरणों में ऐसा करता है:

1. "इन्फॉर्मेटिवनेस स्कोर" (कोच की नज़र)

कोच के सिखाना शुरू करने से पहले, वे पेड़ को देखते हैं और उसे एक स्कोर देते हैं।

कैसे? वे दो चीजों की जाँच करते हैं:
- विविधता (Diversity): क्या छात्र ने अलग-अलग चीजें आज़माईं? (यदि सभी शाखाएँ एक जैसी हैं, तो यह उबाऊ है)।
- आश्चर्य (Surprise): क्या छात्र का आत्मविश्वास परिणाम से मेल खाता था? (यदि वे 100% सुनिश्चित थे और गलत निकले, तो यह सीखने का एक शानदार क्षण है। यदि वे अनिश्चित थे और सही निकले, तो यह भाग्य है)।
परिणाम: यदि कोई पेड़ "डेड-करेक्ट" या "डेड-रॉन्ग" है, तो कोच उसे कम स्कोर देता है। यदि यह एक "गोल्डिलॉक्स" (Goldilocks) पेड़ है (कुछ सही, कुछ गलत, सीखने की बहुत क्षमता), तो इसे उच्च स्कोर मिलता है। कंप्यूटर फिर अपनी ऊर्जा उच्च-स्कोर वाले पेड़ों पर केंद्रित करता है।

2. "क्रिटिक-गाइडेड हीलिंग" (बचाव अभियान)

यह सबसे रचनात्मक हिस्सा है। जब कोच एक "डेड-रॉन्ग" पेड़ (जहाँ हर शाखा विफल रही) देखता है, तो उसे फेंकने के बजाय, वे उसे ठीक करने की कोशिश करते हैं।

चरण 1: कोच उस सबसे पहले कदम को ढूंढता है जहाँ छात्र पटरी से उतर गया था ("शैलोएस्ट फेलियर")।
चरण 2: कोच छात्र (स्वयं AI मॉडल) से पूछता है, "हे, इस विशिष्ट कदम को देखो। तुम्हें क्यों लगता है कि तुमने यहाँ गलती की?" छात्र एक क्रिटीक (critique) उत्पन्न करता है (त्रुटि की आत्म-व्याख्या)।
चरण 3: इस क्रिटीक के साथ लैस होकर, कोच छात्र को केवल उस टूटे हुए बिंदु से फिर से प्रयास करने के लिए कहता है, जिससे नए, सुधरे हुए शाखाएं उत्पन्न होती हैं।
जादू: अचानक, एक पेड़ जो 100% विफलता था, अब उसमें कुछ सफल शाखाएं हैं। एक "डेड" पेड़ को "हील" (ठीक) किया जाता है और एक उपयोगी प्रशिक्षण उदाहरण में बदल दिया जाता है।

3. वेटेड लर्निंग (स्मार्ट ग्रेडिंग)

अंत में, जब कंप्यूटर अपने मस्तिष्क (पॉलिसी) को अपडेट करता है, तो वह हर पेड़ को समान नहीं मानता।

उच्च स्कोर वाले पेड़: इन्हें "भारी वजन" (heavy weight) दिया जाता है। कंप्यूटर इनसे बहुत कुछ सीखता है।
कम स्कोर वाले पेड़: इन्हें "हल्का वजन" (light weight) दिया जाता है। कंप्यूटर इन पर बहुत कम ध्यान देता है।
हील्ड (Healed) पेड़: इन्हें विशेष ध्यान दिया जाता है क्योंकि उन्होंने एक विफलता को सफलता की कहानी में बदल दिया।

परिणाम: क्या यह काम करता है?

लेखकों ने एक गणित मॉडल Qwen2.5-Math-1.5B पर एक मानक गणित डेटासेट का उपयोग करके इसका परीक्षण किया।

लक्ष्य: गणित के सवालों को सही ढंग से हल करना।
प्रतियोगिता: उन्होंने CATPO की तुलना मानक फ्लैट विधि (GRPO) और मानक ट्री विधि (TREERPO) से की।
परिणाम: CATPO जीत गया। इसने मानक ट्री विधि की तुलना में सटीकता में 4.8% और फ्लैट विधि की तुलना में 1.9% का सुधार किया।
यह सबसे अधिक क्यों मायने रखता है: सुधार सबसे कठिन समस्याओं पर सबसे अधिक था। यह समझ में आता है क्योंकि कठिन समस्याएं अधिक "डेड-रॉन्ग" पेड़ बनाती हैं। CATPO की इन पेड़ों को "हील" करने की क्षमता ने इसे एक बड़ा लाभ दिया जहाँ अन्य विधियाँ हार मान लेती थीं।

सारांश उपमा

कल्पना कीजिए कि एक छात्र बहुविकल्पीय परीक्षा दे रहा है।

पुराना तरीका: छात्र परीक्षा देता है। यदि वह सब कुछ सही करता है, तो वह कुछ नहीं सीखता। यदि वह सब कुछ गलत करता है, तो वह भ्रमित हो जाता है और कुछ नहीं सीखता।
CATPO तरीका: शिक्षक परीक्षा को देखता है।
- "तुमने सब कुछ सही किया? बहुत बढ़िया, इसे छोड़ दो।"
- "तुमने सब कुछ गलत किया? चलो देखते हैं कि तुम पहले किस प्रश्न में चूके। चलो बात करते हैं कि तुम गलत क्यों हुए, और फिर चलो सिर्फ उस हिस्से को ठीक करने की कोशिश करते हैं।"
- "अब, आइए हम अपना अध्ययन समय उन प्रश्नों पर केंद्रित करें जहाँ आप अनिश्चित थे लेकिन आपने कुछ नया सीखा।"

केवल उन क्षणों पर ध्यान केंद्रित करके जो वास्तव में छात्र को कुछ सिखाते हैं, CATPO प्रशिक्षण प्रक्रिया को तेज़ और परिणामी AI को स्मार्ट बनाता है।

तकनीकी सारांश: CATPO (क्रिटीक-ऑगमेंटेड ट्री पॉलिसी ऑप्टिमाइज़ेशन)

समस्या विवरण

वेरिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR) बड़े भाषा मॉडलों (LLMs) की तर्क क्षमता को बढ़ाने के लिए एक प्रमुख प्रतिमान बन गया है। जबकि TREERPO जैसे ट्री-आधारित तरीके ट्री-स्ट्रक्चर्ड रोलआउट्स के माध्यम से स्टेप-लेवल रिवॉर्ड सिग्नल उत्पन्न करके फ्लैट ट्राजेक्टरी सैंपलिंग से बेहतर प्रदर्शन करते हैं, वे एक गंभीर अक्षमता से ग्रस्त हैं: अनइंफॉर्मेटिव (सूचनाहीन) पेड़ों के कारण होने वाली कम्प्यूटेशनल बर्बादी।

वर्तमान ट्री-आधारित दृष्टिकोण प्रशिक्षण के दौरान सभी सैंपल किए गए पेड़ों के साथ समान व्यवहार करते हैं। हालांकि, कई पेड़ उपयोगी ग्रेडिएंट सिग्नल प्रदान करने में विफल रहते हैं:

डेड-करेक्ट (Dead-correct) पेड़: सभी लीव्स (पत्तियां) सफल होती हैं। मॉडल पहले से ही समस्या में महारत हासिल कर चुका है, जिससे सुधार के लिए कोई कंट्रास्टिव सिग्नल नहीं मिलता।
डेड-रॉन्ग (Dead-wrong) पेड़: सभी लीव्स विफल होती हैं। बिना किसी पॉजिटिव ब्रांच के, ग्रुप-रिलेटिव एडवांटेज शून्य हो जाता है, जिससे रोलआउट ग्रेडिएंट अपडेट के लिए बेकार हो जाता है।
स्टेल (Stale) पेड़: पॉलिसी का कॉन्फिडेंस पहले से ही रिवॉर्ड डिस्ट्रीब्यूशन को पूरी तरह से ट्रैक कर रहा है, जिससे घटते प्रतिफल (diminishing returns) मिलते हैं।

DAPO और GRESO जैसे मौजूदा तरीके फ्लैट रोलआउट्स में समान समस्याओं को संबोधित करते हैं, लेकिन वे प्रॉम्प्ट स्तर पर काम करते हैं। वे एक ट्री रोलआउट की आंतरिक संरचना का निदान या मरम्मत नहीं कर सकते, जहाँ विशिष्ट शाखाएं आश्चर्यजनक या त्रुटिपूर्ण हो सकती हैं जबकि अन्य नहीं।

कार्यप्रणाली (Methodology)

CATPO इस बर्बादी को संबोधित करने के लिए एक चार-चरणीय पाइपलाइन का उपयोग करता है जो ट्री स्तर पर ट्री रोलआउट्स का निदान, मरम्मत और पुन: भारण (re-weighting) करता है।

1. ट्री इन्फॉर्मेटिवनेस स्कोर ( $F(T)$ )

CATPO एक मेट्रिक पेश करता है जो पॉलिसी अपडेट के लिए एक ट्री $T$ की उपयोगिता को मापने के लिए है। यह स्कोर सैंपलिंग के दौरान पहले से ही उत्पन्न डेटा का उपयोग करके बिना किसी अतिरिक्त लागत के कंप्यूट किया जाता है। यह दो संकेतों को जोड़ता है:

लीफ आउटकम डायवर्सिटी (Leaf Outcome Diversity): इसे लीफ पास रेट ( $\hat{p}$ ) के बर्नौली वेरिएंस (Bernoulli variance) द्वारा मापा जाता है, जिसे $\hat{p}(1-\hat{p})$ के रूप में गणना की जाती है। यह टर्म तब अधिकतम होता है जब परिणाम मिश्रित होते हैं (कुछ सही, कुछ गलत) और जब सभी लीव्स सहमत होते हैं तो शून्य होता है।
पॉलिसी-रिवॉर्ड डिकोरिलेशन (Policy-Reward Decorrelation): इसे $1 - \rho^2_{\pi,r}$ द्वारा मापा जाता है, जहाँ $\rho_{\pi,r}$ नोड लॉग-प्रोबेबिलिटीज और प्रोपेगेटेड रिवॉर्ड्स के बीच पियर्सन कोरिलेशन है। यह उस अवशिष्ट अनिश्चितता (residual uncertainty) को पकड़ता है जहाँ पॉलिसी का कॉन्फिडेंस रिवॉर्ड स्ट्रक्चर को रैखिक रूप से स्पष्ट नहीं करता है।

अंतिम स्कोर $F(T) = \hat{p}(1-\hat{p}) \cdot (1 - \rho^2_{\pi,r})$ है। थ्रेशोल्ड के आधार पर पेड़ों को चार श्रेणियों में वर्गीकृत किया गया है:

डेड-करेक्ट/डेड-रॉन्ग: कम डायवर्सिटी (लगभग एकमत परिणाम)।
स्टेल: मध्यम सिग्नल।
इन्फॉर्मेटिव: उच्च डायवर्सिटी और डिकोरिलेशन।

2. क्रिटीक-गाइडेड हीलिंग (Critique-Guided Healing)

डेड-रॉन्ग पेड़ों (जहाँ सभी शाखाएं विफल हो जाती हैं) के लिए, CATPO रोलआउट को केवल हटाता नहीं है। इसके बजाय, यह पेड़ को "हील" (ठीक करने) का प्रयास करता है:

विफलता की पहचान (Failure Identification): एक ब्रैडथ-फर्स्ट सर्च उस सबसे उथले नोड $v^*$ का पता लगाता है जहाँ सभी चाइल्ड नोड्स विफल रहे हैं (रिवॉर्ड < $\epsilon$ )।
क्रिटीक जनरेशन (Critique Generation): पॉलिसी मॉडल को स्वयं $v^*$ पर त्रुटि का प्राकृतिक भाषा में क्रिटीक (आलोचना) उत्पन्न करने के लिए प्रॉम्प्ट किया जाता है, जो विशिष्ट तार्किक या गणितीय गलती की पहचान करता है।
ग्राफ्टिंग (Grafting): मॉडल को फिर से समस्या, $v^*$ तक का आंशिक समाधान और उत्पन्न क्रिटीक के साथ प्रॉम्प्ट किया जाता है ताकि $k$ परिष्कृत निरंतरताएं (refined continuations) बनाई जा सकें।
री-प्रोपेगेशन (Re-propagation): इन नई शाखाओं को $v^*$ पर पेड़ में ग्राफ्ट किया जाता है, उन्हें फिर से स्कोर किया जाता है, और रिवॉर्ड्स को नीचे से ऊपर (bottom-up) प्रोपेगेट किया जाता है। यह एक "डेड" पेड़ को पॉजिटिव रिवॉर्ड डायवर्सिटी वाले पेड़ में बदल देता है।

3. इन्फॉर्मेटिवनेस-वेटेड लॉस (Informativeness-Weighted Loss)

अंतिम ट्रेनिंग ऑब्जेक्टिव प्रत्येक ट्री के योगदान को उसके नॉर्मलाइज्ड इन्फॉर्मेटिवनेस स्कोर $w(T) = F(T) / \bar{F}$ द्वारा स्केल करता है।

इन्फॉर्मेटिव पेड़ पूर्ण भार प्राप्त करते हैं, जो पैरामीटर अपडेट को संचालित करते हैं।
डेड-करेक्ट और स्टेल पेड़ों को कम भार दिया जाता है।
हील्ड (Healed) पेड़ों को इन्फॉर्मेटिव माना जाता है यदि हीलिंग प्रक्रिया सफल रहती है।

ऑब्जेक्टिव फंक्शन एक क्लिप्ड सरोगेट लॉस (PPO/TREERPO के समान) का उपयोग करता है जहाँ एडवांटेज को $w(T)$ द्वारा मॉड्युलेट किया जाता है, जिससे अपडेट को सबसे उपयोगी डेटा पर केंद्रित किया जाता है और समग्र ग्रेडिएंट मैग्नीट्यूड को सुरक्षित रखा जाता है।

मुख्य योगदान

ट्री-लेवल डायग्नोसिस: CATPO पहला तरीका है जो स्पष्ट रूप से ट्री इन्फॉर्मेटिवनेस का निदान करता है और प्रॉम्प्ट-लेवल फिल्टरिंग से आगे बढ़कर ट्री रोलआउट के भीतर अनइन्फॉर्मेटिव पेड़ों में हस्तक्षेप करता है।
जीरो-कॉस्ट स्कोरिंग: इन्फॉर्मेटिवनेस स्कोर $F(T)$ बिना किसी सहायक मॉडल या अतिरिक्त फॉरवर्ड पास के मौजूदा ट्री सैंपलिंग स्टैटिस्टिक्स (लीफ आउटकम्स और लॉग-प्रोब्स) का लाभ उठाता है।
क्रिटीक-गाइडेड हीलिंग: एक नया तंत्र जो पॉलिसी मॉडल का उपयोग करके अपनी गलतियों की आलोचना करने और सुधारात्मक शाखाओं को ग्राफ्ट करने के माध्यम से "डेड-रॉन्ग" पेड़ों से ट्रेनिंग सिग्नल को रिकवर करता है, जिससे बर्बाद कम्प्यूट को उपयोगी ट्रेनिंग डेटा में बदला जा सकता है।
वेटेड ऑप्टिमाइज़ेशन: एक इन्फॉर्मेटिवनेस-वेटेड लॉस जो उच्च-मूल्य वाले पेड़ों को गतिशील रूप से प्राथमिकता देता है, जिससे सैंपल एफिशिएंसी में सुधार होता है।

प्रयोगात्मक परिणाम

प्रयोग Qwen2.5-Math-1.5B पर MATH डेटासेट पर किए गए और चार बेंचमार्क: AIME24, MATH-500, OlympiadBench, और MinervaMath पर मूल्यांकित किए गए।

प्रदर्शन: CATPO ने 37.5% मैक्रो एक्यूरेसी प्राप्त की, जो बेसलाइन TREERPO (35.6%) से 1.9% और फ्लैट-ट्रैजेक्टरी GRPO (32.7%) से 4.8% बेहतर थी।
कठिन कार्य: सुधार सबसे अधिक कठिन बेंचमार्क (AIME24 और OlympiadBench) पर देखे गए, जहाँ बेसलाइन अधिक अनुपात में डेड-रॉन्ग पेड़ उत्पन्न करती है, जिससे CATPO को सिग्नल रिकवर करने के अधिक अवसर मिलते हैं।
जनरलाइजेशन: MinervaMath (ट्रेनिंग डिस्ट्रीब्यूशन के बाहर) पर महत्वपूर्ण लाभ देखे गए, जो सुझाव देते हैं कि यह विधि केवल ओवरफिटिंग के बजाय ट्रांसफर करने योग्य रीजनिंग रणनीतियों को सीखने में मदद करती है।
हाइपोथीसिस वैलिडेशन:
- H1: इन्फॉर्मेटिवनेस स्कोर $F(T)$ ने प्रति-ट्री ग्रेडिएंट नॉर्म्स के साथ एक मजबूत सकारात्मक सहसंबंध (Spearman $\rho = 0.62$ ) दिखाया, जो इसे ट्रेनिंग यूटिलिटी के लिए एक विश्वसनीय प्रॉक्सी के रूप में मान्य करता है।
- H2: क्रिटीक-गाइडेड हीलिंग ने कम से कम एक सही शाखा पेश करके 88.1% डेड-रॉन्ग पेड़ों की इन्फॉर्मेटिवनेस को सफलतापूर्वक सुधारा।

महत्व और दावे

पेपर का दावा है कि CATPO LLM रीजनिंग के लिए RLVR के प्रति अधिक कुशल और प्रभावी दृष्टिकोण प्रदान करता है, जो सीधे ट्री-आधारित सैंपलिंग में निहित "बर्बादी" को संबोधित करता है। यह distinguishing (भेद करने) के माध्यम से कि कौन से पेड़ इन्फॉर्मेटिव हैं और किन पेड़ों की मरम्मत की आवश्यकता है, CATPO कंप्यूटेशनल संसाधनों को सबसे उपयोगी डेटा पर केंद्रित करता है। लेखक इस बात पर जोर देते हैं कि इस दृष्टिकोण के लिए किसी अलग रिवॉर्ड मॉडल या वैल्यू नेटवर्क की आवश्यकता नहीं है, जो GRPO/TREERPO के सरलता को बनाए रखते हुए जटिल रीजनिंग कार्यों पर प्रदर्शन को काफी बढ़ाता है। इस पद्धति को मौजूदा ट्री-आधारित RL के पूरक विकास के रूप में प्रस्तुत किया गया है, जो विशेष रूप से रोलआउट की आंतरिक संरचना को लक्षित करता है जिसे पिछले तरीकों ने अनदेखा कर दिया था।