💬 NLP

TRE: Encouraging Exploration in the Trust Region

यह शोध पत्र ट्रस्ट रीजन एंट्रॉपी (TRE) का प्रस्ताव करता है, जो एक नवीन अन्वेषण विधि है जो लार्ज लैंग्वेज मॉडल्स में संचयी टेल रिस्क (cumulative tail risk) को कम करने के लिए मॉडल के ट्रस्ट रीजन तक एंट्रॉपी रेगुलराइजेशन को प्रतिबंधित करती है, जिससे यह गणितीय तर्क, कॉम्बिनेटोरियल सर्च और प्रेफरेंस अलाइनमेंट कार्यों में मानक तकनीकों से बेहतर प्रदर्शन करती है।

मूल लेखक: Chao Huang, Yujing Lu, Quangang Li, Shenghe Wang, Yan Wang, Yueyang Zhang, Long Xia, Jiashu Zhao, Zhiyuan Sun, Daiting Shi, Tingwen Liu

प्रकाशित 2026-02-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chao Huang, Yujing Lu, Quangang Li, Shenghe Wang, Yan Wang, Yueyang Zhang, Long Xia, Jiashu Zhao, Zhiyuan Sun, Daiting Shi, Tingwen Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: "बहुत अधिक विकल्पों" का जाल

कल्पना कीजिए कि आप एक रोबोट को कहानी लिखना या गणित की समस्या हल करना सिखा रहे हैं। ऐसा करने के लिए, रोबोट शब्दकोश (dictionary) से एक बार में एक शब्द चुनता है जिसमें 1,50,000 शब्द होते हैं।

पारंपरिक प्रशिक्षण विधियों (जिन्हें एन्ट्रॉपी रेगुलराइजेशन (Entropy Regularization) कहा जाता है) में, लक्ष्य रोबोट को "एक्सप्लोर" (खोज/प्रयोग) करने के लिए प्रेरित करना है। आप उसे कहते हैं: "हर बार केवल एक ही सुरक्षित शब्द न चुनें; यह देखने के लिए अलग-अलग शब्द आज़माएँ कि क्या होता है!"

पेपर की खोज:
लेखकों ने पाया कि लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए, यह "सब कुछ आज़माने" की सलाह वास्तव में एक आपदा है।

उपमा (Analogy):
रोबोट की शब्दावली को एक विशाल पुस्तकालय की तरह समझें।

"अच्छी" किताबें: केवल एक छोटी सी शेल्फ (शायद 10 किताबें) में वे सही, तार्किक और व्याकरणिक रूप से सटीक वाक्य हैं जो समस्या को हल करने के लिए आवश्यक हैं।
"बुरी" किताबें: बाकी 1,गर 9,990 किताबें बकवास, निरर्थक या तर्क के नियमों को तोड़ने वाले वाक्यों से भरी हुई हैं।

जब आप रोबोट को पूरे पुस्तकालय में समान रूप से ध्यान केंद्रित करके "एक्सप्लोर" करने के लिए कहते हैं, तो वह 1,49,990 बुरी किताबों में से चुनने लगता है।

छोटी यात्रा: यदि रोबोट को केवल एक वाक्य लिखने की आवश्यकता है, तो गलती से एक बुरी किताब चुन लेना कोई बड़ी बात नहीं है। वह खुद को सुधार सकता है।
लंबी यात्रा: यदि रोबोट को पूरा निबंध या जटिल गणितीय प्रमाण (एक "लॉन्ग होराइजन") लिखना है, तो शुरुआत में ही एक भी बुरी किताब चुन लेना पूरे विचार की श्रृंखला (chain of thought) को बर्बाद कर देता है। रोबोट बकवास में खो जाता है, और उसका तर्क ढह जाता है।

पेपर इसे "क्युमुलेटिव टेल रिस्क" (Cumulative Tail Risk) कहता है। यह एक रस्सी पर चलने (tightrope walking) की कोशिश करने जैसा है जबकि कोई आप पर लगातार कंकड़ फेंक रहा हो। यदि आपको केवल कुछ कदम चलना है, तो आप ठीक रहेंगे। यदि आपको एक मील चलना है, तो आप निश्चित रूप से गिर जाएंगे।

समाधान: "ट्रस्ट रीजन" (विश्वास क्षेत्र)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे TRE (ट्रस्ट रीजन एन्ट्रॉपी) कहा जाता है।

उपमा:
रोबोट को पूरे पुस्तकालय में एक्सप्लोर करने के लिए कहने के बजाय, TRE कहता है: "केवल 'अच्छी' शेल्फ वाली किताबों में ही एक्सप्लोर करें।"

सुरक्षित क्षेत्र की पहचान करें: मॉडल अपने वर्तमान आत्मविश्वास को देखता है और कहता है, "मुझे लगता है कि अभी ये ऊपर के 5 या 10 शब्द ही एकमात्र सार्थक विकल्प हैं।" यह समूह ट्रस्ट रीजन (Trust Region) है।
बाड़ के भीतर एक्सप्लोर करें: मॉडल को रचनात्मक होने और अलग-अलग शब्द आज़माने के लिए प्रोत्साहित किया जाता है, लेकिन सख्ती से उस छोटे, सुरक्षित समूह के भीतर। उसे शब्दकोश के "निरर्थक टेल" (nonsense tail) से शब्द चुनने से रोका जाता है।

व्यवहार में यह कैसे काम करता है:

मानक विधि (Standard Method): "शब्दकोश से कोई भी शब्द चुनें, लेकिन थोड़ा रैंडम (यादृच्छिक) होने की कोशिश करें।" (परिणाम: रोबोट बकवास चुनता है, भ्रमित हो जाता है, और विफल हो जाता है)।
TRE विधि: "उन शीर्ष 5 शब्दों को देखें जिन्हें आप सबसे अच्छा समझते हैं। उनमें से एक चुनें, लेकिन चीजों को दिलचस्प बनाए रखने के लिए उनके बीच स्विच करने की कोशिश करें।" (परिणाम: रोबोट सही रास्ते पर रहता है लेकिन उबाऊ लूप में नहीं फंसता)।

परिणाम: यह बेहतर क्यों काम करता है

शोधकर्ताओं ने तीन प्रकार के कार्यों पर इसका परीक्षण किया:

गणित की समस्याएं (MATH): जटिल समीकरणों को हल करना।
कॉम्बिनेटोरियल सर्च (Countdown): लक्ष्य संख्या तक पहुँचने के लिए गणितीय समीकरण बनाना।
मानवीय प्राथमिकताएं (HH): ऐसे उत्तर लिखना जो मनुष्यों को मददगार और हानिरहित लगें।

निष्कर्ष:

पुरानी विधि (Entropy): जैसे-जैसे कार्य लंबे और कठिन होते गए, प्रदर्शन खराब होता गया। गलत शब्द चुनने से उत्पन्न "शोर" (noise) मॉडल को पूरी तरह से दबा देता था।
TRE विधि: मॉडल ने लगातार मानक विधियों की तुलना में बेहतर प्रदर्शन किया।
- Countdown कार्य में, मानक विधि तब बुरी तरह विफल हो गई जब कार्य लंबा था, लेकिन TRE ने रोबोट को ट्रैक पर रखा।
- मानवीय प्राथमिकताओं (Human Preferences) में, TRE ने मॉडल को रचनात्मक होने और सुरक्षित रहने के बीच एक बेहतर संतुलन खोजने में मदद की, जिससे उच्च स्कोर प्राप्त हुआ।

एक मुख्य अंतर्दृष्टि: आत्मविश्वास बनाम अराजकता

पेपर ने यह भी देखा कि प्रशिक्षण के दौरान मॉडल कितने "आत्मविश्वासी" हो जाते हैं।

मानक प्रशिक्षण: मॉडल बहुत जल्दी अति-आत्मविश्वासी (overconfident) हो गया। उसने पूरी तरह से एक्सप्लोर करना बंद कर दिया और हर बार केवल एक ही "सुरक्षित" शब्द चुनने लगा, भले ही वह सबसे अच्छा न हो। वह एक ही ढर्रे में फंस गया।
TRE प्रशिक्षण: मॉडल जिज्ञासु लेकिन सुरक्षित बना रहा। वह विभिन्न विकल्पों को एक्सप्लोर करता रहा, लेकिन केवल सुरक्षित क्षेत्र के भीतर। इसने मॉडल को बिना किसी अर्थहीनता के ढलान से गिरने दिए बिना, एक ही ढर्रे में फंसने से बचाया।

सारांश

यह पेपर तर्क देता है कि AI मॉडल जो लंबे, जटिल तर्क (reasoning) कर रहे हैं, उनके लिए आप केवल यह नहीं कह सकते कि "कुछ भी रैंडम आज़माओ।" आपको उन्हें यह कहना होगा कि "रैंडम चीजें आज़माओ, लेकिन केवल वही जो समझ में आए।"

एक्सप्लोरेशन को "ट्रस्ट रीजन" (सबसे संभावित शब्दों) तक सीमित करके, मॉडल निरर्थकता के जाल से बच जाता है, जिससे अधिक स्मार्ट और विश्वसनीय तर्क क्षमता विकसित होती है।

तकनीकी सारांश: TRE: ट्रस्ट रीजन में अन्वेषण को प्रोत्साहित करना

समस्या विवरण

जबकि एंट्रॉपी रेगुलराइजेशन (entropy regularization) सुदृढीकरण शिक्षण (Reinforcement Learning - RL) में समयपूर्व अभिसरण (premature convergence) को रोकने और अन्वेषण (exploration) को प्रोत्साहित करने के लिए एक मानक तकनीक है, यह शोध पत्र पहचानता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) में इसका सीधा अनुप्रयोग अक्सर नगण्य लाभ देता है या प्रदर्शन को सक्रिय रूप से कम कर देता है। लेखक इसके पीछे का कारण LLMs में निहित संचयी टेल रिस्क (cumulative tail risk) को मानते हैं, जो विशाल शब्दावली (vocabularies) और लंबी जनरेशन क्षितिज (generation horizons) द्वारा विशेषता युक्त है।

शास्त्रीय RL वातावरण (जैसे, रोबोटिक्स) में, वैध क्रियाएं सघन (dense) होती हैं, और यादृच्छिक अन्वेषण अक्सर एक वैध अवस्था स्थान (state space) के भीतर ही रहता है। इसके विपरीत, LLM जनरेशन में, वैध टोकन एक विशाल शब्दावली (जैसे, ~150,000 टोकन) के भीतर एक अति-सूक्ष्म विरल मैनिफोल्ड (infinitesimally sparse manifold) बनाते हैं। मानक वैश्विक एंट्रॉपी मैक्सिमाइजेशन (global entropy maximization) अनियंत्रित रूप से संभाव्यता वितरण को समतल कर देता है, जिससे द्रव्यमान (mass) संभावित उम्मीदवारों से हटाकर उन "भारी पूंछ" (heavy tail) वाले टोकनों की ओर स्थानांतरित हो जाता है जो वाक्यात्मक या तार्किक रूप से अमान्य होते हैं। हालांकि एक एकल चरण में पेश किया गया शोर नगण्य होता है, यह लंबी जनरेशन अनुक्रमों में तेजी से (exponentially) संचित होता है। यह संचय चेन-ऑफ-थॉट (CoT) तर्क की सुसंगतता को बाधित करता है, जिससे लंबी जनरेशन अवधि के विस्तार के साथ एक वैध तर्क पथ बनाए रखना सांख्यिकीय रूप से असंभव हो जाता है।

कार्यप्रणाली: ट्रस्ट रीजन एंट्रॉपी (TRE)

ग्लोबल एंट्रॉपी मैक्सिमाइजेशन और भाषा जनरेशन की विरल प्रकृति के बीच आया आया आयाम बेमेल (dimensionality mismatch) को संबोधित करने के लिए, लेखक ट्रस्ट रीजन एंट्रॉपी (TRE) का प्रस्ताव करते हैं। यह विधि अन्वेषण को सख्ती से एक "ट्रस्ट रीजन" तक सीमित करती है—जो उन टोकनों का उपसमुच्चय है जिन्हें प्री-ट्रेन्ड मॉडल पहले से ही संभावित मानता है।

मुख्य तंत्र

संपूर्ण शब्दावली $A$ पर एंट्रॉपी को अधिकतम करने के बजाय, TRE एक ट्रस्ट रीजन $\mathcal{A}_{TR}(s_t) \subset A$ के भीतर स्थानीय रूप से एंट्रॉपी को अधिकतम करता है। यह सुनिश्चित करता है कि अन्वेषण केवल उच्च-विश्वास वाले उम्मीदवारों के बीच हो, जिससे अमान्य टोकनों में संभाव्यता का रिसाव (leakage) रुक सके।

ट्रस्ट रीजन को दो प्राथमिक रणनीतियों के माध्यम से परिभाषित किया गया है:

TRE-K (आकार-आधारित): ट्रस्ट रीजन उन शीर्ष $K$ टोकनों का समूह है जिनके लॉजिट (logit) मान चरण $t$ पर उच्चतम हैं। यह एक स्थिर क्षेत्र आकार को लागू करता है।
TRE-P (न्यूक्लियस-आधारित): ट्रस्ट रीजन उन टोकनों का सबसे छोटा सेट है जिनका संचयी संभाव्यता द्रव्यमान (cumulative probability mass) एक सीमा $P$ (जैसे, 0.99) तक पहुँच जाता है। यह एक गतिशील क्षेत्र आकार बनाता है जो मॉडल के आत्मविश्वास के अनुकूल होता है।

लॉस फॉर्मूलेशन (Loss Formulation)

$L_{TRE,t}$ की गणना इस प्रकार की जाती है:

ट्रस्ट रीजन के टोकनों के लिए लॉजिट्स निकालना।
केवल इन टोकनों पर सॉफ्टमैक्स (softmax) के माध्यम से स्थानीय संभाव्यता वितरण $\pi_{local}$ की गणना करना।
स्थानीय एंट्रॉपी $H(\pi_{local})$ की गणना करना।
पूर्ण शब्दावली एंट्रॉपी स्केल के साथ रेगुलराइजेशन परिमाण को संरेखित करने के लिए एक स्केलिंग फैक्टर $\gamma = \frac{\log |A|}{\log |\mathcal{A}_{TR}|}$ लागू करना।

अंतिम प्रशिक्षण उद्देश्य मानक सरोगेट लॉस (जैसे, PPO) को स्केल्ड TRE लॉस के साथ जोड़ता है:
$L_{total,t}(\theta) = L_{surr,t}(\theta) + \alpha L_{TRE,t}(\theta)$

मुख्य योगदान

विफलता मोड का अनुभवजन्य विश्लेषण: शोध पत्र एक विस्तृत विश्लेषण प्रदान करता है जो दर्शाता है कि मानक एंट्रॉपी रेगुलराइजेशन लंबे-क्षितिज (long-horizon) जनरेशन में हानिकारक है। प्रयोग दिखाते हैं कि जबकि हल्का रेगुलराइजेशन छोटे संदर्भों में मदद कर सकता है, यह जनरेशन बजट के विस्तार के साथ प्रदर्शन पतन (performance collapse) का कारण बनता है, क्योंकि यह टेल रिस्क को संचित करता है।
ट्रस्ट रीजन एंट्रॉपी (TRE) का प्रस्ताव: एक अभिनव रेगुलराइजेशन फ्रेमवर्क जो विशेष रूप से एक उच्च-विश्वास वाले ट्रस्ट रीजन के भीतर अन्वेषण को प्रोत्साहित करता है, जिससे सुसंगत तर्क बनाए रखते हुए विविधता बनी रहती है।
व्यापक मूल्यांकन: गणितीय तर्क (MATH), कॉम्बिनेटरियल सर्च (Countdown), और प्रेफरेंस एलाइनमेंट (HH) कार्यों पर व्यापक प्रयोगों के माध्यम से यह सिद्ध किया गया कि TRE लगातार वैनिला PPO, मानक एंट्रॉपी रेगुलराइजेशन और अन्य अत्याधुनिक अन्वेषण बेसलाइन्स (जैसे, Forking-Tokens, KL-Cov) से बेहतर प्रदर्शन करता है।

प्रयोगात्मक परिणाम

लेखकों ने Qwen2.5-1.5B-Instruct और Qwen2.5-7B-Instruct मॉडल्स का उपयोग करके TRE का मूल्यांकन किया।

प्रदर्शन लाभ: TRE (विशेष रूप से TRE-P वेरिएंट) ने 6 में से 5 मूल्यांकन श्रेणियों में सर्वश्रेष्ठ परिणाम प्राप्त किए।
- MATH (1.5B): TRE-P ने 58.28% Pass@1 प्राप्त किया, जो वैनिला PPO (57.04%) और मजबूत KL-Cov बेसलाइन (58.23%) से बेहतर है।
- Countdown (1.5B): TRE-P ने 66.96% Pass@1 प्राप्त किया, जो वैनिला से +2.84% अधिक है, और KL-Cov (+2.38%) से काफी बेहतर है।
- HH (1.5B): TRE-P ने +0.6364 का रिवॉर्ड गेन दिखाया, जो KL-Cov (+0.1531) द्वारा प्राप्त गेन से लगभग 4.1 गुना बड़ा है।
स्केलेबिलिटी (Scalability): सुधार 7B मॉडल स्केल में भी सुसंगत थे, जहाँ TRE-P ने एलाइनमेंट और सर्च कार्यों में KL-Cov की तुलना में 2 से 3 गुना अधिक लाभ दिखाया।
पॉलिसी डायनेमिक्स (Policy Dynamics): औसत पीक प्रोबेबिलिटी ( $\bar{P}_{max}$ ) के विश्लेषण से पता चला कि मानक PPO तेजी से संतृप्त (overconfident) हो जाता है, जबकि TRE एक निम्न, अधिक विविध आत्मविश्वास स्तर बनाए रखता है। यह नियत (deterministic) पथों में "पतन" को रोकता है, विशेष रूप से तर्क कार्यों में।
हाइपरपैरामीटर संवेदनशीलता:
- TRE-K: इष्टतम प्रदर्शन $K=2$ पर देखा गया। बड़े $K$ मानों ने शोर को फिर से पेश किया, जिससे प्रदर्शन गिर गया।
- TRE-P: $P=0.99$ का थ्रेशोल्ड इष्टतम था। $P=0.9$ बहुत प्रतिबंधात्मक था, जबकि $P=0.999$ में अमान्य टेल टोकन शामिल थे, जिससे स्कोर कम हो गया।

महत्व और दावे

शोध पत्र का दावा है कि LLMs में मानक एंट्रॉपी रेगुलराइजेशन की विफलता अन्वेषण की अवधारणा में दोष नहीं है, बल्कि उस अन्वेषण के दायरे (scope) में बेमेल है। एक विश्वसनीय ट्रस्ट रीजन के भीतर अन्वेषण को सीमित करके, TRE प्रभावी रूप से उस संचयी टेल रिस्क को कम करता है जो लंबे-क्षितिज तर्क को बाधित करता है।

लेखक TRE को LLMs को संरेखित करने के लिए एक मजबूत और स्केलेबल समाधान के रूप में प्रस्तुत करते हैं, विशेष रूप से उन कार्यों के लिए जिनमें जटिल तर्क और लंबा संदर्भ जनरेशन आवश्यक है। वे नोट करते हैं कि हालांकि TRE 7B पैरामीटर्स तक प्रभावी ढंग से स्केल करता है, लेकिन विशाल मॉडल्स और अत्यंत-लंबे क्षितिज (जैसे, 128k+ टोकन) पर इसका व्यवहार भविष्य के अनुसंधान का विषय है। यह कार्य सुझाव देता है कि जनरेटिव रीजनिंग चेन्स की अखंडता बनाए रखने के लिए वैश्विक एकरूपता (global uniformity) की तुलना में संरचित, स्थानीय अन्वेषण (structured, local exploration) श्रेष्ठ है।