💬 NLP

TextReg: Mitigating Prompt Distributional Overfitting via Regularized Text-Space Optimization

यह शोध पत्र TextReg को प्रस्तुत करता है, जो एक ऐसा रेगुलराइजेशन फ्रेमवर्क है जो टेक्स्टुअल ग्रेडिएंट्स के माध्यम से रिप्रेजेंटेशनल इनएफिशिएंसी (representational inefficiency) को नियंत्रित करके लार्ज लैंग्वेज मॉडल्स में प्रॉम्प्ट डिस्ट्रिब्यूशनल ओवरफिटिंग को कम करता है, जिससे मौजूदा ऑप्टिमाइजेशन विधियों की तुलना में आउट-ऑफ-डिस्ट्रीब्यूशन जनरलाइजेशन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Lucheng Fu, Ye Yu, Yiyang Wang, Yiqiao Jin, Haibo Jin, B. Aditya Prakash, Haohan Wang

प्रकाशित 2026-05-21

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Lucheng Fu, Ye Yu, Yiyang Wang, Yiqiao Jin, Haibo Jin, B. Aditya Prakash, Haohan Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन शाब्दिक अर्थ निकालने वाले (literal-minded) रोबोट को एक पहेली सुलझाना सिखा रहे हैं। आप उसे निर्देशों का एक सेट (एक "प्रॉम्ट") देते हैं।

अतीत में, जब शोधकर्ताओं ने रोबोट के अपने फीडबैक का उपयोग करके इन निर्देशों को स्वचालित रूप से सुधारने की कोशिश की, तो एक अजीब समस्या हुई। निर्देश लंबे और लंबे होते गए, जो छोटे, विशिष्ट नियमों से भर गए जैसे, "यदि संख्या 7 है, तो X करें," और "यदि वस्तु टमाटर है, तो Y करें।"

शुरुआत में यह बहुत अच्छा लगा क्योंकि रोबलेट ने अभ्यास पहेलियों पर सटीक स्कोर प्राप्त किया। लेकिन जब आपने उसे एक नई पहेली दी जो उसने पहले नहीं देखी थी, तो वह बुरी तरह विफल हो गया। यह वैसा ही था जैसे कोई छात्र जिसने एक विशिष्ट अभ्यास परीक्षण के उत्तर रट लिए हों लेकिन गणित को नहीं समझा हो, इसलिए वह एक थोड़े अलग प्रश्न को हल करने में असमर्थ रहा।

लेखक इसे "प्रॉम्ट डिस्ट्रीब्यूशनल ओवरफिटिंग" (Prompt Distributional Overfitting) कहते हैं। सरल शब्दों में, निर्देश विशिष्ट अभ्यास उदाहरणों पर बहुत अधिक "अटक" गए और वास्तविक दुनिया को संभालने की अपनी क्षमता खो दी।

समाधान: TextReg (एक "स्मार्ट संपादक")

यह पेपर TextReg नामक एक नई विधि पेश करता है। TextReg को एक सख्त, बुद्धिमान संपादक के रूप में समझें जो रोबोट की निर्देश लिखने की प्रक्रिया पर नज़र रखता है और उसे अव्यवस्थित होने से रोकता है।

TextReg कैसे काम करता है, इसके लिए यहाँ तीन सरल उपमाएँ दी गई हैं:

1. "दोहरा-जांच" फ़िल्टर (Dual-Evidence Gradient Purification)

कल्पना कीजिए कि रोबोट एक नया नियम सुझाता है: "हमेशा टमाटरों को सब्जियां मानें।"

पुराना तरीका: रोबोट इसे बस स्वीकार कर सकता है क्योंकि यह अभ्यास परीक्षण में टमाटर के विशिष्ट उदाहरण के लिए काम कर गया था।
TextReg का तरीका: TextReg दो प्रश्न पूछता है:
1. "क्या यह नियम केवल इस एक विशेष टमाटर के कारण काम कर रहा था?" (लोकल चेक)
2. "क्या हमने पहले अन्य फलों या वस्तुओं के लिए इस नियम को काम करते देखा है?" (ग्लोबल चेक)
  यदि नियम केवल टमाटरों के लिए काम करता है और कहीं और नहीं देखा गया है, तो TextReg इसे बाहर निकाल देता है। यह केवल उन्हीं नियमों को रखता है जो व्यापक और उपयोगी हैं, जैसे "सभी फलों को गिनें।"

2. "फिटनेस ट्रैकर" (Semantic Edit Regularization)

हर बार जब निर्देश बदलते हैं, तो TextReg प्रॉम्ट के "स्वास्थ्य" की जांच करता है। यह दो चीजों को देखता है:

लंबाई: क्या निर्देश अनावश्यक रूप से लंबे हो गए हैं? (जैसे किसी वाक्य में बहुत अधिक शब्द जोड़ना)।
दायरा (Scope): क्या निर्देश बहुत संकीर्ण हो गए हैं? (जैसे एक ऐसा नियम जोड़ना जो सप्ताह के केवल एक विशिष्ट दिन पर लागू होता है)।
यदि निर्देश बहुत लंबे या बहुत विशिष्ट हो जाते हैं, तो TextReg एक "सुधार संकेत" (correction signal) उत्पन्न करता है जो रोबोट को अनावश्यक चीज़ों को हटाने और नियमों को व्यापक बनाने के लिए कहता है। यह एक पर्सनल ट्रेनर की तरह है जो चिल्लाकर कहता है, "अपने आहार में फालतू चीज़ें जोड़ना बंद करो!"

3. "निर्देशित पुनलेखन" (Regularization-Guided Prompt Update)

अंत में, जब रोबोट निर्देशों को फिर से लिखता है, तो वह केवल कार्य के फीडबैक (पहेली को कैसे हल करें) को ही नहीं सुनता। वह "फिटनेस ट्रैकर" को भी सुनता है।

यदि कार्य कहता है, "टमाटरों के बारे में एक नियम जोड़ें," लेकिन फिटनेस ट्रैकर कहता है, "इसे विशिष्ट न बनाएं," तो TextReg रोबोट को एक बीच का रास्ता खोजने के लिए मजबूर करता है। यह नियम को केवल टमाटरों के बजाय सामान्य रूप से "सब्जियों" के बारे में पुनर्गठित कर सकता है।

परिणाम: यह क्यों मायने रखता है

लेखकों ने विभिन्न तर्क संबंधी कार्यों (जैसे तर्क पहेलियाँ और गणित की समस्याएं) पर इसका परीक्षण किया। उन्होंने पाया कि:

पुराने तरीके (जैसे TextGrad या REVOLVE) अक्सर लंबे, अव्यवस्थित निर्देश बनाते थे जो अभ्यास परीक्षणों पर तो अच्छा काम करते थे लेकिन नए, कठिन संस्करणों पर विफल हो जाते थे।
TextReg ने छोटे, साफ-सुथरे निर्देश बनाए। क्योंकि नियम व्यापक थे और विशिष्ट उदाहरणों से बंधे नहीं थे, इसलिए रोबोट ने नई, अनदेखी समस्याओं (जिसे शोधकर्ता "आउट-ऑफ-डिस्ट्रीब्यूशन" सामान्यीकरण कहते हैं) पर बेहतर प्रदर्शन किया।

वास्तव में, TextReg ने कठिन कार्यों पर पिछले तरीकों की तुलना में सटीकता में 16.5% तक सुधार किया।

निष्कर्ष

TextReg AI के लिए निर्देश लिखना एक अच्छे पाठ्यपुस्तक लिखने जैसा मानता है। एक अच्छी पाठ्यपुस्तक को केवल उन सभी उदाहरणों की सूची नहीं देनी चाहिए जो आपने देखे हैं; इसे सामान्य सिद्धांतों को सिखाना चाहिए ताकि आप उन समस्याओं को हल कर सकें जो आपने पहले कभी नहीं देखी हैं। TextReg यह सुनिश्चित करता है कि AI के निर्देश उन सिद्धांतों पर केंद्रित रहें, जिससे वह अभ्यास परीक्षण को रटने के बजाय उन्हें समझना सीखे।

तकनीकी सारांश: TextReg

समस्या: प्रॉम्प्ट डिस्ट्रीबशनल ओवरफिटिंग (Prompt Distributional Overfitting)

लार्ज लैंग्वेज मॉडल्स (LLMs) इनपुट प्रॉम्प्ट्स के प्रति अत्यधिक संवेदनशील होते हैं, जो कार्य उद्देश्यों और बाधाओं को निर्दिष्ट करने के लिए प्राथमिक इंटरफ़ेस के रूप में कार्य करते हैं। जबकि हाल के प्रॉम्प्ट ऑप्टिमाइज़ेशन तरीके प्रदर्शन में सुधार के लिए LLM-जनरेटेड फीडबैक का उपयोग करके प्रॉम्प्ट्स को पुनरावृत्त (iteratively) रूप से फिर से लिखते हैं, वे अक्सर प्रॉम्प्ट डिस्ट्रीबशनल ओवरफिटिंग का शिकार होते हैं। जैसे-जैसे अनुकूलन (optimization) आगे बढ़ता है, प्रॉम्प्ट्स लंबे होते जाते हैं और उनमें संकीर्ण, सैंपल-विशिष्ट नियम (जैसे, विशिष्ट संस्थाओं या एज केस के लिए अपवाद) जमा होने लगते हैं, बजाय इसके कि वे संक्षिप्त, सामान्य सिद्धांतों को एनकोड करें।

यह विफलता मोड दो जुड़े हुए आयामों के साथ प्रकट होता है:

क्षमता लागत (Capacity Cost): प्रॉम्प्ट्स की लंबाई बढ़ती है, जिससे टोकन बजट अधिक खर्च होता है और सीमित कॉन्टेक्स्ट विंडो के भीतर मॉडल्स के लिए प्रासंगिक निर्देशों को खोजना कठिन हो जाता है।
दायरा संकीर्णता (Scope Narrowness): प्रॉम्प्ट्स में ऐसे नियम जमा हो जाते हैं जो ट्रेनिंग लॉस को तो कम करते हैं लेकिन केवल इनपुट के एक संकीर्ण उपसमुच्चय (subset) पर लागू होते हैं, जो पुन: प्रयोज्य कार्य सिद्धांतों के बजाय 'एड हॉक' पैच के रूप में कार्य करते हैं।

मौजूदा ऑप्टिमाइज़र दोनों आयामों को नियंत्रित करने के लिए तंत्र की कमी रखते हैं, जिससे ऐसे प्रॉम्प्ट बनते हैं जो ट्रेनिंग डेटा पर तो अच्छा प्रदर्शन करते हैं लेकिन आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) इनपुट, कठिन कार्य वेरिएंट, या विभिन्न मॉडल आर्किटेक्चर पर खराब सामान्यीकरण (generalize) करते हैं।

कार्यप्रणाली: TextReg

लेखक TextReg का प्रस्ताव करते हैं, जो एक रेगुलराइजेशन फ्रेमवर्क है जिसे रिप्रेजेंटेशनल इनएफिशिएंसी (representational inefficiency) को नियंत्रित करके प्रॉम्प्ट डिस्ट्रीबशनल ओवरफिटिंग को कम करने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क इनएफिशिएंसी को एक दोहरे-कारक माप के रूप में औपचारिक रूप देता है:
$I(p) = C(p) \cdot W(p)$
जहाँ $C(p)$ क्षमता लागत (टोकन लंबाई) है और $W(p)$ दायरा संकीर्णता (सीमित सामान्यीकरण दायरे वाले नियमों का अंश) है। TextReg एक रेगुलराइज्ड ऑब्जेक्टिव को मिनिमाइज करने का लक्ष्य रखता है: $\min LD_{train}(p) + \lambda I(p)$ ।

चूंकि प्रॉम्प्ट ऑप्टिमाइज़ेशन एक नॉन-डिफरेंशिएबल डिस्क्रीट टेक्स्ट स्पेस में होता है, TextReg इस ऑब्जेक्टिव को तीन पूरक चरणों के माध्यम से साकार करता है जो "टेक्स्टुअल ग्रेडिएंट्स" उत्पन्न और लागू करते हैं:

1. डुअल-एविडेंस ग्रेडिएंट प्यूरिफिकेशन (Dual-Evidence Gradient Purification)

यह चरण अनुकूलन सिग्नल के स्रोत पर कार्य करता है ताकि प्रॉम्प्ट को प्रभावित करने से पहले कच्चे टास्क ग्रेडिएंट्स को फ़िल्टर किया जा सके। यह व्यापक रूप से लागू होने वाले नियमों और संकीर्ण, सैंपल-विशिष्ट पैच के बीच अंतर करता है:

लोकल केस एविडेंस (Local Case Evidence): विश्लेषण करता है कि क्या प्रस्तावित ग्रेडिएंट नियम वर्तमान मिनी-बैच की विशिष्ट विशेषताओं (जैसे, विशिष्ट संस्थाएं या दुर्लभ एज कंडीशंस) से सीधे जुड़ा है।
ग्लोबल रिकरेंस एविडेंस (Global Recurrence Evidence - RuleBank): स्वीकृत सामान्य नियमों की एक मेमोरी बनाए रखता है। एक ग्रेडिएंट तभी रिटेन किया जाता है जब उसमें अनुकूलन चरणों में पर्याप्त रिकरेंस सपोर्ट हो, जो यह दर्शाता है कि वह एक-बार के फिक्स के बजाय सामान्य कार्य संरचना को कैप्चर करता है।
क्रिया (Action): ग्रेडिएंट्स को सामान्यीकृत नियमों (रिटेन और संक्षिप्त रूप से पुनर्गठित), केस पैच (अस्वीकृत), या स्टाइल ओनली (अस्वीकृत) के रूप में वर्गीकृत किया जाता है।

2. सिमेंटिक एडिट रेगुलराइजेशन (Semantic Edit Regularization - SER)

यह चरण उस इनएफिशिएंसी का निदान करता है जो पहले से ही प्रॉम्प्ट में जमा हो चुकी है या पुनर्गठन प्रक्रिया के दौरान पेश की गई है। यह एक फाइनाइट-डिफरेंस दृष्टिकोण का उपयोग करके पिछले प्रॉम्प्ट ( $p_{t-1}$ ) और वर्तमान प्रॉम्प्ट ( $p_t$ ) के बीच रिप्रेजेंटेशनल इनएफिशिएंसी में परिवर्तन ( $\Delta \log I(p)$ ) का अनुमान लगाता है:

कैपेसिटी चैनल (Capacity Channel): यह तब ट्रिगर होता है जब सापेक्ष टोकन लंबाई वृद्धि एक थ्रेशोल्ड से अधिक हो जाती है।
स्कोप चैनल (Scope Channel): यह निर्धारित करने के लिए सिमेंटिक डिफ एनालाइज़र का उपयोग करता है कि नियम संरचना संकुचित हुई है (केस-विशिष्ट पैच जोड़े गए हैं) या विस्तृत हुई है।
क्रिया (Action): यदि गिरावट का पता चलता है, तो SER एक टेक्स्टुअल रेगुलराइजेशन ग्रेडिएंट ( $g_{reg}$ ) सिंथेसाइज करता है जो मॉडल को प्रॉम्प्ट को कंप्रेस करने, रेडंडेंट नियमों को मर्ज करने, या संकीर्ण नियमों को व्यापक सिद्धांतों से बदलने का निर्देश देता है।

3. रेगुलराइजेशन-गाइडेड प्रॉम्प्ट अपडेट (Regularization-Guided Prompt Update)

अंतिम चरण प्रॉम्प्ट रीराइटिंग करता है। यह टास्क-फिथफुल एडिट्स (वे जो प्यूरीफाइड टास्क ग्रेडिएंट $\tilde{g}_{task}$ को लागू करते हैं) के सेट में से एक नया प्रॉम्प्ट कैंडिडेट ( $p_{t+1}$ ) चुनता है जो रेगुलराइजेशन ग्रेडिएंट ( $g_{reg}$ ) के साथ सबसे अधिक संगत हो।

अपडेट टास्क सुधार को प्राथमिकता देता है लेकिन चयन को उन एडिट्स की ओर मोड़ता है जो क्षमता लागत या स्कोप संकीर्णता में वृद्धि को कम करते हैं।
यदि कोई भी कैंडिडेट दोनों संकेतों को संतुष्ट नहीं करता है, तो सिस्टम टास्क-फिथफुल अपडेट पर वापस चला जाता है, यह सुनिश्चित करता है कि रेगुलराइजेशन एक सॉफ्ट पेनल्टी के रूप में कार्य करे न कि एक हार्ड कंस्ट्रेंट के रूप में जो ऑप्टिमाइज़ेशन को रोक दे।

मुख्य योगदान

रिप्रेजेंटेशनल इनएफिशिएंसी का औपचारिकीकरण: पेपर प्रॉम्प्ट डिस्ट्रीबशनल ओवरफिटिंग को डिस्क्रीट टेक्स्ट-स्पेस ऑप्टिमाइज़ेशन में रिप्रेजेंटेशन एफिशिएंसी की विफलता के रूप में परिभाषित करता है, और एक दोहरे-कारक माप ( $I(p)$ ) पेश करता है जो प्रॉम्प्ट लंबाई और नियम विशिष्टता के बीच की परस्पर क्रिया को कैप्चर करता है।
रेगुलराइज्ड टेक्स्ट-स्पेस ऑप्टिमाइज़ेशन: TextReg एक ऐसा फ्रेमवर्क पेश करता है जो डिफरेंशिएबल पैरामीटर्स के बिना टेक्स्ट स्पेस में सॉफ्ट-पेनल्टी ऑब्जेक्टिव को साकार करता है, जिसमें डुअल-एविडेंस ग्रेडिएंट प्यूरिफिकेशन, सिमेंटिक एडिट रेगुलराइजेशन और रेगुलराइजेशन-गाइडेड प्रॉम्प्ट अपडेट का उपयोग किया गया है।
बेहतर OOD जनरलाइजेशन: व्यापक प्रयोगों से पता चलता है कि रिप्रेजेंटेशनल इनएफिशिएंसी को नियंत्रित करने से ओवरफिटिंग काफी कम हो जाती है, जिससे विभिन्न डेटासेट्स और मॉडल आर्किटेक्चर पर मजबूत प्रदर्शन मिलता है।

प्रयोगात्मक परिणाम

लेखकों ने चार अलग-अलग LLM बैकएंड्स (Qwen2, Phi-3.5, Llama-3, Llama-3.1) का उपयोग करके छह रीजनिंग बेंचमार्क्स (Logical Deduction, Tracking Shuffled Objects, GSM8K, SVAMP, MultiArith) पर TextReg का मूल्यांकन किया। प्रॉम्प्ट्स को "3-ऑब्जेक्ट" या सोर्स टास्क पर ऑप्टिमाइज़ किया गया और कठिन "5/7-ऑब्जेक्ट" वेरिएंट और विभिन्न अरिथमेटिक डेटासेट्स पर टेस्ट किया गया।

प्रदर्शन: TextReg ने OOD जनरलाइजेशन पर बेसलाइन्स (Zero-shot CoT, TextGrad, और REVOLVE) को लगातार पछाड़ दिया।
- इसने विशिष्ट बेंचमार्क्स पर TextGrad पर +11.8% और REVOLVE पर +16.5% तक शुद्धता में वृद्धि हासिल की।
- विशेष रूप से, जबकि बेसलाइन विधियां अक्सर अनऑप्टिमाइज्ड CoT बेसलाइन से नीचे OOD सटीकता को गिरा देती हैं (ओवरफिटिंग प्रदर्शित करती हैं), TextReg CoT के जनरलाइजेशन लाभों को सुरक्षित रखता है और बढ़ाता है।
एब्लेशन (Ablation): किसी भी तीन मुख्य घटकों को हटाने से प्रदर्शन में निरंतर गिरावट आई, जो उनकी संयुक्त आवश्यकता की पुष्टि करता है।
लचीलापन (Resilience): TextReg ने तब भी मजबूत प्रदर्शन बनाए रखा जब विशिष्ट भूमिकाओं (ग्रेडिएंट प्यूरिफिकेशन, रेगुलराइजेशन विश्लेषण, या प्रॉम्प्ट रीराइटिंग) को चलाने वाले LLMs को कमजोर मॉडल्स में डाउनग्रेड कर दिया गया, जो यह सुझाव देता है कि रेगुलराइजेशन सिग्नल स्ट्रक्चरल है न कि कैपेबिलिटी-बाउंड।

महत्व और दावे

पेपर का दावा है कि प्रॉम्प्ट डिस्ट्रीबशनल ओवरफिटिंग मौलिक रूप से रिप्रेजेंटेशन एफिशिएंसी की विफलता है, न कि केवल ऑप्टिमाइज़ेशन डायनेमिक्स का एक आर्टिफैक्ट। प्रॉम्प्ट ऑप्टिमाइज़ेशन को रेगुलराइजेशन के लेंस के माध्यम से उपचारित करके—विशेष रूप से क्षमता लागत और स्कोप संकीर्णता के विकास को नियंत्रित करके—TextReg एक ऐसा सिद्धांत आधारित तंत्र प्रदान करता है जो ट्रेनिंग डिस्ट्रीब्यूशन से परे सामान्यीकरण करने वाले प्रॉम्प्ट्स बनाने में सक्षम है।

लेखक इस कार्य को एक पद्धतिगत प्रगति के रूप में देखते हैं जो प्रॉम्प्ट व्यवहार को अधिक अनुमानित और ऑडिट करने में आसान बनाता है। वे स्पष्ट रूप से वर्तमान सीमाओं को नोट करते हैं: फ्रेमवर्क सिंगल-टर्न रीजनिंग को लक्षित करता है जिसके स्पष्ट व्यवहारिक नियम हैं, जिससे ओपन-एंडेड जनरेशन, मल्टी-टर्न प्रॉम्प्ट्स और एजेंट इंस्ट्रक्शन्स (जहाँ नियम संरचनाएँ धुंधली हो जाती हैं) भविष्य के कार्य के लिए खुले रहते हैं।