🤖 machine learning

Stabilizing Black-Box Prompt Optimization with Textual Regularization and Signal Aggregation

यह शोध पत्र TRAS को प्रस्तुत करता है, जो एक प्लग-एंड-प्ले फ्रेमवर्क है जो सफल भविष्यवाणियों से प्राप्त पाठ्य नियमितीकरण (textual regularization) को शोर को फ़िल्टर करने के लिए मोंटे कार्लो सिग्नल एकत्रीकरण (Monte Carlo signal aggregation) के साथ जोड़कर ब्लैक-बॉक्स प्रॉम्प्ट अनुकूलन को स्थिर करता है, जिससे मौजूदा विधियों की तुलना में सटीकता, अभिसरण गति (convergence speed) और मॉडल माइग्रेशन के विरुद्ध मजबूती में सुधार होता है।

मूल लेखक: MohammadReza Davari, Utkarsh Garg, Weixin Cai, Eugene Belilovsky

प्रकाशित 2026-06-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: MohammadReza Davari, Utkarsh Garg, Weixin Cai, Eugene Belilovsky

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े अनिश्चित व्यवहार वाले रोबोट को पहेलियाँ सुलझाना सिखाने की कोशिश कर रहे हैं। आप उसके मस्तिष्क के अंदर नहीं देख सकते (यह एक "ब्लैक बॉक्स" है), इसलिए आप केवल निर्देशों, जिन्हें प्रॉम्प्ट (prompts) कहा जाता है, लिखकर उससे बात कर सकते हैं।

लंबे समय तक, इन निर्देशों को बेहतर बनाने का सबसे अच्छा तरीका ऑटोमैटिक प्रॉम्प्ट ऑप्टिमाइज़ेशन (APO) नामक एक विधि थी। इसे एक छात्र की तरह समझें जो एक परीक्षा देता है, एक प्रश्न गलत करता है, और फिर शिक्षक से पूछता है, "मैंने यह गलत क्यों किया?" शिक्षक एक आलोचना (एक "टेक्स्टुअल ग्रेडिएंट") देता है और छात्र अपने उत्तर पत्र में उस विशिष्ट गलती को सुधारने के लिए बदलाव करता है।

यह शोध प्रबंध तर्क देता है कि इस "गलतियों को सुधारने" वाले दृष्टिकोण में एक बड़ी खामी है: यह इस बात पर बहुत अधिक ध्यान केंद्रित करता है कि क्या गलत हुआ और यह अनदेखा कर देता है कि क्या सही रहा।

समस्या: "ओवर-करेक्शन" (अति-सुधार) का जाल

कल्पना कीजिए कि आप एक स्पष्ट स्टेशन खोजने के लिए रेडियो ट्यून कर रहे हैं।

पुराना तरीका (केवल त्रुटि-आधारित): हर बार जब आप शोर (त्रुटि) सुनते हैं, तो आप उसे ठीक करने के लिए डायल को पागलों की तरह घुमा देते हैं। लेकिन क्योंकि आप केवल शोर पर ध्यान देते हैं, इसलिए आप अनजाने में डायल को स्पष्ट स्टेशन से आगे भी घुमा सकते हैं, या एक ऐसी सेटिंग को मिटा सकते हैं जो वास्तव में पूरी तरह से काम कर रही थी। आप गोल-गोल घूमते रहते हैं, जिससे संकेत बेहतर होने के बजाय और खराब हो जाता है। शोध प्रबंध की शब्दावली में, इसे सेमेंटिक ड्रिफ्ट (semantic drift) कहा जाता है—आप एक छोटी सी गलती को ठीक करते हैं लेकिन अनजाने में एक महत्वपूर्ण निर्देश को हटा देते हैं जो समग्र रूप से आपकी मदद कर रहा था।

समाधान: TRAS

लेखक TRAS (टेक्स्टुअल रेगुलराइजेशन विद एग्रीगेटेड सिग्नल्स) नामक एक नया ढांचा प्रस्तावित करते हैं। यह केवल एक प्रकार के फीडबैक के बजाय छात्र को दो प्रकार के फीडबैक देने जैसा है।

1. "इसे मत छुओ!" सिग्नल (टेक्स्टुअल रेगुलराइजेशन)

केवल यह पूछने के बजाय कि "क्या गलत है?", TRAS यह भी पूछता है कि "क्या सही काम कर रहा है?"

उपमा: कल्पना कीजिए कि आप स्टू (सूप/शोरबा) बना रहे हैं। पुराना तरीका केवल आपको बताएगा, "यह गाजर बहुत सख्त है, इसे छोटा काटें!" TRAS यह भी कहता है, "अरे, नमक का स्तर एकदम सही है, और शोरबा समृद्ध है—इन्हें न बदलें!"
यह कैसे काम करता है: जब मॉडल एक उत्तर सही देता है, तो TRAS विश्लेषण करता है कि वह क्यों सही था और एक "रेगुलराइज़र" (नियम) बनाता है जो कहता है, "इन हिस्सों को बिल्कुल वैसा ही रहने दें जैसा वे हैं।" यह रोबोट को रोकने के लिए है कि वह खराब चीजों को ठीक करने के प्रयास में उन अच्छी चीजों को गलती से न हटा दे जो मदद कर रही थीं।

2. "विशेषज्ञों की समिति" (मोंटे कार्लो सिग्नल एग्रीगेशन)

LLMs (लार्ज लैंग्वेज मॉडल्स) थोड़े इंसानों जैसे होते; यदि आप उनसे एक ही प्रश्न दो बार पूछते हैं, तो वे थोड़ा अलग उत्तर दे सकते हैं। कभी-कभी वे शोर भरे या भ्रमित हो सकते हैं।

उपमा: कल्पना कीजिए कि आप एक व्यक्ति से रास्ता पूछते हैं, और वह कहता है, "बड़े ओक के पेड़ के पास बाएं मुड़ें।" आप दूसरे से पूछते हैं, और वह कहता है, la "बड़े ओक के पेड़ के पास बाएं मुड़ें।" आप तीसरे से पूछते हैं, और वह भी कहता है, "बड़े ओक के पेड़ के पास बाएं मुड़ें।" अब आप आश्वस्त हैं। लेकिन यदि आप चौथे व्यक्ति से पूछते हैं और वह कहता है, "पेट्रोल पंप के पास दाएं मुड़ें," तो आप जानते हैं कि वह चौथा व्यक्ति एक आउटलायर (विचलित व्यक्ति) है या भ्रमित है।
यह कैसे काम करता है: TRAS केवल एक बार मॉडल से फीडबैक नहीं मांगता है। यह कई बार पूछता है (कई "ग्रेडिएंट्स" और "रेगुलराइज़र्स" का नमूना लेना)। इसके बाद यह एक बुद्धिमान समिति अध्यक्ष की तरह कार्य करता है, सभी राय सुनता है और सामान्य, सुसंगत सलाह खोजता है। यह अजीब, शोर वाले आउटलायर्स को अनदेखा करता है और रोबोट को एक एकल, स्पष्ट, विश्वसनीय निर्देश देता है।

बोनस: "घर बदलना" (ऑटोमैटिक प्रॉम्प्ट माइग्रेशन)

यह शोध प्रबंध ऑटोमैटिक प्रॉम्प्ट माइग्रेशन (APM) नामक एक व्यावहारिक समस्या का समाधान भी करता है।

परिदृश्य: आपने "मॉडल A" (जैसे GPT-3.5) के लिए निर्देशों का एक सेट तैयार करने में हफ्तों बिताए हैं। अब, आप उन्हीं निर्देशों को "मॉडल B" (जैसे GPT-4o) के लिए उपयोग करना चाहते हैं।
जोखिम: यदि आप केवल उन्हीं निर्देशों को लेकर उन्हें नए मॉडल के लिए "पुनः अनुकूलित" (re-optimize) करने का प्रयास करते हैं, तो नया मॉडल भ्रमित हो सकता है और अनजाने में निर्देशों के उन हिस्सों को हटा सकता है जो वास्तव में काम कर रहे थे। यह अपने घर में फर्नीचर ले जाने जैसा है और, सामान को व्यवस्थित करने के उत्साह में, उन टुकड़ों को फेंक देना जो पूरी तरह फिट बैठते थे।
TRAS का समाधान: जब आप एक नए मॉडल पर जाते हैं, तो TRAS तुरंत "इसे मत छुओ!" सिग्नल को सक्रिय कर देता है। यह पुराने, काम करने वाले निर्देशों को एक बहुमूल्य आधार मानता है और केवल नए मॉडल के अनुकूल होने के लिए छोटे, सुरक्षित समायोजन करता है, यह सुनिश्चित करता है कि आप पहले से बनाए गए "विशेषज्ञ" ज्ञान को न खोएं।

परिणाम

इस शोध प्रबंध का परीक्षण विभिन्न तर्क और रीजनिंग कार्यों पर किया गया।

बेहतर सटीकता: रोबोट ने अधिक समस्याओं को सही ढंग से हल किया।
तेजी से सीखना: उसे सही सेटिंग्स खोजने के लिए गोल-गोल घूमने की आवश्यकता नहीं पड़ी; वह जल्दी पहुँच गया।
सस्ता: क्योंकि इसने तेजी से सीखा और कम गलतियाँ कीं, इसलिए इसने कम "API कॉल्स" (जिसकी लागत आती है) का उपयोग किया।
स्थिरता: परिणाम अधिक सुसंगत थे; प्रदर्शन में बड़े उतार-चढ़ाव नहीं आए।

संक्षेप में, TRAS हमें सिखाता है कि एक ब्लैक-बॉक्स AI को अच्छी तरह से सिखाने के लिए, आपको केवल उसके विफल होने पर उस पर चिल्लाना नहीं चाहिए। आपको उसे तब भी फुसफुसाकर बताना चाहिए जब वह सफल होता है, कि उसे क्या बनाए रखना है, और आपको एक समूह से सलाह लेनी चाहिए ताकि आप किसी भ्रमित आवाज को न सुन लें।

तकनीकी सारांश: टेक्स्टुअल रेगुलेराइजेशन और सिग्नल एग्रीगेशन के साथ ब्लैक-बॉक्स प्रॉम्प्ट ऑप्टिमाइज़ेशन को स्थिर करना

1. समस्या विवरण (Problem Statement)

यह शोध पत्र बड़े भाषा मॉडलों (LLMs) के लिए ऑटोमैटिक प्रॉम्प्ट ऑप्टिमाइज़ेशन (APO) की चुनौतियों को संबोधित करता है, जिन्हें ब्लैक-बॉक्स API के माध्यम से एक्सेस किया जाता है, जहाँ आंतरिक मॉडल अवस्थाएँ (ग्रेडिएंट्स, हिडन स्टेट्स) सुलभ नहीं होती हैं। जबकि हालिया APO विधियाँ त्रुटियों (failures) से प्राप्त टेक्स्टुअल ग्रेडिएंट्स (critiques) का उपयोग करके प्रॉम्प्ट को पुनरावृत्ति (iteratively) के माध्यम से परिष्कृत करती हैं, लेखक दो महत्वपूर्ण सीमाओं की पहचान करते हैं:

सफलता का कम उपयोग (Underutilization of Success): मौजूदा विधियाँ मुख्य रूप से त्रुटि सुधार पर आधारित हैं, जो इस जानकारी की अनदेखी करती हैं कि कौन से प्रॉम्प्ट घटक प्रभावी हैं, जो सफल भविष्यवाणियों (successful predictions) में निहित होती है।
अस्थिरता और सिमेंटिक ड्रिफ्ट (Instability and Semantic Drift): केवल त्रुटि-संचालित अपडेट पर निर्भर रहने से "सिमेंटिक ड्रिफ्ट" हो सकता है, जहाँ स्थानीय विफलताओं को ठीक करने के इरादे से किए गए संपादन अनजाने में वैश्विक रूप से लाभकारी प्रॉम्प्ट घटकों को मिटा सकते हैं। यह ऑप्टिमाइज़र को लागतपूर्ण "हटाने और पुनः खोजने" (remove-and-rediscover) के चक्रों में धकेल देता है।
ऑटोमैटिक प्रॉम्प्ट माइग्रेशन (APM) की विफलता: उन परिदृश्यों में जहाँ एक मॉडल (जैसे, GPT-3.5-turbo) के लिए अनुकूलित विशेषज्ञ प्रॉम्प्ट को दूसरे (जैसे, GPT-4o) में अनुकूलित किया जाना है, सहज पुन: अनुकूलन (naive re-optimization) अक्सर निर्देश हानि (instruction loss) का कारण बनता है, जहाँ स्रोत प्रॉम्प्ट के भार वहन करने वाले (load-bearing) निर्देशों को अनुकूलन प्रक्रिया के दौरान ओवरराइट कर दिया जाता है।

2. कार्यप्रणाली: TRAS फ्रेमवर्क (Methodology: TRAS Framework)

लेखक TRAS (टेक्स्टुअल रेगुलेराइजेशन विद एग्रीगेटेड सिग्नल्स) का प्रस्ताव करते हैं, जो एक फीडबैक-केंद्रित फ्रेमवर्क है जिसे मौजूदा APO सर्च बैकबोन (जैसे, PromptAgent जैसे MCTS-आधारित रणनीतियों) के साथ प्लग-एंड-प्ले के रूप में डिज़ाइन किया गया है। TRAS तीन मुख्य तंत्रों के माध्यम से कार्य करता है:

A. डुअल-सिग्नल जनरेशन (Dual-Signal Generation)

केवल त्रुटि संकेतों पर निर्भर रहने के बजाय, TRAS प्रत्येक ऑप्टिमाइज़ेशन स्टेप $t$ पर दो पूरक टेक्स्टुअल सिग्नल उत्पन्न करता है:

टेक्स्टुअल ग्रेडिएंट (सुधारात्मक सिग्नल - Corrective Signal): यह विफलताओं ( $B_t^-$ ) से प्राप्त होता है। एक क्रिटीक पॉलिसी $\pi_g$ गलत भविष्यवाणियों का विश्लेषण करती है ताकि यह बताने के लिए प्राकृतिक भाषा निर्देश उत्पन्न किए जा सकें कि क्या बदलना है (जैसे, छूटे हुए प्रतिबंध, फॉर्मेटिंग संबंधी मुद्दे)।
टेक्स्टुअल रेगुलेराइजेशन (संरक्षण सिग्नल - Preservation Signal): यह सफलताओं ( $B_t^+$ $B_{t}^{+}$ ) से प्राप्त होता है। एक एट्रिब्यूशन पॉलिसी $\pi_r$ $π_{r}$ सही भविष्यवाणियों का विश्लेषण करती है ताकि यह पहचाना जा सके कि किन प्रॉम्प्ट घटकों ने सफलता में योगदान दिया। यह एक रेगुलेराइज़र $r_t$ $r_{t}$ उत्पन्न करता है जो लाभकारी संरचनाओं को बनाए रखने के लिए "न हटाएं," "अपरिवर्तित रखें," या "मजबूत करें" जैसे प्रतिबंध निर्धारित करता है।
- वार्म-अप शेड्यूल (Warm-up Schedule): खराब इनिशियलाइजेशन के प्रति एंकरिंग को रोकने के लिए, रेगुलेराइजेशन सिग्नल को पहले $\tau_{warmup}$ इटरेशन्स के लिए अक्षम कर दिया जाता है, जिससे ऑप्टिमाइज़र को स्थिर होने से पहले स्वतंत्र रूप से अन्वेषण (explore) करने की अनुमति मिलती है।

B. मोंटे कार्लो सिग्नल एग्रीगेशन (Monte Carlo Signal Aggregation - MCSA)

चूंकि टेक्स्टुअल ग्रेडिएंट और रेगुलेराइज़र दोनों स्टोकेस्टिक LLM आउटपुट हैं, इसलिए वे शोर (noisy) वाले हो सकते हैं। TRAS वेरिएंस को कम करने के लिए MCSA का उपयोग करता है:

सिस्टम ग्रेडिएंट और रेगुलेराइज़र दोनों के लिए $K$ स्वतंत्र सिग्नल सैंपल करता है।
एक एग्रीगेशन ऑपरेटर (LLly summarizer) इन $K$ सैंपल्स को एकल क्रियाशील निर्देशों ( $\bar{g}_t, \bar{r}_t$ ) में समेकित करता है।
यह प्रक्रिया आउटलेर्स को फ़िल्टर करते हुए निरंतर, क्रियाशील सलाह पर जोर देती है। लेखक नोट करते हैं: $K$ बढ़ाने से वेरिएंस कम होता है लेकिन यदि बहुत अधिक सिग्नल्स को कंप्रेस किया जाता है, तो "डाइल्यूशन" (सामान्य सारांश) का जोखिम रहता है।

C. प्रॉम्प्ट अपडेट और माइग्रेशन (Prompt Update and Migration)

अगला प्रॉम्प्ट $p_{t+1}$ एक अपडेट पॉलिसी द्वारा जेनरेट किया जाता है जो संरक्षण प्रतिबंधों का सम्मान करते हुए एकत्रित सुधारात्मक परिवर्तनों को लागू करता है।

APM के लिए: जब किसी प्रॉम्प्ट को सोर्स मॉडल से टारगेट मॉडल में माइग्रेट किया जाता है, तो TRAS तुरंत टेक्स्टुअल रेगुलेराइजेशन को सक्रिय करता है ( $\tau_{warmup} = 0$ ) और एक छोटा सैंपल काउंट $K$ उपयोग करता है (एक्सपर्ट प्रॉम्प्ट के लोअर वेरिएंस के कारण)। यह सुनिश्चित करता है कि टारगेट-विशिष्ट विसंगतियों को $\bar{g}_t$ के माध्यम से सुधारा जाए जबकि विशेषज्ञ प्रॉम्प्ट की हस्तांतरणीय (transferable) संरचना को $\bar{r}_t$ के माध्यम से संरक्षित किया जाए।

3. प्रमुख योगदान (Key Contributions)

यह शोध पत्र निम्नलिखित को औपचारिक रूप देता है और योगदान देता है:

ऑटोमैटिक प्रॉम्प्ट माइग्रेशन (APM का औपचारिकीकरण): लेखक APM को मॉडल वर्ज़न्स या प्रोवाइडर्स के बीच एक्सपर्ट प्रॉम्प्ट्स को अनुकूलित करने की व्यावहारिक समस्या के रूप में परिभाषित करते हैं, जो स्पष्ट रूप से "इंस्ट्रक्शन लॉस" से बचता है।
टेक्स्टुअल रेगुलेराइजेशन: एक सफलता-आधारित सिग्नल का परिचय जो लाभकारी प्रॉम्प्ट घटकों को संरक्षित करने के लिए प्रोत्साहित करता है, जिससे ऑप्टिमाइज़ेशन प्रक्षेपवक्र (trajectory) स्थिर होता है।
मोंटे कार्लो सिग्नल एग्रीगेशन (MCSA): वेरिएंस को कम करने और क्रियाशील सलाह के डाइल्यूशन को प्रबंधित करने के लिए कई स्टोकेस्टिक सिग्नल्स को एग्रीगेट करने की एक तकनीक।
TRAS फ्रेमवर्क: एक एकीकृत विधि जो इन तत्वों को जोड़कर मानक APO और APM दोनों परिदृश्यों में मजबूती (robustness) में सुधार करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने पांच रीजनिंग कार्यों (Causal Judgment, Geometric Shapes, Penguins, Biosses, CB) पर GPT-3.5-turbo के लिए मानक APO और GPT-4o के लिए APM (GPT-3.5-turbo से माइग्रेट करते हुए) का उपयोग करके TRAS का मूल्यांकन किया।

मानक APO (GPT-3.5-turbo):
- TRAS ने बेसलाइन (PromptAgent) की तुलना में कार्यों में 4.9% से 21.5% तक निरंतर और सांख्यिकीय रूप से महत्वपूर्ण सटीकता सुधार हासिल किया।
- इसने रैंडम सीड्स के बीच स्टैंडर्ड डेविएशन को कम किया, जो अधिक स्थिर ऑप्टिमाइज़ेशन को दर्शाता है।
- इसने "रिमूव-एंड-रीडिस्कवर" चक्रों से बचकर LLM API कॉल्स को 0.5% से 3.3% तक कम किया।
ऑटोमैटिक प्रॉम्प्ट माइग्रेशन (GPT-3.5-turbo $\to$ GPT-4o):
- एक्सपर्ट प्रॉम्प्ट्स के सहज पुन: अनुकूलन ने अक्सर इंस्ट्रक्शन लॉस के कारण शुरुआती लाभ को कम कर दिया।
- TRAS ने बेसलाइन की तुलना में लगातार बेहतर अंतिम सटीकता में सुधार किया, जिसमें 2.2% से 16.0% तक की वृद्धि देखी गई।
- उल्लेखनीय सुधार Geometric Shapes (+12.5%) और Biosses (+16.0%) में देखे गए, जहाँ डोमेन-विशिष्ट संरचना को बनाए रखना महत्वपूर्ण था।
- TRAS ने माइग्रेशन सेटिंग में कुल API कॉल्स को 4.2% से 6.2% तक कम किया।
एब्लेशन स्टडीज (Ablation Studies):
- वार्म-अप: प्रदर्शन तब चरम पर था जब रेगुलेराइजेशन 3-4 इटरेशन्स के बाद सक्रिय हुआ; बहुत जल्दी सक्रिय करने से कमजोर प्रॉम्प्ट्स एंकर हो गए, जबकि बहुत देर से सक्रिय करने से ड्रिफ्ट की अनुमति मिल गई।
- एग्रीगेशन काउंट ( $K$ ): सटीकता $K \approx 6$ (वेरिएंस कम करने के लिए) तक सुधरी, लेकिन बड़े $K$ के लिए सिग्नल डाइल्यूशन के कारण इसमें गिरावट आई।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि TRAS ब्लैक-बॉक्स प्रॉम्प्ट ऑप्टिमाइज़ेशन में अंतर्निहित अस्थिरता के लिए एक मजबूत समाधान प्रदान करता है। शुद्ध त्रुटि-संचालित प्रतिमान (paradigm) से फीडबैक-केंद्रित दृष्टिकोण की ओर बढ़ते हुए, जो सुधार (correction) और संरक्षण (preservation) के बीच संतुलन बनाता है, TRAS:

ऑप्टिमाइज़ेशन को स्थिर करता है: सिमेंटिक ड्रिफ्ट और प्रॉम्प्ट सर्च प्रक्षेपवक्र में वेरिएंस को कम करता है।
प्रभावी माइग्रेशन सक्षम बनाता है: महत्वपूर्ण निर्देशों को खोए बिना मॉडल वर्ज़न्स के बीच प्रॉम्प्ट्स को अनुकूलित करने की व्यावहारिक समस्या को हल करता है, जो कि सहज पुन: अनुकूलन में एक सामान्य विफलता मोड है।
दक्षता में सुधार करता है: अधिक विश्वसनीय रूप से अभिसरण (converge) करके और अनावश्यक चक्रों से बचकर कम API कॉल्स के साथ उच्च सटीकता प्राप्त करता है।

लेखक TRAS को मौजूदा विभिन्न APO बैकबोन को बढ़ाने के लिए ऑर्थोगोनल (orthogonal) के रूप में देखते हैं। वे सुझाव देते हैं कि भविष्य का कार्य वैकल्पिक एग्रीगेशन तंत्र, एडेप्टिव रेगुलेराइजेशन शेड्यूल्स और मल्टी-टर्न या निरंतर परिनियोजन (continual deployment) सेटिंग्स के विस्तार की खोज कर सकता है।