💬 NLP

Why Prompt Optimization Works, and Why It Sometimes Doesn't: A Causal-Inspired Edit-Level Analysis

यह शोध पत्र एक कारण अनुमान (causal inference) से प्रेरित विश्लेषण का उपयोग करता है जो यह प्रकट करता है कि स्वचालित प्रॉम्प्ट अनुकूलन विधियों का असंगत सामान्यीकरण विशिष्ट संपादन पैटर्न (जैसे कि जटिलता-बढ़ाने वाले संपादन) और कार्य विशेषताओं के बीच व्यवस्थित अंतःक्रियाओं से उत्पन्न होता है, न कि यादृच्छिक अनुकूलन आर्टिफ़ेक्ट्स से।

मूल लेखक: Shuzhi Gong, Hechuan Wen

प्रकाशित 2026-05-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shuzhi Gong, Hechuan Wen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन कभी-कभी जिद्दी, रोबोट सहायक (एक लार्ज लैंग्वेज मॉडल) है। आप चाहते हैं कि वह कठिन पहेलियाँ हल करे, जैसे कि गणित के सवाल या तर्क संबंधी पहेलियाँ (logic riddles)। बेहतर परिणाम पाने के लिए, आप केवल उससे एक बार नहीं पूछते; आप एक "प्रॉम्ट ऑप्टिमाइज़र" (Prompt Optimizer) का उपयोग करते हैं। इस ऑप्टिमाइज़र को एक ट्यूनिंग मैकेनिक की तरह समझें जो आपके रोबोट के लिए निर्देशों को लगातार फिर से लिखता है, ताकि वह रोबोट के बेहतर प्रदर्शन के लिए एकदम सही शब्दों को खोज सके।

यह शोध एक सरल लेकिन पेचीदा सवाल पूछता है: मैकेनिक कभी कार को ठीक क्यों कर देता है, और कभी उसे खराब क्यों कर देता है?

शोधकर्ताओं ने पाया कि मैकेनिक केवल अंदाज़ा नहीं लगा रहा है। इसके बजाय, मैकेनिक ने विशिष्ट "आदतें" (संपादन के प्रकार) सीख ली हैं जो कुछ कार्यों के लिए बहुत अच्छा काम करती हैं, लेकिन अन्य कार्यों के लिए वास्तव में हानिकारक होती हैं। यह एक शेफ की तरह है जो जानता है कि अतिरिक्त नमक डालने से सूप स्वादिष्ट हो जाता है, लेकिन यदि आप वही मात्रा चॉकलेट केक में डाल दें, तो वह मिठाई को बर्बाद कर देता है।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. "एक ही आकार सबके लिए" वाला जाल (The "One-Size-Fits-All" Trap)

शोधकर्ताओं ने हजारों बार जब ऑप्टिमाइज़र्स ने निर्देशों को बदला, उसका अध्ययन किया। उन्होंने एक पैटर्न देखा: जो चीज़ एक प्रकार की पहेली के लिए काम करती है, वह अक्सर दूसरी पहेली को नुकसान पहुँचाती है।

यदि आप गणित (Math) के लिए प्रॉम्ट को अनुकूलित (optimize) करते हैं, तो परिवर्तन इसे तर्क (Logic) पहेलियों के लिए बदतर बना सकते हैं।
यदि आप चरण-दर-चरण (Step-by-Step) कार्यों के लिए अनुकूलित करते हैं, तो यह इसे बहु-चरणीय (Multi-step) तर्क के लिए बदतर बना सकता है।

ऑप्टिमाइज़र "टूटा" हुआ नहीं है; यह बस एक "सार्वभौमिक समाधान" (universal fix) लागू कर रहा है जो हर स्थिति के लिए उपयुक्त नहीं है।

2. दो प्रकार की "बुरी आदतें" (द अपराधी)

अध्ययन ने ऑप्टिमाइज़र्स द्वारा किए जाने वाले दो विशिष्ट प्रकार के परिवर्तनों की पहचान की, जो दोधारी तलवार की तरह काम करते हैं:

"अति-व्याख्या करने वाला" (Meta-Instructions):
- यह क्या है: ऑप्टिमाइज़र ऐसे वाक्यांश जोड़ता है जैसे "सुनिश्चित करें कि आप ध्यान से सोचें," "चरणों को न छोड़ें," या "अपना काम दोबारा जांचना याद रखें।"
- उपमा: कल्पना कीजिए कि एक कोच दौड़ते हुए धावक को चिल्लाकर कह रहा है, "याद रखो सांस लेना, याद रखो दौड़ना, याद रखो बाईं ओर देखना!"
- परिणाम: गणित की समस्याओं के लिए, यह अतिरिक्त शोर वास्तव में रोबोट को भ्रमित करता है और उसके स्कोर को कम कर देता है। यह एक रेसिपी में बहुत अधिक निर्देश जोड़ने जैसा है जो पहले से ही एकदम सही थी। हालाँकि, कुछ अन्य कार्यों के लिए, यह इतना नुकसान नहीं पहुँचाता है।
"कचरा जोड़ने वाला" (Complexity):
- यह क्या है: ऑप्टिमाइज़र प्रॉम्ट को लंबा बनाता है, अधिक उदाहरण जोड़ता है, या अनावश्यक जानकारी शामिल करता है।
- उपमा: घास के ढेर में सुई खोजने के लिए और अधिक घास जोड़ना।
- परिणाम: अनुक्रमिक (Sequential) कार्यों के लिए (जैसे अक्षरों के सख्त क्रम का पालन करना), अतिरिक्त फालतू बातें जोड़ने से रोबोट अपना रास्ता भटक जाता है। लेकिन सामान्य ज्ञान (Common Sense) के कार्यों के लिए, थोड़ा अतिरिक्त संदर्भ वास्तव में मदद कर सकता है।

3. दो प्रकार की "अच्छी आदतें" (द सहायक)

इसके विपरीत, अध्ययन ने पाया कि वास्तव में क्या मदद करता है:

"चरण-दर-चरण" मार्गदर्शिका (The "Step-by-Step" Guide):
- यह क्या है: रोबोट को समस्या को विस्तार से तोड़ने के लिए स्पष्ट रूप से कहना (जैसे, "चरण 1, चरण 2, चरण 3")।
- परिणाम: यह तार्किक (Logical) और अनुक्रमिक (Sequential) कार्यों के लिए एक जादुual मंत्र है। यह किसी को स्पष्ट टर्न-बाय-टर्न दिशाओं वाले मानचित्र देने जैसा है; वे रास्ता नहीं भटक सकते।
"स्वयं-जांचकर्ता" (The "Self-Checker" - Metacognition):
- यह क्या है: रोबोट को अपनी सोच की निगरानी करने के लिए कहना (जैसे, "क्या आपने अपने उत्तर की जाँच की?")।
- परिणाम: यह अनुक्रमिक (Sequential) कार्यों पर प्रदर्शन को काफी बढ़ाता है। यह एक छात्र को होमवर्क जमा करने से पहले उसे दोबारा चेक करने के लिए कहने जैसा है।

4. उन्हें यह कैसे पता चला (डिटेक्टिव वर्क)

शोधकर्ताओं ने केवल अनुमान नहीं लगाया। उन्होंने Causal-Inference (इसे एक परिष्कृत जासूसी उपकरण के रूप में समझें) नामक विधि का उपयोग किया।

उन्होंने हजारों प्रॉम्ट्स के "पहले" और "बाद" को देखा।
उन्होंने इस तथ्य को नियंत्रित किया कि कुछ रोबोट स्वाभाविक रूप से दूसरों की तुलना में अधिक स्मार्ट होते हैं।
उन्होंने अपने निष्कर्षों की जाँच तीन अलग-अलग "लेंस" के माध्यम से की:
1. मानव-समान लेबल: प्रॉम्ट के "वाइब" (vibe) का वर्णन करने के लिए दूसरे AI का उपयोग करना (जैसे, "क्या यह भ्रमित करने वाला है?")।
2. कच्चे टेक्स्ट आँकड़े (Raw text stats): शब्दों, चरणों और विराम चिह्नों की गिनती करना (जैसे, "कितने शब्द हैं?")।
3. संपादन पैटर्न (Edit patterns): यह देखना कि वास्तव में कौन से शब्द जोड़े गए या हटाए गए।

तथ्य यह है कि तीनों लेंसों ने एक ही पैटर्न दिखाया, इस बात की पुष्टि करता है कि ये केवल रैंडम गड़बड़ी नहीं हैं; ये व्यवस्थित व्यवहार हैं।

5. मुख्य निष्कर्ष (The Big Takeaway)

शोध पत्र निष्कर्ष निकालता है कि प्रॉम्ट ऑप्टिमाइज़ेशन की विफलताएं रैंडम दुर्घटनाएं नहीं हैं। ऐसा इसलिए होता है क्योंकि ऑप्टिमाइज़र उन समस्याओं पर एक "एक ही आकार सबके लिए" (one-size-fits-all) वाली रणनीति लागू कर रहा है जिन्हें अलग-अलग दृष्टिकोणों की आवश्यकता है।

यदि आप गणित की समस्या हल करने की कोशिश कर रहे हैं, तो ऑप्टिमाइज़र "सुनिश्चित करें कि..." जैसे निर्देश जोड़कर बहुत अधिक मददगार होने की कोशिश कर सकता है, जो वास्तव में गणित के प्रदर्शन को नुकसान पहुँचाता है।
यदि आप तर्क (Logic) की पहेली सुलझा रहे हैं, तो ऑप्टिमाइज़र शायद बहुत अधिक आलसी हो सकता है क्योंकि वह पर्याप्त "चरण-दर-चरण" संरचना नहीं जोड़ता, जो तर्क के प्रदर्शन को नुकसान पहुँचाता है।

संक्षेप में: "ट्यूनिंग मैकेनिक" को यह जानने की जरूरत है कि वह किस तरह की कार पर काम कर रहा है। एक रिंच (wrench) जो साइकिल के बोल्ट को कसता है, वह मोटरसाइकिल के बोल्ट को उखाड़ सकता है। यह शोध सुझाव देता है कि भविष्य के ऑप्टिमाइज़र्स को इस आधार पर कि वे किस प्रकार के कार्य को हल करने की कोशिश कर रहे हैं, यह तय करने में अधिक स्मार्ट होना चाहिए कि कौन से संपादन (edits) लागू किए जाएं।

तकनीकी सारांश: प्रॉम्प्ट अनुकूलन (Prompt Optimization) क्यों काम करता है, और यह कभी-कभी क्यों विफल हो जाता है

समस्या विवरण

स्वचालित प्रॉम्प्ट अनुकूलन विधियों (जैसे, DSPy, TextGrad, GEPA) ने विशिष्ट बेंचमार्क पर लार्ज लैंग्वेज मॉडल (LLM) के प्रदर्शन को काफी हद तक सुधारने की क्षमता प्रदर्शित की है। हालाँकि, इनका सामान्यीकरण (generalization) एक महत्वपूर्ण बाधा बना हुआ है: अनुकूलित प्रॉम्प्ट जो एक कार्य में सफल होते हैं, वे अक्सर अन्य कार्यों में विफल हो जाते हैं, और विभिन्न LLM बैकबोन के बीच स्विच करने पर प्रदर्शन काफी गिर सकता है। मौजूदा शोध मुख्य रूप से एग्रीगेट बेंचमार्क स्तर पर या एम्बेडिंग-स्पेस डायनेमिक्स के माध्यम से अनुकूलक (optimizer) की सफलता का विश्लेषण करता है, जो इस बात में सूक्ष्म अंतर्दृष्टि प्रदान करने में विफल रहता है कि कौन से विशिष्ट प्रॉम्प्ट संशोधन (एडिट-स्तरीय व्यवहार) विभिन्न कार्य प्रकारों में सुधार या गिरावट में व्यवस्थित रूप से योगदान करते हैं। यह शोध प्रॉम्प्ट प्रदर्शन की विषमता के अनछुए स्रोतों को संबोधित करता है, और यह प्रश्न पूछता है: अनुकूलक किन 'एडिट पैटर्न' को सीखते हैं, और वे कुछ कार्यों में मदद क्यों करते हैं जबकि दूसरों को नुकसान पहुँचाते हैं?

कार्यप्रणाली (Methodology)

लेखक लगभग 20,000 वास्तविक-विश्व प्रॉम्प्ट अनुकूलन प्रक्षेपवक्रों (trajectories) का एक कारण अनुमान-प्रेरित (causal inference-inspired) अवलोकनात्मक विश्लेषण करते हैं। यह अध्ययन तीन अनुकूलन ढांचों (DSPy, TextGrad, GEPA), पांच LLM बैकबोन (GPT-5.2, GPT-4o, Qwen3-32B, Deepseek-v3, और Deepseek-R1 सहित), और पांच तर्क श्रेणियों (कॉमनसेंस, गणितीय, तार्किक, अनुक्रमिक, और मल्टी-हॉप) में फैले 11 NLP बेंचमार्क को एकीकृत करता है।

विश्लेषण प्रॉम्प्ट एडिट्स को वर्गीकृत करने के लिए एक मल्टी-व्यू फ्रेमवर्क का उपयोग करता है:

संज्ञानात्मक-भार एनोटेशन (Cognitive-Load Annotations): GPT-4o संज्ञानात्मक भार सिद्धांत (जैसे, Intrinsic_load, Extraneous_load, Metacognition, Structural_logic) के आधार पर 1–10 के पैमाने पर 12 विशेषताओं को एनोटेट करता है।
सतही-स्तर के पाठ सांख्यिकी (Surface-Level Text Statistics): नियत विशेषताएँ जैसे शब्द गणना, टोकन अनुपात, और विशिष्ट कीवर्ड (जैसे, "step," "first") की उपस्थिति।
एडिट मोटिफ्स (Edit Motifs): लिटरल टेक्स्ट-डिफ़ विश्लेषण, जो chain_of_thought, meta_instruction, step_by_step, और clarity_constraint जैसे मोटिफ्स में वर्गीकृत किए गए सम्मिलित शब्द स्पैन (inserted word spans) को निकालता है।

अवलोकनात्मक डेटा में निहित चयन पूर्वाग्रह (selection bias) को संबोधित करने के लिए (जहाँ अनुकूलक केवल तभी एडिट डाल सकते हैं जब कोई प्रॉम्प्ट संघर्ष कर रहा हो), लेखक इन्वर्स प्रोबेबिलिटी ऑफ ट्रीटमेंट वेटिंग (IPTW) का उपयोग करते हैं। यह विधि प्री-एडिट कोवेरिएट्स (प्रॉम्प्ट अवस्था, फ्रेमवर्क, बैकबोन, डेटासेट) को समायोजित करके एडजस्टेड कंडीशनल मीन गेन डिफरेंस (ACMGD) का अनुमान लगाती है। यह अध्ययन स्पष्ट रूप से कड़े कारण संबंधी दावों (causal claims) से बचता है, और परिणामों को मजबूत साहचर्य विरोधाभासों (associational contrasts) के रूप में प्रस्तुत करता है।

सांख्यिकीय कठोरता को प्रबंधित करने के लिए एक दो-स्तरीय साक्ष्य पदानुक्रम स्थापित किया गया है:

टियर 1 (पुष्टिपरक/Confirmatory): वे संबंध जो बेन्जामिनी-होचबर्ग फाल्स डिस्कवरी रेट (BH-FDR) सुधार ( $q < 0.05$ ) में जीवित रहते हैं।
टियर 2 (अन्वेषणात्मक/Exploratory): कई प्रस्तुतियों या फ्रेमवर्कों में दिशात्मक रूप से सुसंगत पैटर्न जो पूर्ण मल्टीपल-टेस्टिंग सुधार में जीवित नहीं रहते हैं लेकिन सहयोगात्मक साक्ष्य प्रदान करते हैं।

मुख्य परिणाम

विश्लेषण से पता चलता है कि एडिट परिवारों और डाउनस्ट्रीम प्रदर्शन के बीच व्यवस्थित, कार्य-आधारित अंतःक्रियाएं होती हैं, न कि यादृच्छिक अनुकूलन आर्टिफैक्ट्स।

टियर 1: पुष्टिपरक निष्कर्ष (BH-FDR सुधारा गया)

चार सांख्यिकीय रूप से मजबूत संबंधों की पहचान की गई:

एक्स्ट्रानियस लोड $\otimes$ अनुक्रमिक तर्क (Sequential Reasoning): एक्स्ट्रानियस लोड (अनावश्यक/अप्रासंगिक जानकारी) में वृद्धि अनुक्रमिक तर्क कार्यों में प्रदर्शन गिरावट से महत्वपूर्ण रूप से जुड़ी हुई है ($ACMGD = -0.060$)।
मेटाकॉग्निशन $\otimes$ अनुक्रमिक तर्क: मेटाकॉग्निटिव प्रॉम्प्टिंग (स्व-निगरानी या तर्क प्रॉम्प्ट) अनुक्रमिक कार्यों में प्रदर्शन लाभ से महत्वपूर्ण रूप से जुड़ी हुई है ($ACMGD = +0.062$)।
मेटा-इंस्ट्रक्शन $\otimes$ गणितीय तर्क (Mathematical Reasoning): मेटा-निर्देशों (जैसे, "make sure to," "do not," "ensure") का समावेश गणितीय तर्क कार्यों में कम प्रदर्शन से महत्वपूर्ण रूप से जुड़ा हुआ है ($ACMGD = -0.103$)। यह प्रभाव आंशिक रूप से MultiArith डेटासेट में केंद्रित है।
क्लैरिटी कंस्ट्रेंट $\otimes$ तार्किक तर्क (Logical Reasoning): "संक्षिप्त/सरल होने" (be concise/brief/simple) के लिए बाधाएं डालने से तार्किक तर्क कार्यों में कम प्रदर्शन महत्वपूर्ण रूप से जुड़ा हुआ है ($ACMGD = -0.083$), जो संभावित रूप से आवश्यक स्टेप-बाय-स्टेप रीजनिंग को दबा देता है।

टियर 2: अन्वेषणात्मक सहसंबंध

जटिलता बनाम कार्य प्रकार: जटिलता बढ़ाने वाले एडिट्स (शब्द गणना, इंट्रिंसिक लोड बढ़ाना) का गणितीय और मल्टी-हॉप रीजनिंग प्रदर्शन के साथ मुख्य रूप से नकारात्मक संबंध है, जबकि स्टेप-स्ट्रक्चर्ड एडिट्स का लॉजिकल और सीक्वेंशियल कार्यों के साथ सकारात्मक संबंध दिखता है।
क्रॉस-रिप्रेजेंटेशन निरंतरता: GPT-4o एनोटेशन द्वारा देखी गई दिशात्मक पैटर्न को नियत सतही विशेषताओं (जैसे, एक्स्ट्रानियस लोड के साथ संरेखित शब्द गणना) और एडिट मोटिफ्स द्वारा पुनरुत्पादित किया गया है।
मजबूती (Robustness): 83% प्रमुख साइन रिवर्सल (जैसे, एक एडिट एक कार्य प्रकार में मदद करता है जबकि दूसरे को नुकसान पहुँचाता है) 'लीव-वन-डेटासेट-आउट' (LOO) निष्कासन के तहत स्थिर रहते हैं।

महत्व और दावे

यह शोध तर्क देता है कि प्रॉम्प्ट अनुकूलन की विफलताएं पूरी तरह से यादृच्छिक नहीं हैं, बल्कि एडिट परिवारों और कार्य विशेषताओं के बीच व्यवस्थित अंतःक्रियाओं से उत्पन्न होती हैं।

नैदानिक मूल्य (Diagnostic Value): निष्कर्ष अनुकूलक व्यवहार का फीचर-स्तरीय लक्षण वर्णन प्रदान करते हैं। अभ्यासकर्ता इन संबंधों का एक प्रारंभिक नैदानिक (diagnostic) के रूप में उपयोग कर सकते हैं: यदि लक्षित कार्य गणितीय या मल्टी-हॉप रीजनिंग समूहों जैसा है, तो उन्हें यह अनुमान लगाना चाहिए कि मेटा-इंस्ट्रक्शनल या जटिलता बढ़ाने वाले एडिट्स लाभ के साथ नकारात्मक रूप से जुड़े हो सकते हैं।
डिज़ाइन निहितार्थ: परिणाम कार्य-आधारित अनुकूलकों (task-conditioned optimizers) के डिज़ाइन को प्रेरित करते हैं। विशेष रूप से, भविष्य के अनुकूलकों को गणित जैसे कार्यों के लिए अनावश्यक जटिलता या मेटा-निर्देशों को हतोत्साहित करने वाले एडिट प्रायर्स (priors) से लाभ मिल सकता है, या इसके विपरीत, अनुक्रमिक कार्यों के लिए स्ट्रक्चरल स्कैफोल्डिंग को प्रोत्साहित करने से लाभ मिल सकता है।
पद्धतिगत योगदान: IPTW को अनुकूलित करके और एक दो-स्तरीय साक्ष्य पदानुक्रम स्थापित करके, यह अध्ययन अवलोकनात्मक अनुकूलन डेटा में मजबूत, पुनरुत्पादित एडिट-स्तरीय पैटर्न को अन्वेषणात्मक शोर (noise) से अलग करने के लिए एक ढांचा प्रदान करता है।

लेखक एक मध्यम रुख बनाए रखते हैं, इस बात पर जोर देते हुए कि हालांकि संबंध विभिन्न फ्रेमवर्क और प्रस्तुतियों में मजबूत हैं, वे अवलोकनात्मक बने हुए हैं। अवशिष्ट कन्फाउंडिंग (जैसे, अनुकूलक प्रक्षेपवक्र इतिहास, अपरिवर्तित खोज अवस्थाएं) निश्चित कारण संबंधी दावे (causal claims) करने से रोकती है, और प्रस्तावित डिज़ाइन निहितार्थों के लिए नियंत्रित हस्तक्षेप सत्यापन (interventional validation) की आवश्यकता है।