💬 NLP

Principled Context Engineering for RAG: Statistical Guarantees via Conformal Prediction

यह शोध पत्र रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) के लिए एक सिद्धांत-आधारित कॉन्टेक्स्ट इंजीनियरिंग फ्रेमवर्क प्रस्तावित करता है जो प्रासंगिक साक्ष्य को बनाए रखने की सांख्यिकीय गारंटी देने के लिए कन्फॉर्मल प्रेडिक्शन का उपयोग करता है और साथ ही कॉन्टेक्स्ट की लंबाई को काफी कम करता है, जिससे तथ्यात्मक सटीकता में सुधार होता है और फ़िल्टरिंग पर मॉडल-अज्ञेय नियंत्रण (model-agnostic control) प्राप्त होता है।

मूल लेखक: Debashish Chakraborty, Eugene Yang, Daniel Khashabi, Dawn Lawrie, Kevin Duh

प्रकाशित 2026-03-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Debashish Chakraborty, Eugene Yang, Daniel Khashabi, Dawn Lawrie, Kevin Duh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Principled Context Engineering for RAG" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: "अति-व्यस्त लाइब्रेरियन" (The Overwhelmed Librarian)

कल्पना कीजिए कि आपके पास एक बुद्धिमान लेकिन थोड़ी भूलक्कड़ लाइब्रेरियन (AI) है। आप उससे एक सवाल पूछते हैं, और वह उत्तर खोजने के लिए लाइब्रेरी में जाती है।

एक मानक RAG (Retrieval-Augmented Generation) सिस्टम में, लाइब्रेरियन किताबों का एक बड़ा ढेर (दस्तावेज़) उठा लेती है जिसमें शायद उत्तर हो। वह पूरा ढेर आपकी मेज पर रख देती है और कहती है, "यह लीजिए, यह सब पढ़ लें, और फिर मुझे उत्तर बताएं।"

समस्या क्या है?

बहुत अधिक शोर (Noise): उस ढेर में 90% बेकार कचरा, विज्ञापन और अप्रासंगिक पन्ने होते हैं।
बीच में खो जाना (Lost in the Middle): लाइब्रेरियन केवल शुरुआती कुछ पन्नों और आखिरी कुछ पन्नों पर ही ध्यान केंद्रित कर पाती है। यदि उत्तर ढेर के बीच में कहीं दबा हुआ है, तो वह उसे मिस कर देती है (इसे "Lost-in-the-Middle" प्रभाव कहा जाता है)।
भ्रम (Confusion): वह जितना अधिक कचरा पढ़ेगी, उसके गलत जानकारी देने (hallucinate करने) या भ्रमित होने की संभावना उतनी ही अधिक होगी।

पुराना समाधान: "अनुमान लगाने का खेल" (The Guessing Game)

पहले, इंजीनियरों ने लाइब्रेरियन को यह निर्देश देकर इसे ठीक करने की कोशिश की: "बस वे शीर्ष 10 किताबें चुनें जो तुम्हारे सवाल से सबसे अधिक मिलती-जुलती दिखती हों।"

यह एक Heuristic (नियम का अनुमान) की तरह है। यह तेज़ है, लेकिन अविश्वसनीय है। कभी-कभी शीर्ष 10 किताबें बेहतरीन होती हैं; कभी-कभी वे पूरी तरह से बेकार होती हैं। लाइब्रेरियन के पास यह जानने का कोई तरीका नहीं है कि वह कितनी निश्चित है कि उसने सही किताबें रखी हैं। यह पानी को एक ऐसी छलनी से छानने जैसा है जिसके छेद रैंडम आकार के हैं—आप अच्छी चीज़ खो सकते हैं या बुरी चीज़ को अंदर आने दे सकते हैं।

नया समाधान: "प्रमाणित फ़िल्टर" (The Certified Filter)

यह पेपर एक नई विधि पेश करता है जिसे Conformal Prediction कहा जाता है। इसे ऐसे समझें कि लाइब्रेरियन को एक जादुई, कैलिब्रेटेड छलनी दी गई है जो यह गारंटी देती है कि वह कभी भी सही उत्तर को नहीं फेंकेगी, जबकि वह गलत चीज़ों को आक्रामक रूप से बाहर निकाल देगी।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

1. "प्रशिक्षण कक्षा" (Calibration)

आपके लिए काम शुरू करने से पहले, वह एक टेस्ट क्लास लेती है। उसे 100 सवाल और उनके सही उत्तर दिखाए जाते हैं। वह सीखती है: "जब मैं ऐसा दिखने वाला एक पन्ना देखती हूँ, तो वह आमतौर पर प्रासंगिक होता है। जब वह वैसा दिखता है, तो वह कचरा है।"

महत्वपूर्ण बात यह है कि वह केवल अनुमान नहीं लगाती। वह एक सांख्यिकीय सुरक्षा मार्जिन (statistical safety margin) सीखती है। वह सीखती है, "यदि मैं 95% सुनिश्चित होना चाहती हूँ कि मैं सही उत्तर न चूकूँ, तो मुझे वे किताबें रखनी होंगी जिनका स्कोर एक निश्चित रेखा से ऊपर है।"

2. "जादुई छलनी" (The Filter)

अब, जब आप एक वास्तविक सवाल पूछते हैं, तो लाइब्रेरियन इस छलनी का उपयोग करती है।

वह ढेर के हर एक पन्ने को स्कोर देती है।
वह "सुरक्षा रेखा" से नीचे की हर चीज़ को काट देती है।
गारंटी: Conformal Prediction के गणित के कारण, वह आपको वादा कर सकती है: "मैं गारंटी देती हूँ कि 90% पन्ने जिनमें वास्तविक उत्तर है, अभी भी इस ढेर में हैं।"

यह एक कॉन्सर्ट के सुरक्षा गार्ड की तरह है जो वादा करता है: "मैं 95% VIP लोगों को अंदर जाने दूँगा, लेकिन मैं निश्चित रूप से 5% शरारती तत्वों को बाहर रखूँगा।" आप जानते हैं कि जोखिम क्या है।

3. परिणाम: एक छोटा, बेहतर ढेर

इस पेपर का परीक्षण दो बड़े डेटा संग्रहों (NeuCLIR और RAGTIME) पर किया गया।

पहले: लाइब्रेरियन को 100 पन्नों का एक विशाल ढेर पढ़ना पड़ता था।
बाद में: जादुई छलनी ने ढेर को घटाकर 30-40 पन्ने कर दिया।
पकड़ (The Catch): क्या उसने उत्तर खो दिया? नहीं। गणित गारंटी देता है कि उसने प्रासंगिक हिस्सों को रखा है।
लाभ: क्योंकि ढेर छोटा और साफ है, लाइब्रेरियन (AI) वास्तव में इसे पढ़ सकती है, बेहतर ध्यान केंद्रित कर सकती है, और आपको अधिक सटीक उत्तर दे सकती है।

यह क्यों मायने रखता है (The "Aha!" Moment)

शोधकर्ताओं ने कुछ आश्चर्यजनक पाया: जब उन्होंने आधी जानकारी फेंक दी, तो AI वास्तव में स्मार्ट हो गई।

उपमा: कल्पना कीजिए कि आप एक पहेली (puzzle) सुलझाने की कोशिश कर रहे हैं। यदि कोई आपको 1,000 टुकड़े थमाता है, लेकिन उनमें से 800 टुकड़े एक बिल्ली की तस्वीर के हैं (और आप एक कार बनाने की कोशिश कर रहे हैं), तो आप भ्रमित हो जाएंगे। यदि आप बिल्ली के टुकड़ों को हटा देते हैं, तो आप कार को तेज़ी से और बेहतर तरीके से बना सकते हैं।
निष्कर्ष: AI जो "अतिरिक्त" जानकारी पढ़ रही थी, उसका अधिकांश हिस्सा केवल शोर (noise) था। इस Certified Filter का उपयोग करके, उन्होंने AI द्वारा पढ़े जाने वाले टेक्स्ट की मात्रा को 2 से 3 गुना कम कर दिया, लेकिन उत्तरों की गुणवत्ता वैसी ही रही या बेहतर हो गई।

एक वाक्य में सारांश

यह पेपर AI को एक स्मार्ट संपादक (editor) बनना सिखाता है न कि एक कलेक्टर (hoarder): यह एक गणितीय रूप से सिद्ध विधि का उपयोग करता है ताकि AI के पढ़ने शुरू करने से पहले ही कचरे को फेंका जा सके, यह सुनिश्चित करते हुए कि AI कभी भी सच्चाई को न छोड़े जबकि समय और पैसे की बचत भी हो।

आपके लिए मुख्य बातें

कम ही अधिक है (Less is More): AI को उत्तर जानने के लिए सब कुछ पढ़ने की आवश्यकता नहीं है; उसे बस सही चीज़ों की आवश्यकता है।
अब कोई अनुमान नहीं: केवल यह उम्मीद करने के बजाय कि फ़िल्टर काम करेगा, यह विधि गणित का उपयोग करती है ताकि यह गारंटी दी जा सके कि आपने महत्वपूर्ण चीज़ों को रखा है।
हर जगह काम करता है: इससे कोई फर्क नहीं पड़ता कि आप किस तरह के AI का उपयोग कर रहे हैं; यह "छलनी" किसी भी सिस्टम के साथ काम करती है।

यहाँ शोध पत्र "Principled Context Engineering for RAG: Statistical Guarantees via Conformal Prediction" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) प्रणालियों का लक्ष्य लार्ज लैंग्वेज मॉडल्स (LLMs) को रिट्रीव किए गए साक्ष्यों (evidence) के आधार पर सुदृढ़ बनाना है ताकि मतिभ्रम (hallucinations) को कम किया जा सके। हालाँकि, वर्तमान RAG पाइपलाइनों को दो महत्वपूर्ण सीमाओं का सामना करना पड़ता है:

कॉन्टेक्स्ट नॉइज़ और सैचुरेशन (Context Noise and Saturation): LLMs "लॉस्ट-इन-द-मिडल" (lost-in-the-middle) प्रभाव से ग्रस्त होते हैं, जहाँ लंबे प्रॉम्प्ट्स के मध्य में स्थित साक्ष्यों के लिए अटेंशन (attention) कम हो जाता है। इसके अलावा, अप्रासंगिक या मामूली रूप से संबंधित स्निपेट्स अक्सर प्रॉम्प्ट में आ जाते हैं, जिससे उपयोगी साक्ष्य कम हो जाते हैं और टोकन लागत बढ़ जाती है।
सांख्यिकीय नियंत्रण का अभाव (Lack of Statistical Control): मौजूदा प्री-जनरेशन फ़िल्टरिंग विधियाँ ह्यूरिस्टिक्स (जैसे, top- $k$ रिट्रीवल) या अनकैलिब्रेटेड LLM कॉन्फिडेंस स्कोर पर निर्भर करती हैं। ये दृष्टिकोण इस बारे में कोई सांख्यिकीय गारंटी नहीं देते कि कितना प्रासंगिक साक्ष्य सुरक्षित रखा गया है। फलस्वरूप, आक्रामक फ़िल्टरिंग से महत्वपूर्ण जानकारी खोने का जोखिम रहता है, जबकि रूढ़िवादी फ़िल्टरिंग कॉन्टेक्स्ट नॉइज़ को कम करने में विफल रहती है।

लेखक समाधान के रूप में कॉन्टेक्स्ट इंजीनियरिंग (Context Engineering) का प्रस्ताव करते हैं: एक सिद्धांतपूर्ण तंत्र जो जनरेशन से पहले रिट्रीव किए गए कंटेंट को फ़िल्टर करता है ताकि यह सुनिश्चित किया जा सके कि प्रासंगिक साक्ष्यों का एक विशिष्ट अंश सुरक्षित रहे और साथ ही नॉइज़ को न्यूनतम किया जा सके।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र स्प्लिट कॉन्फॉर्मल प्रेडिक्शन (Split Conformal Prediction - CP) का उपयोग करने वाले एक फ्रेमवर्क का परिचय देता है ताकि फाइनाइट-सैंपल (finite-sample), डिस्ट्रीब्यूशन-फ्री कवरेज गारंटी प्राप्त की जा सके।

मुख्य वर्कफ़्लो (Core Workflow)

रिट्रीवल और सेगमेंटेशन (Retrieval & Segmentation): एक क्वेरी $q$ दस्तावेज़ों का एक सेट $D_q$ रिट्रीव करती है, जिसे ओवरलैपिंग स्निपेट्स $S_q$ (100-कैरेक्टर ओवरलैप के साथ 500-कैरेक्टर विंडो) में विभाजित किया जाता है।
स्कोरिंग (Scoring): प्रत्येक स्निपेट $s$ $s$ को दो प्रतिमानों (paradigms) में से एक का उपयोग करके एक नॉन-कॉन्फॉर्मिटी स्कोर $A(q, s)$ $A (q, s)$ दिया जाता है:
- कॉन्फॉर्मल-एम्बेडिंग (Conformal-Embedding): यह डेंस एम्बेडिंग्स (Qwen3-Embedding-8B) का उपयोग करता है जहाँ स्कोर $1 - \cos(\text{emb}(q), \text{emb}(s))$ होता है।
- कॉन्फॉर्मल-LLM (Conformal-LLM): यह एक LLM (GPT-4o) का उपयोग करता है जो प्रासंगिकता को $[0, 1]$ के पैमाने पर रेट करता है, जहाँ स्कोर $1 - \text{rating}$ के रूप में परिभाषित है।
कैलिब्रेशन (Calibration): एक विलगित (disjoint) कैलिब्रेशन सेट $D_{cal}$ $D_{c a l}$ (ग्राउंड-ट्रुथ प्रासंगिकता लेबल $r(q,s)$ $r (q, s)$ के साथ) का उपयोग थ्रेशोल्ड $\hat{\tau}_\alpha$ $\overset{τ}{^}_{α}$ की गणना करने के लिए किया जाता है।
- थ्रेशोल्ड को कैलिब्रेशन सेट में प्रासंगिक स्निपेट्स के स्कोर के एम्पिरिकल $(1-\alpha)$ -क्वांटाइल के रूप में सेट किया जाता है।
- $\alpha$ उपयोगकर्ता द्वारा निर्दिष्ट मिसकवरेज रेट (miscoverage rate) है (उदाहरण के लिए, $\alpha=0.1$ का अर्थ है 90% प्रासंगिक स्निपेट्स को बनाए रखने का लक्ष्य)।
फ़िल्टरिंग (Filtering): टेस्ट टाइम पर, एक स्निपेट को तब रिटेन किया जाता है यदि $A(q, s) \le \hat{\tau}_\alpha$ हो।
जनरेशन (Generation): फ़िल्टर्ड सबसेट $K_q$ को उत्तर जनरेशन के लिए LLM को पास किया जाता है।

सैद्धांतिक गारंटी (Theoretical Guarantee)

कैलिब्रेशन और टेस्ट डेटा के बीच एक्सचेंजेबिलिटी (exchangeability) की धारणा के तहत, यह विधि गारंटी देती है:
$P(s \in K_q \mid r(q, s) = 1) \ge 1 - \alpha$
यह सुनिश्चित करता है कि स्कोरिंग फंक्शन के कैलिब्रेशन की परवाह किए बिना, उच्च संभावना के साथ प्रासंगिक स्निपेट्स का एक निर्दिष्ट अनुपात सुरक्षित रखा जाता है।

3. प्रमुख योगदान (Key Contributions)

सिद्धांतिक फ्रेमवर्क: RAG के लिए एक कॉन्फॉर्मल प्रेडिक्शन फ्रेमवर्क का परिचय, जो कॉन्टेक्स्ट फ़िल्टरिंग को एक ह्यूरिस्टिक प्रक्रिया से बदलकर औपचारिक कवरेज गारंटी के साथ एक सांख्यिकीय रूप से सुदृढ़ प्रक्रिया में बदल देता है।
अनुभवजन्य सत्यापन (Empirical Validation): प्रदर्शन किया गया कि कॉन्फॉर्मल फ़िल्टरिंग दो प्रमुख बेंचमार्क (NeuCLIR और RAGTIME) में कॉन्टेक्स्ट साइज को 2–3× कम करते हुए लक्षित कवरेज प्राप्त करती है।
मॉडल एग्नोस्टिक (Model Agnosticism): यह दृष्टिकोण जनरेटर या रिट्रीवर को पुन: प्रशिक्षित करने की आवश्यकता नहीं रखता है और एम्बेडिंग-आधारित और LLM-आधारित दोनों स्कोरिंग फंक्शनों के साथ काम करता है।
डाउनस्ट्रीम प्रभाव (Downstream Impact): प्रमाण कि सख्त फ़िल्टरिंग (अनावश्यक कंटेंट को हटाना) वास्तव में शोर (noise) को कम करके तथ्यात्मक सटीकता (ARGUE F1) में सुधार कर सकती है, जबकि मध्यम फ़िल्टरिंग सटीकता बनाए रखती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन NeuCLIR (बहुभाषी सूचना पुनर्प्राप्ति) और RAGTIME (TREC RAG ट्रैक) पर किया गया।

कवरेज गारंटी (Coverage Guarantees): दोनों Conformal-Embedding और Conformal-LLM ने विभिन्न $\alpha$ मानों (0.05 से 0.40) में लक्षित कवरेज को पूरा किया या उससे थोड़ा अधिक प्राप्त किया। Conformal-Embedding ने लक्षित रेखा का अधिक सुचारू रूप से अनुसरण किया, जबकि Conformer-LLM ने क्वांटाइज्ड रेटिंग बिन्स के कारण डिस्क्रीट जंप दिखाए।
कॉन्टेक्स्ट रिडक्शन (Context Reduction):
- Conformal-Embedding ने सख्त कवरेज स्तरों ( $\alpha \le 0.20$ ) पर 25–55% स्निपेट्स को हटाया।
- Conformal-LLM ने 46–70% कंटेंट को हटाया।
- इसके विपरीत, ह्यूरिस्टिक बेसलाइन्स (top- $k$ या फिक्स्ड कोसाइन थ्रेशोल्ड) निरंतर कवरेज बनाए रखने में विफल रहे (जैसे, top-30 ने NeuCLIR पर केवल 76% कवरेज प्राप्त किया)।
डाउनस्ट्रीम तथ्यात्मक गुणवत्ता (NeuCLIR):
- सख्त फ़िल्टरिंग ( $\alpha=0.05, 0.10$ ): ARGUE F1 स्कोर में सुधार हुआ (उदाहरण के लिए, 0.69 बेसलाइन से बढ़कर 0.72 हुआ)। यह सुझाव देता है कि अनावश्यक/अप्रासंगिक कंटेंट को हटाने से LLM को हाई-सिग्नल साक्ष्य पर ध्यान केंद्रित करने में मदद मिलती है।
- मध्यम फ़िल्टरिंग ( $\alpha=0.20$ ): ~50% कॉन्टेक्स्ट रिडक्शन के बावजूद, सटीकता अनफिल्टर्ड बेसलाइन के सांख्यिकीय रूप से समान बनी रही।
- निष्कर्ष: रिट्रीव किए गए कॉन्टेक्स्ट का एक बड़ा हिस्सा अनावश्यक है; इसे हटाने से सटीकता को नुकसान नहीं पहुँचता है, बल्कि मदद मिल सकती है।

5. महत्व और भविष्य का कार्य (Significance and Future Work)

विश्वसनीयता (Reliability): यह कार्य RAG के लिए एक "लाइटवेट, मॉडल-एग्नोस्टिक फाउंडेशन" स्थापित करता है, जिससे अभ्यासकर्ताओं को मनमाने थ्रेशोल्ड के बजाय रिकॉल की वांछित सांख्यिकीय गारंटी के आधार पर कॉन्टेक्स्ट साइज को ट्यून करने की अनुमति मिलती है।
दक्षता (Efficiency): कॉन्टेक्स्ट साइज को 2–3× कम करके, यह विधि सटीकता से समझौता किए बिना अनुमान लागत (inference costs) को कम करती है और "लॉस्ट-इन-द-मिडल" प्रभाव को कम करती है।
भविष्य की दिशाएं (Future Directions): लेखक अनुकूली पुन: अंशांकन (adaptive recalibration) का पता लगाने की योजना बना रहे हैं ताकि उन डोमेन या टॉपिक बदलावों (distribution shifts) को संभाला जा सके जहाँ कैलिब्रेशन और टेस्ट सेट के बीच एक्सचेंजेबिलिटी धारणा का उल्लंघन होता है।

संक्षेप में, यह शोध पत्र तर्क देता है कि कॉन्फॉर्मल प्रेडिक्शन (Conformal Prediction) "प्रिंसिप्ल्ड कॉन्टेक्स्ट इंजीनियरिंग" की कुंजी है, जो RAG सिस्टम को एक साथ अधिक कुशल (छोटा कॉन्टेक्स्ट) और अधिक विश्वसनीय (साक्ष्य का गारंटीकृत रिकॉल) बनाने में सक्षम बनाती है।