Evaluating Prompt Engineering Techniques for RAG in Small Language Models: A Multi-Hop QA Approach
यह शोध पत्र एक बड़े पैमाने पर अनुभवजन्य अध्ययन प्रस्तुत करता है जो यह प्रदर्शित करता है कि प्रॉम्प्ट इंजीनियरिंग तकनीकों को अनुकूलित करना रिट्रीवल ऑगमेंटेड जनरेशन प्रणालियों में स्मॉल लैंग्वेज मॉडल्स के मल्टी-हॉप रीजनिंग प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है, जो मानक दृष्टिकोणों की तुलना में HotpotQA डेटासेट पर 84.5% तक की वृद्धि प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ा कम उम्र का सहायक है जिसका नाम एलेक्स (Alex) है। एलेक्स बातचीत करने में माहिर है और उसे कई सामान्य तथ्यों की जानकारी है, लेकिन अगर आप उससे कोई कठिन सवाल पूछते हैं जिसमें तीन अलग-अलग किताबों के तथ्यों को जोड़ना हो, तो वह भ्रमित हो सकता है या अपनी ओर से कुछ भी बना सकता है। यही बात स्मॉल लैंग्वेज मॉडल्स (SLMs) के साथ होती है। वे तेज़ और सस्ते होते हैं, लेकिन जटिल पहेलियों को सुलझाने में उन्हें संघर्ष करना पड़ता है।
एलेक्स की मदद करने के लिए, आप उसे (बाहरी ज्ञान के रूप में) एक किताबों का पुस्तकालय देते हैं जिसे वह उत्तर देने से पहले देख सके। इस सेटअप को RAG (Retrieval-Augmented Generation) कहा जाता है। लेकिन यहाँ एक पेच है: आप एलेक्स को उन किताबों का उपयोग करने के लिए कैसे निर्देश देते हैं, यह उतना ही मायने रखता है जितना कि वे किताबें खुद।
यह शोध पत्र एक विशाल कुकिंग कॉम्पिटिशन की तरह है जहाँ शोधकर्ताओं ने दो अलग-अलग संस्करणों वाले एलेक्स (AI मॉडल Qwen और Gemma) पर 24 अलग-अलग तरह के निर्देशों (प्रॉम्प्ट्स) का परीक्षण किया, यह देखने के लिए कि कौन सी निर्देश शैली उन्हें सबसे कठिन पहेलियाँ (Multi-Hop Questions) हल करने में सबसे अच्छी तरह मदद करती है।
यहाँ उनके निष्कर्षों का विवरण दिया गया है, कुछ रोजमर्रा के उदाहरणों का उपयोग करते हुए:
1. समस्या: "ओवरवेल्म्ड इंटर्न" (घबराया हुआ इंटर्न)
AI मॉडल्स को इंटर्न्स के रूप में सोचें।
- बड़े मॉडल्स (Big Models): वे सीनियर विशेषज्ञों की तरह हैं जो जटिल समस्याओं को अपने आप सुलझा सकते हैं।
- स्मॉल लैंग्वेज मॉडल्स (SLMs): ये प्रतिभाशाली लेकिन जूनियर इंटर्न्स की तरह हैं। वे तेज़ और सस्ते हैं, लेकिन यदि आप बस उन्हें कागजों का एक ढेर थमा दें और कहें, "उत्तर ढूँढो," तो वे शोर में खो सकते हैं या दो तथ्यों के बीच के संबंध को मिस कर सकते हैं।
शोधकर्ता यह जानना चाहते थे: इंटर्न को उन कागजों को पढ़ने के लिए बताने का सबसे अच्छा तरीका क्या है?
2. प्रयोग: 24 अलग-अलग "इंस्ट्रक्शन मैनुअल"
टीम ने केवल अनुमान नहीं लगाया। उन्होंने HotpotQA डेटासेट (जो ट्रिकी सवालों से भरा है जिनमें तथ्यों को जोड़ने की आवश्यकता होती है, जैसे "उस अभिनेता की पत्नी कौन है जिसने उस फिल्म में अभिनय किया था जिसे उस व्यक्ति ने निर्देशित किया था जिसने सर्वश्रेष्ठ निर्देशक के लिए ऑस्कर जीता?") पर 24 अलग-अलग "निर्देश मैनुअल" (प्रॉम्प्ट्स) का परीक्षण किया।
उन्होंने निर्देशों को तीन प्रकारों में वर्गीकृत किया:
- मानक तरीका (The Standard Way): "यहाँ किताबें हैं, मुझे उत्तर दें।" (बेसलाइन)
- "टेक्स्टबुक" तरीका (The "Textbook" Way): मौजूदा AI रिसर्च से लिए गए निर्देश (जैसे "स्टेप-बाय-स्टेप सोचें" या "अपने काम की जाँच करें")।
- "नया हाइब्रिड" तरीका (The "New Hybrid" Way): कस्टम निर्देश जिन्हें शोधकर्ताओं ने बनाया था, जिसमें विभिन्न तकनीकों को मिलाकर इंटर्न के लिए एक 'सुपर-गाइड' तैयार किया गया था।
3. परिणाम: गति बनाम सटीकता ("फास्ट फूड बनाम फाइन डाइनिंग" का द्वंद्व)
अध्ययन ने एक क्लासिक ट्रेड-ऑफ को उजागर किया, जैसे फास्ट-फूड बर्गर और धीरे पकाए गए गॉरमेट मील (स्वादिष्ट भोजन) के बीच चुनाव करना।
विकल्प A: "फास्ट फूड" प्रॉम्प्ट्स (साहित्य-आधारित)
- ये क्या हैं: छोटे, सरल निर्देश जैसे "बस मुझे उत्तर दें।"
- परिणाम: ये बेहद तेज़ थे। AI ने लगभग 1 सेकंड में उत्तर दिया।
- पेच: उत्तर ठीक-ठाक थे, लेकिन एकदम सही नहीं। यह एक त्वरित बर्गर पकड़ने जैसा है; यह आपका पेट भर देता है, लेकिन यह सबसे अच्छा भोजन नहीं है।
- किसके लिए बेहतर है: चैटबॉट्स के लिए जहाँ आपको तुरंत जवाब की आवश्यकता होती है, भले ही वह थोड़ा कम सटीक हो।
विकल्प B: "गॉरमेट" प्रॉम्प्ट्स (नोवल हाइब्रिड)
- ये क्या हैं: लंबे, विस्तृत निर्देश जो AI को बताते हैं: "पहले, इस पैराग्राफ को पढ़ें। फिर, उस पैराग्राफ के साथ संबंध खोजें। फिर, अपने तर्क की दोबारा जाँच करें। अंत में, उत्तर को संश्लेषित (synthesize) करें।"
- परिणाम: इनसे बहुत बेहतर उत्तर मिले (6% अधिक सटीक)। AI ने जटिल पיםों को सही ढंग से हल किया।
- पेच: उत्तर पाने में इसे 8 से 10 गुना अधिक समय लगा। AI "गहराई से सोच" रहा था, जिससे काम धीमा हो गया।
- किसके लिए बेहतर है: मेडिकल डायग्नोसिस, कानूनी शोध, या वैज्ञानिक खोज जैसे क्षेत्रों के लिए जहाँ सही होना तेज़ होने से अधिक महत्वपूर्ण है।
4. ट्विस्ट: सभी इंटर्न्स एक जैसे नहीं होते
शोधकर्ताओं ने दो अलग-अलग AI मॉडल्स का परीक्षण किया, और वे अलग-अलग व्यवहार करते हैं:
- मॉडल A (Qwen 2.5 - 3B): यह एक "जूनियर इंटर्न" है। इसे बहुत अधिक मार्गदर्शन (hand-holding) की आवश्यकता होती है। सर्वोत्तम परिणाम प्राप्त करने के लिए, आपको इसे लंबे, विस्तृत "गॉरमेट" निर्देश देने होंगे। यह जटिल पहेली को अपने आप नहीं सुलझा सकता।
- मॉडल B (Gemma 3 - 4B): यह एक "सीनियर इंटर्न" है। यह थोड़ा बड़ा और स्मार्ट है।
- चौंकाने वाली बात: इस मॉडल के लिए, शोधकर्ताओं ने एक "मैजिक प्रॉम्प्ट" पाया जिसे एक्सपर्ट सिंथेसिस (Expert Synthesis) कहा जाता है।
- जादू: उन्होंने मॉडल को बताया: "आप एक विशेषज्ञ हैं। जानकारी को संश्लेषित करें और मुझे सबसे अच्छा उत्तर दें।"
- परिणाम: यह मॉडल तेज़ और सटीक दोनों था। इसे लंबे, स्टेप-बाय-स्टेप मार्गदर्शन की आवश्यकता नहीं थी। यह "बस जान सकता था" कि क्या करना है। इसने इस नियम को तोड़ दिया कि "स्मार्ट होने के लिए आपको धीमा होना पड़ता है।"
5. मुख्य बातें (द "चीट शीट")
यदि आप एक AI सिस्टम बना रहे हैं, तो यह पेपर आपको क्या करने के लिए कहता है:
- कोई "एक आकार सबके लिए फिट" (One Size Fits All) नहीं है: आप बस एक AI से दूसरे AI में प्रॉम्प्ट कॉपी-पेस्ट नहीं कर सकते। जो "जूनियर इंटर्न" (Qwen) के लिए काम करता है, वह "सीनियर इंटर्न" (Gemma) के लिए बहुत भ्रमित करने वाला या बहुत धीमा हो सकता है।
- अपना लक्ष्य चुनें:
- गति चाहिए? छोटे, सरल प्रॉम्प्ट का उपयोग करें।
- पूर्णता चाहिए? लंबे, जटिल "हाइब्रिड" प्रॉम्प्ट का उपयोग करें।
- बड़ा होने का मतलब सिर्फ "अधिक स्मार्ट" होना नहीं है, बल्कि "अलग" होना है: एक थोड़ा बड़ा मॉडल (Gemma) छोटे मॉडल की तुलना में जटिल निर्देशों को बहुत अधिक कुशलता से संभालता है, और कभी-कभी "धीमे और सटीक" के नियम को भी मात दे देता है।
- साधारण गणित पर भरोसा न करें: शोधकर्ताओं ने पाया कि मानक कंप्यूटर टेस्ट (जैसे मिलान करने वाले शब्दों को गिनना) इन उत्तरों का आकलन करने में खराब थे। उन्हें इन उत्तरों को पढ़ने और तर्क और सत्य के आधार पर मानव जैसा ग्रेड देने के लिए एक "जज AI" (GPT-4o-mini) का उपयोग करना पड़ा।
सारांश में
यह पेपर उन लोगों के लिए एक गाइडबुक है जो कठिन कार्यों के लिए छोटे, कुशल AI मॉडल्स का उपयोग करने की कोशिश कर रहे हैं। यह साबित करता है कि आप सवाल कैसे पूछते हैं, यह उतना ही महत्वपूर्ण है जितना कि AI खुद। निर्देशों को बदलकर, आप एक तेज़-लेकिन-मंद AI को एक धीमे-लेकिन-प्रतिभाशाली AI में, या उस स्वीट स्पॉट को ढूंढ सकते जहाँ एक स्मार्ट AI तेज़ और प्रतिभाशाली दोनों हो सकता है।
निचोड़: यदि आप सर्वोत्तम परिणाम चाहते हैं, तो केवल डेटा AI पर न फेंकें। उसे उस डेटा को नेविगेट करने के लिए एक स्पष्ट, अच्छी तरह से संरचित मानचित्र दें, और ऐसा मानचित्र चुनें जो उसके विशिष्ट "मस्तिष्क" के अनुकूल हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।