Derivation Prompting: A Logic-Based Method for Improving Retrieval-Augmented Generation
यह शोधपत्र डेरिवेशन प्रॉम्प्टिंग (Derivation Prompting) को प्रस्तुत करता है, जो रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation) के लिए एक नवीन तर्क-आधारित प्रॉम्प्टिंग तकनीक है, जो ज्ञान-गहन कार्यों में मतिभ्रम (hallucinations) और त्रुटिपूर्ण तर्क को व्यवस्थित रूप से कम करने के लिए व्याख्या योग्य डेरिवेशन ट्री (derivation trees) का निर्माण करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन (AI) है जो सवाल पूछने में माहिर है, लेकिन कभी-कभी चीजें बना देता है या भ्रमित हो जाता है जब उत्तर तुरंत स्पष्ट नहीं होता। यह वर्तमान AI मॉडलों की एक सामान्य समस्या है, विशेष रूप से तब जब उनसे दस्तावेजों के ढेर के आधार पर विशिष्ट प्रश्न पूछे जाते हैं।
यह शोध पत्र इस लाइब्रेरियन से बात करने का एक नया तरीका पेश करता है जिसे डेरिवेशन प्रॉम्प्टिंग (Derivation Prompting) कहा जाता है। केवल "उत्तर क्या है?" पूछने और बेहतर परिणाम की उम्मीद करने के बजाय, लेखक इस लाइब्रेरियन को एक पहेली को सुलझाने या गणित की समस्या को सिद्ध करने की तरह, चरण-दर-चरण उत्तर बनाना सिखाते हैं।
यहाँ यह कैसे काम करता है, इसे सरल अवधारणाओं में विभाजित किया गया है:
1. समस्या: "भ्रमित" (Hallucinating) लाइब्रेरियन
आमतौर पर, जब आप AI से कोई प्रश्न पूछते हैं, तो वह किताब के कुछ प्रासंगिक पृष्ठ निकालता है और तुरंत उत्तर लिखने की कोशिश करता है। कभी-कभी, वह सही होता है। लेकिन अक्सर, वह "हैलुसिनेट" (hallucinate) कर सकता है—जिसका अर्थ है कि वह आत्मविश्वास के साथ कुछ ऐसा बताता है जो वास्तव में किताब में नहीं है, या वह तथ्यों को मिला देता है। यह एक ऐसे छात्र की तरह है जो पाठ्यपुस्तक देखने के बजाय केवल इसलिए उत्तर का अनुमान लगाता है क्योंकि उसे लगता है कि वह जानता है।
2. समाधान: एक "लॉजिक ट्री" (Logic Tree) बनाना
लेखक एक नया तरीका सुझाते हैं जो लॉजिक प्रूफ (logic proofs) से प्रेरित है। कल्पना कीजिए कि आप एक पेड़ बना रहे हैं।
- जड़ें (The Roots): ये वे तथ्य हैं जो आपने दस्तावेजों में खोजे हैं ("परिकल्पनाएं")।
- शाखाएं (The Branches): ये वे चरण हैं जो आप उन तथ्यों को जोड़ने के लिए लेते हैं।
- फल (The Fruit): यह अंतिम उत्तर है।
सीधे फल पर कूदने के बजाय, AI को पहले शाखाएं उगाने के लिए मजबूर किया जाता है। इसे उन तथ्यों को जोड़ने के लिए एक विशिष्ट सेट नियमों (एक रेसिपी की तरह) का पालन करना होगा।
3. नियम: AI का "टूलबॉक्स"
पेपर में नियमों का एक छोटा सेट परिभाषित किया गया है जिन्हें AI द्वारा अपनाया जा सकता है, जो बोर्ड गेम में चालों के समान है। उदाहरण के लिए:
- एक्सट्रैक्ट (Extract): "दस्तावेज़ से इस विशिष्ट वाक्य को लें।"
- कंबाइन (Combine): "तथ्य A और तथ्य B को लें और उन्हें एक साथ रखें।"
- रिफाइन (Refine): "इस तथ्य को प्रश्न के अनुकूल बनाने के लिए इसे फिर से लिखें, लेकिन इसका अर्थ न बदलें।"
- नो-इन्फो (NoInfo): "यदि कोई भी तथ्य मदद नहीं करता है, तो स्वीकार करें कि आप नहीं जानते।"
AI को एक नियम चुनना होगा, तथ्यों पर उसे लागू करना होगा, और परिणाम लिखना होगा। फिर, वह उस परिणाम को देखता है और निर्णय लेता है: "क्या यह अंतिम उत्तर है? यदि नहीं, तो मुझे उस नए परिणाम पर दूसरा नियम लागू करने की आवश्यकता है।"
4. यह क्यों मदद करता है: "निर्माण स्थल" (Construction Site) का उदाहरण
एक सामान्य AI उत्तर को एक ठेकेदार की तरह समझें जो बस एक दीवार खड़ी कर देता है और उम्मीद करता है कि वह खड़ी रहेगी। यदि दीवार टेढ़ी है, तो आपको तब तक पता नहीं चलेगा जब तक कि वह गिर न जाए।
डेरिवेशन प्रॉम्प्टिंग उस ठेकेदार की तरह है जिसे आपको ब्लूप्रिंट और चरण-दर-चरण निर्माण लॉग दिखाना पड़ता है।
- व्याख्यात्मकता (Interpretability): क्योंकि AI चरणों का एक "पेड़" बनाता है, आप बीच की शाखाओं को देख सकते हैं और कह सकते, "रुको, आपने इन दो तथ्यों को गलत तरीके से जोड़ा," या "आपने यहाँ एक तथ्य बना लिया।" गलती को पहचानना बहुत आसान है क्योंकि रास्ता दृश्यमान है।
- नियंत्रण (Control): AI को नियमों का पालन करने के लिए मजबूर करने से, इसके कुछ भी मनगढ़ंत बनाने की संभावना कम हो जाती है। यह AI को एक सख्त चेकलिस्ट देने जैसा है; वह चरणों को छोड़ नहीं सकता या नए तथ्य नहीं बना सकता।
5. उन्होंने क्या पाया
लेखकों ने एक वास्तविक दुनिया की समस्या पर इसका परीक्षण किया: विश्वविद्यालय के प्रशासनिक नियमों के बारे में छात्रों के प्रश्नों का उत्तर देना। उन्होंने तीन तरीकों की तुलना की:
- लॉन्ग कॉन्टेक्स्ट (Long Context): AI को एक बार में पूरी किताब देना।
- स्टैंडर्ड RAG (Standard RAG): सामान्य तरीका जिसमें कुछ पृष्ठों को निकालकर उत्तर दिया जाता है।
- डेरिवेशन प्रॉम्प्टिंग (Derivation Prompting): नया चरण-दर-चरण नियम आधारित तरीका।
परिणाम:
- नए तरीके ने "बुरे" उत्तरों (उत्तर जो गलत थे या जिनमें कुछ मनगढ़ंत था) को काफी कम कर दिया।
- इसने AI को सही उत्तर खोजने में अनिवार्य रूप से तेज़ नहीं बनाया, लेकिन इसने जो उत्तर दिए, वे बहुत अधिक विश्वसनीय थे।
- यह एक बहुत ही स्मार्ट AI मॉडल (Claude Opus) के साथ सबसे अच्छा काम करता है। एक छोटा, कम शक्तिशाली मॉडल (Claude Haiku) नियमों का पालन तो कर सकता है लेकिन कभी-कभी फंस जाता है या कम उच्च-गुणवत्ता वाले उत्तर देता है, जिससे पता चलता है कि AI को तर्क संबंधी निर्देशों का पालन करने के लिए "पर्याप्त स्मार्ट" होने की आवश्यकता है।
मुख्य निष्कर्ष
यह पेपर AI को अनुमान लगाने से रोकने के लिए एक तरीका प्रस्तावित करता है, जो उसे एक तार्किक, नियम-आधारित वृक्ष संरचना का उपयोग करके "अपना काम दिखाने" के लिए मजबूर करता है। यह AI को एक आत्मविश्वासी अनुमान लगाने वाले से बदलकर एक सावधान, चरण-दर-चरण समस्या समाधानकर्ता में बदल देता है, जिससे यह महत्वपूर्ण, तथ्य-आधारित प्रश्नों के लिए बहुत सुरक्षित हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।