No One Size Fits All: QueryBandits for Hallucination Mitigation
यह शोधपत्र QueryBandits को प्रस्तुत करता है, जो एक मॉडल-अज्ञेय (model-agnostic) कॉन्टेक्स्टुअल बैंडिट फ्रेमवर्क है जो क्लोज्ड-सोर्स लार्ज लैंग्वेज मॉडल्स में मतिभ्रम (hallucinations) को कम करने के लिए इष्टतम क्वेरी-रीराइट रणनीतियों को अनुकूल रूप से चुनता है, और यह प्रदर्शित करता है कि डायनेमिक ऑनलाइन नीतियां बिना किसी मॉडल रिट्रेनिंग के स्टैटिक रीराइटिंग दृष्टिकोणों और नो-रीराइट बेसलाइन की तुलना में काफी बेहतर प्रदर्शन करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन कभी-कभी दिवास्वप्न देखने वाला सहायक (एक लार्ज लैंग्वेज मॉडल, या LLM) है। यह सहायक अविश्वसनीय रूप से स्मार्ट है और लगभग कुछ भी उत्तर दे सकता है, लेकिन कभी-कभी, किसी कठिन प्रश्न के पूछे जाने पर, यह "हैलुसिनेटिंग" (hallucinating) करने लगता है—यानी तथ्य गढ़ने लगता है या आत्मविश्वास के साथ गलत उत्तर देने लगता है।
लंबे समय तक, शोधकर्ताओं ने इस सहायक के "दिमाग" को फिर से प्रशिक्षित (retrain) करने या इसके आंतरिक कोड में झांकने की कोशिश करके इसे ठीक करने का प्रयास किया। लेकिन अधिकांश सहायक जिनका उपयोग कंपनियां वास्तव में करती हैं (जैसे कि पेवॉल के पीछे वाले), वे "ब्लैक बॉक्स" होते हैं। आप उनके अंदर नहीं देख सकते, और आप उन्हें फिर से प्रशिक्षित नहीं कर सकते। आप केवल उनसे बात कर सकते हैं।
यह पेपर QueryBandits को पेश करता है, जो इन ब्लैक-बॉक्स सहायकों से बात करने का एक चतुर नया तरीका है ताकि उन्हें दिवास्वप्न देखने से रोका जा सके, बिना उनके आंतरिक कोड को छुए।
यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:
1. समस्या: "एक ही आकार सबके लिए" (One-Size-Fits-All) का जाल
कल्पना कीजिए कि आप एक बहुत ही शाब्दिक लेकिन भ्रमित लाइब्रेरियन (पुस्तकालयाध्यक्ष) से एक विशिष्ट उत्तर प्राप्त करने की कोशिश कर रहे हैं।
- यदि आप पूछते हैं, "6 और 14.8 के बीच कितने पूर्णांक (integers) हैं?" तो लाइब्रेरियन "6" को लेकर भ्रमित हो सकता है और कह सकता है "8" (6 को गिनना भूलकर)।
- यदि आप पूछते हैं, "फ्रांस की राजधानी क्या है?" और लाइब्रेरियन थका हुआ है, तो वह "लंदन" का अनुमान लगा सकता है।
पिछले समाधानों ने हर सवाल के लिए एक ही ट्रिक का उपयोग करने की कोशिश की। उदाहरण के लिए, वे कहते थे, "हमेशा प्रश्न को सरल बनाकर दोबारा लिखें!" या "हमेशा अधिक विवरण जोड़ें!"
- दोष: कभी-कभी प्रश्न को सरल बनाना मदद करता है। कभी-कभी, विवरण जोड़ना मदद करता है। कभी-कभी, प्रश्न को बिल्कुल वैसा ही पूछना सबसे अच्छा काम करता है जैसा वह है। हर सवाल के लिए एक ही ट्रिक का उपयोग करना मैराथन दौड़ने, पहाड़ चढ़ने और स्विमिंग पूल में तैरने के लिए एक ही जोड़ी जूते पहनने जैसा है। यह हर चीज़ के लिए अच्छा काम नहीं करता।
2. समाधान: "स्मार्ट शॉपर" (QueryBandits)
लेखकों ने QueryBandits नामक एक प्रणाली बनाई है। इसे एक सुपर-स्मार्ट पर्सनल शॉपर के रूप में सोचें जो आपके और लाइब्रेरियन के बीच खड़ा है।
यह शॉपर कैसे काम करता है:
- फिंगरप्रिंट (The Fingerprint): आपके लाइब्रेरियन से सवाल पूछने से पहले, शॉपर आपके सवाल को देखता है और उसका एक "भाषाई फिंगरप्रिंट" लेता है। वे 17 अलग-अलग चीजों की जांच करते हैं: क्या प्रश्न बहुत लंबा है? क्या इसमें फैंसी शब्दों का उपयोग किया गया है? क्या यह अस्पष्ट है? क्या इसके लिए विशिष्ट ज्ञान की आवश्यकता है?
- ट्रिक्स का मेनू (The Menu of Tricks): शॉपर के पास आपके प्रश्न को फिर से लिखने के 5 अलग-अलग तरीके हैं:
- पैराफ्रेस (Paraphrase): इसे अलग तरह से कहें।
- सरल बनाना (Simplify): इसे समझने में आसान बनाएं।
- स्पष्टीकरण (Disambiguate): अस्पष्ट शब्दों को स्पष्ट करें।
- विस्तार (Expand): छूटे हुए विवरण जोड़ें।
- शब्दावली स्पष्ट करना (Clarify Terms): तकनीकी शब्दों (jargon) को परिभाषित करें।
- जुआ खेलना (The "Bandit" Part): शॉपर को यह पता नहीं है कि इस विशिष्ट प्रश्न के लिए कौन सी ट्रिक सबसे अच्छा काम करेगी। इसलिए, वे कॉन्टेक्स्टुअल बैंडिट्स (Contextual Bandits) नामक रणनीति का उपयोग करते हैं।
- कल्पना कीजिए कि 5 भुजाओं (5 ट्रिक्स) वाली एक स्लॉट मशीन है।
- शॉपर आपके प्रश्न के "फिंगरप्रिंट" को देखता है और कहता है, "इस तथ्य के आधार पर कि यह प्रश्न गणित के बारे में है और इसमें एक भ्रमित करने वाली निचली सीमा है, मैं विस्तार (Expand) वाली भुजा पर दांव लगाने जा रहा हूँ।"
- वे उस ट्रिक का उपयोग करके प्रश्न को फिर से लिखते हैं और लाइब्रेरियन से पूछते हैं।
- चलते-चलते सीखना (Learning on the Fly):
- यदि लाइब्रेरियन सही उत्तर देता है, तो शॉपर को एक "इनाम" (reward) मिलता है और वह याद रखता है: "हे, इस तरह के सवालों को विस्तार देना काम करता है!"
- यदि लाइब्रेरियन गलत उत्तर देता है, तो उसे "दंड" (penalty) मिलता है और वह सीखता है: "ठीक है, अगली बार इस प्रकार के प्रश्न के लिए विस्तार न करें।"
- समय के साथ, शॉपर हर सवाल के लिए सही रीराइटिंग ट्रिक को मिलाने में अविश्वसनीय रूप से अच्छा हो जाता है।
3. परिणाम: यह क्यों मायने रखता है
शोधकर्ताओं ने इसका परीक्षण GPT-4o (एक शीर्ष-स्तरीय, क्लोज्ड-सोर्स मॉडल) पर 16 विभिन्न प्रकार के प्रश्नों (गणित से लेकर सामान्य ज्ञान और कानूनी तथ्यों तक) पर किया।
- "नो-रीराइट" बेसलाइन (The "No-Rewrite" Baseline): बस प्रश्न को वैसा ही पूछना जैसा वह है।
- "स्टैटिक" दृष्टिकोण (The "Static" Approach): हमेशा एक ही तरह से रीराइट करना (जैसे, हमेशा सरल बनाना)।
- "क्वेरीबैंडिट" दृष्टिकोण (The QueryBandit Approach): स्मार्ट शॉपर द्वारा हर बार सबसे अच्छा रीराइट चुनना।
परिणाम:
- QueryBandit स्पष्ट विजेता था। इसने "नो-रीराइट" दृष्टिकोण को 87.5% बार हराया।
- इसने "हमेशा सरल बनाने" वाले दृष्टिकोण को भारी अंतर से हराया (42% बेहतर)।
- महत्वपूर्ण रूप से, उन्होंने पाया कि कभी-कभी, रीराइटिंग करना चीजों को बदतर बना देता है। यदि आप किसी जटिल कानूनी प्रश्न पर "सरल बनाने" वाला रीराइट थोपते हैं, तो सहायक और भी अधिक भ्रमित हो सकता है। बैंडिट ने यह जानना सीख लिया कि कब रीराइट नहीं करना है, या किस विशिष्ट रीराइट का उपयोग करना है।
4. बड़ा सबक: "कोई एक आकार सबके लिए नहीं है" (No One Size Fits All)
पेपर का शीर्षक सबसे महत्वपूर्ण सबक है: "No One Size Fits All"।
प्रॉम्प्ट में ऐसा कोई जादुई वाक्य नहीं है जिसे आप हैलुसिनेशन को ठीक करने के लिए जोड़ सकें। प्रश्न को पूछने का सबसे अच्छा तरीका प्रश्न के आकार पर निर्भर करता है।
- यदि प्रश्न अस्पष्ट है, तो विस्तार (Expand) करें।
- यदि प्रश्न बहुत जटिल है, तो सरल (Simplify) बनाएं।
- यदि प्रश्न पहले से ही स्पष्ट है, तो इसे अकेला छोड़ दें।
यह एक बड़ी बात क्यों है
अधिकांश वर्तमान AI सुरक्षा उपकरणों के लिए आपको AI के "दिमाग" (इसके कोड और वेट्स) तक पहुंच की आवश्यकता होती है ताकि इसे ठीक किया जा सके। लेकिन बैंकों, अस्पतालों और सरकारों द्वारा उपयोग किए जाने वाले सबसे शक्तिशाली AI "ब्लैक बॉक्स" हैं (आप उनके अंदर नहीं देख सकते)।
QueryBandits पूरी तरह से इनपुट पर काम करता है। यह एक "प्लग-एंड-प्ले" फिल्टर की तरह है। आपको AI कंपनी को इसे फिर से प्रशिक्षित करने के लिए काम पर रखने की आवश्यकता नहीं है। आप बस इस "स्मार्ट शॉपर" को AI के सामने रखते हैं, और यह सीख जाता है कि सही उत्तर प्राप्त करने के लिए प्रश्नों को किस तरह से पूछना है।
संक्षेप में: AI के दिमाग को ठीक करने के बजाय, हमने इसे बात करने के तरीके को ठीक किया, एक ऐसी स्मार्ट प्रणाली का उपयोग करके जो हर सवाल के लिए सबसे अच्छा बातचीत का तरीका सीखती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।