Enhancing LLMs with Context-Specific Knowledge for Mitigating Misinformation in SMEs: A RAG-based Modeling and Analysis
यह शोध पत्र लघु और मध्यम उद्यमों (SMEs) में LLM मतिभ्रम (hallucinations) और गलत सूचना को कम करने के लिए VectorRAG और GraphRAG मॉडलिंग दृष्टिकोणों का प्रस्ताव और मूल्यांकन करता है, जो LLaMA, Mistral और Qwen जैसे मॉडलों के साथ प्रयोगों के माध्यम से यह प्रदर्शित करता है कि ये विधियाँ व्यावसायिक निर्णय लेने के लिए प्रतिक्रिया विश्वसनीयता, प्रासंगिक प्रासंगिकता और विश्वसनीयता को महत्वपूर्ण रूप से बढ़ाती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक सुपर-स्मार्ट रोबोट दोस्त है जिसने लाइब्रेरी की लगभग हर किताब पढ़ ली है। यह रोबोट बातचीत करने, कहानियाँ लिखने और सवालों के जवाब देने में बहुत माहिर है। लेकिन इसमें एक पेंच है: कभी-कभी, जब इसे जवाब नहीं पता होता, तो यह बहुत अधिक आत्मविश्वासी हो जाता है और एक ऐसी कहानी बना देता है जो सुनने में असली लगती है लेकिन वास्तव में फर्जी होती है। विज्ञान की दुनिया में, हम इसे "हैलुसिनेटिंग" (hallucinating) कहते हैं। यह बिल्कुल वैसा ही है जैसे कोई छात्र, यह स्वीकार करने के बजाय कि वह किसी ऐतिहासिक युद्ध की तारीख भूल गया है, उस युद्ध में एलियंस के लड़ने की एक काल्पनिक कहानी गढ़ देता है। छोटे व्यवसायों के लिए, जो हमारी अर्थव्यवस्था के नन्हे इंजन हैं, यह खतरनाक है। यदि कोई व्यवसाय स्वामी साइबर सुरक्षा या कानूनों पर अपने रोबोट सहायक से सलाह मांगता है, और रोबोट झूठ बोलता है, तो उस व्यवसाय को हैक किया जा सकता है या जुर्माना भरना पड़ सकता है।
इसे ठीक करने के लिए, वैज्ञानिकों ने एक तरकीब विकसित की है जिसे "रिट्रीवल-ऑगमेंटेड जनरेशन" (Retrieval-Augmented Generation) कहा जाता है, या संक्षेप में RAG। RAG को विशिष्ट, अद्यतित (up-to-date) संदर्भ पत्रों से भरे एक बैकपैक देने के रूप में सोचें। अपनी याददाश्त से अनुमान लगाने के बजाय, रोबोट को वह बैकपैक खोलने, सही पन्ना खोजने और उत्तर को ज़ोर से पढ़ने के लिए मजबूर किया जाता है। यह शोध पत्र उन संदर्भ पत्रों को व्यवस्थित करने के दो अलग-अलग तरीकों का अन्वेषण करता है: एक जहाँ पन्ने केवल टेक्स्ट का एक बड़ा ढेर हैं (VectorRAG), और दूसरा जहाँ पन्ने एक जटिल वेब (जाल) से जुड़े होते हैं जो दिखाते हैं कि विचार एक-दूसरे से कैसे संबंधित हैं (GraphRAG)। बड़ा सवाल यह है कि कौन सा बैकपैक छोटे व्यवसायों की मदद करते समय रोबोट को सच बोलने में सबसे बेहतर मदद करता है?
शोध का मिशन: छोटे व्यवसायों के रोबोटों को ईमानदार रखना
यह अध्ययन लघु और मध्यम उद्यमों (SMEs) की जटिल वास्तविकता की गहराई में जाता है। ये स्थानीय दुकानें, स्टार्टअप और पारिवारिक व्यवसाय हैं जो ऑस्ट्रेलिया जैसे स्थानों में कंपनियों के विशाल बहुमत का हिस्सा हैं। वे अर्थव्यवस्था की जीवनधारा हैं, लेकिन अक्सर उनके पास यह जांचने के लिए विशेषज्ञों की बड़ी टीम नहीं होती कि उनके नए AI उपकरण सच बोल रहे हैं या नहीं। शोधकर्ता यह देखना चाहते थे कि क्या वे बड़े भाषा मॉडल (LLMs)—उन शानदार स्मार्ट रोबरों के फैंसी नाम—को बाहरी ज्ञान का उपयोग करने के लिए मजबूर करके अधिक विश्वसनीय बना सकते हैं।
टीम ने दो अलग-अलग "बैकपैक" रणनीतियों के बीच एक आमने-सामने की लड़ाई आयोजित की।
- VectorRAG: इसकी कल्पना एक विशाल, स्मार्ट फाइलिंग कैबिनेट के रूप में करें। जब आप कोई प्रश्न पूछते हैं, तो सिस्टम उन दस्तावेजों को खोजता है जो आपके प्रश्न के समान सुनाई देते हैं, भले ही वे बिल्कुल उन्हीं शब्दों का उपयोग न करें। यह एक लाइब्रेरियन से पूछने जैसा है, "मुझे एक डरावने राक्षस के बारे में किताब चाहिए," और वे आपको एक ड्रैगन के बारे में किताब थमा देते हैं क्योंकि लाइब्रेरियन जानता है कि वे शब्द आपस में मिलते-जुलते हैं।
- GraphRAG: यह स्टिकी नोट्स के एक विशाल मकड़ी के जाल जैसा है। हर तथ्य एक बिंदु है, और रेखाएं संबंधित बिंदुओं को जोड़ती हैं। यदि आप "साइबर सुरक्षा" के बारे में पूछते हैं, तो सिस्टम रेखाओं का पीछा करता है ताकि यह देख सके कि और क्या इससे जुड़ा है, जैसे कि "ईमेल घोटाले" या "पासवर्ड"। यह केवल शब्दों को नहीं, बल्कि विचारों के बीच के संबंधों को समझने की कोशिश करता है।
शोधकर्ताओं ने इन दो विधियों का परीक्षण तीन अलग-अलग रोबोट दिमागों (LLaMA, Mistral, और Qwen) और साइबर सुरक्षा, घोटाले और व्यावसायिक नियमों के वास्तविक दुनिया के दस्तावेजों के संग्रह का उपयोग करके किया। उन्होंने रोबोटों से ऐसे सवाल पूछे जैसे, "एक छोटा व्यवसाय खुद को कैसे सुरक्षित रख सकता है?" या "अगर मुझे हैक किया जाता है तो मैं किसे फोन करूँ?"
बड़ा खुलासा: टेक्स्ट का ढेर लगातार बेहतर प्रदर्शन करता है
परिणाम स्पष्ट और महत्वपूर्ण थे। VectorRAG दृष्टिकोण (स्मार्ट फाइलिंग कैबिनेट) ने अधिकांश परीक्षणों में GraphRAG दृष्टिकोण से लगातार बेहतर प्रदर्शन किया। इसने बेहतर उत्तर दिए, कम गलतियाँ कीं, और बहुत अधिक मानवीय विशेषज्ञ की तरह सुनाई दिया। हालाँकि, शोधकर्ताओं ने नोट किया कि GraphRAG पूरी तरह से विफल नहीं हुआ; यह केवल इस विशिष्ट प्रकार के डेटा के साथ अकेले उपयोग किए जाने पर कम प्रभावी रहा।
डेटा ने क्या दिखाया:
- सटीकता (Accuracy): जब रोबानों से प्रश्न पूछे गए, तो VectorRAG मॉडल "पूर्णता" (completeness) और "प्रासंगिकता" (relevance) पर उच्च स्कोर करते थे। उदाहरण के लिए, Vector-Mistral मॉडल ने METEOR नामक एक परीक्षण पर 0.372 का स्कोर प्राप्त किया (जो यह जाँचता है कि उत्तर आदर्श उत्तर के कितना समान है), जबकि सर्वश्रेष्ठ GraphRAG मॉडल 0.263 तक ही पहुँच सका।
- "फेक न्यूज" का कारक: सबसे महत्वपूर्ण निष्कर्ष "हैलुसिनेशन" (hallucinations) के बारे में था—जब रोबोट झूठ बोलता है। VectorRAG सिस्टम अविश्वसनीय रूप से ईमानदार थे, जिनका हॉलुसिनेशन जोखिम 0.0028 (यानी 1% से भी कम) जितना कम था। इसके विपरीत, GraphRAG सिस्टम के झूठ बोलने की संभावना अधिक थी, जिनका जोखिम 0.0881 से 0.1053 के बीच था।
- GraphRAG क्यों संघर्ष कर रहा था: शोधकर्ताओं ने पाया कि "मकड़ी के जाल" वाली विधि (GraphRAG) उतनी अच्छी तरह काम नहीं करती क्योंकि उनके द्वारा उपयोग किए गए दस्तावेज़ मुख्य रूप से अलग-अलग रिपोर्ट और नीति पत्र थे। उनमें एक मजबूत वेब बनाने के लिए पर्याप्त मजबूत संबंध नहीं थे। यह केवल कुछ मक्खियों के साथ मकड़ी का जाल बनाने जैसा है; जाल टूट जाता है। "फाइलिंग कैबिनेट" विधि (VectorRAG) बेहतर काम करती थी क्योंकि यह टेक्स्ट का पूरा पन्ना उठा सकती थी जो प्रासंगिक था, भले ही संबंध एकदम सटीक न हों। शोध पत्र सुझाव देता है कि GraphRAG अत्यधिक समृद्ध, परस्पर जुड़े डेटा पर निर्भर है, जो इस विशिष्ट SME डेटासेट में सीमित था।
वास्तविक दुनिया के उदाहरण: जब रोबोट सही होता है
अपना पक्ष सिद्ध करने के लिए, शोधकर्ताओं ने कुछ उदाहरण दिखाए कि रोबोटों ने कैसा प्रदर्शन किया।
- गलत फ़ोन नंबर: ऑस्ट्रेलिया में साइबर हमले की रिपोर्ट करने के लिए आपातकालीन नंबर के बारे में पूछे जाने पर, मानक रोबोट (बिना बैकपैक के) ने एक फर्जी नंबर दिया: "1800 CYBER REPORT"। लेकिन VectorRAG रोबोट ने, वास्तविक सरकारी दस्तावेजों को देखते हुए, सही नंबर दिया: 1300 292 371।
- व्यावसायिकता (Professionalism): ग्राहकों की शिकायतों को कैसे संभालें, इस बारे में पूछे जाने पर, मानक रोबोट ने "विनम्र रहें" जैसी सामान्य सलाह दी। हालाँकि, RAG-संवर्धित रोबोट ने व्यावसायिक दस्तावेजों से गोपनीयता और सहानुभूति के बारे में विशिष्ट दिशा-निर्देश निकाले, जिससे बहुत अधिक सहायक उत्तर मिला।
निष्कर्ष (The Takeaway)
यह शोध पत्र बताता है कि छोटे व्यवसायों के लिए, विशेष रूप से साइबर सुरक्षा नीतियों और नियमों जैसी चीजों से निपटने के लिए, "स्मार्ट फाइलिंग कैबिनेट" (VectorRAG) वर्तमान में बेहतर उपकरण है। यह रोबोट को तेजी से सही जानकारी खोजने में मदद करता है और उसे तथ्य गढ़ने से रोकता है। "मकड़ी के जाल" वाली विधि (GraphRAG) एक शानदार विचार है जो तब बहुत अच्छा काम करती है जब आपके पास एक विशाल, मजबूती से जुड़ा हुआ डेटाबेस हो, लेकिन छोटे व्यवसायों द्वारा वास्तव में उपयोग किए जाने वाले बिखरे हुए, नीति-प्रधान दस्तावेजों के लिए, इस विशिष्ट परीक्षण में यह उतना अच्छा प्रदर्शन नहीं कर सका।
लेखक निष्कर्ष निकालते हैं कि इन रिट्रीवल टूल्स का उपयोग करके, हम AI को व्यावसायिक जगत के छोटे खिलाड़ियों के लिए बहुत अधिक भरोसेमंद बना सकते हैं। यह कोई जादुई छड़ी नहीं है जो सब कुछ हमेशा के लिए ठीक कर देगी, लेकिन यह सुनिश्चित करने की दिशा में एक बड़ा कदम है कि हमारे रोबोट दोस्त सच बोलें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।