Evidence-Aware Abstention in Low-Resource Scientific RAG: A Persian Retrieval-Stage Study

आधुनिक आर्टिफिशियल इंटेलिजेंस की दुनिया में, कंप्यूटरों से तेजी से बड़ी संख्या में दस्तावेजों की विशाल पुस्तकालयों को पढ़कर जटिल प्रश्नों के उत्तर देने की मांग की जा रही है। यह प्रक्रिया, जिसे रिट्रीवल-ऑगमेंटेड जनरेशन (retrieval-augmented generation) कहा जाता है, इस तरह काम करती है कि कंप्यूटर पहले प्रासंगिक पाठ (text) खोजता है और फिर उस पाठ का उपयोग करके एक उत्तर तैयार करता है। इसका लक्ष्य मशीन को केवल अपनी आंतरिक स्मृति पर निर्भर रहने से रोकना है, जो पुरानी या गलत हो सकती है, और इसके बजाय अपने जवाबों को वास्तविक, उद्धृत साक्ष्यों पर आधारित करना है। हालाँकि, एक महत्वपूर्ण समस्या बनी हुई है: केवल इसलिए कि कंप्यूटर को एक दस्तावेज़ मिल गया है, इसका मतलब यह नहीं है कि उस दस्तावेज़ में वास्तव में उत्तर मौजूद है। यदि साक्ष्य कमजोर, अनुपलब्ध या अप्रासंगिक है, तो सिस्टम को आदर्श रूप से रुक जाना चाहिए और यह स्वीकार कर लेना चाहिए कि वह नहीं जानता, बजाय इसके कि वह अनुमान लगाए और एक गलत या असमर्थित प्रतिक्रिया दे। यह विज्ञान जैसे क्षेत्रों में विशेष रूप से कठिन है, जहाँ सटीकता अत्यंत महत्वपूर्ण है, और उन भाषाओं में जहाँ डिजिटल संसाधन कम हैं, जहाँ सूचना की गुणवत्ता की जाँच करने वाले उपकरण अक्सर कम विकसित होते हैं।

शोधकर्ता असगर हुसैन, द इस्लामिया यूनिवर्सिटी ऑफ बहावलपुर ने वैज्ञानिक प्रश्न-उत्तर के क्षेत्र के भीतर फारसी भाषा के लिए इसी विशिष्ट समस्या को हल करने का प्रयास किया। टीम ने 'PersianSciQA' नामक एक डेटासेट पर ध्यान केंद्रित किया, जिसमें शोध पत्रों के सारांश के साथ हजारों वैज्ञानिक प्रश्न जोड़े गए हैं। उनका कार्य एक पूर्ण, एंड-टू-एंड सिस्टम बनाने के बारे में नहीं था जो लंबे निबंध लिख सके, बल्कि बल्कि एक महत्वपूर्ण पहले चरण के बारे में था: यह तय करना कि क्या कंप्यूटर को किसी प्रश्न का उत्तर देना चाहिए या नहीं। उन्होंने एक सरल लेकिन गहन प्रश्न पूछा: क्या एक सिस्टम यह पहचानना सीख सकता है कि उसके द्वारा खोजा गया साक्ष्य उत्तर देने के लिए पर्याप्त मजबूत है, और कब वह बहुत कमजोर है, जिससे सिस्टम को चुप रहने के लिए प्रेरित किया जा सके? इसे दो चरणों वाली प्रक्रिया के रूप में मानकर—पहले जानकारी खोजना, फिर यह तय करना कि क्या वह पर्याप्त अच्छी है—शोधकर्ताओं ने एक सुरक्षा तंत्र बनाया ताकि कंप्यूटर आत्मविश्वास के साथ ऐसी बातें न कहे जिन्हें वह सिद्ध नहीं कर सकता।

शुरुआत करने के लिए, टीम को यह सुनिश्चित करना था कि उनकी नींव ठोस हो। उन्होंने उपलब्ध डेटा का ऑडिट किया, त्रुटियों और विसंगतियों की जाँच की जो परिणामों को प्रभावित कर सकती थीं। उन्होंने पाया कि हालांकि डेटा काफी हद तक साफ था, लेकिन विभिन्न संस्करणों के बीच महत्वपूर्ण विसंगतियां थीं, जहाँ हजारों रिकॉर्ड उनके स्रोत दस्तावेजों के सुझाव के अनुसार अलग-अलग प्रशिक्षण या परीक्षण समूहों को सौंप दिए गए थे। उन्होंने कुछ ऐसे रिकॉर्ड भी पाए जहाँ कंप्यूटर-जनित उत्तरों को त्रुटि के रूप में चिह्नित किया गया था। इस डेटा को सावधानीपूर्वक साफ और व्यवस्थित करके, उन्होंने एक विश्वसनीय आधार स्थापित किया। फिर उन्होंने एक मानक खोज पद्धति का परीक्षण किया, जिसे BM25 के रूप में जाना जाता है, जो टेक्स्ट मिलान खोजने के लिए एक क्लासिक एल्गोरिदम है। परिणामों ने दिखाया कि खोज पद्धति उन प्रश्नों के लिए असाधारण रूप से अच्छी तरह से काम करती है जहाँ स्रोत पाठ के साथ संबंध बहुत मजबूत था, जिससे लगभग 98 प्रतिशत मामलों में शीर्ष दस परिणामों में सही दस्तावेज़ सफलतापूर्वक मिल गया। हालाँकि, कमजोर कनेक्शन वाले प्रश्नों के लिए, सफलता दर गिरकर लगभग 78 प्रतिशत हो गई, जो एक संबंधित दस्तावेज़ खोजने और सही दस्तावेज़ खोजने के बीच के अंतर को उजागर करती है।

बेसलाइन खोज स्थापित होने के बाद, शोधकर्ता अपने अध्ययन के मुख्य भाग की ओर बढ़े: एक हल्का निर्णय लेने वाला (decision-maker) सिस्टम बनाना। इस सिस्टम को खोज परिणामों को देखना और यह तय करने के लिए डिज़ाइन किया गया था कि उत्तर देना है या चुप रहना है। भारी-भरकम मॉडलों पर निर्भर होने के बजाय, जिन्हें भारी कंप्यूटिंग शक्ति की आवश्यकता होती है, उन्होंने एक सरल सांख्यिकीय मॉडल का उपयोग किया जिसने विशिष्ट संकेतों का विश्लेषण किया। इन संकेतों में वे स्कोर शामिल थे जो सर्च इंजन ने दस्तावेजों को दिए थे, प्रश्न और खोजे गए पाठ के बीच साझा किए गए शब्दों की संख्या, और दस्तावेजों की भाषाई संरचना शामिल थी। लक्ष्य यह देखना था कि क्या इन अतिरिक्त सूचनाओं की परतों को जोड़ने से सिस्टम को एक ठोस उत्तर और एक संदिग्ध अनुमान के बीच अंतर करने में मदद मिल सकती है। उन्होंने इसे उन प्रश्नों के सेट पर परखा जहाँ उत्तरने की क्षमता ज्ञात थी, और यह मापा कि सिस्टम कितनी बार अनजाने में उन प्रश्नों का उत्तर देने का प्रयास करता था जिनमें पर्याप्त साक्ष्य की कमी थी।

निष्कर्षों से पता चला कि सिस्टम वास्तव में अधिक सतर्क और सटीक होना सीख सकता है। जब शोधकर्ताओं ने केवल कच्चे खोज स्कोर (raw search scores) का उपयोग करके निर्णय लिए, तो सिस्टम अभी भी उन प्रश्नों का उत्तर देने का प्रयास करता था जिन्हें उसे नहीं देना चाहिए था, जिसके परिणामस्वरूप लगभग 40 प्रतिशत की असुरक्षित उत्तर दर सामने आई जब सिस्टम को लगभग एक-चौथाई प्रश्नों के उत्तर देने के लिए सेट किया गया था। हालाँकि, जब उन्होंने लेक्सिकल एविडेंस फीचर्स (lexical evidence features) को जोड़ा—अर्थात यह देखना कि प्रश्न के शब्द खोजे गए पाठ के शब्दों से कितनी अच्छी तरह मेल खाते हैं—तो प्रदर्शन में काफी सुधार हुआ। इस उन्नत मॉडल के साथ, समान स्तर की गतिविधि पर असुरक्षित उत्तरों की दर गिरकर लगभग 31 प्रतिशत हो गई। यह सुधार सांख्यिकीय रूप से महत्वपूर्ण था, जिसका अर्थ है कि यह एक यादृच्छिक संयोग होने की संभावना नहीं थी। शोधकर्ताओं ने पाया कि शब्द-मिलान वाले फीचर्स इस सफलता के प्राथमिक चालक थे, जबकि अन्य भाषा-आधारित फीचर्स ने केवल मामूली बढ़ावा दिया।

महत्वपूर्ण रूप से, इस अध्ययन ने यह भी स्पष्ट किया कि इसने क्या हासिल नहीं किया। शोधकर्ता पारदर्शी थे कि उनका कार्य केवल रिट्रीवल चरण तक सीमित था; उनके पास इस विशिष्ट वातावरण में पूर्ण, मानव-समान उत्तर उत्पन्न करने के लिए आवश्यक बड़े भाषा मॉडल (large language models) तक पहुंच नहीं थी। इसलिए, उनके परिणाम उत्तर देने के निर्णय की गुणवत्ता को मापते हैं, न कि एक उत्पन्न पैराग्राफ की तथ्यात्मक सटीकता को। उन्होंने यह भी नोट किया कि उनका भाषा विश्लेषण एक वास्तविक बहुभाषी क्षमता का परीक्षण नहीं था, क्योंकि डेटा मुख्य रूप से फारसी में था, जिसमें अन्य भाषाओं की उपस्थिति बहुत कम थी। इन सीमाओं के बावजूद, यह कार्य अनुसंधान के अगले चरण के लिए एक स्पष्ट, पुनरुत्पादक ढांचा प्रदान करता है। यह प्रदर्शित करता है कि कम-संसाधन वाले वैज्ञानिक परिवेश में भी, एक सिस्टम को अपने स्वयं के साक्ष्यों की सीमाओं को पहचानने के लिए सिखाया जा सकता है। जब साक्ष्य कमजोर हों तो रुकना सीखकर, सिस्टम अधिक विश्वसनीय हो जाता है, यह सुनिश्चित करता है कि जब वह बोलता है, तो वह उन दस्तावेजों द्वारा समर्थित होता है जो उसे मिले हैं। यह दृष्टिकोण उन भाषाओं और क्षेत्रों में अधिक भरोसेमंद आर्टिफिशियल इंटेलिजेंस बनाने के लिए एक व्यावहारिक मार्ग प्रदान करता है जहाँ डेटा दुर्लभ है।