GeoRisk-RAG: A Hierarchy-Aware Risk Framework for Improving RAG Reliability through Selective Answering
GeoRisk-RAG एक नवीन पदानुक्रम-जागरूक (hierarchy-aware) ढांचा है जो भौगोलिक वैधता का अनुमान लगाने और चयनात्मक उत्तर देने में सक्षम बनाने के लिए एक DAG-आधारित दूरी मीट्रिक का उपयोग करके भू-स्थानिक डोमेन में रिट्रीवल-ऑगमेंटेड जनरेशन की विश्वसनीयता को बढ़ाता है, जिससे मानक सिमेंटिक समानता बेसलाइन की तुलना में स्थान-निर्भर प्रश्नों के लिए गलत आत्मविश्वास दरों को काफी कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब कोई कंप्यूटर प्रोग्राम दस्तावेजों के एक विशाल पुस्तकालय का उपयोग करके किसी प्रश्न का उत्तर देने की कोशिश करता है, तो वह एक सूक्ष्म लेकिन खतरनाक जाल का सामना करता है। ये प्रोग्राम, जिन्हें लार्ज लैंग्वेज मॉडल (large language models) के रूप में जाना जाता है, उन शब्दों को खोजने में उत्कृष्ट होते हैं जो एक प्रश्न के समान सुनाई देते हैं। यदि आप किसी विशिष्ट शहर में अग्नि सुरक्षा के बारे में पूछते हैं, तो कंप्यूटर पड़ोसी शहर में अग्नि सुरक्षा के बारे में एक सटीक लेख ढूंढ सकता है। मशीन के लिए, शब्द इतने अच्छी तरह मेल खाते हैं कि उत्तर सही प्रतीत होता है। लेकिन वास्तविक दुनिया में, एक शहर के नियम दूसरे पर हमेशा लागू नहीं होते। एक नियम जो एक शहर में कुछ पेड़ों को प्रतिबंधित करता है, वह अगले शहर में पूरी तरह से अनुपस्थित हो सकता है। जब एक कंप्यूटर गलत स्थान के आधार पर आत्मविश्वास के साथ उत्तर देता है, तो यह सुरक्षा की एक झूठी भावना पैदा करता है, जो विशेष रूप से तब खतरनाक हो सकता है जब लोग जंगल की आग जैसी प्राकृतिक आपदाओं के बारे में निर्णय ले रहे हों।
वर्जीनिया टेक और अन्य संस्थानों के शोधकर्ताओं ने इस समस्या को ठीक करने का एक नया तरीका विकसित किया है, जिसे GeoRisk-RAG कहा जाता है। केवल उन शब्दों को खोजने के बजाय जो मेल खाते हैं, यह प्रणाली उस जानकारी के वास्तविक भूगोल की जांच करती है जो उसे मिलती है। यह दुनिया को स्थानों की एक सपाट सूची के रूप में नहीं, बल्कि एक संरचित पदानुक्रम (hierarchy) के रूप में देखती है, यह समझते हुए कि एक शहर एक काउंटी का हिस्सा है, जो एक राज्य का हिस्सा है। तथ्यों के वैश्विक डेटाबेस से निर्मित मानचित्र जैसी संरचना का उपयोग करके, यह प्रणाली माप सकती है कि दो स्थान प्रशासनिक सीमाओं के संदर्भ में एक-दूसरे से वास्तव में कितने दूर हैं। यह इसे यह जानने की अनुमति देता है कि कब एक उत्तर एकदम सटीक फिट है, कब वह एक करीबी लेकिन व्यापक अनुमान है, और कब वह पूरी तरह से गलत स्थान है।
टीम ने इस दृष्टिकोण का परीक्षण प्रश्नों और उत्तरों के एक नए सेट का उपयोग करके किया जो विशेष रूप से जंगल की आग (wildfires) के बारे में थे, एक ऐसा विषय जहाँ स्थान बहुत महत्वपूर्ण होता है। उन्होंने 19 अलग-अलग राज्यों और 28 शहरों को कवर करने वाले 449 प्रश्नों का एक डेटासेट बनाया, जिसमें सामान्य सुरक्षा युक्तियों से लेकर विशिष्ट कस्बों के विशेष नियमों तक शामिल थे। उन्होंने अपने नए सिस्टम की तुलना मानक तरीकों से की जो केवल शब्द मिलान (word matching) पर निर्भर करते हैं। परिणामों ने सुरक्षा में नाटकीय सुधार दिखाया। मानक तरीके अक्सर गलत स्थान से जानकारी होने पर भी आत्मविश्वासपूर्ण उत्तर देते थे, और लगभग 9% बार भौगोलिक बेमेल (geographic mismatch) के बारे में उपयोगकर्ता को चेतावनी देने में विफल रहते थे। इसके विपरीत, नए सिस्टम ने इस त्रुटि दर को घटाकर 1% से भी कम कर दिया।
जो चीज़ इस प्रणाली को अद्वितीय बनाती है वह है इसका अनिश्चितता को संभालने का तरीका। जब कंप्यूटर ऐसी जानकारी पाता है जो संबंधित तो है लेकिन सटीक नहीं है—जैसे कि पूरे राज्य के लिए एक नियम खोजना जब उपयोगकर्ता ने एक विशिष्ट काउंटी के बारे में पूछा था—तो यह केवल अनुमान नहीं लगाता या चुप नहीं रहता। इसके बजाय, यह उत्तर प्रदान करता है लेकिन एक स्पष्ट चेतावनी जोड़ता है कि यह जानकारी एक व्यापक क्षेत्र पर लागू होती है। यदि जानकारी पूरी तरह से किसी अलग स्थान के बारे में है, तो सिस्टम उत्तर देने से इनकार कर देता है, जिससे उपयोगकर्ता को भ्रामक सलाह पर कार्य करने से रोका जा सके। यह व्यवहार मानव मूल्यांकनकर्ताओं द्वारा पसंद किया गया, जिन्होंने पुराने सिस्टमों की आत्मविश्वासी लेकिन संभावित रूप से गलत प्रतिक्रियाओं की तुलना में इन चेतावनियों और चयनात्मक उत्तरों को अधिक विश्वसनीय पाया।
अध्ययन ने यह भी दिखाया कि यह विधि तब भी अच्छी तरह काम करती है जब प्रश्न किसी विशिष्ट स्थान पर निर्भर नहीं होता है। अग्नि सत्रों या उपकरणों के बारे में सामान्य प्रश्नों का उत्तर देते समय सिस्टम धीमा या कम सटीक नहीं हुआ। इसने बस उसी सावधानीपूर्ण भौगोलिक जांच को लागू किया, यह सुनिश्चित करते हुए कि प्रत्येक प्रतिक्रिया सही संदर्भ में आधारित हो। शोधकर्ताओं ने पाया कि भूगोल को केवल एक कीवर्ड के बजाय एक संरचित संबंध के रूप में मानकर, वे कृत्रिम बुद्धिमत्ता (AI) को वास्तविक दुनिया के निर्णय लेने के लिए बहुत अधिक विश्वसनीय बना सकते हैं। यह दृष्टिकोण सुझाव देता है कि सुरक्षा-महत्वपूर्ण विषयों के लिए, सबसे सहायक उत्तर वह नहीं है जो सबसे अधिक आत्मविश्वासी लगता है, बल्कि वह है जो जानता है कि वह कहाँ लागू होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।