Candidate Evidence Reranking and Risk-Aware Answer Selection in Multi-Hop Retrieval-Augmented Generation

आधुनिक आर्टिफिशियल इंटेलिजेंस के परिदृश्य में, एक आम चुनौती मशीनों को जटिल प्रश्नों के उत्तर देना सिखाना है जिनके लिए विभिन्न स्थानों से तथ्यों को जोड़ने की आवश्यकता होती है। कल्पना कीजिए कि एक छात्र एक पहेली को हल करने की कोशिश कर रहा है जहाँ सुराग हजारों किताबों के पुस्तकालय में बिखरे हुए हैं। 'रिट्रीवल-ऑगमेंटेड जनरेशन' (retrieval-augmented generation) नामक एक प्रणाली एक लाइब्रेरियन की तरह कार्य करती है जो पहले प्रासंगिक पृष्ठों की खोज करती है और फिर उत्तर लिखने के लिए एक लेखक को उन्हें सौंप देती है। यह दृष्टिकोण तब अच्छा काम करता है जब उत्तर किसी एक दस्तावेज़ में छिपा हो, लेकिन यह अक्सर तब लड़खड़ा जाता है जब समाधान के लिए एक पुस्तक के तथ्य को दूसरी पुस्तक के तथ्य से जोड़ने की आवश्यकता होती है। कठिनाई केवल सही पृष्ठों को खोजने में नहीं है; बल्कि यह तय करने में है कि जब समय और ध्यान सीमित हो तो किन पृष्ठों को पढ़ा जाए। भले ही सही जानकारी मिल जाए, लेकिन वह परिणामों की एक लंबी सूची में दबी हो सकती है, जो कभी लेखक की मेज तक नहीं पहुँच पाती। यह एक ऐसी बाधा उत्पन्न करता है जहाँ सिस्टम के पास आवश्यक ज्ञान तो होता है लेकिन वह उसका प्रभावी ढंग से उपयोग करने में विफल रहता है क्योंकि सबसे महत्वपूर्ण सुराग देखे जाने के लिए बहुत नीचे रैंक किए गए होते हैं।

गुआंगज़ौ यूनिवर्सिटी ऑफ सॉफ्टवेयर के शोधकर्ताओं ने जानकारी को बेहतर ढंग से व्यवस्थित करने और चुनने के लिए एक नया तरीका विकसित करके इस विशिष्ट बाधा को दूर किया है। अधिक दस्तावेज़ खोजने के बजाय, जो कि सामान्य दृष्टिकोण है, उन्होंने इस बात पर ध्यान केंद्रित किया कि सिस्टम द्वारा पहले से एकत्र किए गए दस्तावेज़ों का बेहतर उपयोग कैसे किया जाए। उन्होंने अपने शुरुआती निष्कर्षों को संभालने के तरीके को परिष्कृत करने के लिए एक दो-चरणीय प्रक्रिया बनाई। पहला चरण संभावित दस्तावेज़ों की सूची को पुन: व्यवस्थित करने से संबंधित है। शोधकर्ताओं ने देखा कि एक दस्तावेज़ अत्यधिक प्रासंगिक हो सकता है लेकिन खराब रैंक वाला हो सकता है क्योंकि वह केवल एक खोज पथ (search path) में दिखाई देता है, जबकि कम उपयोगी दस्तावेज़ उच्च रैंक प्राप्त कर सकते हैं क्योंकि वे कई पथों में दिखाई देते हैं। उनकी नई प्रणाली, जिसे वे 'कैंडिडेट एविडेंस रीरैंकिंग' (candidate evidence reranking) कहते हैं, खोजे गए दस्तावेज़ों के पूरे संग्रह को देखती है और उन्हें इस आधार पर पुन: मूल्यांकित करती है कि वे प्रश्न के साथ कितनी अच्छी तरह मेल खाते हैं और कहानी की तार्किक संरचना में कैसे फिट बैठते हैं। यह सबसे महत्वपूर्ण साक्ष्यों को सूची में शीर्ष पर आने की अनुमति देता है, जिससे यह सुनिश्चित होता है कि उन्हें उत्तर जनरेटर द्वारा पढ़ा जाए।

उनकी प्रक्रिया का दूसरा चरण स्वयं उत्तरों पर केंद्रित है। जब सिस्टम एक प्रतिक्रिया उत्पन्न करता है, तो वह अक्सर विभिन्न खोज पथों के आधार पर कई अलग-अलग संस्करण बनाता है। एक सामान्य प्रवृत्ति केवल उस उत्तर को चुनने की होती है जो सबसे अधिक बार दिखाई देता है, यह मानते हुए कि बहुमत ही सही होगा। हालाँकि, शोधकर्ताओं ने पाया कि यह दृष्टिकोण जोखिम भरा हो सकता है; खोज पथों का एक समूह एक ही गलती कर सकता है, जबकि एक एकल, कम सामान्य पथ, जो बेहतर साक्ष्य द्वारा समर्थित हो, सही उत्तर रख सकता है। इसे हल करने के लिए, उन्होंने एक 'रिस्क-अवेयर सिलेक्शन सिस्टम' (risk-aware selection system) बनाया। यह प्रणाली एक सतर्क संपादक की तरह कार्य करती है जो नए उत्तरों की तुलना वर्तमान सर्वोत्तम अनुमान से करती है। यह केवल वोटों की गिनती नहीं करती है; यह अनुमान लगाती है कि क्या किसी नए उत्तर पर स्विच करने से परिणाम में सुधार होने की संभावना है या नुकसान होने की। यह केवल तभी बदलाव स्वीकार करती है जब संभावित लाभ, उत्तर को खराब करने के जोखिम की तुलना में स्पष्ट रूप से अधिक हो।

टीम ने जटिल प्रश्नों के तीन अलग-अलग सेटों पर इस दो-स्तरीय ढांचे का परीक्षण किया जिन्हें बहु-चरणीय तर्क (multi-step reasoning) की आवश्यकता होती है। उन्होंने पाया कि दस्तावेज़ों को पुन: व्यवस्थित करके, सिस्टम सफलतापूर्वक सही सहायक जानकारी को पहले से बेहतर तरीके से शीर्ष पांच स्थानों में लाने में सफल रहा। एक डेटासेट पर, दस्तावेज़ चयन में इस सुधार ने अंतिम उत्तरों की सटीकता में उल्लेखनीय वृद्धि की। जब उन्होंने दस्तावेज़ पुन: क्रमबद्ध करने को सावधानीपूर्वक उत्तर चयन के साथ जोड़ा, तो परिणाम और भी बेहतर हुए। सबसे चुनौतीपूर्ण परीक्षणों में, पूर्ण प्रणाली ने मानक पद्धति की तुलना में उत्तरों की सटीकता में चार प्रतिशत अंक तक सुधार किया। यह एक छोटा नंबर लग सकता है, लेकिन जटिल तर्क की दुनिया में, यह विश्वसनीयता में एक महत्वपूर्ण बदलाव का प्रतिनिधित्व करता है। शोधकर्ताओं ने अपनी विधि की तुलना सरल तकनीकों से भी की, जैसे कि केवल रैंक के आधार पर सूचियों को मर्ज करना या केवल बहुमत के वोट का पालन करना। उन्होंने पाया कि ये सरल विधियाँ अक्सर कठिन प्रश्नों के लिए आवश्यक सूक्ष्मता को पकड़ने में विफल रहती हैं, और कभी-कभी भीड़ का अंधाधुंध अनुसरण करके उत्तरों की गुणवत्ता को कम भी कर देती हैं।

इस कार्य से एक प्रमुख अंतर्दृष्टि यह है कि सूचना खोजना केवल आधी लड़ाई है; दूसरी आधी लड़ाई यह तय करने की है कि मिलने के बाद उसके साथ क्या करना है। शोधकर्ताओं ने दिखाया कि भले ही सही दस्तावेज़ सिस्टम की मेमोरी में मौजूद हों, लेकिन यदि रैंकिंग अनुकूलित नहीं है तो उन्हें अनदेखा किया जा सकता है। इसी तरह, कई संभावित उत्तर होने का मतलब यह गारंटी नहीं है कि सही वाला चुना जाएगा यदि चयन प्रक्रिया केवल लोकप्रियता पर निर्भर करती है। साक्ष्य के संगठन और उत्तरों के चयन को दो अलग-अलग, महत्वपूर्ण चरणों के रूप में मानकर, सिस्टम विभिन्न स्रोतों से बिंदुओं को जोड़ने वाली समस्याओं को हल करने में बहुत अधिक प्रभावी हो जाता है। अध्ययन सुझाव देता है कि तर्क कार्यों के लिए आर्टिफिशियल इंटेलिजेंस में भविष्य के सुधार डेटा खोजने से कम और पहले से उपलब्ध डेटा को व्यवस्थित करने और चुनने के स्मार्ट तरीकों पर अधिक निर्भर हो सकते हैं। यह दृष्टिकोण उन प्रणालियों के लिए एक व्यावहारिक मार्ग प्रदान करता जिन्हें जटिल, वास्तविक दुनिया के प्रश्नों के साथ काम करते समय सटीक और विश्वसनीय दोनों होने की आवश्यकता होती है।