Automating Multi-Hop RAG Evaluation via TRIAD: From Context Extraction to Validated Dataset Generation
यह शोधपत्र TRIAD प्रस्तुत करता है, जो एक तीन-चरणीय स्वचालित ढांचा है जो प्रोप्राइटरी डेटा पर रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम का प्रभावी ढंग से मूल्यांकन करने के लिए प्रासंगिकता-लेबल वाले संदर्भों के साथ डोमेन-विशिष्ट मल्टी-हॉप प्रश्न-उत्तर डेटासेट उत्पन्न और मान्य करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से विकसित होती दुनिया में, एक आम चुनौती कंप्यूटर को उन दस्तावेजों के विशाल पुस्तकालय का उपयोग करके उत्तर देने के लिए सिखाना है जिन्हें उन्होंने पहले कभी नहीं देखा है। एक ऐसे लाइब्रेरियन की कल्पना करें जो किसी भी प्रश्न के लिए तुरंत सही पुस्तक खोज सकता है, लेकिन कभी-कभी उत्तर के लिए तीन अलग-अलग पुस्तकें पढ़ने और उनके बीच के संबंधों को जोड़ने की आवश्यकता होती है। यह 'रिट्रीवल-ऑगमेंटेड जनरेशन' (retrieval-augmented generation) नामक एक प्रणाली के मूल कार्य का केंद्र है। ये प्रणालियाँ पहले सूचना खोजने के लिए टेक्स्ट के संग्रह को खोजने का काम करती हैं, और फिर उस जानकारी को एक स्पष्ट उत्तर में संश्लेषित करने के लिए एक शक्तिशाली भाषा मॉडल का उपयोग करती हैं। जबकि ये उपकरण अपने निजी डेटा के साथ काम करने वाले व्यवसायों के लिए आवश्यक होते जा रहे हैं, एक बड़ी बाधा बनी हुई है: आप यह कैसे परीक्षण करते हैं कि वे वास्तव में अच्छी तरह से काम कर रहे हैं या नहीं? इसके लिए, विशेषज्ञों को ज्ञात सही उत्तरों वाले प्रश्नों के एक सेट की आवश्यकता होती है, लेकिन इन प्रश्नों को हाथ से बनाना धीमा, महंगा और विशिष्ट उद्योगों के अनुकूल बनाना कठिन है।
इन्सब्रुक विश्वविद्यालय के शोधकर्ताओं लोरेन्ज़ ब्रहम और एडम जटोत ने इस समस्या को हल करने के लिए TRIAD नामक एक नई विधि विकसित की है। उनका दृष्टिकोण किसी भी विशिष्ट दस्तावेज़ संग्रह, जिसका उपयोग कोई कंपनी कर सकती है, के लिए अनुकूलित जटिल, बहु-चरणीय प्रश्न बनाने की प्रक्रिया को स्वचालित करता है। हजारों प्रश्न लिखने के लिए मानव विशेषज्ञों पर निर्भर रहने के बजाय, TRIAD इन प्रश्नों को उत्पन्न करने, उनकी गुणवत्ता की जांच करने और परीक्षण के लिए उन्हें तैयार करने के लिए आर्टिफिशियल इंटेलिजेंस का उपयोग करता है। सिस्टम को ऐसे प्रश्न बनाने के लिए डिज़ाइन किया गया है जिन्हें केवल एक दस्तावेज़ को देखकर हल नहीं किया जा सकता; उन्हें जानकारी के विभिन्न टुकड़ों के बीच कूदने की आवश्यकता होती है, ठीक वैसे ही जैसे एक जासूस मामले को सुलझाने के लिए अलग-अलग फाइलों से सुराग जोड़ता है। शोधकर्ताओं ने पाया कि यह स्वचालित विधि उच्च गुणवत्ता वाले प्रश्न उत्पन्न करती है जो विभिन्न AI प्रणालियों की ताकत और कमजोरियों को उजागर करने में प्रभावी हैं, और मौजूदा सर्वोत्तम मानव-निर्मित परीक्षणों के समान प्रदर्शन रुझान दिखाती है, भले ही उनके पूर्ण स्कोर थोड़े कम हों।
प्रक्रिया 'जेनरेशन स्टेज' (उत्पादन चरण) से शुरू होती है, जहाँ सिस्टम उपयोगकर्ता के पुस्तकालय से एक शुरुआती दस्तावेज़ चुनता है और फिर अन्य दस्तावेज़ों को खोजता है जो उससे निकटता से संबंधित हैं। AI फिर एक सामान्य विषय खोजने के लिए देखता है जो इन दस्तावेजों को एक साथ जोड़ता है, जो एक सेतु के रूप में कार्य करता है। एक बार यह संबंध स्थापित हो जाने के बाद, सिस्टम एक ऐसा प्रश्न तैयार करता है जिसके उत्तर के लिए सभी जुड़े हुए दस्तावेजों से जानकारी की आवश्यकता होती है। उदाहरण के लिए, यह विभिन्न ग्रंथों में पाए जाने वाले दो निकायों के बीच तुलना के बारे में पूछ सकता है, या इसके लिए चरणों का एक क्रम आवश्यक हो सकता है जहाँ प्रश्न के पहले भाग का उत्तर दूसरे भाग की कुंजी को प्रकट करता है। प्रश्नों को मजबूत बनाने के लिए, सिस्टम "अनुत्तरित" (unanswerable) प्रश्न भी बनाता है, जहाँ आवश्यक जानकारी पुस्तकालय में पूरी तरह से अनुपस्थित होती है। यह परीक्षण करता है कि क्या AI आत्मविश्वास से उत्तर गढ़ लेगा या सही ढंग से स्वीकार करेगा कि वह नहीं जानता।
एक बार प्रश्न बन जाने के बाद, वह एक सख्त 'वैलिडेशन फेज' (सत्यापन चरण) में प्रवेश करता है। यहाँ, दूसरा AI एक न्यायाधीश के रूप में कार्य करता है, प्रश्न की बारीकी से जांच करता है ताकि यह सुनिश्चित किया जा सके कि उत्तर वास्तव में दिए गए दस्तावेजों में मौजूद है और प्रश्न को हल करने के लिए वास्तव में कई चरणों की आवश्यकता है। यदि प्रश्न को केवल एक दस्तावेज़ को देखकर हल किया जा सकता है, तो इसे बहुत सरल मानकर खारिज कर दिया जाता है। यदि उत्तर गलत है या तर्क दोषपूर्ण है, तो सिस्टम प्रश्न को संशोधन के लिए वापस भेज देता है। यह फीडबैक लूप तब तक जारी रहता है जब तक कि प्रश्न गुणवत्ता के उच्च मानकों को पूरा नहीं कर लेता। शोधकर्ताओं ने पाया कि यह प्रक्रिया अत्यधिक प्रभावी थी; सैकड़ों प्रश्न उत्पन्न करने के बाद, लगभग 66 से 68 प्रतिशत को वैध माना गया, और उनमें से जो खारिज किए गए थे, उनमें से अधिकांश को सही ढंग से त्रुटिपूर्ण पहचाना गया। मानव समीक्षकों जिन्होंने अंतिम प्रश्नों के एक नमूने की जांच की, उन्होंने पुष्टि की कि 90 प्रतिशत से अधिक उत्तर देने योग्य, सही और इच्छित बहु-चरणीय तर्क की आवश्यकता वाले थे।
अंतिम चरण में परीक्षण के लिए डेटासेट तैयार करना शामिल है। सिस्टम प्रश्न के लिए अप्रासंगिक अतिरिक्त दस्तावेज़ जोड़ता है, जो व्याकुलता पैदा करने के लिए काम करते हैं ताकि यह देखा जा सके कि क्या AI उन्हें अनदेखा कर सकता है और सही जानकारी ढूंढ सकता है। यह पहेली को हल करने के लिए कितने प्रासंगिक दस्तावेजों की आवश्यकता है, इसके आधार पर कठिनाई स्तर भी निर्धारित करता है। अपने तरीके को साबित करने के लिए, शोधकर्ताओं ने उनके द्वारा उत्पन्न किए गए प्रश्नों का उपयोग करके AI प्रणालियों के सात अलग-अलग कॉन्फ़िगरेशन का परीक्षण किया। उन्होंने परिणामों की तुलना HotpotQA और MuSiQue जैसे स्थापित, मानव-निर्मित बेंचमार्क के विरुद्ध की। निष्कर्षों ने दिखाया कि जबकि AI प्रणालियाँ नए प्रश्नों पर पुराने प्रश्नों की तुलना में थोड़ा बेहतर प्रदर्शन करती हैं, फिर भी सापेक्ष रुझान बिल्कुल समान थे। जो प्रणालियाँ पारंपरिक परीक्षणों में अच्छा प्रदर्शन करती थीं, वे नए वाले पर भी अच्छा प्रदर्शन करती थीं, और जो प्रणालियाँ एक प्रकार के प्रश्न के साथ संघर्ष करती थीं, वे दूसरे प्रकार के साथ भी संघर्ष करती थीं। यह सुझाव देता है कि स्वचालित विधि सफलतापूर्वक उन्हीं चुनौतियों को पकड़ लेती है जो मानव-निर्मित परीक्षणों में होती हैं।
इस कार्य का सबसे महत्वपूर्ण पहलू अनत्तरित प्रश्नों को संभालने की इसकी क्षमता है। प्रयोगों में, शोधकर्ताओं ने परीक्षण किया कि AI प्रणालियाँ कितनी बार 'हैलुसिनेट' (hallucinate) करती हैं, यानी जब जानकारी पुस्तकालय में नहीं होती है तो उत्तर गढ़ती हैं। परिणामों ने दिखाया कि अधिकांश प्रणालियों ने सही ढंग से पहचान लिया कि प्रश्न का उत्तर नहीं दिया जा सकता है, जिसमें कुछ मॉडलों के लिए डिटेक्शन रेट 99 प्रतिशत से अधिक था। यह एक महत्वपूर्ण क्षमता है, जहाँ वास्तविक दुनिया के अनुप्रयोगों में, एक प्रणाली को यह जानना चाहिए कि कब रुकना है और कहना है कि वह नहीं जानता, बजाय इसके कि वह झूठे आत्मविश्वास के साथ गलत जानकारी दे। शोधकर्ताओं ने यह भी नोट किया कि उत्पन्न प्रश्न किसी विशिष्ट विषय या स्रोत तक सीमित नहीं थे; उन्हें दस्तावेजों के किसी भी संग्रह, जैसे चिकित्सा रिकॉर्ड से लेकर कानूनी अनुबंधों तक, अनुकूलित किया जा सकता था।
अध्ययन निष्कर्ष निकालता है कि TRIAD विशेषीकृत AI प्रणालियों के लिए मूल्यांकन डेटासेट बनाने का एक व्यावहारिक और विश्वसनीय तरीका प्रदान करता है, जिसमें मैन्युअल निर्माण की भारी लागत नहीं लगती है। जबकि शोधकर्ता स्वीकार करते हैं कि उनकी विधि उसी अंतर्निहित तकनीक पर निर्भर करती है जो परीक्षण की जा रही प्रणालियों को शक्ति देती है, और प्रश्न मानव-निर्मित सेटों की तुलना में थोड़े आसान हो सकते हैं, विभिन्न सेटअपों में परिणामों की निरंतरता आश्वस्त करने वाली है। यह दृष्टिकोण पूरी तरह से मानव निर्णय को बदलने का दावा नहीं करता है, लेकिन यह उन विशिष्ट क्षेत्रों में AI प्रणालियों के परीक्षण और सुधार के लिए एक ठोस आधार प्रदान करता है जहाँ उनकी सबसे अधिक आवश्यकता है। आर्टिफिशियल इंटेलिजेंस के निर्माण को स्वचालित करके, यह विधि उन उद्योगों में अधिक कठोर और बार-बार मूल्यांकन के द्वार खोलती है जहाँ सटीकता सर्वोपरि है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।