Verification Without Sufficiency: Per-Chunk Filtering Fails on Multi-Hop RAG, and Decomposition Repairs It
यह शोध पत्र प्रदर्शित करता है कि मानक प्रति-चंक (per-chunk) सत्यापन मल्टी-हॉप आरएजी (RAG) के लिए विफल हो जाता है क्योंकि कोई भी एकल प्राप्त दस्तावेज़ प्रश्न का उत्तर देने के लिए पर्याप्त नहीं होता है, और यह प्रस्तावित करता है कि विघटित उप-प्रश्नों (decomposed sub-questions) पर सत्यापन को केंद्रित करना इस सीमा को प्रभावी ढंग से सुधारता है क्योंकि यह एंटेलमेंट (entailment) स्कोर में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जासूस और गायब सुराग
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं एक जासूस के रूप में, लेकिन आपके पास एक नोटबुक के बजाय एक सुपर-स्मार्ट रोबोट सहायक है। यह रोबोट कहानियाँ लिखने और सवालों के जवाब देने में बहुत अच्छा है, लेकिन कभी-कभी यह मनगढ़ंत बातें भी बना लेता है। इसे झूठ बोलने से रोकने के लिए, आप इसे अखबार की कतरनों का एक ढेर (प्राप्त टेक्स्ट) देते हैं और उससे उन विशिष्ट तथ्यों को खोजने के लिए कहते हैं जो उनके अंदर छिपे हुए हैं, इससे पहले कि वह अपना उत्तर लिखे। इस सेटअप को 'रिट्रीवल-ऑगमेंटेड जनरेशन' (RAG) कहा जाता है। विचार सरल है: रोबोट सुरागों को पढ़ता है, जाँचता है कि क्या वे समझ में आते हैं, और फिर आपको सच बताता है।
लेकिन क्या होगा जब रहस्य एक "मल्टी-हॉप" (बहु-चरणीय) पहेली हो? एक सामान्य सवाल में, उत्तर एक ही पैराग्राफ में मौजूद होता है। एक मल्टी-हॉप पहेली में, उत्तर सुरागों की एक श्रृंखला में छिपा होता है। आपको एक नाम खोजने के लिए एक पैराग्राफ पढ़ना होगा, फिर उस नाम का उपयोग करके दूसरा पैराग्राफ खोजना होगा जिसमें असली उत्तर छिपा है। रोबोट का काम सत्यापित करना है: "क्या यह पैराग्राफ पहेली को सुलझाने में मदद करता है?" बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या हम बस प्रत्येक पैराग्राफ को एक-एक करके देख सकते हैं कि क्या वह उपयोगी है, या क्या टुकड़ों को अलग-अलग देखने पर पहेली टूट जाती है?
एक समय में एक टुकड़ा देखने का जाल
इस शोध पत्र में, रंधिर कुमार नामक एक शोधकर्ता एक सामान्य रणनीति की जांच करते हैं जिसका उपयोग इन रोबोट सहायकों को ठीक करने के लिए किया जाता है। इस रणनीति को "पर-चंक फ़िल्टरिंग" (per-chunk filtering) कहा जाता है। कल्पना कीजिए कि आपके पास 10 अखबार की कतरनों का ढेर है। मानक सलाह यह है कि प्रत्येक को व्यक्तिगत रूप से देखें, उसे एक स्कोर दें, और उन्हें फेंक दें जो उत्तर नहीं लगते हैं। यह तार्किक लगता है, जैसे एक बाउंसर क्लब के दरवाजे पर आईडी चेक कर रहा हो। यदि आईडी मेहमानों की सूची से मेल नहीं खाती है, तो आप उन्हें अंदर नहीं आने देते।
पेपर दिखाता है कि मल्टी-हॉप पहेलियों के लिए, यह "बाउचर" रणनीति वास्तव में एक आपदा है। यह केवल यह नहीं है कि बाउंसर अपना काम करने में बुरा है; बल्कि यह है कि नौकरी का विवरण ही असंभव है।
यहाँ एक मोड़ है: एक मल्टी-हॉप पहेली में, वह पैराग्राफ जो वास्तव में अंतिम उत्तर रखता है, वह आमतौर पर वही होता है जिसका प्रश्न में उल्लेख नहीं किया गया होता है। उदाहरण के लिए, यदि प्रश्न "मूवी X में विलेन की भूमिका निभाने वाले अभिनेता की पत्नी कौन थी?" है, तो प्रश्न मूवी और अभिनेता का नाम लेता है। मूवी के बारे में पैराग्राफ ढूंढना आसान है। लेकिन अभिनेता की पत्नी के बारे में पैराग्राफ? प्रश्न ने कभी उसका नाम नहीं लिया। यदि आप रोबोट से पूछते हैं, "क्या पत्नी के बारे में यह पैराग्राफ प्रश्न का उत्तर देने में मदद करता है?", तो रोबोट प्रश्न को देखता है, पत्नी का कोई उल्लेख नहीं पाता, और कहता है, "नहीं, यह अप्रासंगिक है।" वह सबसे महत्वपूर्ण सुराग को कचरे में फेंक देता है।
शोधकर्ताओं ने तीन अलग-अलग पहेली डेटासेट्स (HotpotQA, 2WikiMultihopQA, और MuSiQue) पर इसका परीक्षण किया और पाया कि यह "एक-एक करके" जाँचने वाली विधि बुरी तरह विफल रही। जब उन्होंने व्यक्तिगत रूप से पैराग्राफ को स्कोर करने की कोशिश की, तो सिस्टम मददगार सुराग और नकली सुराग के बीच अंतर नहीं कर सका। सफलता दर (AUC द्वारा मापी गई) 0.54 से 0.64 के आसपास रही, जो कि सिक्का उछालने से थोड़ा ही बेहतर है। वास्तव में, सबसे कठिन पहेलियों पर, सिस्टम इतना भ्रमित था कि वह अक्सर गलत पैराग्राफ रखता था और सही पैराग्राफ को फेंक देता था।
"बाउचर" क्यों विफल होता है
यह पेपर कई बहानों को खारिज करता है कि ऐसा क्यों हो रहा होगा। यह इसलिए नहीं है क्योंकि रोबोट बहुत मूर्ख है (उन्होंने बड़े और छोटे रोबोटों का परीक्षण किया, और समस्या स्मार्ट रोबोटों के साथ और भी खराब हो गई)। यह इसलिए नहीं है क्योंकि पैराग्राफ बहुत छोटे या बहुत लंबे थे। यह इसलिए भी नहीं है क्योंकि "बाउचर" अपने नियमों के साथ बहुत सख्त या बहुत उदार था।
असली अपराधी पर्याप्तता (sufficiency) है। "बाउचर" यह मान लेता है कि एक एकल पैराग्राफ ही उत्तर सिद्ध करने के लिए पर्याप्त होना चाहिए। लेकिन एक मल्टी-हॉप पहेली में, कोई भी एक पैराग्राफ पर्याप्त नहीं होता। आपको अर्थपूर्ण होने के लिए पहले सुराग और दूसरे सुराग के संयोजन की आवश्यकता होती है।
इसे साबित करने के लिए, शोधकर्ताओं ने एक चतुर प्रयोग किया। उन्होंने दो सही पैराग्राफों को लिया और उन्हें एक लंबे टेक्स्ट के रूप में आपस में जोड़ दिया। जब उन्होंने संयुक्त टेक्स्ट को जाँचने के लिए रोबोट से पूछा, तो सफलता दर सिक्के के उछाल (0.66) से बढ़कर एक ठोस 0.88 हो गई। इससे पता चला कि जानकारी वहीं थी; रोबोट बस उसे नहीं देख पा रहा था जब सुराग अलग-अलग थे।
उन्होंने यह भी पाया कि समस्या तब और बढ़ जाती है जब पहेली में अधिक चरण होते हैं। यदि किसी पहेली को हल करने के लिए दो चरणों की आवश्यकता होती है, तो रोबोट ठीक-ठाक होता है। यदि इसे चार चरणों की आवश्यकता होती है, तो रोबोट पूरी तरह से खो जाता है। यह घास के एक-एक तिनके को देखकर सुई खोजने की कोशिश करने जैसा है; जब तक आप पूरे ढेर को नहीं देखते, आप सुई कभी नहीं ढूंढ पाएंगे।
समाधान: समस्या को तोड़ना
तो, यदि एक बार में एक पैराग्राफ की जाँच करना विफल रहता है, तो क्या काम करता है? पेपर एक सुधार का सुझाव देता है जो यह बदल देता है कि हम प्रश्न कैसे पूछते हैं।
रोबोट से यह पूछने के बजाय कि "क्या यह पैराग्राफ मूल प्रश्न का उत्तर देता है?", शोधकर्ता सुझाव देते हैं कि "क्या यह पैराग्राफ पहेली के अगले चरण का उत्तर देता है?" पूछें।
कल्पना कीजिए कि पहेली एक खजाने की खोज है।
- पुराना तरीका: आप रोबोट को द्वीप का एक नक्शा दिखाते हैं और पूछते हैं, "क्या यह नक्शा खजाना दिखाता है?" रोबोट कहता है, "नहीं, खजाना इस नक्शे पर नहीं है," और नक्शे को फेंक देता है। लेकिन नक्शा उस चाबी के स्थान को दिखाता है जिसकी आवश्यकता खजाने के संदूक को खोलने के लिए है।
- नया तरीका: आप पहले पहला चरण निर्धारित करते हैं: "चाबी कहाँ है?" आप चाबी वाला नक्शा ढूंढ लेते हैं। फिर, आप रोबोट से पूछते हैं, "चाबी मिलने के बाद, क्या यह अगला नक्शा खजाना दिखाता है?" अचानक, रोबोट समझ जाता है। वह संबंध देख लेता है।
शोधकर्ताओं ने एक "डिकम्पोजर" (विघटक) का उपयोग करके इसका परीक्षण किया—एक ऐसा टूल जो बड़े प्रश्न को छोटे उप-प्रश्नों में तोड़ देता है। जब उन्होंने इन छोटे प्रश्नों का उपयोग करके पैराग्राफ की जाँच की, तो सफलता दर आसमान छू गई। सबसे कठिन पहेलियों पर, स्कोर 0.546 (रैंडम गेसिंग) से बढ़कर 0.840 हो गया। यह एक विशाल सुधार है, जो साबित करता है कि यदि आप रोबोट को उस विशिष्ट चरण के लिए सही संदर्भ देते हैं जिसे वह देख रहा है, तो वह उत्तर ढूंढ सकता है।
गलत होने की कीमत
पेपर ने यह भी देखा कि जब आप वास्तव में उत्तर उत्पन्न करने के लिए इन तरीकों का उपयोग करते हैं तो क्या होता है। उन्होंने पाया कि "एक-एक करके" बाउर विधि का उपयोग करना सबसे खराब विकल्प था। यह इतना बुरा था कि इसने रोबोट के उत्तरों को बिना फ़िल्टर किए सब कुछ पढ़ने देने की तुलना में भी बदतर बना दिया।
वास्तव में, रोबोट जितना स्मार्ट था, उसे इस खराब फ़िल्टरिंग से उतना ही अधिक नुकसान हुआ। एक थोड़ा स्मार्ट रोबोट की सटीकता में 4.6 अंक की गिरावट आई, लेकिन एक बहुत स्मार्ट रोबोट के मामले में यह 19.4 अंक की गिरावट थी। यह एक शानदार शेफ को एक ऐसी रेसिपी देने जैसा है जहाँ आपने मुख्य सामग्री को इसलिए फेंक दिया क्योंकि वह डिश के शीर्षक से मेल नहीं खाती थी। शेफ खाना बनाने में इतना अच्छा है कि वह आपको बता सकता है कि क्या गायब है, लेकिन वह बिना सामग्री के डिश नहीं बना सकता।
निष्कर्ष
मुख्य सबक यहाँ यह है कि आप एक बहु-चरणीय पहेली को उसके चरणों को अलग-अलग देखकर नहीं आंक सकते। प्रत्येक पैराग्राफ को मूल प्रश्न के विरुद्ध जाँचने वाला "बाउचर" दृष्टिकोण विफल हो जाता है क्योंकि उत्तर पैराग्राफों के बीच के संबंध में छिपा होता है, न कि स्वयं पैराग्राफों में।
पेपर यह दावा नहीं करता है कि उसने पूरी समस्या को पूरी तरह से हल कर लिया है। भले ही नए "डिकम्पोज़्ड" (विघटित) तरीके के साथ भी, अभी भी सुधार की गुंजाइश है, और शोधकर्ता स्वीकार करते हैं कि उनका टूल अभी भी पूर्ण नहीं है। लेकिन उन्होंने यह सिद्ध कर दिया है कि फ़िल्टर करने का पुराना तरीका टूटा हुआ है और आगे का रास्ता बड़े प्रश्न को जाँचने से पहले उसे छोटे, प्रबंधनीय टुकड़ों में तोड़ने में निहित है। यह एक याद दिलाता है कि कभी-कभी, उत्तर खोजने के लिए, आपको पूरी तस्वीर देखना बंद करना होगा और अगले कदम पर ध्यान केंद्रित करना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।