Causal Retrieval-Augmented Generation: ModifyingFake Correlations in AI-Driven Knowledge Systems through Algorithmic Nudging
यह शोधपत्र 'कॉज़ल रिट्रीवल-ऑगमेंटेड जनरेशन' (CR-RAG) को प्रस्तुत करता है, जो एक फ्रेमवर्क है जो स्प्यूरियस कोरिलेशन (भ्रामक सहसंबंधों) को कम करने और बैकडोर एडजस्टमेंट, इनवर्स-प्रोपेंसिटी रीवेटिंग और काउंटरफैक्चुअल डेटा ऑग्मेंटेशन के माध्यम से मतिभ्रम (hallucinations) को कम करने के लिए RAG पाइपलाइन को एक स्ट्रक्चरल कॉज़ल मॉडल के रूप में मॉडल करता है, जिससे ज्ञान-गहन बेंचमार्क पर, विशेष रूप से लॉन्ग-टेल प्रश्नों के लिए, महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन आपके पास आवर्धक लेंस (magnifying glass) के बजाय एक सुपर-स्मार्ट रोबोट जासूस है। यह रोबोट बात करने और लिखने में अद्भुत है, लेकिन इसका दिमाग बहुत छोटा है जो दुनिया के हर तथ्य को याद नहीं रख सकता। इसकी मदद करने के लिए, हम इसे किताबों का एक पुस्तकालय (इंटरनेट) देते हैं और कहते हैं, "इन पन्नों को पढ़ो, फिर मेरे प्रश्न का उत्तर दो।" इस सेटअप को रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation) कहा जाता है, या संक्षेप में RAG। यह रोबोट को एक 'चीट शीट' देने जैसा है ताकि उसे अनुमान न लगाना पड़े।
लेकिन यहाँ एक पेचीदा बात है: रोबोट सही पन्ने चुनने में एकदम सटीक नहीं है। कभी-कभी, यह इस बात से विचलित हो जाता है कि कोई शब्द कितना प्रसिद्ध है या वह किसी नाम को कितनी बार देखता है। यदि आप पूछते हैं, "एक छोटे से गाँव में सबसे अच्छा शेफ कौन है?", तो रोबोट गलती से एक बड़े शहर के प्रसिद्ध सेलिब्रिटी शेफ के बारे में एक पन्ना उठा सकता है, सिर्फ इसलिए क्योंकि उस नाम का पुस्तकालय में बहुत अधिक उल्लेख है। यह उस छात्र की तरह है जो, कठिन प्रश्न पूछे जाने पर, उस पाठ्यपुस्तक के अध्याय को उठा लेता है जिसमें सबसे अधिक चित्र हैं, भले ही उत्तर किसी दूसरे पन्ने के उबाऊ पैराग्राफ में छिपा हो। इससे रोबोट आत्मविश्वास के साथ चीजें बनाने लगता है, जिसे हम "हैलुसिनेशन" (hallucination) कहते हैं। वैज्ञानिक इस बात को लेकर वास्तव में चिंतित हैं क्योंकि यदि रोबोट गलत है, तो यह गलत जानकारी फैला सकता है, विशेष रूप से दुर्लभ या अल्पज्ञात विषयों के बारे में जहाँ "प्रसिद्ध" उत्तर वास्तव में गलत होते हैं।
यहीं जेथोस विजयकुमार और उनकी टीम का एक नया अध्ययन काम आता है। उनका तर्क है कि रोबोट की गलती केवल एक तकनीकी खराबी नहीं है; यह "स्प्यूरियस कोरिलेशन" (spurious correlations)—यानी नकली संबंधों—के कारण होने वाली एक तार्किक त्रुटि है। इसे ठीक करने के लिए, उन्होंने एक नई प्रणाली बनाई जिसे CR-RAG (कॉज़ल रिट्रीवल-ऑगमेंटेड जनरेशन) कहा जाता है। CR-RAG को एक सख्त संपादक के रूप में समझें जो रोबोट और पुस्तकालय के बीच खड़ा होता है। पन्ने पढ़ने से पहले, यह संपादक जाँच करता है: "क्या यह पन्ना वास्तव में उत्तर के बारे में है, या यह सिर्फ लोकप्रिय और शोर मचाने वाला है?"
टीम ने "कॉज़ल इन्फरेंस" (causal inference) नामक एक चतुर तकनीक का उपयोग किया, जो डेटा के लिए एक समय-यात्रा प्रयोग (time-travel experiment) की तरह है। केवल यह पूछने के बजाय कि "रोबोट आमतौर पर क्या कहता है?", उन्होंने पूछा, "यदि हम इसे शब्दों की लोकप्रियता को अनदेखा करने और केवल तथ्यों पर ध्यान केंद्रित करने के लिए मजबूर करें, तो रोबोट क्या कहेगा?" उन्होंने इसे एक विशेष "नज" (nudge) प्रणाली बनाकर किया। कल्पना कीजिए कि रोबोट एक परीक्षा दे रहा एक छात्र है। आमतौर पर, छात्र वह उत्तर चुनता है जो सबसे परिचित लगता है। CR-RAG एक ऐसे शिक्षक की तरह कार्य करता है जो कहता है, "रुको, उस उत्तर को सिर्फ इसलिए मत चुनो क्योंकि तुमने इसे हज़ार बार देखा है। चलो मान लेते हैं कि वह प्रसिद्ध उत्तर मौजूद ही नहीं है। अब तुम क्या सोचते हो?"
शोधकर्ताओं ने सामान्य ज्ञान, सामान्य ज्ञान (trivia) और जटिल तर्क से संबंधित चार अलग-अलग "परीक्षाओं" (डेटासेट) पर इस नई प्रणाली का परीक्षण किया। उन्होंने पाया कि CR-RAG सत्य खोजने में काफी बेहतर था, विशेष रूप से दुर्लभ चीजों के बारे में प्रश्नों के लिए। उदाहरण के लिए, लोकप्रिय बनाम अल्पज्ञात संस्थाओं के बारे में एक परीक्षण पर, इस नई प्रणाली ने सबसे दुर्लभ विषयों के लिए गलत उत्तरों की संख्या को 43% तक कम कर दिया। इसने केवल बेहतर अनुमान नहीं लगाया; इसने तब चुप रहना सीख लिया जब उसे चुप रहना चाहिए था।
सबसे अच्छी बात यह है कि यह नया "संपादक" हल्का (lightweight) है। इसे रोबोट के दिमाग या पुस्तकालय को बदलने की आवश्यकता नहीं है; यह बस बीच में बैठता है, उन पन्नों के महत्व को समायोजित करता है जिन्हें रोबोट पढ़ता है। अध्ययन से पता चलता है कि समस्या को केवल एक गणितीय समस्या के बजाय कारण-और-प्रभाव (cause-and-effect) की पहेली के रूप में मानकर, हम AI को बहुत अधिक ईमानदार और विश्वसनीय बना सकते हैं। लेखक सुझाव देते हैं कि यह दृष्टिकोण किसी भी ऐसी स्थिति के लिए गेम-चेंजर हो सकता है जहाँ तथ्यों को सही प्राप्त करना महत्वपूर्ण है, जैसे कि दुर्लभ बीमारियों के बारे में सवालों के जवाब देना या वकीलों को सही कानून खोजने में मदद करना, और इसके लिए पूरे AI को फिर से बनाने की आवश्यकता नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।