Evaluating RAG Reliability under Clean, Misleading, and Mixed Retrieval
यह शोध पत्र एक मूल्यांकन प्रोटोकॉल और विश्लेषणात्मक ढांचे का प्रस्ताव करता है ताकि स्वच्छ (clean), विषाक्त (poisoned) या मिश्रित (mixed) रिट्रीवल साक्ष्य का सामना करते समय तथ्यात्मक सटीकता बनाए रखने की क्षमता का परीक्षण करके, भ्रामक सूचनाओं के विरुद्ध रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) प्रणालियों की मजबूती का व्यवस्थित रूप से आकलन किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक बहुत बुद्धिमान, विद्वान मित्र (AI) है जो अपनी याददाश्त से बहुत सारे तथ्य जानता है। आप उससे एक सरल प्रश्न पूछते हैं, जैसे "प्रथम अमेरिकी राष्ट्रपति कौन थे?" और वह सही उत्तर देता है: "जॉर्ज वॉशिंगटन।"
अब, कल्पना कीजिए कि आपने अपने उस मित्र को तीन अन्य लोगों (जिसे "रिट्रीव्ड कॉन्टेक्स्ट" या प्राप्त संदर्भ कहा जाता है) के साथ एक कमरे में रख दिया है, जिन्हें उस प्रश्न का उत्तर देने में मदद करनी है।
- परिदृश्य A (साफ/क्लीन): तीनों मददगार सच बोल रहे हैं।
- परिदृश्य B (जहरीला/पॉइज़न्ड): तीनों मददगार झूठ बोल रहे हैं, लेकिन वे बहुत आत्मविश्वासी और प्रभावशाली लगते हैं।
- परिदृश्य C (मिश्रित): एक मददगार सच बोल रहा है, लेकिन बाकी दो झूठ बोल रहे हैं।
यह शोध पत्र इस बात पर एक अध्ययन है कि जब आपका वह बुद्धिमान मित्र इन अलग-अलग कमरों में होता है, तो उसके साथ क्या होता है। शोधकर्ता यह देखना चाहते थे कि क्या "मददगार" आपके मित्र को वह भूलने के लिए मजबूर कर सकते हैं जो वह पहले से ही जानता था।
मुख्य प्रयोग
शोधकर्ताओं ने दो AI मॉडल का परीक्षण किया: एक बहुत शक्तिशाली मॉडल (GPT-4o) और एक छोटा मॉडल (LLaMA-3.1)। उन्होंने 100 ऐसे प्रश्न चुने जिन्हें AI अकेले ही सही ढंग से उत्तर दे सकता था, इससे पहले कि कोई उसकी मदद करता।
फिर, उन्होंने AI को वही प्रश्न फिर से दिए, लेकिन इस बार प्रश्न के ठीक बगल में "मददगारों" (इंटरनेट से प्राप्त टेक्स्ट) को भी रख दिया। उन्होंने तीन विशिष्ट चीजों को मापा:
"भूलने" की दर (पैरामेट्रिक ओवरराइड): AI कितनी बार अपनी याददाश्त पर भरोसा करना छोड़ देता है और मददगारों पर विश्वास करने लगता है, भले ही मददगार गलत हों?
- निष्कर्ष: ऐसा बहुत बार हुआ। भले ही मददगार सच बोल रहे थे (क्लीन), AI कभी-कभी भ्रमित हो गया और अपना उत्तर बदल दिया। जब मददगार झूठ बोल रहे थे (पॉइज़न्ड), तो AI अपनी सही जानकारी को आधे से अधिक समय तक भूल गया। छोटा AI बड़े वाले की तुलना में अधिक आसानी से भ्रमित हो गया।
"आत्मविश्वास" का जाल (कॉन्फिडेंस इन्फ्लेशन): यह डरावना हिस्सा है। जब AI ने झूठ बोलने वाले मददगारों के कारण गलत उत्तर दिया, तो क्या वह अनिश्चित लग रहा था? नहीं। अध्ययन में पाया गया कि जब AI गलत था, तब वह अधिक आत्मविश्वासी लग रहा था जब वह सही था।
- रूपक (Metaphor): यह एक ऐसे छात्र की तरह है जो जानता है कि उत्तर "B" है, लेकिन शिक्षक (AI) फुसफुसाता है "यह निश्चित रूप से C है!" छात्र केवल C का अनुमान नहीं लगाता; वह पूरी निश्चितता के साथ "C!" चिल्लाता है, भले ही वह जानता हो कि वह गलत है। AI ने जितने अधिक झूठ सुने, वह अपने गलत उत्तर के बारे में उतना ही अधिक मुखर और निश्चित होता गया।
"जहर" का वक्र (द पॉइज़न कर्व): उन्होंने परीक्षण किया कि क्या होता है यदि आप कमरे में धीरे-धीरे और अधिक झूठ जोड़ते हैं।
- निष्कर्ष: जैसे ही आपने थोड़ा सा भी गलत सूचना (भले ही 3 में से 2 मददगार सच बोल रहे हों) जोड़ा, AI की सटीकता गिरने लगती है। जितने अधिक झूठ होते हैं, AI उतना ही खराब होता जाता है।
उन्होंने क्या सीखा?
शोध पत्र निष्कर्ष निकालता है कि RAG (रिट्रीवल-ऑगमेंटेड जनरेशन) प्रणालियों में एक बड़ी खामी है: वे "मददगारों" (इंटरनेट खोज परिणामों) पर बहुत अधिक भरोसा करते हैं, भले ही वे मददगार उस जानकारी का खंडन करते हों जो AI पहले से जानता है।
- "ओवरराइट" प्रभाव: AI केवल नई जानकारी की अपनी पुरानी जानकारी के साथ तुलना नहीं करता है; यह अक्सर नई जानकारी को अपनी स्मृति को पूरी तरह से बदलने (overwrite) की अनुमति देता है।
- आत्मविश्वास का खतरा: सबसे बड़ा जोखिम यह नहीं है कि AI गलत उत्तर देता है; बल्कि यह है कि वह गलत उत्तर उच्च आत्मविश्वास के साथ देता है। वास्तविक दुनिया में, एक आत्मविश्वासी झूठ, एक हिचकिचाते हुए अनुमान की तुलना में बहुत अधिक खतरनाक होता है।
मुख्य सीख (टेकअवे)
शोधकर्ता सुझाव देते हैं कि हम केवल इस पर भरोसा नहीं कर सकते कि AI "सत्य" को जानता है। हमें ऐसे सिस्टम बनाने की भी आवश्यकता है जो:
- मददगारों को बोलने देने से पहले यह जांच लें कि वे भरोसेमंद हैं या नहीं।
- AI को यह सिखाएं कि जब उसे विरोधाभासी कहानियाँ सुनाई दें, तो एक गलत उत्तर को आत्मविश्वास से चुनने के बजाय यह कहे कि "मुझे यकीन नहीं है।"
संक्षेप में: सिर्फ इसलिए कि एक AI इंटरनेट पर जानकारी खोज सकता है, इसका मतलब यह नहीं है कि वह एक तथ्य और एक प्रभावशाली झूठ के बीच अंतर कर सकता है। और जब उसे चकमा दिया जाता है, तो वह अक्सर बिना किसी हिचकिचाहट के आपसे झूठ बोलेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।