Toward Faithful Retrieval-Augmented Generation with Sparse Autoencoders
यह शोध पत्र RAGLens को प्रस्तुत करता है, जो एक हल्का और व्याख्या योग्य मतिभ्रम डिटेक्टर (hallucination detector) है जो अनैतिक रिट्रीवल-ऑगमेंटेड जनरेशन (unfaithful retrieval-augmented generation) का संकेत देने वाले LLMs के विशिष्ट आंतरिक सक्रियण फीचर्स (internal activation features) की पहचान करने के लिए स्पार्स ऑटोएनकोडर (SAEs) का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रिपोर्ट लिखने में मदद के लिए एक हाई-टेक डिजिटल असिस्टेंट का उपयोग कर रहे हैं। इसकी सटीकता सुनिश्चित करने के लिए, आप इसे संदर्भ पुस्तकों का एक ढेर देते हैं (इसे RAG, या रिट्रीवल-ऑगमेंटेड जनरेशन कहा जाता है)।
समस्या क्या है? इन किताबों के ठीक सामने होने के बावजूद, असिस्टेंट कभी-कभी "हैलुसिनेशन" (भ्रम) का शिकार हो जाता है। यह किसी दूसरी किताब से कोई तारीख बता सकता है, या कोई ऐसी संख्या बना सकता है जो सुनने में तो सही लगे लेकिन टेक्स्ट में मौजूद न हो। यह उस छात्र की तरह है जिसके पास परीक्षा के दौरान पाठ्यपुस्तक खुली है, फिर भी वह कल रात देखे गए अपने सपने के आधार पर उत्तर दे रहा है।
इन झूठों को पकड़ने के मौजूदा तरीके या तो बहुत महंगे हैं (हर चीज़ को दोबारा जांचने के लिए एक "सुपर-जीनियस" AI से पूछना) या बहुत धीमे हैं।
शोधकर्ताओं ने "RAGLens" बनाया है, और यह एक रचनात्मक उपमा (analogy) का उपयोग करके कैसे काम करता है, यहाँ दिया गया है:
उपमा: झूठ बोलने वालों के लिए "ब्रेन-स्कैनर"
कल्पना कीजिए कि AI आपसे बात कर रहा एक व्यक्ति है। आमतौर पर, जब कोई बोलता है, तो आप केवल उनके मुंह से निकलने वाले शब्दों को सुनते हैं (आउटपुट)। यदि वे झूठ बोलते हैं, तो यह पहचानना कठिन होता है क्योंकि उनकी आवाज़ बिल्कुल सामान्य लगती है।
हालाँकि, वैज्ञानिकों ने पाया है कि जब कोई झूठ बोलता है, तब भी उनका मस्तिष्क कुछ विशिष्ट क्षेत्रों में बहुत सूक्ष्म, विशिष्ट विद्युत स्पार्क्स (electrical sparks) भेजता है। स्पार्स ऑटोएनकोडर्स (SAEs)—इस पेपर में उपयोग की गई तकनीक—एक हाई-रिज़ॉल्यूशन MRI ब्रेन स्कैनर की तरह कार्य करते हैं। केवल शब्दों को सुनने के बजाय, RAGLens AI के आंतरिक विचारों को "स्कैन" करता है जबकि वह बोल रहा होता है।
- "झूठ का स्पार्क" खोजना: शोधकर्ताओं ने पाया है कि जब AI किसी संख्या या तारीख के बारे में भ्रमित (hallucinate) होने वाला होता है, तो उसके आंतरिक न्यूरल नेटवर्क में एक बहुत ही विशिष्ट "स्पार्क" (फीचर) चमक उठता है। यह देखने जैसा है कि मस्तिष्क का "धोखा देने वाला केंद्र" लाल रंग में चमक रहा है।
- हल्का और कुशल जासूस: हर एक विचार को देखने के लिए एक विशाल सुपरकंप्यूटर की आवश्यकता होने के बजाय, RAGLens एक चतुर गणितीय फिल्टर (जिसे म्युचुअल इंफॉर्मेशन कहा जाता है) का उपयोग करता है ताकि सामान्य सोच के "बैकग्राउंड शोर" को नजरअंदाज किया जा सके और केवल उन विशिष्ट "झूठ के स्पार्क्स" पर ध्यान केंद्रित किया जा सके। यह इसे अविश्वसनीय रूप से तेज़ और हल्का बनाता है।
- "लाल पेन" फीडबैक: क्योंकि RAGLens देख सकता है कि किस आंतरिक स्पार्क ने अलार्म बजाया है, यह केवल यह नहीं कहता कि, "आप झूठ बोल रहे हैं।" बल्कि यह एक विशिष्ट वाक्य की ओर इशारा कर सकता है और कह सकता है, "अरे, तुमने अभी वह तारीख बनाई है; किताब को फिर से देखो।" यह एक शिक्षक की तरह है जो छात्र के पेपर पर केवल फेल करने के बजाय लाल पेन से एक विशिष्ट गलती को घेरे हुए है।
यह क्यों मायने रखता है?
- यह सटीक है: यह लगभग किसी भी अन्य विधि की तुलना में झूठ को बेहतर तरीके से पकड़ता है क्योंकि यह विचार के 'स्रोत' को देखता है, न कि केवल अंतिम शब्दों को।
- यह पारदर्शी है: यह केवल "हाँ/नहीं" उत्तर नहीं देता; यह एक स्पष्टीकरण प्रदान करता है। यह आपको बताता है कि क्यों इसे लगता है कि AI निष्ठावान नहीं है।
- यह एक जज नहीं, बल्कि एक शिक्षक है: क्योंकि यह विशिष्ट फीडबैक प्रदान करता है, AI वास्तव में उस जानकारी का उपयोग स्वयं को "सुधारने" और वाक्य को सत्य बनाने के लिए कर सकता है।
संक्षेप में: RAGLens एक डिजिटल असिस्टेंट को "ट्रुथ-डिटेक्टर" घड़ी देने जैसा है जो उसके अपने मस्तिष्क की तरंगों की निगरानी करती है, जिससे वह अपनी गलतियों को बड़ा मुद्दा बनने से पहले ही पकड़ सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।