← नवीनतम पेपर
💬 NLP

Rule-Based Explanations for Retrieval-Augmented LLM Systems

यह शोध पत्र रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम्स की व्याख्या करने के लिए 'इफ-देन' (if-then) नियमों को उत्पन्न करने हेतु एक नवीन ढांचे का प्रस्ताव करता है, जो रिट्रीव की गई सूचना स्रोतों को मॉडल आउटपुट से जोड़ता है, और ब्रूट-फोर्स सोर्स कॉम्बिनेशन टेस्टिंग की कम्प्यूटेशनल चुनौतियों को कुशलतापूर्वक दूर करने के लिए अप्रियोरी-प्रेरित (Apriori-inspired) अनुकूलन का उपयोग करता है।

मूल लेखक: Joel Rorseth, Parke Godfrey, Lukasz Golab, Divesh Srivastava, Jarek Szlichta

प्रकाशित 2026-03-20
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Joel Rorseth, Parke Godfrey, Lukasz Golab, Divesh Srivastava, Jarek Szlichta

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट लाइब्रेरियन (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो लगभग किसी भी सवाल का जवाब दे सकता है। लेकिन इस रोबोट का एक रहस्य है: यह केवल अपनी याददाश्त पर निर्भर नहीं रहता। जब आप इससे कोई सवाल पूछते हैं, तो यह पहले एक लाइब्रेरी में जाता है, किताबों की एक मुट्ठी भर किताबें (रिट्रीव्ड डॉक्यूमेंट्स) उठाता है, उन्हें पढ़ता है, और फिर आपको जवाब देता है। इसे RAG (रिट्रीवल-ऑगमेंटेड जनरेशन) कहा जाता है।

समस्या क्या है? कभी-कभी रोबोट आपको अजीब, गलत, या यहाँ तक कि खतरनाक जवाब देता है। आप पूछ सकते हैं, "आपने ऐसा क्यों कहा?" और रोबोट बस कहता है, "क्योंकि मैंने किताबें पढ़ीं।" लेकिन कौन सी किताबें? और क्या किसी एक विशिष्ट किताब ने रोबोट को चकमा दिया?

यह पेपर यह पता लगाने का एक नया तरीका पेश करता है कि ठीक कौन सी किताबें (या जानकारी के टुकड़े) रोबोट को एक निश्चित तरीके से व्यवहार करने के लिए मजबूर कर रहे हैं। वे इन्हें "इफ-देन रूल्स" (If-Then Rules) कहते हैं।

मुख्य विचार: "रेसिपी" का रूपक (Analogy)

सोचिए कि रोबोट का जवाब एक केक की तरह है। इसके "सामग्री" (Ingredients) वे दस्तावेज़ हैं जो रोबोट को मिले हैं।

  • पुराना तरीका (फीचर एट्रिब्यूशन): यह केक को देखने जैसा है और यह कहना कि, "मैदा 30% योगदान देता है, चीनी 20%, और अंडे 10%।" यह एक स्कोर देता है, लेकिन यह नहीं बताता कि यदि आप एक सामग्री को हटा दें तो क्या होगा।
  • नया तरीका (रूल-बेस्ड एक्सप्लेनेशन): यह एक रेसिपी कार्ड जैसा है जो कहता है: "IF" (यदि) आप इसमें 'खराब मसाला' (दस्तावेज़ X) AND (और) 'भ्रमित करने वाली जड़ी-बूटी' (दस्तावेज़ Y) शामिल करते हैं, THEN (तो) केक का स्वाद बहुत खराब होगा।

लेखक इन "रेसिपी कार्ड्स" को स्वचालित रूप से खोजना चाहते हैं। वे जानना चाहते हैं: "कौन सा विशिष्ट दस्तावेजों का संयोजन रोबोट को गलत उत्तर देने के लिए मजबूर करता है?"

वे इसे कैसे करते हैं: "टेस्ट-टेस्टर" गेम

इन नियमों को खोजने के लिए, आप सैद्धांतिक रूप से किताबों के हर संभव संयोजन का परीक्षण कर सकते हैं। यदि आपके पास 10 किताबें हैं, तो 1,000 से अधिक संयोजन हैं! उन सभी का एक-एक करके परीक्षण करने में बहुत समय लगेगा।

लेखकों ने एक स्मार्ट गेम बनाया है जिसे रूल माइनर (Rule Miner) कहा जाता है। यह कैसे काम करता है, यहाँ लैटिस (एक फैंसी पिरामिड) के रूप में बताया गया है:

  1. संयोजनों का पिरामिड: कल्पना कीजिए कि एक पिरामिड है जहाँ शीर्ष "सभी 10 किताबें एक साथ" है और आधार "कोई किताब नहीं" है। इसके बीच की प्रत्येक परत किताबों के विभिन्न मिश्रणों का प्रतिनिधित्व करती है।
  2. "खराब स्वाद" का परीक्षण: टीम एक "खराब स्वाद" (जैसे कि गलत मेडिकल डायग्नोसिस या एक काल्पनिक तथ्य) को परिभाषित करती है।
  3. स्मार्ट प्रूनिंग (जादुई ट्रिक):
    • वे पिरामिड के शीर्ष (सभी किताबें) से शुरू करते हैं। वे मिश्रण का परीक्षण करते हैं।
    • यदि मिश्रण का स्वाद अच्छा है: तो वे जानते हैं कि इस समूह से लिया गया कोई भी छोटा मिश्रण भी अच्छा हो सकता है। वे नीचे की ओर खुदाई जारी रखते हैं।
    • यदि मिश्रण का स्वाद खराब है: तो यह मुख्य बात है। यदि किताबों का एक विशिष्ट समूह एक बुरा उत्तर देता है, तो उन किताबों वाला कोई भी समूह जो उनमें शामिल है, बुरा उत्तर ही देगा।
    • प्रूनिंग (छंटाई): उन सभी छोटे संयोजनों का परीक्षण करने के बजाय जिनमें वे "खराब किताबें" शामिल हैं, एल्गोरिदम कहता है, "हम पहले से ही जानते हैं कि इस शाखा का पूरा हिस्सा खराब है! हमें इस शाखा के बच्चों का परीक्षण करने की आवश्यकता नहीं है।" यह पिरामिड के विशाल हिस्सों को काट देता है, जिससे बहुत समय बचता है।

उनके पास इस माइनर के दो संस्करण हैं:

  • मोनो माइनर (Mono Miner): एक समय में एक प्रकार के नियम की तलाश करता है (जैसे, "गलत उत्तर का कारण क्या है?")।
  • डुअल माइनर (Dual Miner): एक साथ दो प्रकारों की तलाश करता है (जैसे, "गलत उत्तर का कारण क्या है?" AND "सही उत्तर का कारण क्या है?")।

पेपर से वास्तविक दुनिया के उदाहरण

1. मेडिकल डॉक्टर परिदृश्य
कल्पना कीजिए कि एक डॉक्टर रोबोट से पूछता है, "लॉन्ग कोविड थकान के लिए सबसे अच्छा उपचार क्या है?"

  • रोबोट 5 मेडिकल लेख निकालता है।
  • रोबट कहता है, "कैल्शियम सप्लीमेंट लें!" (यह गलत और खतरनाक है)।
  • रूल माइनर अपना गेम चलाता है। यह एक नियम खोजता है: "IF" (यदि) लेख 2 (एक ब्लॉग पोस्ट) AND (और) लेख 4 (एक फोरम की अफवाह) मिश्रण में हैं, THEN (तो) रोबोट कैल्शियम की सिफारिश करता है।
  • परिणाम: अस्पताल को ठीक से पता चल जाता है कि रोबोट को खतरनाक सलाह देने से रोकने के लिए किन दो लेखों को हटाना या ठीक करना है।

2. "रेड टीम" सुरक्षा परिदृश्य
कल्पना कीजिए कि एक सुरक्षा टीम रोबोट को हैक करने की कोशिश कर रही है। उनके पास 50 "जहरीले" दस्तावेज़ हैं जिन्हें रोबोट को गुप्त कोड प्रकट करने के लिए धोखा देने के लिए डिज़ाइन किया गया है।

  • 50 दस्तावेजों के सभी संयोजनों का परीक्षण करना असंभव है (इसमें वर्षों लग जाएंगे)।
  • रूल माइनर "विभाजित करो और जीतो" (Divide and Conquer) की रणनीति का उपयोग करता है। वे 50 दस्तावेजों को दो बड़े समूहों में बांटते हैं। वे उनका परीक्षण करते हैं। उन्हें खराब समूह मिल जाता है। वे उस समूह को आधा करते हैं। वे तब तक विभाजित करते रहते हैं जब तक कि उन्हें वे सटीक दो दस्तावेज़ नहीं मिल जाते जो, एक साथ मिलकर, सिस्टम को हैक करते हैं।
  • परिणाम: उन्होंने वर्षों के बजाय मिनटों में विशिष्ट "एक्सप्लॉइट" जोड़ी को खोज लिया।

यह क्यों महत्वपूर्ण है

  • एक्शन योग्य (Actionable): अन्य तरीकों के विपरीत जो केवल एक "स्कोर" देते हैं, यह आपको ठीक बताता है कि क्या बदलना है। "दस्तावेज़ X को हटा दें।"
  • गारंटीकृत: नियम 100% निश्चित हैं। यदि नियम कहता है कि "यदि X मौजूद है, तो उत्तर गलत है," तो यह हमेशा होता है। कोई अनुमान नहीं।
  • कुशल (Efficient): अपने "प्रूनिंग" ट्रिक का उपयोग करके, वे उन समस्याओं को हल कर सकते हैं जिन्हें हल करने में एक सुपरकंप्यूटर को हफ्तों लग सकते हैं।

निचोड़ (Bottom Line)

यह पेपर हमें AI के लिए एक डिटेक्टिव टूल (जासूसी उपकरण) देता है। केवल यह कहने के बजाय कि "AI भ्रमित है," यह हमें यह कहने की अनुमति देता है कि "AI विशेष रूप से इसलिए भ्रमित है क्योंकि इसने इन दो दस्तावेजों को एक साथ पढ़ा है।" यह एक ब्लैक बॉक्स को एक पारदर्शी प्रणाली में बदल देता है जहाँ हम देख सकते हैं कि कौन सी सामग्रियां केक को खराब कर रही हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →