A corrective agentic hybrid RAG and an operations-grounded evaluation for a scientific facility
यह शोध पत्र APS-RAG प्रस्तुत करता है, जो एडवांस्ड फोटॉन सोर्स (Advanced Photon Source) के लिए एक तैनात एजेंटिक हाइब्रिड रिट्रीवल-ऑगमेंटेड जनरेशन सिस्टम है जो विविध डेटा स्रोतों और एक सुधारात्मक लूप को एकीकृत करता है ताकि परिचालन संबंधी ज्ञान की प्राप्ति में महत्वपूर्ण सुधार किया जा सके, साथ ही APS-Bench डेटासेट और मूल्यांकन ढांचे का विमोचन भी करता है ताकि वैज्ञानिक सुविधाओं में एआई सहायता के लिए एक विश्वसनीय, सांख्यिकीय रूप से पुष्ट वर्कफ़्लो स्थापित किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक विशाल, उच्च-तकनीकी कारखाने की कल्पना करें जो सूक्ष्म नमूनों को यह देखने के लिए कि वे कैसे बने हैं, अविश्वसनीय रूप से चमकीली रोशनी की किरणें छोड़ता है। यह स्थान, जिसे एक वैज्ञानिक सुविधा कहा जाता है, दशकों से चल रहा है। इस समय के दौरान, वहां काम करने वाले लोगों ने लाखों नोट्स लिखे हैं: क्या टूटा, उन्होंने इसे कैसे ठीक किया, कौन सी सेटिंग्स काम कर गईं, और जब उन्होंने कुछ नया आज़माया तो क्या हुआ। ये नोट्स हर जगह बिखरे हुए हैं: डिजिटल लॉगबुक में, चैट संदेशों में, तकनीकी मैनुअल में, और यहाँ तक कि लाइव कंप्यूटर डेटा स्ट्रीम में भी। यह एक ऐसी लाइब्रेरी में एक विशिष्ट रेसिपी खोजने जैसा है जहाँ किताबें फर्श पर, छत पर और दीवारों के अंदर बिखरी हुई हैं और कोई एकल इंडेक्स मौजूद नहीं है जो उन्हें खोजने में मदद कर सके।
इस समस्या को हल करने के लिए, वैज्ञानिक रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) नामक टूल का उपयोग करते हैं। RAG को एक सुपर-स्मार्ट लाइब्रेरियन के रूप में सोचें जो केवल अपनी याददाश्त से उत्तर का अनुमान नहीं लगाता (जो गलत हो सकती है), बल्कि पहले स्टैक्स की ओर दौड़ता है, पुरानी किताबों के सटीक प頁 (पेज) निकालता है, और फिर केवल उन्हीं पेजों के आधार पर एक नया उत्तर लिखता है। यह पेपर विशेष रूप से एडवांस्ड फोटॉन सोर्स (APS) के लिए, जो इलिनोइस में एक विशाल प्रकाश कारखाना है, एक उन्नत संस्करण वाला लाइब्रेरियन पेश करता है। उन्होंने APS-RAG नामक एक सिस्टम बनाया जो "बीम क्यों रुक गई?" जैसे सामान्य प्रश्नों को समझ सकता है और दशकों के बिखरे हुए रिकॉर्ड्स में से उत्तर खोजने के लिए खोज कर सकता है। क्योंकि यह सिस्टम सटीकता सुनिश्चित करने के लिए गहन तर्क और कई खोज चरणों का उपयोग करता है, इसलिए इस प्रक्रिया में समय लगता है, जो आमतौर पर प्रति क्वेरी 40 से 178 सेकंड तक रहता है, न कि तुरंत। उन्होंने एक विशेष परीक्षण भी बनाया, जिसे APS-Bench कहा जाता है, यह देखने के लिए कि क्या उनका नया लाइब्रेरियन वास्तव में पुराने वालों से बेहतर है, जिसमें वास्तविक कर्मचारियों द्वारा पूछे जाने वाले 50 कठिन प्रश्न शामिल हैं।
समस्या: अराजकता में एक लाइब्रेरी
APS में, ज्ञान हर जगह है लेकिन एक ही समय में कहीं भी नहीं है। यदि कोई मशीन टूट जाती है, तो उसे ठीक करने की कहानी तीन साल पहले के एक चैट संदेश में हो सकती है, तकनीकी मैनुअल किसी दूसरे डेटाबेस में हो सकता है, और त्रुटि दिखाने वाला लाइव डेटा तीसरे सिस्टम में हो सकता है। जब अनुभवी कर्मचारी सेवानिवृत्त होते हैं या शिफ्ट बदलते हैं, तो वह "ट्राइबल नॉलेज" (सामूहिक ज्ञान) अक्सर उनके साथ चला जाता है, जिससे डाउनटाइम बढ़ जाता है और कर्मचारी निराश होते हैं।
टीम एक ऐसा AI सहायक बनाना चाहती थी जो कर्मचारियों से सामान्य अंग्रेजी में बात कर सके और एक साथ इन सभी अलग-अलग जगहों से उत्तर निकाल सके। लेकिन वे जानते थे कि यदि AI अपनी मर्जी से चीजें बनाने लगा (जिसे "हैलुसिनेशन" कहा जाता है), तो यह एक ऐसी जगह पर खतरनाक हो सकता है जहाँ सटीकता मायने रखती है। इसलिए, उन्होंने केवल एक चैटबॉट नहीं बनाया; उन्होंने एक "सुधारात्मक" (corrective) सिस्टम बनाया जो अपने काम की जांच स्वयं करता है।
समाधान: APS-RAG और इसकी सुपरपावर्स
टीम ने APS-RAG बनाया, जो एक ऐसा प्लेटफॉर्म है जो एक जासूस की तरह तीन अलग-अलग तरीकों से सुराग खोजने का काम करता है:
- "वर्ड मैच" खोज: एक क्लासिक लाइब्रेरी कार्ड कैटलॉग की तरह, यह सटीक शब्दों और नंबरों (जैसे विशिष्ट मशीन कोड) को देखता है।
- "मीनिंग" (अर्थ) खोज: एक स्मार्ट असिस्टेंट की तरह जो समझता है कि "टूटा हुआ मोटर" और "विफल इंजन" समान हैं, भले ही शब्द अलग हों।
- "कनेक्शन" खोज: यह एक "नॉलेज ग्राफ" का उपयोग करता है, जो कनेक्शनों का एक विशाल जाल है। यह जानता है कि एक विशिष्ट त्रुटि कोड एक विशिष्ट भाग से जुड़ा है, जो एक विशिष्ट मरम्मत मैनुअल से जुड़ा है।
एक बार जब सिस्टम इन सुरागों को ढूंढ लेता है, तो यह उन्हें केवल बाहर नहीं निकाल देता। यह एक क्रॉस-एनकोडर रीरैंकर (Cross-Encoder Reranker) का उपयोग करता है। एक हायरिंग मैनेजर की कल्पना करें जो हर रेज़्यूमे (खोज परिणामों) को पढ़ता है और फिर उन्हें सावधानी से पुन: रैंक करता है ताकि यह सुनिश्चित हो सके कि सबसे अच्छे रेज़्यूमे शीर्ष पर हैं। पेपर में पाया गया कि यह चरण अत्यंत महत्वपूर्ण है। इसके बिना, सही उत्तर खोजने की सिस्टम की क्षमता 32.8% तक गिर जाती है।
लेकिन असली जादू करेक्टिव एजेंटिक लूप (Corrective Agentic Loop) है। यह एक स्व-सुधार करने वाले संपादक की तरह है। AI द्वारा ड्राफ्ट उत्तर लिखने के बाद, वह रुकता है और खुद से पूछता है: "क्या मुझे वास्तव में इसके लिए सबूत मिले? क्या यह पूर्ण है?" यदि उत्तर "नहीं" या "शायद" है, तो सिस्टम केवल अनुमान नहीं लगाता; वह वापस लाइब्रेरी में जाता है, एक व्यापक जाल के साथ फिर से खोज करता है, और लापता हिस्सों को खोजने की कोशिश करता है। यह उपयोगकर्ता को दिखाने से पहले उत्तर को ठोस बनाने के लिए इसे दो बार तक कर सकता है।
उन्होंने क्या पाया: अच्छा, बुरा और आश्चर्यजनक
टीम ने अपने नए सिस्टम का परीक्षण एक "नेइव" (naive) संस्करण (एक सरल खोज जो केवल कीवर्ड्स को देखती है) के विरुद्ध अपने 50-प्रश्न परीक्षण, APS-Bench का उपयोग करके किया।
- बड़ी जीत: उनके नए सिस्टम का हर संस्करण जिसने "सर्च + AI" विधि का उपयोग किया, वह सरल कीवर्ड खोज से बेहतर था। सबसे अच्छा संस्करण, जिसमें तीनों प्रकार की खोज और स्व-सुधार लूप का उपयोग किया गया था, ने उच्चतम स्कोर प्राप्त किया, और सबसे महत्वपूर्ण तथ्यों को 70.3% बार खोजा, जबकि सरल खोज के लिए यह 63.8% था।
- महत्वपूर्ण घटक: पेपर स्पष्ट रूप से कहता है कि क्रॉस-एनकोडर रीरैंकर सबसे महत्वपूर्ण हिस्सा है। यदि आप इसे हटा देते हैं, तो सिस्टम विफल हो जाता है। यह एक ऐसे लाइब्रेरियन के बीच का अंतर है जो सर्वश्रेष्ठ पुस्तकों को प्राथमिकता देना जानता है और एक ऐसे लाइब्रेरियन के बीच का अंतर है जो बस जो पहले दिखते हैं उन्हें उठा लेता है।
- "शायद" वाले हिस्से: हालांकि "नॉलेज ग्राफ" (कनेक्शनों का वेब) और "सेल्फ-करेक्टिंग लूप" ने मदद की, लेकिन पेपर सावधानी से कहता है कि उनके द्वारा प्रदान किया गया सुधार मामूली (marginal) था और इस विशिष्ट परीक्षण आकार पर बड़े जीत के रूप में सांख्यिकीय रूप से सिद्ध नहीं हुआ। ग्राफ ने जटिल "यह क्यों हुआ?" वाले प्रश्नों में मदद की, लेकिन सरल तथ्यों के लिए यह गेम-चेंजर नहीं था।
- "लेखक को दोष न दें" वाली खोज: टीम ने अंतिम उत्तर लिखने के लिए विभिन्न AI मॉडल का परीक्षण किया। उन्होंने पाया कि अंतिम उत्तर लिखने के बजाय खोज की गुणवत्ता अधिक मायने रखती थी। यहाँ तक कि एक छोटा, ओपन-सोर्स AI मॉडल भी एक महान उत्तर लिख सकता है यदि उसके पास काम करने के लिए सही तथ्य हों। हालाँकि, कुछ मॉडल दूसरों की तुलना में झूठ न बोलने (निष्ठा/faithfulness) में बहुत बेहतर थे।
निष्कर्ष
पेपर निष्कर्ष निकालता है कि APS-RAG दशकों के बिखरे हुए नोट्स को एक विश्वसनीय, भरोसेमंद सहायक में बदलने के लिए एक आशाजनक उपकरण है। यह साबित करता है कि विभिन्न खोज विधियों को "अपना काम जांचने" वाले चरण के साथ जोड़ने से AI वास्तविक औद्योगिक उपयोग के लिए बहुत सुरक्षित और सटीक हो जाता है।
हालाँकि, लेखक उनकी सीमाओं के बारे में ईमानदार हैं। उन्होंने पाया कि हालांकि सिस्टम काम करता है, लेकिन "सेल्फ-करेक्टिंग लूप" और "नॉलेज ग्राफ" की अतिरिक्त जटिलता ने सरल "हाइब्रिड सर्च" विधि की तुलना में स्कोर में हमेशा बहुत बड़ी छलांग नहीं लगाई। सबसे बड़ा सबक यह है कि री-रैंकिंग (खोज परिणामों को सावधानीपूर्वक क्रमबद्ध करना) वह गुप्त सूत्र है जो इस पूरी प्रक्रिया को सफल बनाता है।
संक्षेप में, उन्होंने एक ऐसा सिस्टम बनाया जो केवल अनुमान नहीं लगाता; यह खोजता है, जांच करता है, और खुद को सुधारता है। हालांकि यह एक आदर्श, जादुई समाधान नहीं है जो हर समस्या को तुरंत हल कर देता है (गहनता के लिए इसमें एक या दो मिनट लगते हैं), यह वैज्ञानिकों और इंजीनियरों को डेटा के समुद्र में उत्तर खोजने में मदद करने के लिए एक विश्वसनीय, सांख्यिकीय रूप से आधारित तरीका प्रदान करता है, जिससे डाउनटाइम कम होता है और सुविधा में काम सुचारू रूप से चलता रहता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।