EnterpriseRAG: Benchmarking LLM Instruction Adherence and Robustness under Non-Ideal Enterprise Retrieval
यह शोध पत्र EnterpriseRAG प्रस्तुत करता है, जो छह डोमेन में 983 विशेषज्ञ-सत्यापित नमूनों का एक व्यापक बेंचमार्क है जो एंटरप्राइज रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम में एक महत्वपूर्ण "ऑर्केस्ट्रेशन गैप" (orchestration gap) को उजागर करता है, यह प्रकट करते हुए कि जहाँ लार्ज लैंग्वेज मॉडल्स अक्सर व्यक्तिगत बाधाओं को पूरा करते हैं, वहीं शोर युक्त रिट्रीवल (noisy retrieval), ज्ञान के अभाव और तथ्यात्मक संघर्षों से जुड़ी वास्तविक उत्पादन स्थितियों के तहत उनका समग्र निर्देश पालन (holistic instruction adherence) काफी हद तक विफल हो जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को एक मददगार सहायक बनना सिखाने की कोशिश कर रहे हैं। आप उसे किताबों का एक पुस्तकालय (उसका ज्ञान आधार) देते हैं और उससे एक सवाल पूछते हैं। रोबोट पुस्तकालय में जाता है, कुछ पन्ने निकालता है, उन्हें पढ़ता है, और एक उत्तर लिखता है। इसे RAG (रिट्रीवल-ऑगमेंटेड जनरेशन) कहा जाता है। यह एक छात्र द्वारा ओपन-बुक परीक्षा देने जैसा है: उन्हें सब कुछ याद करने की ज़रूरत नहीं है, लेकिन उन्हें सही पन्ना खोजने और उत्तर सही पाने के लिए उसे ध्यान से पढ़ने की ज़रूरत है।
लेकिन यहाँ एक पेच है: वास्तविक दुनिया में, पुस्तकालय अव्यवस्त होते हैं। कभी-कभी रोबोट ऐसे पन्ने उठा लेता है जिनका सवाल से कोई लेना-देना नहीं होता (शोर/नॉइज़)। कभी-कभी किताबों में उत्तर ही नहीं होता (ज्ञान की कमी)। और कभी-कभी, दो अलग-अलग किताबें एक ही तथ्य के बारे में विपरीत बातें कहती हैं (विरोध)। इन रोबोटों के लिए अधिकांश परीक्षण यह मान लेते हैं कि पुस्तकालय एकदम सही है और प्रश्न सरल हैं, जैसे "फ्रांस की राजधानी क्या है?" लेकिन वास्तविक जीवन ऐसा है जैसे पूछना, "पिछले क्वार्टर के राजस्व को एक तालिका (टेबल) में संक्षेप में लिखें, लेकिन यदि डेटा गायब है, तो अनुमान लगाने के बजाय 'मुझे नहीं पता' कहें, और यदि दो रिपोर्टों में असहमति हो, तो दोनों को सूचीबद्ध करें।"
यहीं से चीजें जटिल हो जाती हैं। हम चाहते हैं कि हमारे रोबोट सहायक केवल तथ्य न खोजें, बल्कि सख्त नियमों का पालन करें, जब वे अटक जाएं तो स्वीकार करें, और बिना कुछ मनगढ़ंत बनाए जटिल स्थितियों को संभाल सकें। यदि एक रोबोट ऐसा नहीं कर पाता है, तो वह एक आत्मविश्वासपूर्ण लेकिन गलत उत्तर दे सकता है, जो महत्वपूर्ण निर्णय लेने वाली कंपनी के लिए आपदा हो सकती है।
द ग्रेट "फॉलो-थ्रू" फेल (अनुपालन की विफलता)
चीन मोबाइल की जियुतियान रिसर्च (Jiutian Research) की एक टीम ने एक नया, अधिक कठिन परीक्षण बनाया है जिसे EnterpriseRAG कहा जाता है, ताकि यह देखा जा सके कि ये AI रोबोट वास्तव में वास्तविक दुनिया की अव्यवस्था को कितनी अच्छी तरह संभालते हैं। इस परीक्षण को AI के लिए एक "तनाव परीक्षण" (स्ट्रेस टेस्ट) के रूप में सोचें, जिसे यह देखने के लिए बनाया गया है कि क्या वे शांत रह सकते हैं जब निर्देश जटिल हों और जानकारी टूटी-फूटी या विरोधाभासी हो।
उन्होंने ऊर्जा, चिकित्सा, कानून और वित्त जैसे छह विभिन्न क्षेत्रों में 983 कठिन परिदृश्य बनाए। इन परिदृश्यों में, उन्होंने केवल सरल प्रश्न नहीं पूछे। उन्होंने रोबोटों को कई नियमों के साथ जटिल निर्देश दिए, जैसे "एक तालिका का उपयोग करें," "अनुमान न लगाएं," "अपने स्रोतों का उल्लेख करें," और "यदि आपको कोई विरोधाभास दिखता है, तो मुझे उसके बारे में बताएं।" फिर, उन्होंने जानबूझकर उस जानकारी को बिगाड़ दिया जो रोबोटों को मिली थी: उन्होंने अप्रासंगिक कचरा जोड़ा, उत्तर को पूरी तरह से हटा दिया, या नकली विरोधाभास डाल दिए।
बड़ी खोज: "ऑर्केस्ट्रेशन गैप" (समन्वय अंतराल)
परिणाम चौंकाने वाले थे। जब शोधकर्ताओं ने यह जांचा कि क्या रोबोट व्यक्तिगत नियमों का पालन कर सकते हैं, तो वे काफी अच्छा प्रदर्शन करते थे। लगभग 84% बार, एक रोबोट एक एकल नियम को सही ढंग से पूरा करता था, जैसे कि सही प्रारूप का उपयोग करना या स्रोत का उल्लेख करना। यह एक ऐसे छात्र की तरह था जो गणित का हर चरण सही करता है लेकिन अंतिम उत्तर लिखना भूल जाता है।
हालाँकि, जब उन्होंने यह जांचा कि क्या रोबोट एक साथ सभी नियमों का पालन करते हैं, तो स्कोर गिरकर केवल 27% रह गया। शोधकर्ता इसे एक 57-अंकों का "ऑर्केस्ट्रेशन गैप" कहते हैं। यह पता चला कि जबकि ये AI मॉडल एक समय में एक काम करने में माहिर हैं, वे कई जटिल निर्देशों को एक साथ संभालने में विफल हो जाते हैं। वे प्रारूप को सही कर सकते हैं लेकिन फिर एक तथ्य को मनगढ़ंत बना सकते हैं, या वे सही उत्तर पा सकते हैं लेकिन डेटा गायब होने पर "मुझे नहीं पता" कहना भूल सकते हैं।
"हेल्पफुलनेस" (मददगार होने का) जाल
सबसे दिलचस्प निष्कर्षों में से एक यह था कि रोबट उन स्थितियों को कैसे संभालते हैं जहाँ किताबों में उत्तर नहीं होता। इंसान जानते हैं कि यदि आप कुछ नहीं जानते हैं, तो आपको कहना चाहिए, "मुझे नहीं पता।" लेकिन इन AI रोबोटों में एक मजबूत "हेल्पफुलनेस बायस" (मददगार होने का पूर्वाग्रह) होता है। वे बहुत मददगार होना चाहते हैं, इसलिए जब वे उत्तर नहीं ढूंढ पाते, तो वे अक्सर खुद से एक उत्तर बना लेते हैं।
परीक्षण में, जब जानकारी गायब थी, तो वे केवल 42.7% बार (सर्वश्रेष्ठ मॉडल Claude-Opus-4.5 के साथ) सही ढंग से उत्तर देने से इनकार कर पाए। बाकी 57.3% बार, उन्होंने आत्मविश्वास के साथ अनुमान लगाया या मनगढ़ंत उत्तर (hallucination) दिया। यह खतरनाक है क्योंकि एक आत्मविश्वासपूर्ण गलत उत्तर, उत्तर न मिलने से कहीं अधिक बुरा होता है।
रीजनिंग (तर्क) मदद करती है, लेकिन यह जादू की छड़ी नहीं है
शोधकर्ताओं ने "रीजनिंग" मॉडलों का भी परीक्षण किया—ऐसे AI जो उत्तर देने से पहले थोड़ा "सोचते" हैं, जैसे कि एक छात्र कठिन समस्या को हल करने से पहले रुकता है। ये मॉडल मानक मॉडलों की तुलना में बेहतर थे। उदाहरण के लिए, वे यह पहचानने में बहुत बेहतर थे कि दो दस्तावेज़ आपस में कैसे विरोधाभासी हैं। सर्वश्रेष्ठ रीजनिंग मॉडल ने 44.3% बार संघर्षों को पहचाना, जबकि अन्य बहुत कम थे।
हालाँकि, "सोचने वाले" मॉडल भी पूर्ण नहीं थे। वे अभी भी एक साथ सभी नियमों का पालन करने के लिए संघर्ष करते थे, और उन्हें अभी भी तब भी अनुमान लगाना पड़ता था जब उन्हें हार मान लेनी चाहिए थी। पेपर सुझाव देता है कि केवल AI को अधिक "सोचने" के लिए कहना ही समस्या को ठीक करने के लिए पर्याप्त नहीं है; रोबोटों को यह निर्णय लेने के लिए बेहतर प्रशिक्षण की आवश्यकता है कि उनके पास पर्याप्त जानकारी कब है और जटिल प्रोटोकॉल का बिना किसी बाधा के पालन कैसे किया जाए।
निष्कर्ष (द बॉटम लाइन)
यह पेपर यह दावा नहीं करता कि AI हमेशा के लिए टूट गया है, लेकिन यह दिखाता है कि हम इन प्रणालियों के गंभीर, वास्तविक दुनिया के कामों के लिए तैयार होने का बहुत अधिक आकलन कर रहे हैं। सिर्फ इसलिए कि एक AI कविता लिख सकता है या एक सरल प्रश्न का उत्तर दे सकता है, इसका मतलब यह नहीं है कि वह अव्यवस्थित डेटा और सख्त नियमों के साथ एक जटिल व्यावसायिक कार्य को संभाल सकता है। इन प्रणालियों को विश्वसनीय बनाने के लिए, हमें उन्हें पूर्ण, स्वच्छ वातावरण में परीक्षण करना बंद करना होगा और उन्हें उस अव्यवस्त, शोर-शराबे वाले और विरोधाभासी दुनिया में परीक्षण करना शुरू करना होगा जिसमें उन्हें वास्तव में रहना होगा। जब तक हम उस 57-अंकों के अंतर को पाट नहीं लेते, हमें इन रोबोटों को अपने आप महत्वपूर्ण निर्णय लेने देने में बहुत सावधान रहना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।