Evidence-State Reliability Under Controlled Degradation: Parser-Validity Divergence in a Multi-Stage LLM Pipeline
यह शोध पत्र एविडेंस-स्टेट रिलायबिलिटी (ESR) को पार्सर वैधता से एक अलग मूल्यांकन मीट्रिक के रूप में प्रस्तुत करता है और एक नियंत्रित मल्टी-स्टेज एलएलएम पाइपलाइन प्रयोग के माध्यम से यह प्रदर्शित करता है कि जबकि साक्ष्य क्षरण (evidence degradation) के तहत संरचनात्मक अनुरूपता स्थिर रह सकती है या सुधर सकती है, वास्तविक विश्वसनीयता और डाउनस्ट्रीम चरणों की कार्यात्मक सफलता महत्वपूर्ण रूप से घट जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल दुनिया में, बड़े भाषा मॉडल (large language models) तेजी से केवल एकल प्रश्न-उत्तर देने वाली मशीनों के रूप में नहीं, बल्कि एक जटिल असेंबली लाइन के श्रमिकों के रूप में कार्य कर रहे हैं। इन बहु-चरणीय प्रणालियों में, एक मॉडल पहले जानकारी एकत्र कर सकता है, फिर एक निर्णय ले सकता है, फिर दूसरे मॉडल द्वारा उस निर्णय की जाँच करवाई जा सकती है, और अंत में कठिन मामलों को समीक्षा के लिए तीसरे मॉडल के पास भेजा जा सकता है। ऐसी प्रणाली के काम करने के लिए, एक कार्यकर्ता से अगले तक भेजी जाने वाली जानकारी का सटीक और पूर्ण होना आवश्यक है। यदि इस प्रक्रिया के दौरान जानकारी क्षतिग्रस्त, लुप्त या विरोधाभासी हो जाती है, तो अंतिम परिणाम गलत हो सकता है, भले ही श्रृंखला का प्रत्येक कार्यकर्ता नियमों का पूरी तरह से पालन कर रहा हो। शोधकर्ताओं के लिए चुनौती यह पता लगाना है कि एक ऐसी प्रणाली के बीच अंतर कैसे किया जाए जो केवल अपने स्वरूपण निर्देशों (formatting instructions) का पालन कर रही है और एक ऐसी प्रणाली के बीच जो वास्तव में उपलब्ध साक्ष्यों के आधार पर एक ठोस निर्णय ले रही है।
नैमुर रहमान द्वारा किया गया एक हालिया अध्ययन इसी समस्या की खोज करते हुए 'एविडेंस-स्टेट रिलायबिलिटी' (Evidence-State Reliability) नामक विश्वसनीयता को मापने का एक नया तरीका पेश करता है। यह अवधारणा एक सरल लेकिन महत्वपूर्ण प्रश्न पूछती है: क्या पाइपलाइन के एक विशिष्ट चरण के लिए उपलब्ध जानकारी उस चरण के कार्य को करने के लिए पर्याप्त अच्छी है? शोधकर्ता इसे "पार्सर वैलिडिटी" (parser validity) से अलग बताते हैं, जो एक बहुत ही सरल जाँच है जो केवल यह देखती है कि कंप्यूटर आउटपुट सतह पर कैसा दिखता है, जैसे कि उसका सही संरचना या प्रारूप होना। एक प्रतिक्रिया पूरी तरह से स्वरूपित और सिंटैक्टिक रूप से सही हो सकती है, जबकि वह टूटी हुई या अपर्याप्त जानकारी पर आधारित हो सकती है। यह अध्ययन जांच करता है कि जब सिस्टम में डाली गई जानकारी को जानबूझकर खराब किया जाता है—जैसे विवरण खो जाने तक संकुचित करना, आंशिक रूप से हटा देना, या विरोधाभासी संकेतों के साथ शोर युक्त बनाना—तो क्या सिस्टम अभी भी सही ढंग से कार्य कर सकता है।
इसका परीक्षण करने के लिए, शोधकर्ता ने वास्तविक उपभोक्ता वित्तीय शिकायतों से प्राप्त साठ स्वच्छताकृत (sanitized) मामलों का उपयोग करके एक नियंत्रित प्रयोग बनाया। प्रत्येक मामले को एक तीन-चरणीय पाइपलाइन के माध्यम से संसाधित किया गया था: एक निर्णय चरण, त्रुटियों की जाँच के लिए एक ऑडिट चरण, और कठिन समस्याओं को संभालने के लिए एक एस्केलेशन (escalation) चरण। प्रयोग ने इन साठ मामलों में से प्रत्येक को चार बार चलाया। पहले रन में बेसलाइन के रूप में स्वच्छ, पूर्ण जानकारी का उपयोग किया गया। अन्य तीन रन में क्षयकारी (degraded) संस्करणों का उपयोग किया गया: एक जहाँ पाठ को संकुचित किया गया और विवरण खो गए, एक जहाँ साक्ष्य के कुछ हिस्से बस गायब थे, और एक जहाँ साक्ष्य में विरोधाभासी या भ्रमित करने वाली जानकारी थी। कुल मिलाकर, अध्ययन में एक विशिष्ट बड़े भाषा मॉडल के साथ 720 अलग-अलग इंटरैक्शन शामिल थे, जिससे दबाव में सिस्टम के व्यवहार का एक विशाल डेटासेट तैयार हुआ।
परिणामों ने एक आश्चर्यजनक और संभावित रूप से खतरनाक विच्छेद (disconnect) का खुलासा किया। जब साक्ष्य को खराब किया गया, तो सिस्टम वास्तव में ऐसे आउटपुट उत्पन्न करने में बेहतर हो गया जो संरचनात्मक रूप से सही दिखते थे। जब जानकारी को संकुचित, लुगत या शोर युक्त किया गया, तो सभी चरणों में वैध, उचित रूप से स्वरूपित प्रतिक्रियाओं की दर बढ़ गई। हालांकि, साथ ही, कार्य को सफलतापूर्वक पूरा करने की सिस्टम की क्षमता तेजी से गिर गई। प्रत्येक क्षयकारी स्थिति में, सफल, साक्ष्य-आधारित परिणामों की दर शून्य हो गई। मॉडल पूर्ण दिखने वाली JSON फाइलें बना रहा था और अपने संरचनात्मक अनुबंधों का पालन कर रहा था, लेकिन वह सही निर्णय लेने या समस्याओं की पहचान करने में विफल रहा क्योंकि वह जानकारी जिसके साथ वह काम कर रहा था, अब पर्याप्त नहीं थी।
यह घटना, जिसे अध्ययन 'रिलायबिलिटी-लेयर डाइवर्जेंस' (reliability-layer divergence) कहता है, जिसका अर्थ है कि एक प्रणाली बाहर से काम करती हुई अच्छी लग सकती है जबकि उसका आंतरिक तर्क ढह रहा होता है। ऑडिट चरण, जो इन त्रुटियों को पकड़ने के लिए बनाया गया था, साक्ष्य के क्षय का पता लगाने में अत्यधिक प्रभावी था; इसने हर उस मामले में समस्या को चिह्नित किया जहाँ साक्ष्य क्षतिग्रस्त था। फिर भी, इस पहचान से समाधान नहीं हुआ। एस्केलेशन चरण, जिसे इन त्रुटियों से उबरने के लिए बनाया गया था, इन सभी क्षयकारी मामलों में सफल परिणाम बहाल करने में विफल रहा। सिस्टम जानता था कि कुछ गलत है, लेकिन उसके पास इसे ठीक करने या सही ढंग से आगे बढ़ने का कोई तरीका नहीं था।
अध्ययन ने प्रत्येक मामले के लिए घटनाओं के पूरे क्रम को भी देखा, और परिणामों को विभिन्न प्रकार की विफलताओं में वर्गीकृत किया। इसने पाया कि प्रायोगिक रन का एक बड़ा हिस्सा किसी न किसी रूप में विफलता में समाप्त हुआ, जिसमें सबसे आम मुद्दा यह था कि सिस्टम बस एक वैध आउटपुट उत्पन्न नहीं कर सका। हालांकि, उल्लेखनीय संख्या में मामले एक विशिष्ट श्रेणी में आए जहाँ सिस्टम ने क्षय का पता तो लगाया लेकिन उबरने में विफल रहा, और कुछ मामलों में तो ऐसा भी हुआ जहाँ एक वैध दिखने वाले ऑडिट ने झूठा आश्वासन दिया कि सब कुछ ठीक है। ये निष्कर्ष बताते हैं कि केवल इस बात पर निर्भर रहना कि कोई सिस्टम सही ढंग से स्वरूपित उत्तर उत्पन्न करता है, सुरक्षा या सटीकता सुनिश्चित करने के लिए पर्याप्त नहीं है।
अंततः, यह शोध प्रदर्शित करता है कि संरचनात्मक वैधता (structural validity) और साक्ष्य-आधारित सफलता दो अलग चीजें हैं जो विपरीत दिशाओं में जा सकती हैं। एक प्रणाली अपने स्वरूपण नियमों के प्रति अधिक अनुपालनशील हो सकती है और साथ ही वास्तविक कार्य को संभालने में कम सक्षम भी हो सकती है। अध्ययन यह दावा नहीं करता कि सभी बड़े भाषा मॉडल अविश्वसनीय हैं, न ही यह सुझाव देता है कि क्षय हमेशा आउटपुट को बेहतर बनाता है। इसके बजाय, यह एक विशिष्ट, मापा गया अवलोकन प्रदान करता है कि कैसे एक विशेष पाइपलाइन डिजाइन ने नियंत्रित क्षति के प्रति प्रतिक्रिया दी। यह कार्य मूल्यांकन के नए तरीकों की आवश्यकता पर प्रकाश डालता है जो निर्णय के समर्थन में साक्ष्य अभी भी कार्य के भार को संभालने के लिए पर्याप्त मजबूत है या नहीं, इसकी जाँच करने के लिए आउटपुट की सतह से परे देखते हैं। इन गहरे परीक्षणों के बिना, एक सिस्टम सुचारू रूप से चलता रह सकता है और पूर्ण दिखने वाली रिपोर्ट तैयार कर सकता है, भले ही उसके निर्णयों की गुणवत्ता चुपचाप खराब होती जा रही हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।