When Errors Become Narratives: A Longitudinal Taxonomy of Silent Failures in a Production LLM Agent Runtime
यह शोध पत्र एक प्रोडक्शन एलएलएम (LLM) एजेंट रनटाइम के एक अनुदैर्ध्य अध्ययन (longitudinal study) को प्रस्तुत करता है जो "फेल-प्लॉज़िबल" (fail-plausible) मौन विफलताओं की पहचान करता है—जहाँ सिस्टम त्रुटि संकेतों के बजाय विश्वसनीय लेकिन गलत आख्यान उत्पन्न करता है—और ऐसी एजेंट विफलताओं को मुखर, उत्तरदायी और उबाऊ बनाने के लिए एक पांच-वर्ग वर्गीकरण और रक्षा ढांचा प्रस्तावित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, अथक व्यक्तिगत सहायक रोबोट है। यह 24/7 काम करता है, आपका कैलेंडर चेक करता है, समाचार पढ़ता है, आपके ईमेल का सारांश बनाता है और आपको दैनिक रिपोर्ट भेजता है। आप इस पर पूरी तरह भरोसा करते हैं।
लेकिन डरावना हिस्सा यह है: कभी-कभी, यह रोबोट गलती करता है, लेकिन "अरे, मुझसे गलती हो गई" कहने के बजाय, यह चुपचाप एक गलती को सुधारने के लिए एक परफेक्ट दिखने वाला झूठ गढ़ता है और आपको भेज देता है। यह क्रैश नहीं होता; यह कोई अलार्म नहीं बजाता। यह बस आपको पूरे आत्मविश्वास के साथ कुछ ऐसा बताता है जो सच नहीं है, और क्योंकि यह बहुत ही प्रवाहपूर्ण और तार्किक लगता है, आप उस पर विश्वास कर लेते हैं।
यह शोध पत्र एक विस्तृत रिपोर्ट है जिसमें एक शोधकर्ता ने देखा कि उनका अपना AI सहायक वास्तविक दुनिया में आठ सप्ताह तक कैसे चला। उन्होंने पाया कि सबसे बड़ा खतरा तब नहीं होता जब रोबक टूटकर रुक जाता है; बल्कि तब होता है जब यह चुपचाप टूटता है और आपसे झूठ बोलता है।
यहाँ उनके निष्कर्षों का विवरण दिया गया है, सरल उपमाओं का उपयोग करते हुए:
1. मुख्य समस्या: "फेल-प्लॉसिबल" (Fail-Plausible)
पुराने कंप्यूटर सिस्टम में, एक "साइलेंट फेलियर" (मौन विफलता) का अर्थ था कि मशीन काम करना बंद कर देती थी, लेकिन लाइटें हरी रहती थीं। सिस्टम टूटा हुआ था, लेकिन किसी को पता नहीं था।
इस नई AI दुनिया में, समस्या इससे भी बदतर है। शोध पत्र इसे "फेल-प्लॉसिबल" कहता है।
- उपमा: कल्पना कीजिए कि एक शेफ ने स्टेक जला दिया। उसे फेंकने या आपको बताने के बजाय, शेफ उस जले हुए स्टेक को एक शानदार सॉस से ढक देता है और आपको परोसते हुए कहता है, "यह एक नया 'चार्ड डेलिकेसी' (भुना हुआ व्यंजन) रेसिपी है।"
- वास्तविकता: AI एक त्रुटि देखता है (जैसे कि टूटा हुआ इंटरनेट कनेक्शन या कोई अजीब कंप्यूटर कोड), लेकिन रुकने के बजाय, यह अपनी भाषा कौशल का उपयोग करके उस त्रुटि को एक सहज, विश्वसनीय कहानी में बदल देता है। यह आपको बता सकता है कि "एक प्रमुख टेक कंपनी में संकट है", जबकि वास्तव में, इसने केवल एक एरर कोड देखा था जो संकट जैसा लग रहा था।
2. पाँच तरीके जिनसे रोबोट चुपचाप रास्ता भटक जाता है
शोधकर्ता ने 22 अलग-अलग घटनाओं को "साइलेंट फेलियर" के पांच प्रकारों में वर्गीकृत किया:
- A. "अलग घर" वाली समस्या (पर्यावरण की विचित्रता): रोबोट को एक आदर्श, धूप वाले घर (डेवलपर के कंप्यूटर) में प्रशिक्षित किया गया था, लेकिन यह एक हवादार, पुराने घर (वास्तविक सर्वर) में रहता है। यह एक ऐसा दरवाजा खोलने की कोशिश करता है जो धूप वाले घर में मौजूद है लेकिन वास्तविक घर में ईंटों से बंद है। रोबट सोचता है कि वह काम कर रहा है, लेकिन वास्तव में वह फंसा हुआ है।
- B. "गलत नक्शा" वाली समस्या (डिज़ाइन धारणाएं): रोबोट मान लेता है कि एक फाइल हमेशा किचन में होती है। लेकिन वास्तविक दुनिया में, फाइल गैरेज में है। रोबोट किचन में देखता है, कुछ नहीं पाता, और बिना जांचे गैरेज में क्या है इसका अनुमान लगाने लगता है। यह परीक्षणों में ठीक से काम करता है (जहाँ फाइल किचन में थी) लेकिन वास्तविकता में विफल हो जाता है।
- C. "फुसफुसाती त्रुटि" वाली समस्या (एरर स्वैलोइंग): रोबोट एक गलती करता है, लेकिन त्रुटि की रिपोर्ट करने वाला सिस्टम का हिस्सा दबे स्वर में आ जाता है। यह एक स्मोक अलार्म की तरह है जो धुआं तो देखता है लेकिन इतना धीरे से "बीप" करता है कि कोई सुन नहीं पाता। त्रुटि होती है, लेकिन चेतावनी से सभी उपयोगी जानकारी छीन ली जाती है।
- D. "झूठा कहानीकार" वाली समस्या (फेल-प्लॉसिबल): यह सबसे खतरनाक है। रोबोट को खराब डेटा (जैसे कि एक टूटा हुआ एरर मैसेज) मिलता है, और वह उस कचरे को एक परफेक्ट, आत्मविश्वासी कहानी में बदल देता है। यह केवल त्रुटि को छिपा नहीं रहा है; यह सक्रिय रूप से एक झूठ गढ़ रहा है जो एक वास्तविक अंतर्दृष्टि जैसा लगता है।
- E. "भूल गया कदम" वाली समस्या (ऑपरेशनल ओमिशन): रोबोट को एक कार्य करना था, लेकिन इंसान अंतिम स्विच दबाना भूल गया जिससे इसे चालू किया जा सके। या, रोबोट के काम करने की जाँच करने वाला टूल खराब है, इसलिए वह इंसान को बताता है, "सब कुछ ठीक है!" जबकि रोबोट हफ्तों से मृत पड़ा है।
3. बड़ी आश्चर्यजनक बातें
शोधकर्ता ने तीन चीजें पाईं जो सामान्य ज्ञान के विपरीत हैं:
आश्चर्य #1: रोबोट का "सेफ्टी नेट" कुछ भी पकड़ नहीं पाया।
सिस्टम में 4,000 से अधिक स्वचालित परीक्षण और सैकड़ों जाँचें थीं। वे सभी "ग्रीन" (पास) थे, भले ही रोबोट उपयोगकर्ता से झूठ बोल रहा था।- सबक: इन झूठों को केवल एक इंसान द्वारा रोबोट के आउटपुट को वास्तव में पढ़ने से पकड़ा गया। लगभग 70% समय, एक इंसान ने गौर किया, "रुको, यह कहानी समझ में नहीं आ रही है," और केवल वही एकमात्र अलार्म था जो बजा।
आश्चर्य #2: जाँच "बाद में होने वाली" चीज़ों के लिए है, "पहले" के लिए नहीं।
शोधकर्ता ने अपनी सुरक्षा नियमों की पिछली गलतियों के विरुद्ध जाँच की। नियमों ने पिछली गलतियों को दोबारा होने से 87% बार रोका, लेकिन वे नई प्रकार की गलतियों की 0% भविष्यवाणी कर पाए।- सबक: सुरक्षा जाँच एक सीटबेल्ट की तरह है; वे आपको ज्ञात तरीके से दोबारा चोट लगने से रोकते हैं, लेकिन वे एक बिल्कुल नए प्रकार के क्रैश की भविष्यवाणी नहीं कर सकते।
आश्चर्य #3: सबसे लंबे मौन "सीम्स" (Seams) में होते हैं।
सबसे लंबे समय तक चलने वाली गलतियाँ (60 दिनों तक!) जटिल, कठिन-से-समझने वाले कोड में नहीं हुईं। वे "सीम्स" में हुईं—सिस्टम के विभिन्न हिस्सों के बीच के छोटे अंतराल में।- उपमा: इंजन नहीं टूटता; बल्कि इंजन और एग्जॉस्ट पाइप के बीच का छोटा रबर गास्केट टूट जाता है। क्योंकि कोई विशेष रूप से गास्केट का परीक्षण नहीं करता है, इसलिए रिसाव महीनों तक अनसुना रह जाता है।
4. इसे कैसे ठीक करें (द "डिसिप्लिन")
शोधकर्ता ने केवल अधिक अलार्म नहीं जोड़े। उन्होंने महसूस किया कि अधिक अलार्म जोड़ने से केवल ऐसे और अधिक "सीम्स" बन जाते हैं जहाँ चीजें टूट सकती हैं। इसके बजाय, उन्होंने एक प्रणाली बनाई जो गंदगी को साफ करने पर आधारित थी:
- "सनसेट लॉ" (Sunset Law): एक नया सुरक्षा नियम जोड़ने से पहले, आपको एक पुराना, अनावश्यक नियम हटाना होगा। सिस्टम को सरल रखें।
- "ट्रुथ मशीन" (Truth Machine): उन्होंने एक प्रणाली बनाई जो लगातार यह जाँचती है कि रोबोट का "प्लान" उस योजना से मेल खाता है जो रोबोट वास्तव में कर रहा है। यदि प्लान कहता है "Job A चल रहा है" लेकिन कंप्यूटर कहता है "Job A बंद है," तो सिस्टम इसे स्वचालित रूप से ठीक कर देता है।
- "सबोटेज टेस्ट" (Sabotage Test): उन्होंने जानबूझकर सिस्टम को तोड़ने की कोशिश की ताकि यह देख सकें कि सुरक्षा गार्ड जागेंगे या नहीं। यदि कोई गार्ड नहीं जागा, तो उन्होंने उसे फेंक दिया और एक बेहतर बनाया।
- "मानवीय आँख" (Human Eye): उन्होंने स्वीकार किया कि एक इंसान द्वारा आउटपुट को पढ़ना सबसे महत्वपूर्ण सुरक्षा जाँच है। उन्होंने हर सप्ताह केवल रोबोट द्वारा लिखे गए कंटेंट को पढ़ने के लिए समय निर्धारित किया, जिसमें कोई कोडिंग नहीं की गई।
निचोड़
शोध पत्र का निष्कर्ष है कि AI के बारे में सबसे डरावनी बात यह नहीं है कि यह क्रैश होकर काम करना बंद कर देगा। सबसे डरावनी बात यह है कि यह पूरी तरह से काम करता रहेगा, पूर्ण व्याकरण के साथ बोलेगा, और आपको एक ऐसे संकट के बारे में आत्मविश्वासी, विस्तृत कहानी बताएगा जो कभी हुआ ही नहीं।
समाधान अधिक परीक्षणों की एक बड़ी दीवार बनाना नहीं है; यह एक ऐसी प्रणाली बनाना है जहाँ त्रुटियाँ स्पष्ट हों, जहाँ इंसान अंतिम निर्णायक हो, और जहाँ सिस्टम लगातार यह जाँचता रहे कि वह खुद से झूठ तो नहीं बोल रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।