Code Agents under Split Specifications: An Empirical Study of Silent Failure in System Integration

सॉफ्टवेयर की दुनिया में, विभिन्न कंप्यूटर सिस्टमों को अक्सर काम पूरा करने के लिए एक-दूसरे से बात करने की आवश्यकता होती है। एक सिस्टम तारीख को "दिन पहले" लिखकर भेज सकता है, जबकि दूसरा "महीना पहले" की अपेक्षा करता है। एक सिस्टम पैसों को सेंट में गिन सकता है, जबकि दूसरा डॉलर में गिनता है। ये छोटे अंतर आमतौर पर रहस्यमय नहीं होते; ये ऐसे तथ्य हैं जिन्हें कहीं न कहीं किसी ने दर्ज किया है। चुनौती तब उत्पन्न होती है जब एक नए प्रकार के कार्यकर्ता, एक आर्टिफिशियल इंटेलिजेंस (AI) एजेंट, को इन दो सिस्टमों के बीच सेतु बनाने के लिए कहा जाता है। ये एजेंट शक्तिशाली उपकरण हैं जो विभिन्न प्रोग्रामों को जोड़ने के लिए कंप्यूटर कोड लिख सकते हैं। हालाँकि, वे एक सरल नियम पर काम करते हैं: वे केवल उसी जानकारी का उपयोग कर सकते हैं जो उन्हें उनके निर्देशों में दी गई है। यदि निर्देशों में यह नहीं बताया गया है कि तारीख "दिन पहले" है या "महीना पहले", तो एजेंट को उत्तर ज्ञात नहीं हो सकता। उसे एक चुनाव करना ही होगा।

इस स्थिति में खतरा यह नहीं है कि एजेंट क्रैश हो जाता है या काम करना बंद कर देता है। खतरा यह है कि वह पूरी तरह से काम करता रहता है, लेकिन गलत उत्तर देता है। इसे 'साइलेंट फेलियर' (silent failure) या मूक विफलता कहा जाता है। कोड बिना किसी त्रुटि के चलता है, बुनियादी परीक्षणों को पास करता है, और एक मानव समीक्षक को सही दिखता है, फिर भी यह अगले सिस्टम को गलत डेटा भेज देता है। यह व्यवसायों और संगठनों के लिए एक गंभीर समस्या है क्योंकि त्रुटि तुरंत दिखाई नहीं देती। इसके बजाय, गलत नंबर नीचे की ओर प्रवाहित होते हैं, रिकॉर्ड, वित्तीय रिपोर्ट और निर्णयों को तब तक दूषित करते हैं जब तक कि किसी को पता न चले कि कुछ टूटा हुआ है। शोधकर्ताओं ने जो प्रश्न पूछा था वह सरल था: जब इन बुद्धिमान एजेंटों को ऐसे लापता तथ्य का सामना करना पड़ता है जिसे वे अनुमान नहीं लगा सकते, तो क्या वे रुक जाते हैं और मदद मांगते हैं, या वे आत्मविश्वास के साथ अनुमान लगाते हैं और सिस्टम को खराब कर देते हैं?

एक शोधकर्ता ने ठीक से यह मापने के लिए कि ऐसा कितनी बार होता है, एक योजना बनाई। उन्होंने वास्तविक कार्यों की एक श्रृंखला बनाई जहाँ एक आर्टिफिशियल इंटेलिजेंस एजेंट को दो सिस्टमों को जोड़ने के लिए कोड लिखने का कार्य दिया गया। इन कार्यों में से कुछ में, एजेंट को वह लापता तथ्य दिया गया था, जैसे कि स्पष्ट रूप से बताया गया था कि तारीखें "दिन पहले" वाली हैं। अन्य कार्यों में, तथ्य छिपा हुआ था, और एजेंट को या तो प्रश्न पूछने की अनुमति दी गई थी या प्रश्न पूछे बिना कोड लिखने के लिए मजबूर किया गया था। उन्होंने इसे आठ अलग-अलग आर्टिफिशियल इंटेलिजेंस मॉडलों के साथ परखा, जिनमें छोटे, ओपन-सोर्स प्रोग्रामों से लेकर आज के सबसे उन्नत सिस्टम तक शामिल थे। शोधकर्ता ने केवल यह नहीं देखा कि कोड चल रहा है या नहीं; उन्होंने यह भी जांचा कि क्या कोड हर संभावित परिदृश्य के लिए सही उत्तर देता है, जिसमें वे पेचीदा मामले भी शामिल हैं जो उस लापता तथ्य पर निर्भर करते हैं।

परिणामों ने इस बात का खुलासा किया कि ये सिस्टम कैसे काम करते हैं। जब एजेंटों को लापता तथ्य दिया गया था, तो वे अत्यधिक सफल रहे, लगभग अठासी प्रतिशत बार सही कनेक्शन बनाने में सक्षम रहे। इससे यह सिद्ध हुआ कि यदि उनके पास आवश्यक जानकारी हो, तो एजेंट काम करने में सक्षम थे। हालाँकि, जब तथ्य गायब था और एजेंटों को प्रश्न पूछने से रोका गया था, तो स्थिति नाटकीय रूप से बदल गई। एजेंट रुके नहीं; उन्होंने भ्रमित होने की बात नहीं कही। इसके बजाय, उन्होंने एक परंपरा चुनी और कोड लिखा। इन साठ-दो प्रतिशत मामलों में, उनके द्वारा लिखा गया कोड एक 'साइलेंट फेलियर' था। यह सुचारू रूप से चला, एकदम सही दिखा, लेकिन गलत मान (value) वापस लौटा। यह बिना किसी त्रुटि के हुआ, चाहे मॉडल कितना भी उन्नत क्यों न हो। यहाँ तक कि सबसे शक्तिशाली सिस्टम भी, जो तथ्य मिलने पर समस्या को पूरी तरह से हल कर सकते थे, तथ्य न मिलने पर लगभग आधे समय मूक विफलता का शिकार हुए।

अध्ययन ने यह भी जांचा कि क्या केवल एजेंट को प्रश्न पूछने की अनुमति देने से समस्या ठीक हो जाएगी। शोधकर्ता ने पाया कि उत्तर पूरी तरह से इस पर निर्भर करता है कि सुनने वाला कौन है। जब सबसे उन्नत मॉडलों को प्रश्न पूछने की अनुमति दी गई, तो उन्होंने लगभग हर बार प्रश्न पूछा। उन्होंने अनुमान नहीं लगाया; उन्होंने सत्य की खोज की। हालाँकि, यदि वहाँ उत्तर देने के लिए कोई नहीं था, तो एकीकरण (integration) रुक गया। काम थम गया, और कोई कोड तैयार नहीं हुआ। यह एक अलग प्रकार की विफलता है, लेकिन यह भी एक विफलता ही है। शोधकर्ता ने पाया कि सिस्टम के काम करने के लिए, पाइपलाइन—वह प्रक्रिया जो एजेंट को चलाती है—को इस तरह डिज़ाइन किया जाना चाहिए कि वह एजेंट के प्रश्न को किसी मानव या साथी सिस्टम तक पहुँचा सके जो उत्तर दे सके। केवल एक खुला चैनल होना पर्याप्त नहीं है यदि उत्तर देने के लिए कोई उपलब्ध न हो।

शोधकर्ता ने एक सुरक्षा नियम का भी परीक्षण किया जहाँ एजेंट को निर्देश दिया गया था कि यदि उसे लापता तथ्य ज्ञात नहीं है, तो वह कोड लिखने से मना कर दे। इस नियम ने मूक विफलताओं को सफलतापूर्वक समाप्त कर दिया, जिससे त्रुटि दर लगभग शून्य हो गई। हालाँकि, इसकी एक भारी कीमत थी। एजेंट ने कोड लिखने से इनकार कर दिया, भले ही उत्तर उपलब्ध जानकारी से निकाला जा सकता था। इसके कारण सिस्टम उन कार्यों पर काम करने से रुक गया जिन्हें वह आसानी से हल कर सकता था, जिससे सफलता दर इक्यासी प्रतिशत से घटकर केवल अठारह प्रतिशत रह गई। अध्ययन ने निष्कर्ष निकाला कि समाधान एजेंटों को अधिक स्मार्ट बनाने या उन्हें अधिक सतर्क होने के लिए मजबूर करने में नहीं है। समाधान स्वयं प्रक्रिया के डिज़ाइन में निहित है। सिस्टम को यह पहचानने के लिए बनाया जाना चाहिए कि किसी संगठनात्मक सीमा के पार कोई तथ्य गायब है और उस प्रश्न को उस व्यक्ति या सिस्टम तक पहुँचाना चाहिए जो उत्तर दे सके। इस विशिष्ट वायरिंग के बिना, सबसे सक्षम आर्टिफिशियल इंटेलिजेंस भी आत्मविश्वास के साथ एक ऐसा पुल बनाएगा जो गलत दिशा में ले जाता है।