Closing the Verification Loop in Generative Development: An External Transactional State Machine and a Field Evaluation of Its Economics and Convergence
यह शोध पत्र यह प्रदर्शित करता है कि पुनरुत्पादनीय, दोहरी-सत्यापित तत्परता मानदंडों को लागू करने के लिए एक बाहरी ट्रांसेक्शनल स्टेट मशीन को लागू करना, जनरेटिव डेवलपमेंट को एक ओपन-लूप राय-आधारित प्रक्रिया से एक क्लोज्ड-लूप सिस्टम में बदल देता है जो विविध मॉडलों के बीच कार्यात्मक तुल्यता प्राप्त करता है और अंततः कुल लागत को कम करता है तथा ह्यूमन-इन-द-लूप निष्कासन को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सॉफ्टवेयर निर्माण के आधुनिक परिदृश्य में, एक नए प्रकार के कार्यकर्ता का उदय हुआ है: वह कृत्रिम बुद्धिमत्ता (AI) जो कंप्यूटर कोड लिखती है। ये प्रणालियाँ किसी मनुष्य द्वारा दिए गए कार्य के विवरण को लेकर आश्चर्यजनक गति से काम करने वाले प्रोग्राम तैयार कर सकती हैं। हालाँकि, एक मौलिक समस्या बनी हुई है: जबकि मशीन कोड तो उत्पन्न कर सकती है, लेकिन वह यह विश्वसनीय रूप से निर्धारित नहीं कर सकती कि काम वास्तव में कब समाप्त हुआ है। वर्तमान प्रक्रिया अक्सर "लिखो और विश्वास करो" का मामला होती है, जहाँ एक मानव या स्वयं मशीन यह अनुमान लगाती है कि परिणाम काम कर रहा है या नहीं, जिससे बाद में छिपी हुई त्रुटियाँ और महंगे सुधार सामने आते हैं। यह अनिश्चितता इस बात के बीच एक अंतर पैदा करती है कि ग्राहक क्या चाहता है और सॉफ्टवेयर वास्तव में क्या करता है। इसे हल करने के लिए, शोधकर्ता यह पता लगाने की कोशिश कर रहे हैं कि क्या एक कठोर, बाहरी प्रणाली एक निष्पक्ष न्यायाधीश के रूप में कार्य कर सकती है, जो "काम पूरा होने" की व्यक्तिपरक राय को एक सत्यापन योग्य तथ्य में बदल सके।
स्वतंत्र विद्वान एंटन एन. स्मोलिन ने इस विचार का परीक्षण करने के लिए एक बड़े पैमाने के क्षेत्र प्रयोग (field experiment) के माध्यम से इसकी जांच करने का निर्णय लिया। उन्होंने एक विशेष प्रणाली बनाई, जिसे वे एक 'एक्सटर्नल ट्रांसेक्शनल स्टेट मशीन' कहते हैं, ताकि सॉफ्टवेयर विकास के लिए एक स्थायी, अपरिवमानशील रेफरी के रूप में कार्य किया जा सके। उन मानक उपकरणों के विपरीत जो केवल एक बातचीत के भीतर रहते हैं और चैट समाप्त होते ही गायब हो जाते हैं, यह मशीन आवश्यकताओं और खेल के नियमों को हमेशा के लिए अपने पास रखती है। यह उन जाँचों की एक सख्त सूची संग्रहीत करती है जिन्हें सॉफ्टवेयर को पास करना ही होगा, यह सुनिश्चित करने के लिए कि परिणाम वास्तविक हैं न कि केवल भाग्यशाली दुर्घटनाएँ, यह प्रत्येक परीक्षण को एक स्वच्छ वातावरण में दो बार चलाती है, और "तैयार" या "तैयार नहीं" का एक हस्ताक्षरित निर्णय जारी करती है। मशीन अनुमान नहीं लगाती; वह मापती है। यदि सॉफ्टवेयर विफल होता है, तो मशीन विफलता का एक विशिष्ट, नामित कारण प्रदान करती है, और यह प्रक्रिया तब तक दोहराई जाती है जब तक कि नियमों को पूरा न कर लिया जाए।
यह दृष्टिकोण वास्तव में कैसे काम करता है, यह देखने के लिए, शोधकर्ताओं ने पच्चीस अलग-अलग सॉफ्टवेयर कार्यों को शामिल करते हुए एक कठोर तुलना डिजाइन की। ये कार्य इमेज प्रोसेसिंग टूल्स से लेकर नेटवर्क रिले और फाइल जनरेटर तक थे, जो पाँच अलग-अलग प्रोग्रामिंग भाषाओं को कवर करते थे। उन्होंने प्रत्येक कार्य को तीन अलग-अलग तरीकों से तीन बार चलाया। सबसे पहले, उन्होंने उनकी नई मशीन द्वारा निर्देशित एक शक्तिशाली, महंगी AI मॉडल का उपयोग किया। दूसरा, उन्होंने मशीन द्वारा निर्देशित एक सस्ते, तेज़ AI मॉडल का उपयोग किया। तीसरा, उन्होंने शक्तिशाली AI मॉडल को बिना मशीन के अकेले काम करने दिया, जो मानक "लिखो और विश्वास करो" दृष्टिकोण की नकल करता है। महत्वपूर्ण रूप से, उन्होंने मशीन द्वारा निर्धारित सख्त, बाइट-दर-बाइट अपेक्षाओं के विरुद्ध एकल प्रयास की तुलना करने के लिए एक चौथे, स्वतंत्र न्यायाधीश को नियुक्त किया। इस न्यायाधीश के पास कोड को संपादित करने या बहाने बनाने का अधिकार नहीं था; इसने केवल यह जाँच की कि क्या आउटपुट नियमों से सटीक रूप से मेल खाता है।
परिणामों ने दोनों दृष्टिकोणों के बीच एक स्पष्ट अंतर प्रकट किया। जब AI अकेले काम करता था, तो उसने ऐसा कोड बनाया जिसका कार्यात्मक मूल (functional core) लगभग हमेशा बाइट-दर-बाइट सही था, लेकिन आउटपुट विस्तृत जाँच पंक्तियों में 78% मामलों में सख्त संदर्भ से भिन्न था। ये विचलन कार्यात्मक दोष नहीं थे बल्कि प्रोटोकॉल, डायग्नोस्टिक्स और फॉर्मेटिंग में अंतर थे। हालाँकि, मशीन ने यह सुनिश्चित किया कि उनके द्वारा निर्देशित दोनों महंगे और सस्ते AI मॉडल ने अपने द्वारा चलाए गए प्रत्येक कार्य के लिए सत्यापित परिणाम दिए। मशीन ने सिस्टम-निर्देशित रन में सभी पच्चीस कार्यों के लिए सत्यापित सॉफ्टवेयर सफलतापूर्वक वितरित किया, चाहे जो भी AI मॉडल लेखन कर रहा हो। शोधकर्ताओं ने पाया कि एकल प्रयासों में "विफलताएं" शायद ही कभी इस बारे में थीं कि सॉफ्टवेयर का मुख्य कार्य काम कर रहा है या नहीं; इसके बजाय, वे त्रुटि संदेशों, एग्जिट कोड और फॉर्मेटिंग जैसे छोटे विवरणों के बारे में थीं। ये वे सटीक विवरण हैं जिन्हें एक अनुबंध को परिभाषित करना चाहिए, लेकिन जिसे एक मानव या एकल AI अक्सर अलग तरह से व्याख्या करता है।
शायद सबसे आश्चर्यजनक निष्कर्ष लागत और दक्षता के संबंध में था। शोधकर्ताओं ने शुरू में नोट किया कि क्लोज्ड लूप का प्राथमिक लाभ "रिकोंसाइलेबिलिटी (reconcilability), न कि टोकन अर्थव्यवस्था" था, क्योंकि एकल पथ कच्चे टोकन उपयोग में सस्ता दिखाई दे रहा था। हालाँकि, जब उन्होंने पूर्ण लागत का हिसाब लगाया—जिसमें एकल AI की गलतियों को ठीक करने के लिए एक मानव को आवश्यक समय भी शामिल था—तो मशीन-निर्देशित पथ अधिक सस्ता साबित हुआ। एकल AI, जो लेखन के क्षण में तेज़ था, इतनी सारी छोटी त्रुटियाँ उत्पन्न करता था कि एक मानव को उन्हें ठीक करने में घंटों बिताने पड़ते थे, एक ऐसी लागत जिसे मशीन प्रणाली ने पूरी तरह से समाप्त कर दिया। इसके अलावा, शोधकर्ताओं ने पाया कि उच्च गुणवत्ता वाले परिणामों के लिए महंगी, शक्तिशाली AI मॉडल की आवश्यकता नहीं थी। सस्ता AI मॉडल, मशीन द्वारा निर्देशित होने पर, महंगे वाले के समान ही सटीक आउटपुट प्रदान करता था, जिसमें केवल थोड़ा अधिक समय लगता था लेकिन उसकी कीमत का एक अंश ही खर्च होता था।
अध्ययन ने यह भी प्रदर्शित किया कि मशीन न्यूनतम मानवीय हस्तक्षेप के साथ अधिकांश कार्यों के साथ काम कर सकती है। जब AI को उस बिंदु पर सामना करना पड़ा जहाँ निर्देश अस्पष्ट थे, तो मशीन ने एक पूर्व-रिकॉर्डेड डिफ़ॉल्ट निर्णय लागू किया और इसे लॉग किया, जिससे प्रक्रिया जारी रह सकी। प्रारंभिक प्रयोग में, बहत्तर ऐसे 'फोर्क्स' को मशीन के डिफ़ॉल्ट्स द्वारा बिना किसी लाइव मानव उत्तर के बंद कर दिया गया था। एक बाद के प्रतिकृति तरंग (replication wave) में, ऑपरेटर की भागीदारी केवल 40 में से 7 सेल में ट्रिगर हुई, जबकि मशीन ने शेष को स्वायत्त रूप से हल किया। शोधकर्ताओं ने निष्कर्ष निकाला कि इस प्रणाली का मूल्य केवल पैसा बचाने में नहीं है, बल्कि "रिकोंसाइलेबिलिटी" बनाने में है। यह एक समाप्त उत्पाद की अस्पष्ट अवधारणा को एक हस्ताक्षरित, पुनरुत्पादक तथ्य में बदल देता है जिसे कोई भी समय पर सत्यापित कर सकता है। नियमों को बातचीत से बाहर ले जाकर और उन्हें स्थायी बनाकर, यह प्रणाली उस अस्पष्टता को दूर करती है जो आमतौर पर जेनेरेटिव डेवलपमेंट को प्रभावित करती है, यह सिद्ध करती है कि एक मशीन वास्तव में सत्यापन के चक्र को पूरा कर सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।