← नवीनतम पेपर
💻 computer science

OmegaUse-SOP: SOP Engineering for Professional Computer Use from Human Demonstrations

यह शोध पत्र OmegaUse-SOP को प्रस्तुत करता है, जो एक ह्यूमन-इन-द-लूप सिस्टम है जो विशेषज्ञ प्रदर्शनों (expert demonstrations) को GUI एजेंटों के लिए पुन: प्रयोज्य, डोमेन-विशिष्ट मानक संचालन प्रक्रिया (SOP) कौशल में परिवर्तित करता है, जिससे फोटोवोल्टिक सिमुलेशन वर्कफ़्लो जैसे जटिल पेशेवर वातावरणों में उनकी विश्वसनीयता में महत्वपूर्ण सुधार होता है।

मूल लेखक: Yixiong Xiao

प्रकाशित 2026-08-20
📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Yixiong Xiao

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक ऐसे कंप्यूटर प्रोग्राम की कल्पना करें जो स्क्रीन को देख सकता है, देख रहा है जिसे वह समझ सकता है, और इंसानों की तरह बटन क्लिक कर सकता है या टेक्स्ट टाइप कर सकता है। यह "GUI एजेंट" का वादा है, जो एक प्रकार का आर्टिफिशियल इंटेलिजेंस (AI) है जिसे डिजिटल दुनिया में नेविगेट करने के लिए डिज़ाइन किया गया है—कोड पढ़कर नहीं, बल्कि उन ग्राफिकल इंटरफेस को देखकर और उनके साथ बातचीत करके जिनका हम रोज़ाना उपयोग करते हैं। हालाँकि ये एजेंट सरल कार्यों में काफी कुशल हो गए हैं, लेकिन जटिल, पेशेवर नौकरियों का सामना करते समय ये अक्सर लड़खड़ा जाते हैं। वास्तविक दुनिया का काम शायद ही कभी सीधा होता है; इसमें छिपे हुए नियम, विशिष्ट सॉफ़्टवेयर आदतें और ऐसे चरण शामिल होते हैं जिन्हें बार-बार जांचा और परखा जाना चाहिए। जब एक एजेंट इन बारीकियों को समझे बिना किसी पेशेवर कार्य को करने की कोशिश करता है, तो वह अक्सर भटक जाता है, किसी महत्वपूर्ण विवरण को छोड़ देता है, या गलत क्रिया कर देता है। चुनौती केवल एजेंट को स्मार्ट बनाने की नहीं है, बल्कि उसे उन विशिष्ट, अलिखित प्रक्रियाओं को सिखाने की है जिनका उपयोग विशेषज्ञ काम को सही ढंग से पूरा करने के लिए करते हैं।

बाइडू (Baidu) के एक शोधकर्ता और चीन की एक पावर इंजीनियरिंग कंपनी ने इस समस्या को हल करने के लिए एक नई प्रणाली विकसित की है, जिसे OmegaUse-SOP कहा जाता है। इसका मूल विचार यह है कि जिस तरह से मनुष्य जटिल सॉफ़्टवेयर कार्यों को करते हैं, उसे निर्देशों के एक सेट के रूप में माना जाए जिसे कैप्चर, परिष्कृत और पुन: उपयोग किया जा सके। वे इस प्रक्रिया को "SOP इंजीनियरिंग" कहते हैं, जिसका अर्थ है "स्टैंडर्ड ऑपरेटिंग प्रोसीजर (मानक संचालन प्रक्रिया) इंजीनियरिंग"। इसे एक कुशल शिल्पकार के वर्कफ़्लो को एक विश्वसनीय मार्गदर्शिका में बदलने के रूप में समझें जिसे मशीन आसानी से पालन कर सके। केवल किसी व्यक्ति को बटन क्लिक करते हुए वीडियो रिकॉर्ड करने के बजाय, यह प्रणाली मानव विशेषज्ञ को देखती है, वह क्या कर रहा है उसे समझती है, और फिर उन क्रियाओं को स्पष्ट, तार्किक चरणों में फिर से लिखती है जिसे एक कंप्यूटर समझ सके और नई स्थितियों के अनुकूल बन सके।

यह प्रणाली चार अलग-अलग चरणों के माध्यम से काम करती है जो एक लूप (चक्र) में चलते हैं। सबसे पहले, "ऑब्जर्व" (Observe) मॉड्यूल एक मानव विशेषज्ञ को कंप्यूटर पर कार्य करते हुए देखता है। यह हर माउस क्लिक, कीबोर्ड प्रेस और स्क्रीन परिवर्तन को रिकॉर्ड करता है, और प्रत्येक क्रिया से ठीक पहले स्क्रीन की एक तस्वीर सहेजता है। यह एक विस्तृत लॉग बनाता है कि वास्तव में क्या हुआ और उस क्षण स्क्रीन कैसी दिख रही थी। इसके बाद, "रीज़न" (Reason) मॉड्यूल इस कच्चे लॉग को लेता है और इसे सरल भाषा में अनुवादित करता है। यह एक विशिष्ट स्थान पर क्लिक को देखता है और यह पता लगाता है कि मानव वास्तव में एक "प्रोजेक्ट नेम" फ़ील्ड को चुन रहा था, न कि केवल एक यादृच्छिक निर्देशांक (coordinate) पर क्लिक कर रहा था। यह तकनीकी घटनाओं की सूची को एक कहानी में बदल देता है: "प्रोजेक्ट नाम बॉक्स पर क्लिक करें, फिर नाम टाइप करें।" यह चरण अत्यंत महत्वपूर्ण है क्योंकि यह कंप्यूटर को क्रिया के केवल मूवमेंट (गति) को ही नहीं, बल्कि उसके अर्थ को समझने में मदद करता है।

एक बार जब चरण समझ लिए जाते हैं, तो "कॉन्फ़िगर" (Configure) चरण एक मानव उपयोगकर्ता को विशिष्ट नियम और वेरिएबल्स जोड़ने की अनुमति देता है। पेशेवर काम में, एक ही कार्य को हर बार अलग नंबरों या सेटिंग्स के साथ करने की आवश्यकता हो सकती है। यह मॉड्यूल उपयोगकर्ता को निर्देशों के कुछ हिस्सों को परिवर्तनशील (changeable) के रूप में चिह्नित करने की अनुमति देता है, ताकि एजेंट को पता चल सके कि नए काम के लिए किन मूल्यों को बदलना है। अंत में, "एग्जीक्यूट" (Execute) मॉड्यूल योजना को क्रियान्वित करता है। एजेंट वर्तमान स्क्रीन को देखता है, अपने निर्देशों में सही चरण ढूँढता है, और क्रिया करता है। प्रत्येक चरण के बाद, वह जाँच करता है कि क्या स्क्रीन उसी तरह बदली जैसा कि अपेक्षित था। यदि कुछ गलत दिखता है, तो वह रुक सकता है और मदद के लिए इंसान से पूछ सकता है, या फिर से प्रयास कर सकता है। देखने, समझने, समायोजित करने और कार्य करने का यह चक्र एक एकल मानव प्रदर्शन को एक पुन: प्रयोज्य कौशल में बदल देता है जिसे कई अलग-अलग कार्यों में लागू किया जा सकता है।

यह दृष्टिकोण वास्तव में काम करता है या नहीं, यह परीक्षण करने के लिए, शोधकर्ता ने सौर ऊर्जा प्रणालियों को डिजाइन करने के लिए एक बहुत ही विशिष्ट चुनौती से निपटने हेतु बिजली उद्योग के एक क्लाइंट के साथ साझेदारी की, जिसमें PVsyst नामक एक जटिल सॉफ़्टवेयर पैकेज का उपयोग किया जाता है। उन्होंने पाँच कठिन कार्यों को चुना जिन्हें विशेषज्ञ नियमित रूप से करते हैं, जैसे मौसम संबंधी डेटा आयात करना, सौर पैनलों का कोण निर्धारित करना और ऊर्जा हानि की गणना करना। उन्होंने इन कार्यों पर तीन अलग-अलग आर्टिफिशियल इंटेलिजेंस मॉडल का परीक्षण किया। सबसे पहले, उन्होंने मॉडलों को बिना किसी सहायता के, केवल एक सरल निर्देश सुनकर काम करने की कोशिश करने दी। परिणाम मिले-जुले थे; मॉडल काफी संघर्ष करते देखे गए, और मॉडल के उपयोग के आधार पर पाँच में से केवल एक से तीन कार्य ही पूरे कर पाए। वे अक्सर सॉफ़्टवेयर के विशिष्ट लेआउट से भ्रमित हो जाते थे या सूक्ष्म आवश्यकताओं को छोड़ देते थे।

फिर, शोधकर्ता ने OmegaUse-SOP प्रणाली को लागू किया। उन्होंने मानव विशेषज्ञों को उन्हीं पाँच कार्यों को करते हुए रिकॉर्ड किया, प्रणाली का उपयोग करके उन रिकॉर्डिंग को परिष्कृत, चरण-दर-चरण कौशल में बदला, और मॉडलों को फिर से प्रयास करने दिया। अंतर तत्काल और पूर्ण था। इंजीनियर किए गए SOPs की मदद से, ओपन-सोर्स मॉडलों सहित प्रत्येक मॉडल ने सभी पाँच कार्यों को सफलतापूर्वक पूरा किया। इस प्रणाली ने एजेंटों को केवल थोड़ा बेहतर ही नहीं बनाया; बल्कि उन्हें अविश्वसनीय नौसिखियों से सक्षम ऑपरेटरों में बदल दिया। शोधकर्ता ने यह देखने के लिए एक विशिष्ट परीक्षण भी चलाया कि उनके सिस्टम का कौन सा हिस्सा सबसे महत्वपूर्ण था। उन्होंने पाया कि "रीज़न" मॉड्यूल, जो कच्चे क्लिक को सार्थक निर्देशों में अनुवादित करता है, मुख्य था। जब उन्होंने इस चरण को हटा दिया और एजेंटों को कच्चे, बिना स्पष्ट लॉग का पालन करने के लिए छोड़ दिया, तो सफलता दर नाटकीय रूप से गिर गई। इससे यह सिद्ध हुआ कि केवल यह रिकॉर्ड करना कि एक इंसान क्या करता है, पर्याप्त नहीं है; कंप्यूटर को यह समझना भी चाहिए कि वे ऐसा क्यों कर रहे हैं।

निष्कर्ष बताते हैं कि आर्टिफिशियल इंटेलिजेंस के लिए पेशेवर सॉफ़्टवेयर में वास्तव में महारत हासिल करने के लिए, केवल शक्तिशाली विज़न या मेमोरी की आवश्यकता नहीं है। इसे उस अंतर्निहित ज्ञान को कैप्चर करने के तरीके की आवश्यकता है जो मानव विशेषज्ञों के पास होता है—उनकी आदतें, उनकी जाँच, और जटिल मेनू में नेविगेट करने के विशिष्ट तरीके। मानव प्रदर्शन को संरचित, संपादन योग्य और सत्यापित कौशल में बदलने की क्षमता वाली एक प्रणाली बनाकर, शोधकर्ता ने एक व्यावहारिक मार्ग दिखाया है। OmegaUse-SOP प्रणाली मानव निर्णय का स्थान नहीं लेती है; इसके बजाय, यह मानव विशेषज्ञता और मशीन निष्पादन के बीच एक सेतु बनाती है, जिससे कंप्यूटर इंजीनियरिंग और डिज़ाइन जैसे क्षेत्रों में जटिल, नियम-बद्ध वर्कफ़्लो को विश्वसनीय रूप से संभाल सकते हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →