Cached accessibility-tree control and code-enforced verification for design entry through a desktop application's user interface

सॉफ्टवेयर की दुनिया में, मनुष्यों के कंप्यूटर के साथ संवाद करने के तरीके और मशीनों के एक-दूसरे से बात करने के तरीके के बीच एक निरंतर विभाजन बना रहता है। मनुष्य ग्राफिकल इंटरफेस का उपयोग करते हैं, स्क्रीन पर दिखने वाले बटनों पर क्लिक करते हैं और बॉक्स में टाइप करते हैं। हालाँकि, मशीनें अक्सर एक प्रत्यक्ष, संरचित भाषा बोलना पसंद करती हैं, जो विजुअल लेयर को पूरी तरह से दरकिनार कर सीधे अंतर्निहित कोड को कमांड भेजती है। जब किसी सॉफ्टवेयर में यह प्रत्यक्ष भाषा नहीं होती, तो वह ऑटोमेशन टूल्स के लिए एक "ब्लैक बॉक्स" बन जाता है। यह रोबोटिक प्रोसेस ऑटोमेशन के लिए एक सामान्य बाधा है, जहाँ सॉफ्टवेयर बॉट्स को स्क्रीन पर मानवीय क्रियाओं की नकल करके दोहराव वाले कार्यों को करने के लिए प्रशिक्षित किया जाता है। यह चुनौती दोहरी है: पहला, बॉट को विंडोज़ के एक जटिल, बदलते परिदृश्य में सही बटन या मेनू आइटम को खोजना होगा; दूसरा, उसे यह जानना होगा कि उसके द्वारा की गई क्रिया वास्तव में सफल रही या नहीं। प्रत्यक्ष संचार की रेखा के बिना, बॉट अनिवार्य रूप से अंधा है, जो केवल अनुमान लगा रहा है कि क्या एक क्लिक सही जगह पर लगा या क्या उम्मीद के मुताबिक एक नई विंडो खुली।

टियागो मिरांडा डी लियो नामक एक शोधकर्ता ने एक विशिष्ट, जटिल कार्य को स्वचालित करने के लिए एक सिस्टम बनाकर इस समस्या का समाधान किया: 'मोज़ेक एंटरप्राइज़' (Mozaik Enterprise) नामक एक लोकप्रिय विंडोज एप्लिकेशन का उपयोग करके किचन कैबिनेट डिजाइन करना। यह सॉफ्टवेयर बाहरी प्रोग्रामों के बात करने के लिए कोई सीधा तरीका प्रदान नहीं करता है, इसलिए शोधकर्ता के सिस्टम को पूरी तरह से यूजर इंटरफेस के माध्यम से काम करना था, ठीक वैसे ही जैसे एक मनुष्य करता है। इस सिस्टम को ऑटोमेशन की दो मुख्य समस्याओं को हल करने के लिए डिज़ाइन किया गया था: नियंत्रण (control) और शुद्धता (correctness)। नियंत्रण को संभालने के लिए, सिस्टम ने पहले एप्लिकेशन के पूरे इंटरफेस के ढांचे को मैप करने में समय बिताया, जिससे हर बटन और मेनू के स्थान का एक मानसिक मानचित्र तैयार हुआ। एक बार जब यह मानचित्र बन गया, तो सिस्टम ने चीजों को खोजना बंद कर दिया और इसके बजाय एक कैश किए गए निर्देशांकों (coordinates) की सूची पर कार्य किया, जो इंटरफेस तत्वों के ज्ञात स्थानों पर सीधे क्लिक करता था। शुद्धता को संभालने के लिए, सिस्टम ने एक डिजाइन ड्राइंग को "पढ़ने" के लिए एक विजन मॉडल का उपयोग किया और फिर यह सत्यापित करने के लिए सख्त, पूर्व-लिखित कोड नियमों का उपयोग किया कि कंप्यूटर ने वास्तव में वही बनाया है जो अनुरोध किया गया था। अंतिम निर्णय कि कार्य सफल रहा या नहीं, कोड द्वारा लिया गया, न कि आर्टिफिशियल इंटेलिजेंस द्वारा।

इस प्रयोग के परिणाम उत्साहजनक गति और महत्वपूर्ण सीमाओं का मिश्रण थे। सिस्टम ने एप्लिकेशन के इंटरफेस को सफलतापूर्वक मैप किया, लगभग एक हजार अलग-अलग तत्वों की पहचान की, और लगभग छह सौ के स्थानों को संग्रहीत किया। जब सिस्टम ने सॉफ्टवेयर में विभिन्न टैब के बीच स्विच करने का प्रयास किया, तो टैब को खोजने और एक कैश किए गए स्थान पर क्लिक करने के बीच का अंतर स्पष्ट था। मानक पद्धति के माध्यम से एक टैब को खोजने में बीस-नौ से सत्तावन सेकंड का समय लगा, जिसमें हर बार एप्लिकेशन की आंतरिक संरचना में खोज करने की प्रक्रिया शामिल थी। हालाँकि, एक बार स्थान कैश हो जाने के बाद, उसी टैब पर स्विच करने में एक तिहाई सेकंड से भी कम समय लगा। इसने प्रदर्शित किया कि एक स्थिर वातावरण के लिए, चीजों को हर बार खोजने के बजाय उन्हें याद रखना कहीं अधिक कुशल है।

हालाँकि, सिस्टम की अनुकूलन क्षमता नाजुक थी। कैश किए गए स्थान उस विंडो के सटीक आकार और आकृति से बंधे थे जब पहली बार मैप बनाया गया था। यदि विंडो का आकार बदल जाता, या यदि स्क्रीन रिज़ॉल्यूशन अलग होता, तो कैश किए गए निर्देशांक गलत स्थान की ओर इशारा करते, और सिस्टम विफल हो जाता। शोधकर्ता ने पाया कि सिस्टम खुद को स्वचालित रूप से ठीक नहीं कर सकता था; यदि लेआउट बदल जाता, तो पूरा मानचित्र शून्य से फिर से बनाना पड़ता। इसके अलावा, सिस्टम ने यह जांच नहीं की कि उसके क्लिक वास्तव में काम कर रहे थे या नहीं। यह सफलता की रिपोर्ट तब भी दे देता था जब एप्लिकेशन ने कोई प्रतिक्रिया नहीं दी होती, क्योंकि स्क्रीन को दोबारा देखे बिना परिणाम को सत्यापित करने का इसके पास कोई तरीका नहीं था, क्योंकि इससे कैशिंग का उद्देश्य ही समाप्त हो जाता।

सिस्टम का सत्यापन भाग, जो यह जांचता था कि डिजाइन ड्राइंग से मेल खाता है या नहीं, सिद्धांत में तो अच्छा काम करता था लेकिन व्यवहार में बाधाओं का सामना करता था। सिस्टम का परीक्षण पांच सौ सिंथेटिक मामलों के साथ किया गया जहाँ डेटा में जानबूझकर त्रुटियां डाली गई थीं। इन परीक्षणों में, कोड ने प्रत्येक इच्छित त्रुटि को सही ढंग से पहचाना, जैसे कि गायब कैबिनेट या गलत उपकरण के प्रकार, और कभी भी कोई गलत अलार्म (false alarm) नहीं उठाया। इसने उन डिजाइनों को सफलतापूर्वक खारिज कर दिया जो आवश्यकताओं से मेल नहीं खाते थे। फिर भी, जब सिस्टम का परीक्षण कैबिनेट बनाने के वास्तविक, अनस्क्रिप्टेड प्रयासों पर किया गया, तो परिणाम कम स्पष्ट थे। पूर्ण डिजाइन बनाने के पांच दर्ज प्रयासों में से पांच ही शुरुआती चरण में विफल रहे, और अंतिम उत्पाद के सत्यापित होने से पहले ही रुक गए। लॉग्स ने दिखाया कि सिस्टम कैबिनेट गिनने में सही नहीं था जिन्हें उसे बनाना था, जिससे तुरंत रुकावट आ गई। शोधकर्ता ने नोट किया कि सिस्टम का परीक्षण वास्तविक दुनिया के विविध ड्राइंग्स पर नहीं किया गया था, और दर्ज किए गए कुछ वास्तविक प्रयास अधूरे थे।

अध्ययन ने इस प्रक्रिया में आर्टिफिशियल इंटेलिजेंस की भूमिका पर भी प्रकाश डाला। सिस्टम ने डिजाइन ड्राइखों की व्याख्या करने के लिए एक AI मॉडल का उपयोग किया, लेकिन निर्माण सफल हुआ या नहीं, इसका अंतिम निर्णय कोड को सौंप दिया गया था। यह अलगाव जानबूझकर किया गया था; कोड एक सख्त द्वारपाल (gatekeeper) के रूप में कार्य करता था, यह सुनिश्चित करता था कि AI की व्याख्या की जांच सख्त नियमों के विरुद्ध की जाए। शोधकर्ता ने पाया कि जबकि AI ड्राइंग का वर्णन कर सकता था, लेकिन परिणाम का निर्णय करने के लिए इस पर भरोसा नहीं किया जा सकता था। सिस्टम को इस तरह डिज़ाइन किया गया था कि यदि AI कोई गलती करता है, तो कोड उसे पकड़ लेगा। हालाँकि, रिकॉर्ड्स से पता चला कि वास्तविक दुनिया के कुछ प्रयासों में, सिस्टम उस चरण तक पहुँचने से पहले ही विफल हो गया जहाँ AI के विवरण की अंतिम परिणाम के साथ तुलना की जानी थी।

अंततः, यह कार्य एक स्पष्ट तस्वीर प्रदान करता है कि जब कोई सॉफ्टवेयर मशीनों से सीधे बात करने से इनकार करता है, तो क्या संभव है। इंटरफेस को एक बार मैप करने और फिर उन यादों पर कार्य करने का दृष्टिकोण तेज़ और प्रभावी है, लेकिन यह भंगुर (brittle) है। यह तभी काम करता है जब सॉफ्टवेयर बिल्कुल वैसा ही दिखे जैसा मैप बनाते समय था। सिस्टम ने सिद्ध किया कि कोड-प्रवर्तित जाँच परिणाम को विश्वसनीय रूप से सत्यापित कर सकती है, लेकिन इसने यह भी दिखाया कि इंटरफेस में बदलावों को संभालने या त्रुटियों से उबरने के मजबूत तरीके के बिना, ऑटोमेशन अभी भी एक गतिशील वातावरण में मनुष्य की जगह नहीं ले सकता है। शोधकर्ता ने निष्कर्ष निकाला कि हालांकि यह विधि सॉफ्टवेयर के एक विशिष्ट संस्करण और एक विशिष्ट मशीन के लिए काम करती है, लेकिन यह सभी अनुप्रयोगों के लिए एक सामान्य समाधान नहीं है। यह सिस्टम एक 'प्रूफ ऑफ कॉन्सेप्ट' बना हुआ है, जो यह दर्शाता है कि प्रत्यक्ष पहुंच के बिना भी ऑटोमेशन संभव है, लेकिन यह भी रेखांकित करता है कि ऐसे सिस्टम को वास्तविक दुनिया के लिए पर्याप्त मजबूत बनाना कितना कठिन है।