Allocating cognitive work across people, language models and deterministic tools: A task-analytic method
यह शोध पत्र 'ऑब्जर्व-ओरिएंट-डिसाइड-एक्ट' (अवलोकन-अभिविन्यास-निर्णय-कार्य) ढांचे के भीतर मनुष्यों, भाषा मॉडलों और नियतात्मक उपकरणों के बीच संज्ञानात्मक कार्य आवंटित करने के लिए एक कार्य-विश्लेषणात्मक पद्धति प्रस्तावित करता है, जो सिंथेटिक टैंकर-ज्वॉइन प्रयोगों के माध्यम से यह प्रदर्शित करता है कि यह स्तरीय दृष्टिकोण निर्णय की सटीकता और दक्षता में महत्वपूर्ण सुधार करता है जबकि मानकीय विकल्पों को मानव पर्यवेक्षकों के लिए आरक्षित रखता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कार्यस्थल में, एक नए प्रकार का कार्यकर्ता आया है: आर्टिफिशियल इंटेलिजेंस (AI) एजेंट। ये ऐसे कंप्यूटर प्रोग्राम हैं जो निर्देश पढ़ सकते हैं, जानकारी खोज सकते हैं, कोड लिख सकते हैं और दस्तावेज़ तैयार कर सकते हैं, और अक्सर यह काम एक इंसान द्वारा उनके आउटपुट को पढ़ने की गति से भी अधिक तेज़ी से करते हैं। जैसे-जैसे ये एजेंट अधिक सक्षम होते जा रहे हैं, एक ही मानव पर्यवेक्षक (सुपरवाइज़र) से अक्सर उनकी बढ़ती टीम की देखरेख करने के लिए कहा जाता है। समस्या यह नहीं है कि मशीनें धीमी हैं, बल्कि यह है कि वे बहुत तेज़ हैं। यदि एक पर्यवेक्षक हर संदेश को पढ़ने, हर गणना की जाँच करने और हर ड्राफ्ट को स्वीकृत करने की कोशिश करता है, तो वह अभिभूत (overwhelmed) हो जाता है। इंजीनियरिंग में "लॉ ऑफ स्ट्रेच्ड सिस्टम्स" (कानून ऑफ स्ट्रेच्ड सिस्टम्स) के रूप में जानी जाने वाली यह घटना बताती है कि जैसे-जैसे मशीनें तेज़ होती हैं, हम बस उन्हें अधिक काम सौंपते जाते हैं, जिससे अंततः मानव को इतने डेटा से भर दिया जाता है कि वह समझ नहीं पाता कि क्या हो रहा है। इसका परिणाम जागरूकता की कमी है; पर्यवेक्षक यह जानना बंद कर देता है कि उसे कब हस्तक्षेप करना चाहिए क्योंकि वह टेक्स्ट के पहाड़ के नीचे दब गया होता है।
इसे हल करने के लिए, शोधकर्ता इस बात की खोज कर रहे हैं कि काम को न केवल लोगों और मशीनों के बीच, बल्कि मशीनों और लोगों के विभिन्न प्रकारों के बीच कैसे विभाजित किया जाए। कुछ कार्य सरल और निश्चित होते हैं, जैसे उड़ान पथ (flight path) की गणना करना, जिसे एक मानक कंप्यूटर प्रोग्राम पूरी तरह से कर सकता है। अन्य कार्य जटिल होते हैं और उनमें संदर्भ (context) को समझने की आवश्यकता होती है, जैसे कि एक अस्पष्ट रेडियो निर्देश की व्याख्या करना, जिसके लिए एक अधिक उन्नत लैंग्वेज मॉडल की आवश्यकता हो सकती है। चुनौती यह तय करने में है कि कौन सा टूल काम के किस हिस्से को संभालेगा और, सबसे महत्वपूर्ण बात यह है कि कब रुकना है और मदद के लिए इंसान से पूछना है। यदि सिस्टम बहुत कठोर है, तो यह जटिल होने पर विफल हो जाता है। यदि यह बहुत ढीला है, तो मानव पर्यवेक्षक विवरणों में डूब जाता है। लक्ष्य एक ऐसी टीम बनाना है जहाँ सही टूल सही काम करे, और मानव केवल आवश्यक होने पर ही प्रक्रिया में शामिल रहे, जिससे उनका ध्यान बड़े चित्र (big picture) पर केंद्रित रहे।
यही वह मुख्य प्रश्न है जिसका उत्तर देने के लिए डेकिन यूनिवर्सिटी के शोधकर्ता साइमन वज्दा ने प्रयास किया। उन्होंने एक विधि विकसित की जो सावधानीपूर्वक टीम के सही स्तर को विशिष्ट निर्णय सौंपती है: एक सरल कंप्यूटर टूल, एक छोटा लैंग्वेज मॉडल, एक शक्तिशाली रीजनिंग मॉडल, या एक मानव पर्यवेक्षक। यह विधि प्रत्येक कार्य को स्थिति को देखने, उसे समझने, निर्णय लेने और कार्य करने के एक चक्र के रूप में मानती है। एक जटिल कार्य को इन छोटे चरणों में तोड़कर, शोधकर्ता प्रत्येक चरण का विश्लेषण कर सके कि निर्णय को कितना औपचारिक होने की आवश्यकता थी। यदि एक निर्णय को सख्त नियम के रूप में लिखा जा सकता था, तो उसे कंप्यूटर टूल को दिया गया। यदि इसके लिए प्राकृतिक भाषा को समझने की आवश्यकता थी लेकिन वह नियमित था, तो इसे एक छोटे लैंग्वेज मॉडल को दिया गया। यदि स्थिति जटिल थी और गहन तर्क (reasoning) की आवश्यकता थी, तो एक बड़े, अधिक शक्तिशाली मॉडल ने नेतृत्व किया। हालाँकि, यदि किसी निर्णय में मूल्य निर्णय (value judgment) शामिल था—यह तय करना कि क्या किया जाना चाहिए न कि केवल यह कि क्या है—तो उसे मानव के लिए आरक्षित रखा गया।
इस प्रणाली में "एब्स्टेंशन" (abstention) नामक एक सुरक्षा तंत्र शामिल है। यदि कोई मशीन स्तर अनिश्चित है, या यदि कार्य उसकी विशिष्ट क्षमताओं के लिए बहुत कठिन है, तो वह उत्तर देने के लिए ज़ोर नहीं देता है। इसके बजाय, वह विनम्रता से मना कर देता है और निर्णय को अगले, अधिक सक्षम स्तर को सौंप देता है। यदि सबसे शक्तिशाली मॉडल भी अनिश्चित है, तो निर्णय अंततः मानव तक पहुँच जाता है। यह सुनिश्चित करता है कि त्रुटियाँ होने से पहले ही पकड़ ली जाएँ। इसके अलावा, जब कोई मानव कठिन निर्णय लेता है, तो सिस्टम उस चुनाव को एक नीति (policy) के रूप में सहेज सकता है। यदि ठीक वैसी ही स्थिति दोबारा आती है, तो सिस्टम मानव के पिछले निर्णय को याद कर सकता है और उसे स्वचालित रूप से लागू कर सकता है, जिससे बार-बार हस्तक्षेप करने की आवश्यकता कम हो जाती है।
इस दृष्टिकोण का परीक्षण करने के लिए, शोधकर्ता ने एक सिम्युलेटेड परिदृश्य बनाया जिसमें एक पायलट प्रशिक्षण अभ्यास शामिल था जहाँ एक प्रशिक्षु को ईंधन भरने के लिए एक टैंकर से मिलने हेतु एक सिम्युलेटेड विमान उड़ाना होता है। इस वातावरण में, सिस्टम को विभिन्न कार्यों को संभालना था, जैसे कि सही उड़ान दिशा की गणना करना, रेडियो कमांड की व्याख्या करना और प्रशिक्षण उद्देश्यों के लिए योजना से विचलन करने का निर्णय लेना। अध्ययन ने इस नए, आवंटित सिस्टम की तुलना दो अन्य दृष्टिकोणों से की: एक जहाँ एक एकल शक्तिशाली मॉडल अकेले पूरा काम करने की कोशिश करता है, और दूसरा जहाँ एक राउटर केवल इस अनुमान के आधार पर प्रश्नों को विभिन्न मॉडलों को भेजता है कि कौन सा सबसे सस्ता है।
परिणामों ने दिखाया कि आवंटित सिस्टम काफी अधिक सटीक था। सिमुलेशन में, जहाँ तथ्यात्मक उत्तर की आवश्यकता थी, वहाँ इसने लगभग 90 प्रतिशत मामलों में सही निर्णय लिया। इसके विपरीत, एकल शक्तिशाली मॉडल, जिसे एक साथ पूरा कार्य दिया गया था, केवल लगभग 67 प्रतिशत मामलों में सही था। आवंटित सिस्टम ने बहुत कम संसाधनों का भी उपयोग किया। इसने एकल मॉडल की तुलना में लगभग एक-तिहाई इनपुट टेक्स्ट और एक-आठवां आउटपुट टेक्स्ट प्रोसेस किया। यह दक्षता इसलिए आई क्योंकि इसने शक्तिशाली मॉडल का समय उन सरल कार्यों पर बर्बाद नहीं किया जिन्हें वह आसानी से संभाल सकता था, और छोटे मॉडलों ने कठिन प्रश्नों को ऊपर की ओर भेजने में तेज़ी दिखाई बजाय इसके कि वे केवल अनुमान लगाएं।
अध्ययन में यह भी पाया गया कि सिस्टम ने त्रुटियों को प्रभावी ढंग से फ़िल्टर किया। जब छोटे मॉडलों को गलत उत्तर मिला, तो उन्होंने 97 प्रतिशत बार उसे रोक दिया और रीजनिंग मॉडल को सौंप दिया। रीजनिंग मॉडल ने भी अपने गलत उम्मीदवारों को 93 प्रतिशत बार रोका। इस लेयरिंग ने एक उच्च-गुणवत्ता वाले फिल्टर के रूप में कार्य किया। हालाँकि, सिस्टम पूर्ण नहीं था। रेडियो जैमिंग अभ्यास से जुड़े एक विशिष्ट मामले में, सिस्टम यह पहचानने में विफल रहा कि प्रशिक्षण डिजाइन के बारे में निर्णय मानव के लिए आरक्षित होना चाहिए था, जो यह दर्शाता है कि काम सौंपने के नियम सावधानीपूर्वक तैयार किए जाने चाहिए। इसके अतिरिक्त, जबकि सिस्टम ने मानव के पिछले निर्णयों से सीखकर मानव के निर्णय लेने की आवृत्ति को कम किया, अध्ययन में यह परीक्षण नहीं किया गया कि वास्तविक मानव पर्यवेक्षक के लिए यह तनाव या जागरूकता के संदर्भ में कैसा महसूस होगा।
अंततः, यह शोध प्रदर्शित करता है कि एक जटिल कार्य को छोटे, विश्लेषित चरणों में तोड़ना और प्रत्येक चरण को सबसे उपयुक्त टूल को सौंपना मानव-AI टीमों को अधिक सटीक और कुशल बना सकता है। यह सुझाव देता है कि पर्यवेक्षण का भविष्य इस बारे में नहीं है कि AI द्वारा लिखे गए हर शब्द को पढ़ा जाए, बल्कि एक ऐसा सिस्टम डिजाइन करने के बारे में है जहाँ AI अपनी सीमाओं को जानता हो, मदद के लिए पूछना जानता हो, और नियमित स्थितियों को खुद संभालने के लिए मानव मार्गदर्शन से सीखता हो। जबकि कम्प्यूटेशनल परिणाम आशाजनक हैं, शोधकर्ता नोट करते हैं कि वास्तविक परीक्षण अभी भी बाकी है: यह सिस्टम वास्तविक काम और उच्च दांव (high stakes) के समय मानव पर्यवेक्षक की जागरूकता और नियंत्रण बनाए रखने की क्षमता को कैसे प्रभावित करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।