Measuring Successful Cooperation in Human-AI Teamwork: Development and Validation of the Perceived Cooperativity and Teaming Perception Scales
यह शोध पत्र दो नए पैमानों, परसीव्ड कूपरेटिविटी स्केल (PCS) और टीमिंग परसेप्शन स्केल (TPS) को प्रस्तुत और मान्य करता है, जो तीन अनुभवजन्य अध्ययनों के माध्यम से विविध संदर्भों में मानव-एआई टीम वर्क की व्यक्तिपरक गुणवत्ता को प्रभावी ढंग से मापते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नए, हाई-टेक रोबोट सहायक के साथ मिलकर केक बनाने की कोशिश कर रहे हैं। कभी-कभी, रोबोट अद्भुत होता है: उसे पता होता है कि कब मिश्रण करना है, वह आपको बताता है कि ओवन बहुत गर्म है या नहीं, और आपको लगता है कि आप एक बेहतरीन टीम के रूप में काम कर रहे हैं। अन्य समय में, रोबोट भ्रमित करने वाला होता है: वह बैटर को जला देता है, आपके निर्देशों को अनदेखा कर देता है, या ऐसा व्यवहार करता है जैसे उसे कुछ पता ही न हो।
यह शोध पत्र दो विशेष "रिपोर्ट कार्ड" (स्केल) बनाने के बारे में है जो यह मापने के लिए है कि आपके दृष्टिकोण से वह बेकिंग साझेदारी कैसी महसूस होती है। शोधकर्ताओं ने, होंडा और यूनिवर्सिटी ऑफ ल्यूबेक के साथ मिलकर काम करते हुए, केवल यह पूछने से आगे बढ़ने का प्रयास किया कि "क्या आप इस रोबोट को पसंद करते हैं?" बल्कि यह पूछने का लक्ष्य रखा कि "हम वास्तव में कितनी अच्छी तरह मिलकर काम कर रहे थे?"
यहाँ उनके काम का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
दो रिपोर्ट कार्ड
शोधकर्ताओं ने महसूस किया कि AI के साथ काम करने के दो अलग-अलग तरीके होते हैं, इसलिए उन्होंने दो अलग-अलग मापने वाले उपकरण बनाए:
1. "एक क्षण" वाला रिपोर्ट कार्ड (परसीव्ड कोऑपरेटिविटी स्केल - PCS)
- यह क्या मापता है: एक विशिष्ट कार्य के दौरान AI ने कितनी अच्छी तरह काम किया।
- उपमा: इसे एक एकल नृत्य मुद्रा (dance move) को आंकने की तरह समझें। क्या आपके साथी ने स्पष्ट रूप रूप से नेतृत्व किया? क्या उन्होंने आपके नेतृत्व का पालन किया? क्या वे केवल इसी एक गाने के लिए लय में रहे?
- सिद्धांत: यह "जॉइंट एक्टिविटी थ्योरी" पर आधारित है। यह जाँचता है कि क्या AI पारदर्शी था (आप जानते थे कि वह क्या सोच रहा है), विश्वसनीय था (उसने वही किया जो उसने कहा था), और उत्तरदायी था (उसने आपकी बात सुनी)।
- परिणाम: उन्होंने इसका परीक्षण 409 लोगों पर तीन अलग-अलग परिदृश्यों में किया: एक सहकारी कार्ड गेम खेलना, एक टेक्स्ट-बॉट के साथ चैट करना, और कार के ट्रिप प्लानर का उपयोग करना। यह कार्ड बहुत अच्छा काम कर गया! यह स्पष्ट रूप से एक मानव साथी (जो उच्च स्कोर प्राप्त करता है), एक स्मार्ट-लेकिन-अनुमानित नियम-आधारित रोबोट (मध्यम स्कोर), और एक रोबोट जो अनुभव से सीखता है और भ्रमित हो जाता है (कम स्कोर) के बीच अंतर बता सका।
2. "दीर्घकालिक टीम" वाला रिपोर्ट कार्ड (टीमिंग परसेप्शन स्केल - TPS)
- यह क्या मापता है: यह भावना कि आप और AI समय के साथ एक वास्तविक टीम बन गए हैं।
- उपमा: यह केवल एक नृत्य मुद्रा के बारे में नहीं है; यह इस बारे में है कि क्या आप एक डांस ट्रूप (नृत्य दल) का हिस्सा महसूस करते हैं। क्या आपको लगता है कि आप दोनों प्रयास निवेश कर रहे हैं? क्या आपको लगता है कि आपके साझा लक्ष्य हैं? क्या आपको लगता है कि रोबोट एक "उपकरण" के बजाय एक "टीममेट" है?
- सिद्धांत: यह "इवोल्यूशनरी कोऑपरेशन थ्योरी" पर आधारित है। यह देखता है कि क्या दोनों पक्ष एक-दूसरे को सफल बनाने में मदद करने के लिए "लागत" (प्रयास) चुका रहे हैं।
- परिणाम: इस स्केल के तीन भाग हैं:
- द टीम: "हम एक इकाई हैं।"
- द पार्टनर: "आप मेरी मदद कर रहे हैं।"
- द सेल्फ: "मैं आपकी मदद कर रहा हूँ।"
- ट्विस्ट: "सेल्फ" वाला भाग पेचीदा था। लोग अक्सर खुद को उच्च स्कोर देते थे, चाहे रोबोट कितना भी बुरा क्यों न हो। यह उस छात्र की तरह है जो सोचता है, "मैंने कड़ी मेहनत की!" भले ही उसने वास्तव में पढ़ाई न की हो। शोधकर्ताओं ने पाया कि यह स्केल स्थिति के प्रति संवेदनशील है; यह तब बेहतर काम करता है जब लोगों के पास यह चुनने की अधिक स्वतंत्रता होती है कि वे कितनी मेहनत करेंगे।
उन्होंने इसे कैसे परखा (तीन अध्ययन)
यह सुनिश्चित करने के लिए कि उनके रिपोर्ट कार्ड सटीक हैं, उन्होंने तीन अलग-अलग "प्रशिक्षण मैदानों" का उपयोग किया:
कार्ड गेम (हानाबी): कल्पना कीजिए कि एक ऐसा खेल है जहाँ आप अपने कार्ड नहीं देख सकते और आपको अपने साथी से मिलने वाले संकेतों पर निर्भर रहना पड़ता है।
- परीक्षण: लोगों ने एक इंसान, एक सख्त नियमों वाले रोबोट और अपने आप सीखने वाले रोबोट के साथ खेला।
- निष्कर्ष: रिपोर्ट कार्ड ने सफलतापूर्वक उन्हें रैंक किया: मानव > नियम-आधारित रोबोट > सीखने वाला रोबोट। सीखने वाला रोबोट अक्सर भ्रमित करने वाला था, इसलिए लोगों को नहीं लगा कि वे अच्छी तरह से सहयोग कर रहे हैं।
चैटबॉट (LLM): लोगों ने लेखों की तथ्य-जांच करने के लिए एक टेक्स्ट-बॉट का उपयोग किया।
- परीक्षण: उन्होंने ऐसे बॉट्स का उपयोग किया जो मददगार थे, ऐसे बॉट्स जो मददगार थे लेकिन अनचाहे बदलाव भी जोड़ते थे, और ऐसे बॉट्स जो विफल रहे।
- निष्कर्ष: स्केल्स ने बॉट्स के "सहयोगी" महसूस होने के अंतर को पकड़ लिया।
कार ट्रिप प्लानर: लोगों ने चार्जिंग स्टेशन खोजने के लिए टेस्ला ट्रिप प्लानर का उपयोग किया।
- परीक्षण: यह एक "बाउंड्री केस" था। कार वास्तव में एक "टीममेट" नहीं है; यह सिर्फ एक उपकरण है।
- निष्कर्ष: "एक क्षण" वाला कार्ड (PCS) यहाँ भी ठीक से काम कर गया। हालाँकि, "दीर्घकालिक टीम" वाला कार्ड (TPS) उपयोग नहीं किया गया क्योंकि कार ट्रिप प्लानर के पास वास्तव में कोई "मस्तिष्क" या "लक्ष्य" नहीं होता जिससे टीम बनाई जा सके। आप जीपीएस के साथ वास्तव में टीम जैसा महसूस नहीं कर सकते।
उन्होंने क्या सीखा (मुख्य बातें)
- "एक क्षण" वाला कार्ड बहुत मजबूत है। यह एक बहुत ही विश्वसनीय तरीका है कि कोई AI किसी विशिष्ट कार्य के दौरान कितनी अच्छी तरह कार्य करता है। यह चैटबॉट्स से लेकर गेम बॉट्स तक सब कुछ के लिए काम करता है।
- "टीम" वाला कार्ड शक्तिशाली है लेकिन सावधानी की आवश्यकता है। यह साझेदारी की गहरी भावना को मापता है। हालाँकि, वह हिस्सा जहाँ लोग अपने स्वयं के योगदान को रेट करते हैं, थोड़ा पक्षपाती है। लोग सोचते हैं कि वे बेहतरीन टीममेट हैं, भले ही AI बहुत खराब हो। यह सुझाव देता है कि कठोर स्थितियों (जैसे कार्ड गेम जहाँ आपको सहयोग करना ही होगा) में, लोगों के स्व-रेटिंग में ज्यादा बदलाव नहीं आता।
- संदर्भ मायने रखता है। यदि आप केवल एक उपकरण (जैसे कैलकुलेटर या जीपीएस) का उपयोग कर रहे हैं, तो "टीम" वाली भावना वास्तव में लागू नहीं होती है। लेकिन यदि आप एक जटिल परियोजना पर काम कर रहे हैं जहाँ आपको और AI को एक-दूसरे पर निर्भर रहने की आवश्यकता है, तो ये स्केल बताते हैं कि क्या वह साझेदारी काम कर रही है।
यह क्यों महत्वपूर्ण है
इससे पहले, हमारे पास मुख्य रूप से यह पूछने के उपकरण थे कि "क्या आप AI पर भरोसा करते हैं?" या "क्या यह AI स्मार्ट है?" यह शोध पत्र हमें यह पूछने का एक तरीका देता है कि "हम अभी कितनी अच्छी तरह मिलकर काम कर रहे हैं?" और "क्या हम एक टीम की तरह महसूस करते हैं?"
यह डिजाइनरों को बेहतर AI बनाने में मदद करता है। यदि किसी रोबोट का स्कोर "पूर्वानुमेयता" (predictability) पर कम आता है, तो डिजाइनरों को पता चलता है कि रोबोट के कार्यों को अधिक स्पष्ट बनाने की आवश्यकता है। यदि "टीम" का स्कोर कम है, तो उन्हें पता चलता है कि रोबोट को अधिक समर्थन और साझा लक्ष्य दिखाने की आवश्यकता है।
संक्षेप में: शोधकर्ताओं ने दो पैमाने बनाए। एक मापता है कि एक रोबोट एक अकेले गाने में कितनी अच्छी तरह नाचता है। दूसरा मापता है कि क्या आपको लगता है कि आप और रोबोट मिलकर एक डांस ट्रूप में हैं। उन्होंने 409 लोगों पर इन पैमानों का परीक्षण किया और पाया कि वे अच्छी तरह काम करते हैं, हालांकि "डांस ट्रूप" वाले पैमाने का उपयोग सावधानी से किया जाना चाहिए, यह इस बात पर निर्भर करता है कि मनुष्य के पास हिलने-डुलने की कितनी स्वतंत्रता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।