How can we assess human-agent interactions? Case studies in software agent design
यह शोध पत्र PULSE को प्रस्तुत करता है, जो एक मानव-केंद्रित मूल्यांकन ढांचा है जो वास्तविक दुनिया की सॉफ्टवेयर इंजीनियरिंग में LLM एजेंट डिजाइनों का आकलन करने के लिए उपयोगकर्ता फीडबैक को मशीन लर्निंग भविष्यवाणियों के साथ जोड़ता है, यह प्रदर्शित करते हुए कि ऐसे सहयोगात्मक आकलन अधिक सुदृढ़ अंतर्दृष्टि प्रदान करते हैं और पारंपरिक बेंचमार्क-आधारित मूल्यांकनों की तुलना में महत्वपूर्ण विसंगतियों को प्रकट करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप कंप्यूटर कोड लिखने में लोगों की मदद करने के लिए एक रोबोट सहायक बना रहे हैं। लंबे समय तक, यह देखने का एकमात्र तरीका कि आपका रोबोट "अच्छा" है या नहीं, उसे एक मानकीकृत परीक्षण (standardized test) देना था, जैसे कि एक बहुविकल्पीय परीक्षा। यदि रोबोट का स्कोर उच्च होता, तो डेवलपर्स मान लेते थे कि वह एक शानदार कर्मचारी है।
लेकिन इस शोध पत्र के लेखक तर्क देते हैं कि यह एक शेफ को केवल एक रेसिपी बुक का पालन करने के तरीके से आंकने जैसा है, बिना यह देखे कि वे वास्तव में एक वास्तविक, भूखे ग्राहक के लिए खाना कैसे बनाते हैं। वास्तविक दुनिया में, इंसान और एआई एजेंट एक टीम के रूप में मिलकर काम करते हैं। कभी-कभी इंसान को हस्तक्षेप करना पड़ता है, रोबोट को सुधारना पड़ता है, या योजना बदलनी पड़ती है। एक रोबोट जो परीक्षण में पूर्ण अंक प्राप्त करता है, वह सहयोग करने में निराशाजनक हो सकता है, जबकि एक रोबोट जिसका स्कोर थोड़ा कम हो सकता है, वह सहयोग करने के लिए बहुत सुखद हो सकता है।
यह शोध पत्र एक नया तरीका पेश करता है कि ये मानव-रोबोट टीमें वास्तव में एक साथ कैसे तालमेल बिठाती हैं। वे इस नए सिस्टम को PULSE कहते हैं।
समस्या: "परीक्षा" बनाम "वास्तविक नौकरी"
वर्तमान एआई बेंचमार्क को एक खाली ट्रैक पर ड्राइविंग टेस्ट की तरह समझें। कार (एआई) को अपनी लेन में रहना होगा और लाल बत्तियों पर पूरी तरह से रुकना होगा। यदि वह ऐसा करती है, तो वह पास हो जाती है।
लेकिन वास्तविक जीवन रश ऑवर ट्रैफिक में एक यात्री के साथ गाड़ी चलाने जैसा है। यात्री (इंसान) कह सकता है, "हे, एक अलग रास्ता लें," या "रुको, मुझे पहले किराने की दुकान पर रुकना है।" कार को सुनना, अनुकूलित होना और यात्री को खुश रखना होगा। पुराने "खाली ट्रैक" वाले परीक्षण यह नहीं मापते कि कार यात्री के लिए कितनी कष्टप्रियल है या क्या यात्री सुरक्षित महसूस करता है।
समाधान: PULSE (द फीडबैक लूप)
शोधकर्ताओं ने इस वास्तविक दुनिया की टीम वर्क को मापने के लिए PULSE नामक एक फ्रेमवर्क बनाया। उन्होंने इसका परीक्षण एक सॉफ्टवेयर एजेंट (एक रोबोट कोडर) का उपयोग करके किया जिसे OpenHands कहा जाता है, जिसका उपयोग 15,000 वास्तविक लोगों ने कोड लिखने के लिए किया।
यहाँ बताया गया है कि PULSE कैसे काम करता है, एक सरल तीन-चरणीय रेसिपी का उपयोग करते हुए:
1. "राइड-शेयर" रेटिंग (डेटा संग्रह)
प्रोजेक्ट के बिल्कुल अंत तक यह पूछने के बजाय कि "रोबोट कैसा था?", उन्होंने हर छोटे कार्य के बाद फीडबैक मांगा, ठीक वैसे ही जैसे आप एक एकल राइड के बाद उबर ड्राइवर को रेट करते हैं।
- यह कैसे काम करता था: जब रोबोट ने काम का एक छोटा हिस्सा (जैसे बग ठीक करना) पूरा किया, तो एक पॉप-अप आया जिसमें उपयोगकर्ता से 1 से 5 स्टार देने के लिए कहा गया।
- चुनौती: अधिकांश लोग आलसी होते हैं और हर बार रोबोट को रेट करने के लिए नहीं रुकना चाहते। इसलिए, उन्हें केवल लगभग 5% कार्यों के लिए रेटिंग मिली। बाकी 95% "मौन" इंटरैक्शन थे जहाँ उपयोगकर्ता बिना कुछ कहे अपना काम जारी रखता था।
2. "माइंड रीडर" (प्रेडिक्शन मॉडल)
चूंकि उनके पास केवल 5% कार्यों के लिए रेटिंग थी, इसलिए उन्हें यह अनुमान लगाने के लिए एक तरीका चाहिए था कि अन्य 95% कार्यों के बारे में उपयोगकर्ता कैसा महसूस कर रहा होगा।
- उन्होंने एक "माइंड रीडर" मशीन लर्निंग मॉडल को प्रशिक्षित किया। यह मॉडल बातचीत से सुरागों को देखता था, जैसे कि:
- उपयोगकर्ता का मूड: क्या उपयोगकर्ता अपने संदेशों में क्रोधित था या खुश था?
- रोबोट की गलतियाँ: क्या रोबोट ने निर्देशों को गलत समझा?
- प्रगति: क्या उपयोगकर्ता ने वास्तव में लिखा गया कोड सेव किया?
- इन सुरागों का उपयोग करके, मॉडल ने भविष्यवाणी की कि उपयोगकर्ता उन 'मौन' कार्यों को क्या रेटिंग देता।
3. "सुपर-सांख्यिकीविद्" (कुशल परिणाम)
यही असली जादू है। कुछ वास्तविक रेटिंगों और कई अनुमानित रेटिंगों को मिलाकर, वे परिणामों की गणना बहुत तेज़ी से और अधिक निश्चितता के साथ कर सकते थे।
- उपमा: कल्पना कीजिए कि आप जानना चाहते हैं कि आइसक्रीम का एक नया फ्लेवर पुराने वाले से बेहतर है या नहीं।
- पुराना तरीका (मानक A/B टेस्ट): आप 100 लोगों को दोनों चखने और रेट करने के लिए कहते हैं। इसमें बहुत समय लगता है और परिणाम धुंधले हो सकते हैं।
- PULSE तरीका: आप 100 लोगों को इसे चखने के लिए कहते हैं, लेकिन आपके पास एक "स्वाद भविष्यवक्ता" भी है जो यह देखता है कि उन्होंने चम्मच को कैसे चाटा, उन्होंने कितनी तेज़ी से खाया, और उनके चेहरे के भाव क्या थे, ताकि उन 1,000 अन्य लोगों की रेटिंग का अनुमान लगाया जा सके जिन्होंने इसे चखा भी नहीं।
- परिणाम: PULSE ने उन्हें एक मानक परीक्षण के समान निश्चितता दी, लेकिन 40% कम शोर (अनिश्चितता) के साथ। यह कम एक्सपोज़र समय के साथ एक स्पष्ट फोटो प्राप्त करने जैसा है।
उन्होंने क्या पाया (आश्चर्यजनक तथ्य)
जब उन्होंने विभिन्न रोबोट डिज़ाइनों का परीक्षण करने के लिए PULSE का उपयोग किया, तो उन्हें कुछ ऐसी चीजें मिलीं जो पुराने "परीक्षा स्कोर" से छूट गई थीं:
- दिमाग सबसे महत्वपूर्ण है: इस बात का सबसे बड़ा कारक कि इंसान रोबोट को क्यों पसंद करता था, यह था कि रोबोट का "दिमाग" (अंतर्निहित एआई मॉडल) कौन सा था। एक स्मार्ट दिमाग में स्विच करने से उपयोगकर्ता की खुशी में बड़ा अंतर आया।
- "शरीर" कम महत्वपूर्ण है: रोबोट अपने विचारों को कैसे व्यवस्थित करता है (जैसे कि टू-डू लिस्ट दिखाना या चीजों को बेहतर तरीके से याद रखना) बदलने का उपयोगकर्ता की खुशी पर बहुत कम प्रभाव पड़ा।
- परीक्षा झूठ बोलती है: यह सबसे बड़ा झटका था। उन्होंने अपने वास्तविक दुनिया के मानव रेटिंग की तुलना मानक एआई बेंचमार्क से की।
- परिणाम: बेंचमार्क ने कहा कि रोबोट A, रोबोट B से बेहतर है। लेकिन इंसानों ने वास्तव में रोबोट B को पसंद किया!
- सबक: एक रोबोट लिखित परीक्षा में टॉप कर सकता है, लेकिन वह वास्तविक बातचीत में एक बुरा साथी हो सकता है।
मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि यदि हम वास्तव में मनुष्यों की मदद करने वाला एआई बनाना चाहते हैं, तो हम केवल टेस्ट स्कोर को नहीं देख सकते। हमें यह देखना होगा कि जंगली परिवेश (wild) में इंसान और रोबोट कैसे परस्पर क्रिया करते हैं। PULSE एक ऐसा टूल है जो डेवलपर्स को वास्तविक फीडबैक और स्मार्ट भविष्यवाणियों के मिश्रण का उपयोग करके कुशलतापूर्वक ऐसा करने में मदद करता है, ताकि ऐसे रोबोट बनाए जा सकें जिनके साथ लोग वास्तव में काम करना पसंद करें।
उन्होंने यह भी नोट किया कि हालांकि उन्होंने कोडिंग पर ध्यान केंद्रित किया, लेकिन इसी "PULSE" पद्धति का उपयोग किसी भी ऐसे रोबोट के लिए किया जा सकता है जो मनुष्यों के साथ काम करता है, जैसे कि ट्रैवल प्लानर या शॉपिंग असिस्टेंट, बस "माइंड रीडर" द्वारा देखे जाने वाले "सुरागों" को बदलकर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।