SteerBench-Work: A Benchmark for Agent Steering at Action Boundaries
यह शोध पत्र SteerBench-Work प्रस्तुत करता है, जो उच्च-दांव वाले कार्यस्थल कार्यों के साथ आगे बढ़ने या रुकने का सही निर्णय लेने की एलएलएम (LLM) एजेंटों की क्षमता का मूल्यांकन करने वाला एक बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान मॉडल अपनी सामान्य क्षमताओं के बावजूद, अधिक मात्रा में अधिकृत कार्यों को अस्वीकार करते हैं और वास्तविक घटनाओं तथा साक्ष्य-उलटे दर्पणों (evidence-reversed mirrors) के बीच अंतर करने में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट बटलर (नौकर) को घर चलाने के लिए सिखा रहे हैं। आप चाहते हैं कि वह इतना स्मार्ट हो कि वह रात का खाना बना सके, बिलों का भुगतान कर सके और वाई-फाई ठीक कर सके, बिना आपके बार-बार उसके ऊपर खड़े होकर निर्देश दिए। लेकिन एक पेच है: यदि रोबोट बहुत अधिक सावधान हो गया, तो वह चूल्हा जलाने से भी मना कर सकता है, भले ही आप भूखे हों, जिससे आपको ठंडी सूप पीने को मिलेगी। यदि वह बहुत लापरवाह हो गया, तो पानी उबालने की कोशिश में वह गलती से पर्दों में आग लगा सकता है। यह "AI एजेंट्स" (AI agents) की पेचीदा दुनिया है—ऐसे कंप्यूटर प्रोग्राम जो केवल चैट नहीं करते, बल्कि वास्तव में वास्तविक दुनिया में काम करते हैं, जैसे ईमेल भेजना, पैसे स्थानांतरित करना या कोड बदलना। मुख्य सवाल जो वैज्ञानिक अभी पूछ रहे हैं वह सिर्फ यह नहीं है कि "क्या रोबकेट काम कर सकता है?" बल्कि यह है कि "क्या रोबोट को ठीक से पता है कि उसे कब रुककर मदद मांगनी है, और कब उसे बस आगे बढ़ जाना चाहिए?"
यह शोध पत्र उस विशिष्ट निर्णय के क्षण का परीक्षण करने का एक नया तरीका पेश करता है, जिसे "एक्शन बाउंड्री" (action boundary) कहा जाता है। इसे रोबोट के लिए ट्रैफिक लाइट की तरह समझें। भुगतान भेजने या फ़ाइल हटाने के लिए "गो" बटन दबाने से पहले, उसे तय करना होगा: "क्या आगे बढ़ना सुरक्षित है, या मुझे मानव के चेक करने के लिए रुक जाना चाहिए?" शोधकर्ताओं ने एक विशाल, उच्च-जोखिम वाला ड्राइविंग टेस्ट बनाया जिसे SteerBench-Work कहा जाता है। रोबोट को गणित की समस्या हल करने के लिए कहने के बजाय, उन्होंने उसे 10s वास्तविक जीवन के परिदृश्यों में डाला, जो उन वास्तविक गलतियों पर आधारित थे जो मनुष्यों और रोबोटों ने अतीत में की थीं। वे यह देखना चाहते थे कि क्या रोबोट एक खतरनाक स्थिति (जिसके लिए मानव की आवश्यकता है) और एक सुरक्षित स्थिति (जहाँ रोबोट बहुत डरा हुआ है) के बीच अंतर कर सकता है।
महान "ओवर-रिफ्यूज़ल" (अत्यधिक इनकार) का आतंक
मुख्य खोज एक मजेदार और निराशाजनक असंतुलन है। शोधकर्ताओं ने पाया कि आज के सबसे स्मार्ट AI एजेंट बुरा काम करने से बचने में तो अविश्वसनीय रूप से अच्छे हैं, लेकिन जब उन्हें अच्छा काम करना चाहिए, तो वे उसमें बहुत खराब हैं।
एक संग्रहालय के सुरक्षा गार्ड की कल्पना करें। यदि कोई चोर पेंटिंग चुराने की कोशिश करता है, तो गार्ड उसे रोक देता है। यह बहुत अच्छा है! लेकिन इस अध्ययन में, गार्डों ने संग्रहालय के अपने कर्मचारियों को भी दीवारें पेंट करने से रोका, भले ही कर्मचारियों के पास सही चाबियाँ और हस्ताक्षरित अनुमति पत्र था। शोध पत्र इसे ओवर-रिफ्यूज़ल (over-refusal) कहता है। रोबोट गलती करने से इतने डरे हुए हैं कि वे जम जाते हैं और कार्रवाई करने से मना कर देते हैं, भले ही सबूतों से पता चलता हो कि यह सुरक्षित है।
आंकड़ों में, यह एक बड़े अंतर के रूप में दिखता है। उन सभी मौकों में जब रोबोट के पास "हाँ, आगे बढ़ो" कहने का मौका था, उन्होंने लगभग 28.1% बार गलत तरीके से कहा "नहीं, रुको"। लेकिन जब उन्हें किसी आपदा को रोकने के लिए रुकना चाहिए था, तो वे केवल 1.0% बार ही रुकने में विफल रहे। यह एक ऐसे बाउंसर की तरह है जो शून्यtroublemakers को अंदर आने देता है लेकिन वैध टिकट वाले चौथाई लोगों को बाहर निकाल देता है।
"मिरर" ट्रिक और बहुत स्मार्ट होने का जोखिम
यह जानने के लिए कि यह क्यों हो रहा था, शोधकर्ताओं ने "इंसिडेंट मिरर्स" (incident mirrors) नामक एक चतुर ट्रिक का उपयोग किया। उन्होंने उन प्रसिद्ध कहानियों को लिया जहाँ रोबोट या सिस्टमों ने वास्तविक समस्याएँ पैदा की थीं (जैसे कि एक लाभ एजेंसी द्वारा गलती से हजारों लोगों को ऋण नोटिस भेजना) और उस कहानी का एक "मिरर" (दर्पण) संस्करण बनाया। मिरर संस्करण में, सतह बिल्कुल वैसी ही दिखती थी, लेकिन कागजी कार्रवाई एकदम सही थी, जोखिम स्पष्ट थे, और कार्रवाई पूरी तरह से कानूनी थी।
परिणाम आश्चर्यजनक थे। रोबोट मूल, खतरनाक कहानियों को पहचानने में लगभग पूर्ण थे ( 98.5% सही)। लेकिन जब उनका सामना "मिरर" संस्करण से हुआ—जहाँ सब कुछ वास्तव में सुरक्षित था—तो वे भ्रमित हो गए और कार्रवाई करने से मना कर दिया 63.8% बार। ऐसा लगता है जैसे रोबोट ने एक लाल फायर ट्रक देखा और याद किया, "ओह नहीं, फायर ट्रक का मतलब खतरा है!" और उसने फायर ट्रक को चलने देने से मना कर दिया, भले ही ड्राइवर एक नियमित गश्त पर तैनात फायरफाइटर था। रोबोट खतरे के दिखावे पर इतना केंद्रित था कि उसने खतरे के प्रमाण को अनदेखा कर दिया कि खतरा खत्म हो गया है।
बड़े दिमाग का मतलब हमेशा बेहतर निर्णय नहीं होता
आप सोच सकते हैं कि सबसे बड़े, सबसे शक्तिशाली AI मॉडल इस काम में सबसे अच्छे होंगे। लेकिन शोध पत्र सुझाव देता है कि यह आवश्यक रूप से सच नहीं है। कुछ छोटे, सरल मॉडल बड़े मॉडलों की तुलना में बेहतर निर्णय लेते हैं। इसके अलावा, रोबोट को "सोचने" का अधिक समय देना (जिसे "रीज़निंग" कहा जाता है) हमेशा मददगार नहीं रहा। कभी-कभी, अधिक सोचने से रोबोट और भी अधिक शक्की हो जाता है, जिससे वह सुरक्षित कार्यों को भी अधिक बार करने से मना कर देता है। यह एक ऐसे छात्र की तरह है जो परीक्षा के लिए इतना अधिक अध्ययन करता है कि वह अपने हर उस उत्तर पर संदेह करने लगता है जिसे वह जानता है कि सही है।
यह क्यों मायने रखता है
शोध पत्र यह दावा नहीं करता है कि इसने अभी तक इस समस्या को हल कर लिया है। इसके बजाय, यह एक स्पष्ट स्कोरबोर्ड प्रदान करता है ताकि डेवलपर्स देख सकें कि उनके रोबका कहाँ विफल हो रहे हैं। लक्ष्य रोबोट को "कम सुरक्षित" बनाना नहीं है। लक्ष्य उन्हें "कैलिब्रेटेड" (सटीक) बनाना है—यानी वे वास्तविक जोखिम और नकली जोखिम के बीच अंतर कर सकें। यदि हम चाहते हैं कि रोबोट हमारे कार्यालयों, अस्पतालों और बैंकों में उपयोगी सहायक बनें, तो उन्हें अपने साये से डरना छोड़ना होगा। उन्हें यह सीखने की जरूरत है कि हस्ताक्षरित अनुमति पत्र का मतलब है कि आगे बढ़ना ठीक है, भले ही कार्य सतह पर थोड़ा डरावना लगे। जब तक वे यह नहीं सीख लेते, हम ऐसे रोबोटों के साथ जूझते रहेंगे जो कुछ न करने में तो माहिर हैं, लेकिन सही काम करने में बहुत खराब हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।