Safe, or Simply Incapable? Rethinking Safety Evaluation for Phone-Use Agents

तकनीकी सारांश: सुरक्षित, या केवल अक्षम? फोन-उपयोग एजेंटों के लिए सुरक्षा मूल्यांकन पर पुनर्विचार

समस्या विवरण
फोन-उपयोग एजेंटों के लिए वर्तमान सुरक्षा मूल्यांकन एक मौलिक अस्पष्टता से ग्रस्त हैं: एक हानिरहित परिणाम अनिवार्य रूप से सुरक्षित व्यवहार का संकेत नहीं देता है। जब कोई एजेंट किसी जोखिम भरे क्षण में नुकसान पहुँचाने से बच जाता है, तो यह सुरक्षित निर्णय (जोखिम को पहचानना और सही सुरक्षित कार्रवाई चुनना) के कारण हो सकता है या कार्य करने में असमर्थता (इंटरफ़ेस को समझने, नियंत्रणों को खोजने या किसी प्रासंगिक क्रिया को निष्पादित करने में विफल होना) के कारण हो सकता है। मौजूदा बेंचमार्क अक्सर इन अलग-अलग कारणों को "कार्य सफलता," "अस्वीकृति," या "अंतिम हानिकारक परिणाम" जैसे समग्र मेट्रिक्स के तहत मिला देते हैं। यह संलयन दो महत्वपूर्ण समस्याओं की ओर ले जाता है:

1. कमजोर मॉडलों का अतिरंजित मूल्यांकन: जो मॉडल कार्य करने में विफल रहते हैं, उन्हें गलत तरीके से सुरक्षा का श्रेय दिया जाता है क्योंकि कोई नुकसान नहीं हुआ।
2. मजबूत मॉडलों का गलत निदान: जो मॉडल इंटरफ़ेस को समझते हैं लेकिन खराब सुरक्षा विकल्प चुनते हैं, उन्हें उन मॉडलों से अलग नहीं किया जा पा रहा है जो केवल कार्य करने में सक्षम नहीं हैं।
   जैसे-जैसे एजेंट निष्क्रिय सहायकों से सीधे स्मार्टफोन संचालित करने में सक्षम प्रणालियों में परिवर्तित हो रहे हैं, एक गलत टैप निजी डेटा को उजागर कर सकता है, भुगतान अधिकृत कर सकता है, या अनुमतियां प्रदान कर सकता है। यह मूल्यांकन करना कि क्या एक एजेंट उस क्षण में सही विकल्प बनाता है जब सुरक्षा सीमा क्रिया-प्रासंगिक हो जाती है, इस बात से भिन्न है कि क्या वह कार्य पूरा कर सकता है।

कार्यप्रणाली: PHONESAFETY
इसे संबोधित करने के लिए, लेखक PHONESAFETY पेश करते हैं, जो एक बेंचमार्क है जिसे पूर्ण कार्य एपिसोड के बजाय सुरक्षा-महत्वपूर्ण क्षणों (safety-critical moments) के मूल्यांकन के लिए डिज़ाइन किया गया है।

• डेटा निर्माण: यह बेंचमार्क 130+ चीनी मोबाइल ऐप्स में 4,512 वास्तविक-डिवाइस प्रक्षेपवक्रों (trajectories) से लिए गए 700 सुरक्षा-महत्वपूर्ण क्षणों से बना है। ये प्रक्षेपवक्र नेटिव ऐप्स, मिनी-प्रोग्राम और क्रॉस-ऐप वर्कफ़्लो सहित विविध परिदृश्यों को कवर करते हैं।
• मूल्यांकन इकाई: विश्लेषण की इकाई वह विशिष्ट निर्णय बिंदु है जहाँ अगला कार्य सीधे बातचीत की सुरक्षा को निर्धारित कर सकता है। मॉडल को उपयोगकर्ता निर्देश, इंटरैक्शन इतिहास और वर्तमान स्क्रीन संदर्भ प्रदान किया जाता है, और फिर अगला फोन एक्शन (phone action) भविष्यवाणी करने के लिए कहा जाता है।
• तीन-तरफा अपघटन (Three-Way Decomposition): बाइनरी सुरक्षित/असुरक्षित लेबल के बजाय, परिणामों को तीन परस्पर अनन्य वर्गों में वर्गीकृत किया गया है:
  1. सुरक्षित क्रिया (Safe Action): मॉडल निर्णय के साथ जुड़ता है और सुरक्षित पक्ष चुनता है (जैसे, पुष्टि मांगना, हानिकारक निर्देश को अस्वीकार करना, या भ्रामक पॉपअप को बंद करना)।
  2. असुरक्षित क्रिया (Unsafe Action): मॉडल निर्णय के साथ जुड़ता है लेकिन सुरक्षा सीमा को पार कर जाता है (जैसे, बिना पुष्टि के भुगतान के साथ आगे बढ़ना, अनावश्यक अनुमतियां देना)।
  3. कुछ भी उपयोगी करने में विफल (क्षमता विफलता) (Failing to Do Anything Useful / Capability Failure): मॉडल सुरक्षित या असुरक्षित व्यवहार में से किसी को भी पहचानने में विफल रहता है। इसमें अप्रासंगिक क्षेत्रों को टैप करना, पेज छोड़ देना, या त्रुटिपूर्ण क्रियाएं उत्पन्न करना शामिल है। इस श्रेणी को मॉडल के गहरे आंतरिक गुणों के दावे के बजाय एक परिचालन संकेत (operational signal) के रूप में माना जाता है।
• मेट्रिक्स: लेखक Safe-action rate, Unsafe-action rate, और Capability-Failure Rate (CFR) की रिपोर्ट करते हैं। वे सामान्य परिचालन क्षमता के प्रॉक्सी के रूप में $1 - \text{CFR}$ (किसी भी प्रासंगिक क्रिया को उत्पन्न करने की दर) को भी ट्रैक करते हैं।

मुख्य परिणाम
पेपर आठ प्रतिनिधि फोन-उपयोग एजेंटों (Gemini 3.1 Pro, Claude Opus 4.6, और AutoGLM 9B सहित) का मूल्यांकन करता है और दो प्राथमिक पैटर्न प्रकट करता है:

1. सामान्य क्षमता सुरक्षित विकल्पों की भविष्यवाणी नहीं करती है:
   एक मॉडल के सामान्य फोन-उपयोग प्रदर्शन और महत्वपूर्ण क्षणों में उसके सुरक्षा निर्णय के बीच कोई विश्वसनीय सहसंबंध नहीं है।

   • साक्ष्य: उच्च सामान्य कार्यों (जैसे, Seed 2.0 Pro) पर रैंक करने वाले मॉडल आवश्यक रूप से उच्चतम सुरक्षित-क्रिया दर नहीं रखते हैं। इसके विपरीत, कम स्कोर वाले मॉडल कभी-कभी स्पष्ट सीमा होने पर अधिक सुरक्षित निर्णय लेने में सक्षम होते हैं।
   • निहितार्थ: उच्च परिचालन क्षमता सुरक्षित व्यवहार की गारंटी नहीं देती है; समर्पित सुरक्षा मूल्यांकन की आवश्यकता है।

2. विशिष्ट विफलता मोड:
   विफलताएं एकरूप नहीं हैं; वे परिदृश्य के आधार पर दो अलग-अलग पैटर्न में विभाजित होती हैं:

   • असुरक्षित विकल्प: उन परिदृश्यों में जिनमें सरल इनकार की आवश्यकता होती है (जैसे, "Safety" परिवार), विफलताएं मुख्य रूप से असुरक्षित क्रियाएं हैं। मॉडल इंटरफ़ेस को समझता है लेकिन निर्णय के गलत पक्ष को चुनता है (जैसे, हानिकारक निर्देश के साथ आगे बढ़ना)।
   • कार्य करने में असमर्थता: दृश्य और परिचालन रूप से चुनौतीपूर्ण परिदृश्यों में (जैसे, "Trap Resistance," "Permission Minimization"), विफलताएं मुख्य रूप से कुछ भी उपयोगी करने में विफल होने के रूप में होती हैं। मॉडल इंटरफ़ेस को ग्राउंड करने या आवश्यक क्रिया को निष्पादित करने में असमर्थ होता है।
   • सहसंबंध: "कुछ भी उपयोगी करने में विफल" (CFR) होने की दर सामान्य फोन-उपयोग क्षमता ($\rho = 0.922$) के साथ दृढ़ता से सहसंबंधित है, जबकि सुरक्षित-क्रिया दर नहीं।

3. असमर्थता की प्रोटोकॉल अपरिवर्तनीयता (Protocol Invariance of Inability):
   जब मूल्यांकन प्रोटोकॉल (यह परिभाषित करना कि क्या एक सुरक्षित बनाम असुरक्षित क्रिया है) को बदला जाता है, तो Safe-action rate काफी बदल जाता है। हालांकि, Capability-Failure Rate (CFR) स्थिर रहता है ($\Delta \text{CFR} = 0.0$)। यह पुष्टि करता है कि "कुछ भी उपयोगी करने में विफल होना" विशिष्ट सुरक्षा परिभाषाओं के प्रति संवेदनशीलता के बजाय परिचालन अक्षमता का संकेत है।

महत्व और दावे
पेपर तर्क देता है कि क्रिया करने वाले एजेंटों के लिए, हानिरहित होना सुरक्षा का पर्याप्त प्रमाण नहीं है। एक प्रणाली को केवल इसलिए सुरक्षा का श्रेय नहीं मिलना चाहिए क्योंकि कोई नुकसान नहीं हुआ, यदि वह परिणाम कार्य करने की अक्षमता का परिणाम था।

• मुख्य योगदान: एक तीन-तरफा मूल्यांकन ढांचे की शुरूआत जो असुरक्षित निर्णय को कार्य करने की अक्षमता से अलग करता है।
• पद्धतिगत बदलाव: एपिसोड-स्तरीय परिणामों से सुरक्षा-महत्वपूर्ण क्षणों की ओर बढ़ने से उस विशिष्ट निर्णय बिंदु को अलग करना संभव होता है जहाँ सुरक्षा निर्धारित होती है।
• व्यावहारिक निहितार्थ: सुरक्षा मूल्यांकन को यह अंतर करना चाहिए कि एक मॉडल जो खराब चुनाव करता है और एक मॉडल जो कार्य करने में असमर्थ है, के बीच। "कोई प्रासंगिक क्रिया नहीं" को सुरक्षा सफलता के रूप में मानना एक पद्धतिगत त्रुटि है जो एजेंट जोखिमों की वास्तविक प्रकृति को धुंधला कर देती है।

यह अध्ययन चीनी मोबाइल पारिस्थितिकी तंत्र के भीतर ऑफलाइन मूल्यांकन तक सीमित है, लेकिन लेखक का मानना है कि अंतर्निहित सिद्धांत—कि हानिरहित परिणामों की व्याख्या की जानी चाहिए न कि केवल देखा जाना चाहिए—वास्तविक दुनिया में कार्य करने में सक्षम एजेंटों पर व्यापक रूप से लागू होता है।