तकनीकी सारांश: सांख्यिकीय प्रपात के किनारे पर कंप्यूटर उपयोग (Computer Use)

समस्या विवरण (Problem Statement)

इंटरैक्टिव वातावरण में कंप्यूटर उपयोग एजेंटों (Computer Use Agents - CUAs) का मूल्यांकन दो संचयी विकृतियों (compounding pathologies) से ग्रस्त है: गैर-सिद्धांतिक वातावरण डिजाइन और गैर-सिद्धांतिक मूल्यांकन पद्धति। मौजूदा बेंचमार्क अक्सर ऐसे स्थिर (static), बिना सैंडबॉक्स वाले या लाइव वातावरण पर निर्भर करते हैं जिनमें पारिस्थितिक वैधता (ecological validity) का अभाव होता है और जो याद रखने की क्षमता (memorization) के प्रति संवेदनशील होते हैं। इसके अलावा, मूल्यांकन मेट्रिक्स अक्सर स्टेटलेस कोड जनरेशन के लिए डिज़ाइन किए गए pass@k का उपयोग स्टेटफुल UI इंटरैक्शन के लिए करते हैं और एक सरल सांख्यिकीय एकत्रीकरण (naïve statistical aggregation) का प्रयोग करते हैं जो बेंचमार्क डेटा की नेस्टेड और सहसंबद्ध संरचना को अनदेखा करता है। ये कमियां अविश्वसनीय रैंकिंग, अप्राप्य परिणाम और ऐसे स्कोर की ओर ले जाती हैं जो एजेंट की दृश्य तर्क (visual reasoning) और सामान्यीकरण (generalization) की क्षमता के बजाय केवल क्रिया अनुक्रमों (action sequences) को याद रखने की क्षमता को दर्शाते हैं।

कार्यप्रणाली (Methodology)

1. स्थिर बेंचमार्क का अनुभवजन्य निदान (Empirical Diagnosis of Static Benchmarks)

लेखक यह प्रदर्शित करते हैं कि निश्चित प्रारंभिक अवस्थाओं वाले नियतात्मक (deterministic) बेंचमार्क पर, एक "रीप्ले एजेंट" (replay agent)—जो स्क्रीन को देखे बिना केवल रिकॉर्ड किए गए एक्शन सीक्वेंस को अंधाधुंध निष्पादित करने वाला 1MB का स्क्रिप्ट है—फ्रंटियर मॉडल्स से बेहतर प्रदर्शन कर सकता है।

• औपचारिक आधार (Formal Grounding): वे सिद्ध करते हैं कि ऐसे रीप्ले एजेंट की अपेक्षित सफलता दर मूल एजेंट के pass@k के ठीक बराबर होती है।
• निहितार्थ (Implication): स्थिर बेंचमार्क पर pass@k रिपोर्ट करना प्रभावी रूप से याद रखने की क्षमता (memorization capacity) को मापता है। जैसे-जैसे रोलआउट्स ($k$) की संख्या बढ़ती है, किसी भी स्थिर बेंचमार्क को एक स्टोकेस्टिक एजेंट द्वारा केवल सफल प्रक्षेप पथों (trajectories) को याद करके किसी भी सटीकता तक हल किया जा सकता है, जिससे बेंचमार्क वास्तविक क्षमता को मापने के लिए बेकार हो जाता है।

2. PRISM फ्रेमवर्क

पर्यावरणीय खामियों को दूर करने के लिए, पेपर CUA वातावरण के लिए पाँच डिजाइन सिद्धांतों का एक सेट PRISM प्रस्तावित करता है:

• P (विशेषाधिकार प्राप्त सत्यापन - Privileged Verification): कार्य पूर्णता को LLM-as-judge या स्क्रीनशॉट तुलना जैसे भंगुर प्रॉक्सी के बजाय वातावरण के आंतरिक ग्राउंड-ट्रुथ स्टेट (जैसे, SQL क्वेरी के माध्यम से) के विरुद्ध सत्यापित किया जाना चाहिए।
• R (यथार्थवादी वातावरण - Realistic Environments): अनुप्रयोगों को वास्तविक दुनिया के सॉफ्टवेयर के दृश्य स्वरूप, इंटरैक्शन पैटर्न और कार्यात्मक जटिलता को निष्ठापूर्वक पुनरुत्पादित करना चाहिए।
• I (अखंडता-जांच कॉन्फ़िगरेशन - Integrity-Checked Configurations): प्रत्येक कॉन्फ़िगरेशन को व्यवहार्यता (पूर्व-शर्तें पूरी होना), सुसंगतता (डेटा स्थिरता), और गैर-तुच्छता (कार्य पहले से हल न होना) के लिए स्वचालित रूप से सत्यापित किया जाना चाहिए।
• S (सैंडबॉक्स्ड निष्पादन - Sandboxed Execution): वातावरण स्व-निहित होने चाहिए जिनमें कोई बाहरी निर्भरता न हो, जो किसी निर्दिष्ट प्रारंभिक अवस्था में नियत रिसेट (deterministic resets) का समर्थन करते हों।
• M (बहुकारक परिवर्तनशीलता - Multifactorial Variability): वातावरणों को कई अक्षों (axes) के साथ स्वतंत्र रूप से भिन्न होना चाहिए (जैसे, डेटा सामग्री, विजुअल थीम्स, प्रारंभिक UI अवस्थाएं) ताकि याद रखने (memorization) को रोका जा सके और सूक्ष्म निदान सक्षम किया जा सके।

3. DigiWorld बेंचमार्क

लेखक DigiWorld में PRISM को लागू करते हैं, जो निम्नलिखित का एक बेंचमार्क है:

• क्षेत्र (Scope): 7 वास्तविक दुनिया के डोमेन (जैसे, बैंकिंग, शॉपिंग, ट्रैवल) में 15 हाथ से बनाए गए, पूर्ण-सुविधा वाले React Native Android एप्लिकेशन।
• पैमाना (Scale): 387 परिदृश्य (scenarios) जो 4,300 से अधिक टास्क इंस्टेंस उत्पन्न करते हैं।
• परिवर्तनशीलता (Variability): डेटा प्रोफाइल, विजुअल थीम्स और प्रारंभिक UI अवस्थाओं को स्वतंत्र रूप से बदलकर, DigiWorld 3.2 मिलियन से अधिक सत्यापित अद्वितीय कॉन्फ़िगरेशन उत्पन्न करता है।
• अखंडता (Integrity): एक स्वचालित ऑफलाइन पाइपलाइन सुसंगतता जांच, व्यवहार्यता जांच और तुच्छता फ़िल्टरिंग करती है ताकि यह सुनिश्चित किया जा सके कि मूल्यांकन से पहले प्रत्येक कॉन्फ़िगरेशन समाधान योग्य और गैर-तुच्छ है।

4. पदानुक्रमित एकत्रीकरण ढांचा (Hierarchical Aggregation Framework)

मेथडोलॉजिकल खामियों को संबोधित करने के लिए, लेखक विश्वास अंतराल (Confidence Intervals - CIs) की गणना के लिए एक कठोर सांख्यिकीय ढांचे का विकास करते हैं:

• बेस-लेवल एस्टिमेटर: वे मानक Wald अंतराल के स्थान पर Wilson score interval का उपयोग करते हैं, जो छोटे सैंपल साइज ($R$) और चरम सफलता दरों (0 या 1) के लिए भी निकट-नाममात्र कवरेज प्रदान करता है।
• पदानुक्रमित बूटस्ट्रैप (Hierarchical Bootstrap): यह पहचानते हुए कि CUA डेटा की एक नेस्टेड संरचना होती है (Suites $\to$ Apps $\to$ Scenarios $\to$ Configurations $\to$ Rollouts), वे एक पदानुक्रमित बूटस्ट्रैप का प्रस्ताव करते हैं जो प्रत्येक सक्रिय स्तर पर रीसैंपलिंग करता है। यह सही ढंग से उस भिन्नता को ध्यान में रखता है जो परिदृश्य की कठिनाई और कॉन्फ़िगरेशन प्रभावों से उत्पन्न होती है, जिसे साधारण एकत्रीकरण विधियाँ अनदेखा कर देती हैं।

मुख्य परिणाम (Key Results)

1. स्थिर बेंचमार्क की विफलता

प्रमुख स्थिर बेंचमार्क (OSWorld, MobileWorld) पर, ब्लाइंड रीप्ले एजेंट ने फ्रंटियर मॉडल्स (जैसे, OSWorld पर 71.1% बनाम 70.6%) के बराबर या उससे अधिक सफलता दर प्राप्त की। इसके विपरीत, DigiWorld पर, रीप्ले एजेंट गिरकर 6.90% पर आ गया, जो पुष्टि करता है कि DigiWorld की बहुकारक परिवर्तनशीलता ने रीप्ले समानता को सफलतापूर्वक तोड़ दिया है और एजेंटों को विजुअल रीजनिंग पर निर्भर होने के लिए मजबूर किया है।

2. सांख्यिकीय वैधता

• कवरेज: DigiWorld डेटा पर कैलिब्रेट किए गए सिमुलेशन दिखाते हैं कि Wald अंतराल, चरम संभावनाओं पर शून्य-चौड़ाई वाले अंतराल के कारण, गंभीर रूप से अंडर-कवर (25% कवरेज $R=3$ पर) करता है। Wilson अंतराल सभी $R$ के लिए निकट-नाममात्र (95%) कवरेज बनाए रखता है।
• एकत्रीकरण: एक बूटस्ट्रैप जो केवल रोलआउट्स को रीसैंपल करता है, केवल 17% सूट-स्तरीय कवरेज प्राप्त करता है। कॉन्फ़िगरेशन-एक्सिस रीसैंपलिंग जोड़ने से यह बढ़कर 56% हो जाता है। केवल पूर्ण पदानुक्रमित बूटस्ट्रैप (परिदृश्यों, कॉन्फ़िगरेशन और रोलआउट्स को रीसैंपल करना) ही नाममात्र 95% कवरेज प्राप्त करता है।
• तैनाती जोखिम (Deployment Risk): Wald अंतराल का उपयोग करने से ओवरकॉन्फिडेंट रैंकिंग मिलती है, जिसके परिणामस्वरूप मॉडल चयन के समय 9.8% का अपेक्षित पछतावा (regret) होता है। पदानुक्रमित बूटस्ट्रैप इसे सही ढंग से अनिश्चित रैंकिंग को फ्लैग करके 6.0% तक कम कर देता है।

3. DigiWorld पर मॉडल प्रदर्शन

प्रस्तावित ढांचे का उपयोग करते हुए DigiWorld पर मूल्यांकित किए जाने पर, फ्रंटियर मॉडल्स (Claude Opus 4.6, GPT-5.4, Gemini 3 Pro) ने विशिष्ट प्रदर्शन प्रोफाइल दिखाए। Claude और Gemini ने ओवरलैपिंग कॉन्फिडेंस इंटरवल के साथ समान स्कोर प्राप्त किया, जबकि GPT काफी संघर्ष करता दिखा। फ्रेमवर्क ने खुलासा किया कि ऐप-स्तरीय भिन्नता (variance) अनिश्चितता बजट पर हावी है, और प्रदर्शन अस्थिरता पर्यावरणीय अक्षों (Instance, Data Profile, Theme, UI State) के बीच भिन्न होती है, जिसमें कोई भी एकल अक्ष समान रूप से हावी नहीं है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि सिद्धांतपूर्ण वातावरण डिजाइन और कठोर मूल्यांकन पद्धति वैकल्पिक सुधार नहीं बल्कि सार्थक CUA अनुसंधान के लिए पूर्व-आवश्यकताएं हैं।

• निदान: यह स्थिर वातावरण और pass@k के दुरुपयोग के बीच एक औपचारिक संबंध स्थापित करता है, जिससे पता चलता है कि वर्तमान बेंचमार्क अक्सर क्षमता के बजाय याद रखने की क्षमता को मापते हैं।
• समाधान: यह एक ठोस, स्थापित समाधान (PRISM और DigiWorld) प्रदान करता है जो याद रखने (memorization) के माध्यम से शोषण को रोकता है और पारिस्थितिक वैधता सुनिश्चित करता है।
• कार्यप्रणाली: यह एक सांख्यिकीय रूप से सुदृढ़ एकत्रीकरण ढांचा प्रदान करता है जो इंटरैक्टिव बेंचमार्क की नेस्टेड संरचना को सही ढंग से मॉडल करता है, जिससे अविश्वसनीय एजेंट रैंकिंग से बचा जा सकता है जो वर्तमान साहित्य में व्याप्त है।
• प्रभाव: लेखक तर्क देते हैं कि उनका कार्य प्रयास को बेंचमार्क-विशिष्ट अनुकूलन से हटाकर एजेंट क्षमताओं की वास्तविक समझ की ओर पुनर्निर्देशित करता है, जो यह समझने के लिए एक नैदानिक टेम्पलेट प्रदान करता है कि एजेंट क्यों विफल होते हैं, न कि केवल कितनी बार।

पेपर निष्कर्ष निकालता है कि इन सिद्धांतों के बिना, CUA मूल्यांकन "सांख्यिकीय प्रपात के किनारे" पर रहता है, जहाँ पॉइंट एस्टीमेट अविश्वसनीय हैं और रैंकिंग दोषपूर्ण डिजाइन के आर्टिफैक्ट (artifacts) हैं न कि वास्तविक प्रदर्शन।