Human-Guided Harm Recovery for Computer Use Agents

यहाँ शोध पत्र "Human-Guided Harm Recovery for Computer Use Agents" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा (Problem Definition)

जैसे-जैसे लार्ज लैंग्वेज मॉडल (LM) एजेंट वास्तविक कंप्यूटर सिस्टम पर क्रियाएं निष्पादित करने की क्षमता प्राप्त कर रहे हैं, उनकी सुरक्षा सुनिश्चित करना अत्यंत महत्वपूर्ण हो गया है। वर्तमान सुरक्षा प्रतिमान (safety paradigms) मुख्य रूप से पूर्व-निष्पादन सुरक्षा उपायों (harmful actions होने से पहले उन्हें रोकना) पर निर्भर करते हैं। हालाँकि, लेखक तर्क देते हैं कि केवल रोकथाम पर्याप्त नहीं है क्योंकि:

• एजेंट समझौता किए गए वातावरण (जैसे, चोरी किए गए सर्टिफिकेट के साथ हस्ताक्षरित एक दुर्भावनापूर्ण सॉफ़्टवेयर अपडेट) का सामना कर सकते हैं जहाँ प्रत्येक व्यक्तिगत चरण सुरक्षित प्रतीत होता है, फिर भी संचयी परिणाम हानिकारक हो सकता है।
• जैसे-जैसे एजेंट की स्वायत्तता बढ़ती है, त्रुटियों को सुधारने के लिए मानव ऑपरेटरों पर निर्भर रहना स्केलेबल (scalable) नहीं है।

यह शोध पत्र पश्च-निष्पादन हानि रिकवरी (Post-Execution Harm Recovery) की उपेक्षित चुनौती को औपचारिक रूप देता है: एक हानिकारक अवस्था ($s_h$) से वापस एक सुरक्षित अवस्था ($s_{safe}$) की ओर एजेंट को इष्टतम रूप से निर्देशित करने की समस्या, जो मानवीय प्राथमिकताओं के अनुरूप हो। इसे एक अनुकूलन समस्या (optimization problem) के रूप में तैयार किया गया है जहाँ एजेंट को एक ऐसी रिकवरी ट्रैजेक्टरी चुननी होती है जो दक्षता, प्रभावशीलता और उपयोगकर्ता के मूल्यों के साथ संरेखण (alignment) के बीच संतुलन बनाए, न कि केवल किसी भी सुरक्षित अवस्था तक पहुँचना।

2. कार्यप्रणाली (Methodology)

लेखक मानव प्राथमिकता डेटा के व्यापक उपयोग के साथ, हानि रिकवरी को संचालित करने के लिए एक Generate-and-Verify फ्रेमवर्क का प्रस्ताव करते हैं।

A. मानव प्राथमिकता अध्ययन और रूब्रिक निष्कर्षण (Human Preference Study & Rubric Extraction)

यह समझने के लिए कि "अच्छी" रिकवरी क्या है, लेखकों ने एक फॉर्मेटिव यूजर स्टडी आयोजित की:

• परिदृश्य पीढ़ी (Scenario Generation): उन्होंने AI हानियों के वर्गीकरण (taxonomies) के आधार पर 775 विविध हानि परिदृश्य (जैसे, डेटा लीक, बॉटनेट संक्रमण) उत्पन्न किए।
• योजना पीढ़ी (Plan Generation): एक LM ने इन परिदृश्यों के लिए संभावित रिकवरी योजनाएं उत्पन्न कीं।
• एनोटेशन (Annotation): 230 मानव एनोटेटरों (प्रोग्रामिंग कौशल के साथ) ने रिकवरी योजनाओं के युग्मवार (pairwise) A/B तुलनाएँ कीं। उन्होंने योजनाओं को 8 मुख्य आयामों पर रेट किया:
  1. व्यापकता (Comprehensiveness): सभी हानियों को संबोधित करने की पूर्णता।
  2. फोकस (Focus): अत्यधिक विस्तार के बिना मूल समस्या को लक्षित करना।
  3. सफलता की संभावना (Likelihood of Success): योजना के काम करने की प्रायिकता।
  4. कार्यान्वयन की गति (Speed of Implementation): निष्पादन समय।
  5. दीर्घकालिक समाधान (Long-Term Resolution): पुनरावृत्ति को रोकना।
  6. दुष्प्रभाव (Side Harms): रिकवरी के दौरान नई हानियों से बचना।
  7. संचार (Communication): हितधारकों को सूचित करने की गुणवत्ता।
  8. स्वायत्तता (Autonomy): उपयोगकर्ता के विकल्प का सम्मान करना।
• मुख्य अंतर्दृष्टि: 1,150 युग्मवार निर्णयों के विश्लेषण से पता चला कि विशेषता का महत्व संदर्भ-निर्भर (context-dependent) है। उदाहरण के लिए, उच्च-तत्कालता या तकनीकी संदर्भों में, गति (Speed) और फोकस (Focus) को प्राथमिकता दी जाती है, जबकि व्यापकता (Comprehensiveness) अक्सर प्राथमिकता के साथ नकारात्मक रूप से सह-संबंधित होती है (उपयोगकर्ता तत्काल संकट में व्यापक दीर्घकालिक दृष्टिकोण के बजाय व्यावहारिक, लक्षित सुधारों को पसंद करते हैं)।

B. एजेंट स्कैफोल्ड (Generate-and-Verify)

सिस्टम परीक्षण के समय दो चरणों में कार्य करता है:

1. जेनरेशन ($LM_{gen}$): एक हानिकारक अवस्था दी जाने पर, एक लैंग्वेज मॉडल $N$ विविध संभावित रिकवरी योजनाएं (प्राकृतिक भाषा अनुक्रमों के रूप में व्यक्त) उत्पन्न करता है।
2. वेरिफिकेशन ($LM_{ver}$): सिस्टम इन उम्मीदवारों का मूल्यांकन करके सर्वश्रेष्ठ का चयन करता है। लेखक दो सत्यापन रणनीतियों की तुलना करते हैं:
   • रूब्रिक-आधारित वेरीफायर (Rubric-Based Verifier): एक फ्रोजन LM जिसे प्राकृतिक भाषा रूब्रिक के साथ प्रॉम्प्ट किया जाता है ताकि युग्मवार A/B निर्णय किए जा सकें।
   • रिवॉर्ड मॉडल वेरीफायर (Reward Model Verifier): एक पैरामीट्रिक रिवॉर्ड मॉडल ($R_\phi$) जिसे 1,150 मानव प्राथमिकता युग्मों पर फाइन-ट्यून किया गया है। यह मॉडल बेस मॉडल के पूर्वग्रहों (priors) पर निर्भर रहने के बजाय, मानव डेटा से सीधे रूब्रिक आयामों के निहित, संदर्भ-निर्भर वेटिंग (weighting) को सीखता है।

C. BACKBENCH बेंचमार्क

रिकवरी क्षमताओं के मूल्यांकन के लिए, लेखकों ने OSWORLD वातावरण (Ubuntu-आधारित GUI) पर निर्मित 50 कंप्यूटर-उपयोग कार्यों का एक बेंचमार्क BACKBENCH पेश किया।

• दायरा (Scope): कार्य पांच हानि श्रेणियों को कवर करते हैं: उपलब्धता (Availability), वित्तीय (Financial), अखंडता (Integrity), जानबूझकर दुरुपयोग (Deliberate Misuse), और सुरक्षा (Security)।
• सीमाएँ (Constraints): कार्यों में संसाधन बाधाओं के तहत एजेंटों का परीक्षण करने के लिए स्टेप लिमिट (15 और 50 स्टेप्स) शामिल हैं।
• मूल्यांकन: मानव एनोटेटर ब्रैडली-टेरी रेटिंग सिस्टम का उपयोग करके पूर्ण एजेंट ट्रैजेक्टरी (निष्पादन के वीडियो) की तुलना करते हैं।

3. मुख्य योगदान (Key Contributions)

1. हानि रिकवरी का औपचारिकीकरण: रिकवरी को मानवीय प्राथमिकताओं पर आधारित एक अनुकूलन समस्या के रूप में परिभाषित किया, जो इसे साधारण प्लान रिपेयर या कंटिंजेंसी प्लानिंग से अलग करता है।
2. संदर्भ-निर्भर प्राथमिकता ढांचा: यूजर स्टडी के माध्यम से प्रदर्शित किया कि रिकवरी के लिए मानवीय प्राथमिकताएं स्थिर नहीं हैं; वे परिदृश्य के संदर्भ (जैसे, तात्कालिकता बनाम संवेदनशीलता) के आधार पर बदलती हैं।
3. BACKBENCH बेंचमार्क: वास्तविक कंप्यूटिंग वातावरण में एजेंट रिकवरी का मूल्यांकन करने के लिए एक नवीन, यथार्थवादी बेंचमार्क।
4. रिवॉर्ड मॉडल संरेखण: दिखाया कि मानव प्राथमिकता डेटा पर रिवॉर्ड मॉडल को प्रशिक्षित करना बेस मॉडल और स्टेटिक रूब्रिक-आधारित दृष्टिकोणों दोनों की तुलना में काफी बेहतर प्रदर्शन करता है।

4. परिणाम (Results)

लेखकों ने अपने स्कैफोल्ड का मूल्यांकन बैकबोन के रूप में Claude Sonnet 4.5 (एक अत्यधिक सुरक्षा-संरेखित बेस मॉडल) का उपयोग करके किया।

• प्रदर्शन: रिवॉर्ड मॉडल स्कैफोल्ड ने सभी BACKBENCH कार्यों में बेस मॉडल की तुलना में 120 Elo पॉइंट और रूब्रिक-आधारित स्कैफोल्ड की तुलना में 45-पॉइंट का सुधार हासिल किया।
• सांख्यिकीय महत्व: सुधार सांख्यिकीय रूप से महत्वपूर्ण थे ($p < 0.01$)।
• संसाधन बाधाएं: स्कैफोल्ड्स ने 15-स्टेप लिमिट वाले कार्यों में सबसे महत्वपूर्ण लाभ दिखाए, जो यह दर्शाता है कि वे सख्त बाधाओं के तहत कुशल, उच्च-गुणवत्ता वाले निर्णय लेने में विशेष रूप से प्रभावी हैं।
• यह क्यों काम करता है: रिवॉर्ड मॉडल इसलिए सफल होता है क्योंकि यह उन सूक्ष्म ट्रेड-ऑफ को सीख लेता है जो मनुष्य करते हैं (जैसे, विशिष्ट संदर्भों में व्यापकता के ऊपर गति को प्राथमिकता देना), जबकि रूब्रिक-आधारित वेरीफायर बेस मॉडल के सामान्य पूर्वग्रहों पर निर्भर करता है जो विशिष्ट रिकवरी संदर्भों के साथ संरेखित नहीं हो सकते हैं।

5. महत्व और भविष्य की दिशाएं (Significance and Future Directions)

• प्रतिमान परिवर्तन (Paradigm Shift): यह कार्य सुरक्षा के प्रतिमान को "केवल रोकथाम" से "रोकथाम + रिकवरी" की ओर ले जाता है, यह स्वीकार करते हुए कि विफलताएं होंगी और एजेंटों में मानवीय मूल्यों के अनुरूप आत्म-सुधार (self-correction) करने की क्षमता होनी चाहिए।
• स्केलेबिलिटी: एक जेनरेट-एंड-वेरिफाई दृष्टिकोण का उपयोग करके, सिस्टम प्रत्येक विशिष्ट विफलता मोड के लिए बेस पॉलिसी के महंगे रिट्रेनिंग की आवश्यकता के बिना विविध हानि परिदृश्यों के अनुकूल हो सकता है।
• सीमाएं: वर्तमान दृष्टिकोण कई योजनाएं उत्पन्न करने पर निर्भर करता है, जिससे कम्प्यूटेशनल ओवरहेड होता है। भविष्य का कार्य इन प्राथमिकता डेटासेट्स का उपयोग एजेंटों को सुदृढीकरण सीखने (Reinforcement Learning - RL) के माध्यम से प्रशिक्षित करने के लिए करने का सुझाव देता है ताकि अंतर्निहित बैकट्रैकिंग क्षमताएं विकसित की जा सकें, जिससे टेस्ट-टाइम स्कैफोल्डिंग की आवश्यकता समाप्त हो जाए।
• नैतिक निहितार्थ: यह ढांचा इस बात पर जोर देता है कि "सुरक्षित" रिकवरी व्यक्तिपरक और संदर्भ-निर्भर है, जिसके लिए ऐसे सिस्टम की आवश्यकता है जो एक-आकार-सभी-के-लिए (one-size-fits-all) सुरक्षा नीति के बजाय व्यक्तिगत उपयोगकर्ता प्राथमिकताओं (जैसे, गोपनीयता बनाम गति) के अनुकूल हो सकें।

संक्षेप में, यह शोध पत्र स्थापित करता है कि प्रभावी एजेंट सुरक्षा के लिए न केवल हानि को रोकना आवश्यक है, बल्कि उसके बाद के परिणामों को संरेखण और इरादे (alignment and intent) के साथ नेविगेट करने की क्षमता भी आवश्यक है, जिसे डेटा-संचालित प्राथमिकता मॉडलिंग के माध्यम से प्राप्त किया जा सकता है।