BraveGuard: From Open-World Threats to Safer Computer-Use Agents

तकनीकी सारांश: BraveGuard

समस्या विवरण

कंप्यूटर-उपयोग एजेंट (Computer-use agents) भाषा मॉडलों को केवल टेक्स्ट जनरेशन से आगे बढ़ाकर फाइलों, टर्मिनल्स, ब्राउज़रों और बाहरी उपकरणों के साथ निरंतर संवाद करने की क्षमता प्रदान करते हैं। यह बदलाव सुरक्षा जोखिमों को जन्म देता है जो पारंपरिक चैटबॉट मॉडरेशन से मौलिक रूप से भिन्न हैं। मानक लार्ज लैंग्वेज मॉडल्स (LLMs) में, असुरक्षित व्यवहार अक्सर एक एकल प्रॉम्प्ट या रिस्पॉन्स तक ही सीमित होता है। इसके विपरीत, कंप्यूटर-उपयोग एजेंटों में हानि अक्सर बहु-चरणीय निष्पादन प्रक्षेपवक्र (multi-step execution trajectories) के माध्यम से उभरती है। व्यक्तिगत क्रियाएं (जैसे, फाइल पढ़ना, कोड एडिट करना, टूल कॉल करना) स्थानीय स्तर पर हानिरहित लग सकती हैं, लेकिन उनका संचयी प्रभाव डेटा एक्सफिल्ट्रेशन (data exfiltration), अनधिकृत संचालन, या नीति उल्लंघन का कारण बन सकता है।

मौजूदा सुरक्षा रक्षा प्रणालियाँ इस निष्पादन मॉडल के साथ ठीक से मेल नहीं खाती हैं। अधिकांश गार्ड मॉडल असुरक्षित प्रॉम्प्ट्स या छोटी बातचीत के स्थिर संग्रह (static corpora) पर प्रशिक्षित होते हैं, जो निश्चित जोखिम वर्गीकरण (taxonomies) और सिंथेटिक एडवरसैरियल प्रॉम्प्ट्स पर निर्भर करते हैं। ये दृष्टिकोण उन लंबे प्रक्षेपवक्रों (long-horizon trajectories) की जटिलता को पकड़ने में विफल रहते हैं जहाँ जोखिम सॉफ्टवेयर इकोसिस्टम के साथ विकसित होते हैं और नए हमले के पैटर्न खुले शोध और वास्तविक दुनिया के परिनियोजन प्रथाओं से उत्पन्न होते हैं। फलस्वरूप, स्थिर वितरणों पर प्रशिक्षित गार्ड मॉडल तब विफल हो जाते हैं जब असुरक्षित व्यवहार अपरिचित उपकरणों, नई खोजी गई रणनीतियों, या तर्कसंगत क्रियाओं की श्रृंखला के माध्यम से प्रकट होता है।

कार्यप्रणाली: द ब्रेवगार्ड फ्रेमवर्क (The BraveGuard Framework)

BraveGuard एक स्व-विकसित रक्षा ढांचा (self-evolving defense framework) है जिसे ओपन-वर्ल्ड थ्रेट सिग्नल्स और यथार्थवादी एजेंट निष्पादन ट्रेसेस (execution traces) का उपयोग करके प्रक्षेपवक्र-स्तरीय (trajectory-level) गार्ड मॉडल को प्रशिक्षित करने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क चार मुख्य चरणों वाले एक क्लोज्ड-लूप पाइपलाइन के माध्यम से संचालित होता है:

1. ओपन-वर्ल्ड थ्रेट डिस्कवरी (Open-World Threat Discovery)

स्थिर वर्गीकरणों पर निर्भर रहने के बजाय, BraveGuard हालिया साक्ष्यों पर आधारित एक गतिशील थ्रेट टैक्सोनॉमी (threat taxonomy) का निर्माण करता है।

• प्रक्रिया: एक थ्रेट डिस्कवरी एजेंट कीवर्ड सेट $Q_r$ का उपयोग करके खुले शोध स्रोतों (जैसे, arXiv, सुरक्षा रिपोर्ट, बेंचमार्क पेपर) की खोज करता है।
• टैक्सोनॉमी निर्माण: प्राप्त दस्तावेजों को फ़िल्टर किया जाता है और संरचित प्रविष्टियों $z = \langle \kappa, \alpha, \mu \rangle$ में परिवर्तित किया जाता है, जहाँ $\kappa$ एक जोखिम श्रेणी (जैसे, डेटा एक्सफिल्ट्रेशन) है, $\alpha$ एक हमला पैटर्न (जैसे, इनडायरेक्ट प्रॉम्प्ट इंजेक्शन) है, और $\mu$ एक विफलता मोड (जैसे, बाहरी सामग्री पर अत्यधिक विश्वास करना) है।
• अनुकूलन: कीवर्ड सेट को पाए गए आवर्ती तंत्रों और नई क्षमताओं के आधार पर अपडेट किया जाता है, जिससे खोज और टैक्सोनॉमी निर्माण के बीच एक परस्पर सुदृढ़ लूप बनता है।

2. अटैक सिंथेसिस और ओपनक्लॉ रोलआउट (Attack Synthesis and OpenClaw Rollout)

खोजे गए खतरे के पैटर्न को निष्पादन योग्य कंप्यूटर-उपयोग कार्यों के रूप में स्थापित किया जाता है।

• टास्क सिंथेसिस: प्रत्येक थ्रेट एंट्री के लिए, एक सिंथेसाइज़र कार्य $T_z$ उत्पन्न करता है जो यूजर रिक्वेस्ट, टूल कॉन्टेक्स्ट और अपेक्षित मध्यवर्ती व्यवहारों को निर्दिष्ट करता है। ये कार्य व्यक्तिगत क्रिया स्तर पर तर्कसंगत होने के लिए डिज़ाइन किए गए हैं, लेकिन पूर्ण निष्पादन स्तर पर असुरक्षित हैं।
• ट्रैजेक्टरी कलेक्शन: फ्रेमवर्क इन कार्यों को OpenClaw, एक कंप्यूटर-उपयोग एजेंट, का उपयोग करके निष्पादित करता है ताकि रोलआउट $x$ उत्पन्न किए जा सकें।
• डेटा विविधता: सिस्टम असुरक्षित प्रक्षेपवक्रों (जो कमजोरियों को प्रकट करते हैं) और प्रतिरोधी/बाधित प्रक्षेपवक्रों (जो विरोधाभासी उदाहरण प्रदान करते हैं जहाँ खतरा पैटर्न हानि का कारण नहीं बना) दोनों को सुरक्षित रखता है।

3. प्रक्षेपवक्र पर्यवेक्षण और गार्ड प्रशिक्षण (Trajectory Supervision and Guard Training)

BraveGuard सुरक्षा को अलग-थलग चरणों के बजाय एक पूर्ण निष्पादन ट्रेस (complete execution trace) के गुण के रूप में मानता है।

• एनोटेशन: प्रत्येक प्रक्षेपवक्र को एक बाइनरी सेफ्टी लेबल ($\ell \in \{safe, unsafe\}$), एक जोखिम श्रेणी, और निष्पादन साक्ष्य (जैसे, विशिष्ट कमांड, फाइल संशोधन, या क्रॉस-स्टेप डिपेंडेंसी) पर आधारित एक तर्क $\rho$ के साथ लेबल किया जाता है।
• प्रशिक्षण: गार्ड मॉडल्स $G_\theta$ (जिसमें Qwen3-Guard और Llama-Guard के वेरिएंट शामिल हैं) को इस सीरियलाइज्ड प्रक्षेपवक्र डेटा पर प्रशिक्षित किया जाता है ताकि क्लासिफिकेशन लॉस को कम किया जा सके। प्रॉम्प्ट-स्तरीय क्लासिफायर के विपरीत, ये मॉडल टूल के उपयोग और टेम्पोरल कंपोजिशन से प्रेरित जोखिमों को पहचानना सीखते हैं।

4. स्व-विकसित रक्षा लूप (Self-Evolving Defense Loop)

यह फ्रेमवर्क नए खतरों और कमजोरियों के अनुकूल होने के लिए एक फीडबैक तंत्र को शामिल करता है।

• वैलिडेशन: वर्तमान गार्ड मॉडल जहाँ विफल होता है, उन कठिन मामलों (hard cases) की पहचान करने के लिए एक होल्ड-आउट वैलिडेशन स्प्लिट $V_r$ का उपयोग किया जाता है।
• रिफाइनमेंट: इन त्रुटियों का विश्लेषण गैप (जैसे, डिलेड-ट्रिगर अटैक्स, फाइलों में प्रॉम्प्ट इंजेक्शन) की पहचान करने के लिए किया जाता है। कीवर्ड सेट और टैक्सोनॉमी को संशोधित किया जाता है, और इन अंतराल को भरने के लिए नए कार्य सिंथेसाइज किए जाते हैं।
• इटरेशन: प्रशिक्षण डेटासेट को वृद्धिशील रूप से अपडेट किया जाता है ($B_{r+1} = B_r \cup \Delta B_r$), जिससे गार्ड मॉडल और प्रशिक्षण वितरण सह-विकसित (co-evolve) हो सकते हैं। बाहरी बेंचमार्क को अंतिम मूल्यांकन के लिए सख्ती से आरक्षित रखा गया है और इनका उपयोग प्रशिक्षण या ट्यूनिंग के लिए नहीं किया जाता है।

प्रमुख योगदान

1. प्रक्षेपवक्र-स्तरीय सुरक्षा के लिए फ्रेमवर्क: BraveGuard फोकस को प्रॉम्प्ट-स्तरीय मॉडरेशन से बदलकर प्रक्षेपवक्र-स्तरीय पर्यवेक्षण पर ले जाता है, जो उन एजेंटों की विशिष्ट सुरक्षा चुनौतियों को संबोधित करता है जो निरंतर स्थिति (persistent state) और बाहरी उपकरणों के साथ इंटरैक्ट करते हैं।
2. ओपन-वर्ल्ड थ्रेट डिस्कवरी: यह फ्रेमवर्क उभरते जोखिमों को खुले शोध स्रोतों से खोजने और उन्हें निष्पादन योग्य कार्यों में बदलने की एक विधि पेश करता है, जो स्थिर, मैन्युअल रूप से क्यूरेट किए गए वर्गीकरणों से आगे बढ़ता है।
3. स्व-विकसित रक्षा लूप: वैलिडेशन विफलताओं का उपयोग करके अगले दौर के खतरे विस्तार और टास्क सिंथेसिस को निर्देशित करके, BraveGuard एक अनुकूलन योग्य रक्षा तंत्र बनाता है जो विकसित होते वास्तविक दुनिया के जोखिमों को संभालने में सक्षम है।
4. व्यापक मूल्यांकन: इस दृष्टिकोण को कई गार्ड बैकबोन और स्थापित प्रक्षेपवक्र-स्तरीय बेंचमार्क (AgentHazard और ATBench) पर लागू किया गया है, जो यथार्थवादी एजेंट निष्पादन में पर्यवेक्षण को ग्राउंड करने की प्रभावकारिता को प्रदर्शित करता है।

प्रयोगात्मक परिणाम

पेपर में BraveGuard का मूल्यांकन दो होल्ड-आउट बेंचमार्क: AgentHazard-Strongest और ATBench-500 पर किया गया है।

• AgentHazard-Strongest:

  • BraveGuard-प्रशिक्षित गार्ड्स, ऑफ-द-शेल्फ गार्ड मॉडल्स और जनरल LLM जजेस से काफी बेहतर प्रदर्शन करते हैं।
  • औसत गार्ड-मॉडल सेटिंग के तहत, AgentHazard पर डिटेक्शन एक्यूरेसी ऑफ-द-शेल्फ औसत के 38.79% से बढ़कर BraveGuard औसत के 82.38% हो गई।
  • रिकॉल (Recall) में सुधार विशेष रूप से महत्वपूर्ण था, जो ऑफ-द-शेल्फ मॉडल्स के लिए ~20% से बढ़कर BraveGuard मॉडल्स के लिए 90% से अधिक हो गया, जो छूटे हुए असुरक्षित प्रक्षेपवक्रों में भारी कमी को दर्शाता है।
  • एब्लेशन स्टडीज ने पुष्टि की कि पूर्ण स्व-विकसित कॉन्फ़िगरेशन (प्रक्षेपवत्व पर्यवेक्षण, ओपन-वर्ल्ड डिस्कवरी और हार्ड-केस विस्तार को जोड़ना) सर्वोत्तम प्रदर्शन देता है, जो केवल स्थिर टैक्सोनॉमी का उपयोग करने वाले कॉन्फ़िगरेशन से बेहतर है।

• ATBench-500:

  • इसे क्रॉस-फॉर्मेट जनरलाइजेशन का परीक्षण करने के लिए नेटिव ATBench फॉर्मेट (OpenClaw रोलआउट में बदले बिना) में मूल्यांकित किया गया।
  • BraveGuard-Qwen3-Guard-8B ने 86.4% एक्यूरेसी और 95.2% रिकॉल प्राप्त किया, जो अधिकांश अन्य गार्ड मॉडल्स और जनरल LLMs से बेहतर है, हालांकि यह AgentDoG मॉडल्स (जिन्हें ATBench-नेटिव फॉर्मेट के लिए प्रशिक्षित किया गया था) से थोड़ा पीछे रहा। यह सुझाव देता है कि हालांकि फॉर्मेट अलाइनमेंट मायने रखता है, लेकिन BraveGuard द्वारा प्रदान किया गया प्रक्षेपवक्र-स्तरीय पर्यवेक्षण अत्यधिक प्रभावी रहता है।

• श्रेणी-वार प्रदर्शन:

  • BraveGuard ने विनाशकारी कार्यों (destructive actions) और विशेषाधिकार वृद्धि (privilege escalation) सहित विविध जोखिम श्रेणियों में मजबूत प्रदर्शन दिखाया।
  • डेटा एक्सफिल्ट्रेशन और कंप्लायंस बाईपास जैसी जटिल श्रेणियों पर प्रदर्शन थोड़ा कम था, जो सूक्ष्म क्रॉस-स्टेप डिपेंडेंसी पर निर्भर करते हैं, जो भविष्य के सुधार के क्षेत्रों को उजागर करता है।

महत्व और दावे

पेपर का दावा है कि BraveGuard कंप्यूटर-उपयोग एजेंटों के लिए एक स्केलेबल पथ प्रदान करता है जो विकसित होते वास्तविक दुनिया के जोखिमों का सामना कर रहे हैं। इसका प्राथमिक महत्व यह प्रदर्शित करने में है कि ओपन-वर्ल्ड थ्रेट डिस्कवरी और यथार्थवादी एजेंट निष्पादन पर आधारित गार्ड पर्यवेक्षण, स्थिर टैक्सोनॉमी और सिंथेटिक प्रॉम्प्ट-स्तरीय डेटा की तुलना में सुरक्षा निगरानी को काफी बेहतर बना सकता है।

लेखक इस बात पर जोर देते हैं कि यह फ्रेमवर्क बेंचमार्क वितरण और तैनात एजेंटों के गतिशील थ्रेट लैंडस्केप के बीच के अंतर को संबोधित करता है। ओपन-वर्ल्ड थ्रेट सिग्नल्स को निष्पादन योग्य कार्यों और प्रक्षेपवक्र-स्तरीय पर्यवेक्षण में बदलकर, BraveGuard उन जोखिमों का पता लगाने में सक्षम बनाता है जो कई, स्थानीय रूप से हानिरहित क्रियाओं के संयोजन के माध्यम से उभरते हैं। परिणाम बताते हैं कि डिजिटल वातावरण में एकीकृत होने के साथ कंप्यूटर-उपयोग एजेंटों को सुरक्षित करने के लिए अनुकूलित, प्रक्षेपवक्र-आधारित पर्यवेक्षण एक आवश्यक विकास है।

पेपर सीमाओं पर एक विनम्र रुख बनाए रखता है, यह नोट करते हुए कि कवरेज माइंड किए गए साक्ष्यों की गुणवत्ता पर निर्भर करता है और वर्तमान पाइपलाइन मुख्य रूप से OpenClaw प्रक्षेपव्यों के इर्द-गिर्द बनी हुई है, जो अलग-अलग ट्रेस फॉर्मेट या टूल इंटरफेस वाले एजेंटों पर प्रदर्शन को प्रभावित कर सकती है।