तकनीकी सारांश: SLBench – कौशल में तार्किक संबंधों का पालन करने में LLM एजेंटों का मूल्यांकन

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) एजेंट तेजी से बाहरी कौशलों (external skills) पर निर्भर होते हैं: पुन: प्रयोज्य प्रक्रियात्मक दस्तावेज़ (जैसे, SKILL.md फ़ाइलें) जो डोमेन ज्ञान, वर्कफ़्लो और परिचालन बाधाओं को पैकेज करते हैं। एकल निर्देशों के विपरीत, कौशल कई निर्देशात्मक खंडों (instructional clauses) से बने होते जो तार्किक रूप से परस्पर क्रिया करते हैं। इन परस्पर क्रियाओं में पूर्व-शर्तें (preconditions) (कार्यों को नियंत्रित करने वाली), बाधाएं (constraints) (निष्पादन के दायरे को सीमित करने वाली), पश्च-शर्तें (postconditions) (सफाई या फॉलो-अप की आवश्यकता वाली), फालबैक (fallbacks), अपवाद (exceptions), और ओवरराइड (overrides) शामिल हैं।

पहचानी गई मुख्य समस्या यह है कि एजेंट अक्सर कौशल के प्रमुख, मुख्य क्रिया खंड (primary action clause) को तो पूरा कर देते हैं, लेकिन खंडों के बीच शासन करने वाले तार्किक संबंधों को हल करने में विफल रहते हैं। इससे संरचनात्मक विफलताएं (composition failures) होती हैं जहाँ एजेंट कार्य को पूरा करता हुआ प्रतीत होता है लेकिन असुरक्षित परिणाम देता है, जैसे कि प्रोसेसिंग के बाद डिस्क पर संवेदनशील फ़ाइलों को छोड़ देना, सुरक्षा द्वारों को बायपास करना, या त्रुटि के बाद रोलबैक करने में विफल होना। मौजूदा बेंचमार्क मुख्य रूप से इस बात का मूल्यांकन करते हैं कि क्या एजेंट कार्य पूरा करते हैं या व्यापक नीतियों का पालन करते हैं, लेकिन वे कौशल दस्तावेजों की आंतरिक तार्किक संरचना को चित्रित करने या यह परीक्षण करने में विफल रहते हैं कि क्या एजेंट परस्पर क्रिया करने वाले खंडों द्वारा निहित संयोजित व्यवहार (composed behavior) को संतुष्ट करते हैं।

2. कार्यप्रणाली

2.1 SkillLogic फ्रेमवर्क

लेखक तार्किक संबंधों का विश्लेषण करने और निष्पादन योग्य परीक्षण बनाने के लिए एक फ्रेमवर्क, SkillLogic पेश करते हैं।

• वर्गीकरण (Taxonomy): फ्रेमवर्क प्रक्रियात्मक खंडों के बीच आठ तार्किक संबंध प्रकारों को परिभाषित करता है:
  1. पूर्व-शर्त (Precondition): $c_i$ की क्रिया वैध होने के लिए $c_j$ का होना अनिवार्य है।
  2. पश्च-शर्त (Postcondition): $c_i$ तब तक अधूरा है जब तक कि फॉलो-अप $c_j$ नहीं होता।
  3. बाधा (Constraint): $c_i$ केवल सीमा $c_j$ के भीतर ही अनुमत है।
  4. संयोजन (Conjunction): सभी दायित्व ($c_i \land c_j$) संयुक्त रूप से लागू होने चाहिए।
  5. फालबैक (Fallback): $c_j$ केवल तभी लागू होता है जब $c_i$ विफल हो जाता है।
  6. अपवाद (Exception): $c_j$ एक विशिष्ट स्थिति के तहत डिफ़ॉल्ट $c_i$ को निष्फल कर देता है।
  7. ओवरराइड (Override): जब दोनों लागू होते हैं, तो मजबूत $c_j$ शासन करता है।
  8. संघर्ष (Conflict): $c_i$ और $c_j$ दोनों को एक साथ संतुष्ट नहीं किया जा सकता।
• विश्लेषण पाइपलाइन: SkillLogic कौशल पाठ से खंडों को निकालता है, एक प्राथमिक वर्कफ़्लो चुनता है, और ग्राउंडेड संबंधों की पहचान करता है। यह उन संबंधों को प्राथमिकता देता है जो स्रोत-आधारित (source-grounded), उच्च-प्रभाव वाले और स्थानीय रूप से परीक्षण योग्य हैं।

2.2 SLBench निर्माण

SkillLogic का उपयोग करते हुए, लेखकों ने 86 मानव-निरीक्षित मामलों वाला एक निष्पादन योग्य बेंचमार्क, SLBench बनाया।

• डेटा स्रोत: पाइपलाइन ने SkillsMP से 5,224 अद्वितीय कौशलों का नमूना लिया। डीडुप्लिकेशन और विश्लेषण के बाद, 3,751 कौशलों में वैध तार्किक संबंध पाए गए।
• चयन: मामलों को उच्च प्रभाव (जैसे, गोपनीयता लीक, असुरक्षित कॉन्फ़िगरेशन) और नियत ग्रेड करने योग्यता (deterministic gradability) के लिए फ़िल्टर किया गया। अंतिम सेट में 47 उल्लंघन मामले और 39 नियंत्रण मामले शामिल हैं।
• ग्रेडिंग डिज़ाइन: बेंचमार्क एक आर्टिफैक्ट-प्रथम, नियत ग्रेडिंग (artifact-first, deterministic grading) दृष्टिकोण का उपयोग करता है। एजेंट की प्राकृतिक भाषा प्रतिक्रिया का मूल्यांकन करने के बजाय, ग्रेडर निष्पादन आर्टिफैक्ट्स (फ़ाइल अवस्था, कमांड ट्रेस, रिपॉजिटरी परिवर्तन) की जांच करता है।
  • असुरक्षित-प्रथम प्राथमिकता (Unsafe-First Precedence): यदि कोई भी उल्लंघन संकेत (जैसे, निषिद्ध कमांड, गायब सफाई) सक्रिय होता है, तो रन को असुरक्षित लेबल किया जाता है, भले ही सुरक्षित संकेत (जैसे, सही आउटपुट फ़ाइल की उपस्थिति) भी मौजूद हों। यह उस विषमता को संबोधित करता है जहाँ असुरक्षित व्यवहार अक्सर स्पष्ट और अवलोकन योग्य होता है, जबकि सुरक्षित व्यवहार कई वैध रूपों में हो सकता है।

2.3 शमन (Mitigation): SLGuard

लेखक एक हल्का इन्फरेंस-टाइम स्कैफोल्ड, SLGuard प्रस्तावित करते हैं। निष्पादन से पहले, SLGuard लक्षित कौशल का विश्लेषण करता है और एक संबंध चेकलिस्ट (जैसे, "पूर्व-शर्तों को सत्यापित करें," "सुनिश्चित करें कि पश्च-शर्तें पूरी हो रही हैं") बनाता है। एजेंट को वर्कफ़्लो को अंतिम रूप देने से पहले इन संबंधों को स्पष्ट रूप से जांचने का निर्देश दिया जाता है। यह परीक्षण करता है कि क्या तार्किक संरचना को सामने लाने से (बिना मूल कौशल फ़ाइलों को बदले) एजेंट के व्यवहार में सुधार होता है।

3. मुख्य परिणाम

3.1 तार्किक संबंधों की व्यापकता

5,000 से अधिक सार्वजनिक कौशलों के विश्लेषण से पता चला कि 70% में कम से कम एक तार्किक संबंध है। पाए गए सबसे सामान्य प्रकार बाधाएं (constraints) और पूर्व-शर्तें (preconditions) थे, इसके बाद पश्च-शर्तें (postconditions) और फालबैक (fallbacks) थे।

3.2 SLBench पर एजेंट का प्रदर्शन

लेखकों ने छह LLM बैकबोन पर SLBench पर मुख्य कोडिंग एजेंटों (Codex और Claude Code) का मूल्यांकन किया:

• उच्च उल्लंघन दरें: असुरक्षित दरें 35.1% से 70.2% के बीच थीं।
  • GPT-5.5 के साथ Codex में उच्चतम उल्लंघन दर (70.2%) देखी गई।
  • Opus 4.7 के साथ Claude Code में सबसे कम उल्लंघन दर (35.1%) लेकिन उच्चतम अनिर्णायक (inconclusive) दर (35.1%) थी, जो सावधानी और कार्य पूर्णता के बीच एक ट्रेड-ऑफ का सुझाव देती है।
• विफलता मोड: एजेंट अक्सर पूर्व-शर्तों (अनुमोदन द्वारों से पहले कार्य करना), संघर्षों (असंगत खंडों को हल करने में विफल रहना), और ओवरराइड (मजबूत अवरोधों को अनदेखा करना) को हल करने में विफल रहे। पश्च-शर्त विफलताएं भी आम थीं, जहाँ एजेंट मुख्य कार्य पूरा कर लेते थे लेकिन आवश्यक सफाई या रिपोर्टिंग चरणों को छोड़ देते थे।
• मानव ऑडिट: 12 उच्च-गुणवत्ता वाले उल्लंघन मामलों के मानव ऑडिट ने पुष्टि की कि कौशल पाठ आम तौर पर स्पष्ट (कम अस्पष्टता) थे। मनुष्यों द्वारा मूल पाठ से सुरक्षित व्यवहार को हल किया जा सका, जो यह दर्शाता है कि विफलताएं कौशल की अस्पष्टता के बजाय एजेंट क्षमता अंतराल (agent capability gaps) से उत्पन्न होती हैं। हालांकि, कौशल पाठ को स्पष्ट करने से उल्लंघन आधे रह गए, जो यह सुझाव देता है कि कम-स्पष्टता (low-salience) वाला कौशल पाठ भी विफलता मोड में योगदान देता है।

3.3 SLGuard की प्रभावशीलता

लक्षित मामलों पर SLGuard लागू करने से उल्लंघन में 63% की कमी आई।

• शमन उन संबंधों के लिए सबसे प्रभावी था जिनमें ठोस गेट या स्कोप सीमाएं शामिल थीं (जैसे, संघर्ष, ओवरराइड, पश्च-शर्तें)।
• यह पूर्व-शर्तों और अपवादों के लिए कम प्रभावी था, जहाँ सफलता के लिए गहरे स्टेट ट्रैकिंग या डोमेन तर्क की आवश्यकता होती है, जो यह सुझाव देता है कि केवल प्रॉम्प्टिंग ही सभी संबंध प्रकारों के लिए पूर्ण रक्षा नहीं है।

4. महत्व और दावे

यह पेपर तार्किक-संबंध पालन (logical-relation following) को कौशल-निर्देशित एजेंटों के लिए एक विशिष्ट और सुरक्षा-संबंधित विफलता मोड के रूप में स्थापित करता है।

• विशिष्ट चुनौती: परिणाम प्रदर्शित करते हैं कि एक एजेंट प्राथमिक कार्य को पूरा करके "सहायक" हो सकता है, जबकि साथ ही खंडों के बीच तार्किक संबंधों को जोड़ने में विफलता के कारण सुरक्षा बाधाओं का उल्लंघन करता है।
• मूल्यांकन अंतराल: मौजूदा बेंचमार्क इन आंतरिक संरचनात्मक विफलताओं को पकड़ने में विफल रहते हैं। SLBench यह मूल्यांकन करने के लिए एक आवश्यक उपकरण प्रदान करता है कि क्या एजेंट परस्पर क्रिया करने वाले कौशल खंडों द्वारा निहित संयोजित व्यवहार को संतुष्ट करते हैं।
• डिज़ाइन निहितार्थ: निष्कर्षों से संबंध-जागरूक कौशल डिज़ाइन (तार्किक संरचनाओं को अधिक स्पष्ट बनाना) और प्रक्रियात्मक कौशलों के अधिक कठोर मूल्यांकन की आवश्यकता का पता चलता है। SLGuard की सफलता यह सुझाव देती है कि तार्किक संबंधों का स्पष्ट स्कैफोल्डिंग इन विफलताओं के एक बड़े हिस्से को कम कर सकता है।

लेखक निष्कर्ष निकालते हैं कि विश्वसनीय कौशल उपयोग के लिए साधारण निर्देश पालन से अधिक की आवश्यकता है; एजेंटों को सुरक्षा और शुद्धता सुनिश्चित करने के लिए परस्पर क्रिया करने वाले कौशल खंडों द्वारा निहित संयोजित व्यवहार को संतुष्ट करना चाहिए।