TelcoAgent-Bench: A Multilingual Benchmark for Telecom AI Agents

यहाँ पेपर "TelcoAgent-Bench: A Multilingual Benchmark for Telecom AI Agents" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

टेलीकॉम नेटवर्क में लार्ज लैंग्वेज मॉडल (LLM) एजेंटों का एकीकरण स्वायत्त नेटवर्क संचालन (autonomous network operations) की क्षमता प्रदान करता है। हालाँकि, वर्तमान LLM एजेंटों को इस डोमेन में तैनात करते समय महत्वपूर्ण चुनौतियों का सामना करना पड़ता है:

• डोमेन विशिष्टता (Domain Specificity): सामान्य-उद्देश्य वाले बेंचमार्क (जैसे, AgentBench, GAIA) वेब नेविगेशन या सामान्य टूल उपयोग पर ध्यान केंद्रित करते हैं और उन सख्त परिचालन बाधाओं, विश्वसनीयता आवश्यकताओं और नियत तर्क प्रवाह (deterministic logic flows) को पकड़ने में विफल रहते हैं जो टेलीकॉम ट्रबलशूटिंग के लिए आवश्यक हैं।
• प्रक्रिया संरेखण (Process Alignment): टेलीकॉम में, कार्यों का क्रम (order) उतना ही महत्वपूर्ण है जितने कि स्वयं कार्य। गलत अनुक्रमण (जैसे, कवरेज सत्यापित करने से पहले पैरामीटर बदलना) नेटवर्क की स्थिरता को प्रभावित कर सकता है।
• बहुभाषी अंतराल (Multilingual Gaps): टेलीकॉम नेटवर्क वैश्विक स्तर पर संचालित होते हैं, जिसके लिए एजेंटों को कई भाषाओं (विशेष रूप से इस अध्ययन में अंग्रेजी और अरबी) में प्रभावी ढंग से कार्य करने की आवश्यकता होती है, फिर भी वर्तमान मॉडल गैर-अंग्रेजी भाषाओं में डोमेन-विशिष्ट शब्दावली के साथ संघर्ष करते हैं।
• स्थिरता और निरंतरता (Stability & Consistency): LLMs संभावabilistic (संभाव्यता आधारित) होते हैं, जिससे एक ही परिदृश्य के बार-बार होने वाले विविध रूपों में असंगत व्यवहार होता है, जो महत्वपूर्ण नेटवर्क संचालन के लिए स्वीकार्य नहीं है।

2. कार्यप्रणाली (Methodology)

लेखक एक व्यापक ढांचे का प्रस्ताव करते हैं जिसमें एक नया डेटासेट (TelcoAgent-Bench) और एक विशेष मूल्यांकन सूट (TelcoAgent-Metrics) शामिल है।

A. डेटासेट: TelcoAgent-Bench

यह डेटासेट नेटवर्क इंजीनियर और एक LLM एजेंट के बीच नेटवर्क समस्याओं को हल करने के लिए होने वाली बातचीत का अनुकरण करता है।

• संरचना: यह 7 नेटवर्क प्रबंधन क्षेत्रों में वर्गीकृत 15 उच्च-स्तरीय इरादों (intents) (जैसे, बीम मिसअलाइनमेंट, डाउनलिंक थ्रूपुट ड्रॉप) के इर्द-गिर्द बनाया गया है।
• ब्लूप्रिंट्स (Blueprints): प्रत्येक इरादे को 3-5 "ब्लूप्रिंट्स" में विस्तारित किया जाता है जो पैरामीटर रेंज (जैसे, PRB उपयोगिता, थ्रूपुट मान) को परिभाषित करते हैं। यह इन बाधाओं के भीतर पैरामीटरों का नमूना लेकर ~1,470 अद्वितीय संवाद उदाहरण उत्पन्न करने की अनुमति देता है।
• द्विभाषी सहायता: सभी घटक (समस्या विवरण, बातचीत और गोल्ड सारांश) अंग्रेजी और अरबी दोनों में उत्पन्न किए गए हैं।
• गार्डरेल्स (Guardrails): डेटासेट सख्त नियमों को लागू करता है: KPI मान परिभाषित रेंज के भीतर रहने चाहिए, टूल कॉल एक "गोल्ड" संदर्भ क्रम का पालन करने चाहिए, और भ्रम (hallucinations) को रोकने के लिए केवल पूर्व-निर्धारित टूल्स की ही अनुमति है।
• टूल सेट: वातावरण में कोर टूल्स (कार्य के लिए आवश्यक, जैसे, oss_query, kpi_timeseries) और डिस्ट्रैक्टर टूल्स (वैध लेकिन अप्रासंगिक टूल्स, जैसे, subscriber_insight) शामिल हैं ताकि एजेंट के निर्णय लेने की क्षमता का परीक्षण किया जा सके।

B. मूल्यांकन मेट्रिक्स: TelcoAgent-Metrics

यह ढांचा एजेंट के प्रदर्शन का केवल कार्य सफलता से परे मूल्यांकन करने के लिए चार प्रमुख मेट्रिक्स पेश करता है:

1. इरादा पहचान सटीकता (Intent Recognition Accuracy - IRA):

   • यह मुक्त-पाठ (free-text) समस्या विवरण से अंतर्निहित ट्रबलशूटिंग इरादे को पहचानने की एजेंट की क्षमता को मापता है।
   • यह गोल्ड लेबल के साथ वाक्य एम्बेडिंग पर कोसाइन सिमिलरिटी (cosine similarity) का उपयोग करता है, जिससे कठोर लेबल मिलान के बजाय सिमेंटिक लचीलापन मिलता है।

2. अनुक्रम संरेखण स्कोर (Sequence Alignment Score - SAS):

   • यह टूल निष्पादन के क्रम की शुद्धता का मूल्यांकन करता है।
   • यह दो उप-मेट्रिक्स से बना है:
     • अनिवार्य चरण कवरेज (Mandatory Step Coverage - MSC): एजेंट के कार्यों और गोल्ड पाथ के बीच लॉन्गएस्ट कॉमन सबसीक्वेंस (LCS) की लंबाई, गोल्ड पाथ की लंबाई द्वारा सामान्यीकृत (normalized)।
     • अतिरिक्त क्रिया दंड (Extra Action Penalty - EAP): अनावश्यक या डिस्ट्रैक्टर टूल्स को बुलाने के लिए एक दंड।
   • $SAS = MSC \times EAP$।

3. समाधान सटीकता (Resolution Accuracy - RA):

   • यह एजेंट के अंतिम समाधान सारांश (मूल कारण, क्रियाएं, टिकट लॉगिंग) और गोल्ड सारांश के बीच सिमेंटिक समानता को मापता है।
   • यह सुनिश्चित करने के लिए वाक्य एम्बेडिंग पर कोसाइन सिमिलरिटी का उपयोग करता है कि अंतिम रिपोर्ट सटीक हो, भले ही मध्यवर्ती चरण थोड़े भिन्न रहे हों।

4. ब्लूप्रिंट विश्वसनीयता स्कोर (Blueprint Reliability Score - BRS):

   • यह एक ही परिदृश्य (ब्लूप्रिंट) के कई विविधताओं में एजेंट की स्थिरता को मापता है।
   • यह तीन उप-मेट्रिक्स को जोड़ता है:
     • GPC-0: गोल्ड पाथ का सटीक पालन।
     • GPC-1: मामूली विचलन के लिए सहनशीलता (Levenshtein distance $\le$ 1)।
     • अनुक्रम प्रसार (Sequence Dispersion - SD): विभिन्न रन के बीच परिवर्तनशीलता को मापता है; कम होना बेहतर है।
   • $BRS = \alpha_1 \cdot GPC\text{-}0 + \alpha_2 \cdot GPC\text{-}1 + \alpha_3 \cdot (1 - SD)$।

3. मुख्य योगदान (Key Contributions)

• पहला टेलीकॉम-विशिष्ट एजेंट बेंचमार्क: एक डोमेन-विशिष्ट ढांचे को पेश करता है जो "प्रश्न पूछने" से आगे बढ़कर सख्त प्रक्रिया बाधाओं के साथ "नेटवर्क समस्याओं को हल करने" की ओर बढ़ता है।
• बहुभाषी क्षमता: विशेष रूप से द्विभाषी (अंग्रेजी/अरबी) मूल्यांकन की आवश्यकता को संबोधित करता है, जो वर्तमान मॉडलों की तकनीकी अरबी क्षमताओं में अंतराल को उजागर करता है।
• प्रक्रिया-उन्मुख मेट्रिक्स: ऐसे मेट्रिक्स (SAS, BRS) विकसित करता है जो सरल कार्य पूर्णता के बजाय संचालन के अनुक्रम और स्थिरता को प्राथमिकता देते हैं, जो सुरक्षा-महत्वपूर्ण टेलीकॉम वातावरण के लिए महत्वपूर्ण है।
• ओपन डेटासेट: पुनरुत्पादक अनुसंधान (reproducible research) को सुगम बनाने के लिए इरादों, ब्लूप्रिंट्स और संवादों का एक संरचित डेटासेट जारी किया गया है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने बेंचमार्क पर कई अत्याधुनिक इंस्ट्रक्ट-ट्यून्ड मॉडल्स (जैसे, Llama-3, Qwen, Granite, Gemma, Mistral) का मूल्यांकन किया।

• इरादा पहचान (IRA): मॉडल पर्याप्त अच्छा प्रदर्शन करते थे जब उन्हें इरादों की सूची प्रदान की गई थी, लेकिन अनियंत्रित सेटिंग्स में वे संघर्ष करते थे। अंग्रेजी का प्रदर्शन लगातार अरबी से बेहतर रहा, जिसमें छोटे या मिक्स्चर-ऑफ-एक्सपर्ट्स (MoE) मॉडल्स में बड़े अंतर देखे गए।
• अनुक्रम संरेखण (SAS):
  • यहाँ एक स्पष्ट ट्रेड-ऑफ है: जो मॉडल डिस्ट्रैक्टर्स से सख्ती से बचते हैं (उच्च EAP), वे अक्सर अनिवार्य चरणों को छोड़ देते हैं (कम MSC), और इसके विपरीत।
  • Granite-3.3-8B ने उच्चतम समग्र SAS प्राप्त किया, जो आवश्यक चरणों को निष्पादित करने और अप्रासंगिक टूल्स से बचने के बीच सबसे अच्छा संतुलन प्रदर्शित करता है।
  • Qwen-7B में उच्च कवरेज (MSC) था लेकिन बहुत कम EAP था, जिसका अर्थ है कि उसने बार-बार अनावश्यक टूल्स का उपयोग किया।
• ब्लूप्रिंट विश्वसनीयता (BRS):
  • अधिकांश मॉडल्स का GPC-0 (सटीक पथ पालन) पर स्कोर अत्यंत कम था, जो पूर्वनिर्धारित प्रवाहों के सख्त अनुपालन की कमी को दर्शाता है।
  • Granite-3.3-8B ने उच्चतम BRS के साथ नेतृत्व किया, जो स्थिर और दोहराने योग्य व्यवहार दिखाता है।
  • उच्च अनुक्रम प्रसार (SD) वाले मॉडल, जैसे कि Granite-3.1-MoE-3B, परिदृश्य विविधताओं के बीच अस्थिर व्यवहार दिखाते हैं।
• समाधान सटीकता (RA):
  • अधिकांश मॉडल्स ने उच्च RA स्कोर (0.80–0.88) प्राप्त किया, जो यह सुझाव देता है कि वे सुसंगत अंतिम सारांश उत्पन्न कर सकते हैं।
  • महत्वपूर्ण अंतर्दृष्टि: उच्च RA, सही प्रक्रिया निष्पादन की गारंटी नहीं देता है। मॉडल सही ट्रबलशूटिंग चरणों या टूल क्रम का पालन करने में विफल रहने के बावजूद अच्छे सारांश तैयार कर सकते हैं।

5. महत्व और भविष्य का कार्य (Significance and Future Work)

• परिचालन प्रासंगिकता: पेपर इस बात पर जोर देता है कि जबकि LLMs टेलीकॉम समस्याओं को सिमेंटिक रूप से समझ सकते हैं, उनमें वर्तमान में स्वायत्त नेटवर्क प्रबंधन के लिए आवश्यक परिचालन निरंतरता की कमी है।
• बहुभाषी आवश्यकताएं: अरबी में प्रदर्शन का अंतर वैश्विक टेलीकॉम परिनियोजन के लिए डोमेन-अनुकूलित, द्विभाषी LLMs की आवश्यकता को रेखांकित करता है।
• मूल्यांकन में बदलाव: अध्ययन तर्क देता है कि भविष्य के मूल्यांकन को केवल "कार्य सफलता" से आगे बढ़कर "प्रक्रिया संरेखण" और "स्थिरता" की ओर बढ़ना चाहिए ताकि महत्वपूर्ण बुनियादी ढांचे में सुरक्षा सुनिश्चित की जा सके।
• भविष्य की दिशाएं: लेखक ढांचे को क्लोज्ड-लूप रीजनिंग (closed-loop reasoning) को मॉडल करने के लिए विस्तारित करने की योजना बना रहे हैं, जहाँ एजेंट टूल आउटपुट की व्याख्या करते हैं, कॉन्फ़िगरेशन परिवर्तन लागू करते हैं, और केवल एक स्थिर योजना उत्पन्न करने के बजाय नेटवर्क अवस्थाओं का गतिशील रूप से पुनर्मूल्यांकन करते हैं।