ExCyTIn-Bench: Evaluating LLM agents on Cyber Threat Investigation
यह शोध पत्र ExCyTIn-Bench प्रस्तुत करता है, जो माइक्रोसॉफ्ट सेंटिनलल (Microsoft Sentinel) लॉग्स और इन्वेस्टिगेशन ग्राफ से 7,542 प्रश्न उत्पन्न करके साइबर खतरे की जांच पर LLM एजेंटों का मूल्यांकन करने के लिए डिज़ाइन किया गया पहला बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान शीर्ष मॉडल केवल 0.606 रिवॉर्ड स्कोर प्राप्त करते हैं और भविष्य में सुधार की महत्वपूर्ण गुंजाइश को उजागर करता है।