MermaidSeqBench: An Evaluation Benchmark for NL-to-Mermaid Sequence Diagram Generation
यह शोधपत्र MermaidSeqभेंच (MermaidSeqBench) को प्रस्तुत करता है, जो 132 मानव-सत्यापित और सिंथेटिक रूप से विस्तारित नमूनों से बना एक नया बेंचमार्क है, जिसे सूक्ष्म (fine-grained), LLM-एज़-अ-जज मेट्रिक्स का उपयोग करके प्राकृतिक भाषा विवरणों से सटीक रूप से मर्मेड (Mermaid) अनुक्रम आरेख उत्पन्न करने की बड़े भाषा मॉडलों (LLMs) की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है।