BELLS-O: Evaluating the Operational Trade-offs of LLM Supervision Systems
यह शोध पत्र BELLS-O को प्रस्तुत करता है, जो पहला स्वतंत्र परिचालन बेंचमार्क है जो 28 LLM पर्यवेक्षण प्रणालियों का डिटेक्शन सटीकता, विलंबता (latency) और लागत के आधार पर मूल्यांकन करता है, जिससे यह पता चलता है कि विशेष गार्डरेल्स कंटेंट मॉडरेशन के लिए अधिक कुशल हैं जबकि फ्रंटियर जनरलिस्ट LLMs जेलब्रेक डिटेक्शन के लिए बेहतर प्रदर्शन प्रदान करते हैं, बावजूद इसके कि उनका खर्च काफी अधिक है।