RefusalBench: Why Refusal Rate Misranks Frontier LLMs on Biological Research Prompts
यह शोधपत्र RefusalBench को प्रस्तुत करता है, जो एक मैचड-ट्रिपल (matched-triple) बेंचमार्क है जो यह प्रकट करता है कि सख्त इनकार दरें (strict refusal rates) जैविक अनुसंधान प्रॉम्प्ट्स पर फ्रंटियर LLMs को मॉडल वेट्स के बजाय प्रदाता-विशिष्ट एक्सेस-पाथ नीतियों के कारण गलत रैंक करती हैं, जबकि यह प्रदर्शित करता है कि बाइनरी मेट्रिक्स सूक्ष्म आंशिक-अनुपालन व्यवहारों को पकड़ने में विफल रहते हैं और टियर-भेदभाव प्रदर्शन विभिन्न मॉडलों के बीच महत्वपूर्ण रूप से भिन्न होता है।