Beyond Accuracy: Policy Invariance as a Reliability Test for LLM Safety Judges
यह शोध पत्र LLM सुरक्षा जजों के लिए एक महत्वपूर्ण विश्वसनीयता परीक्षण के रूप में "पॉलिसी इनवेरिएंस" (नीति अपरिवर्तनीयता) को प्रस्तुत करता है, जो एक नए स्ट्रेस-टेस्ट प्रोटोकॉल के माध्यम से यह प्रदर्शित करता है कि वर्तमान मूल्यांकनकर्ता अक्सर प्रॉम्प्ट की शब्दावली को एजेंट के व्यवहार के साथ मिला देते हैं, जो महत्वपूर्ण निर्णय अस्थिरता को प्रकट करता है और केवल सटीकता-आधारित बेंचमार्क के लिए अदृश्य विश्वसनीयता अंतराल को उजागर करने के लिए 'पॉलिसी इनवेरिएंस स्कोर' का प्रस्ताव देता है।