SafePyramid: A Hierarchical Benchmark for In-context Policy Guardrailing
यह शोध पत्र SafePyramid को प्रस्तुत करता है, जो एक पदानुक्रमित बेंचमार्क है जिसमें 1,000 बहु-चरण (multi-turn) वार्तालाप और 3,000 अनुप्रयोग-विशिष्ट नीतियां शामिल हैं, जो इन-कॉन्टेक्स्ट पॉलिसी गार्डरेलिंगिंग का मूल्यांकन करता है, और यह प्रकट करता है कि अत्याधुनिक मॉडल भी जटिलता के विभिन्न स्तरों के माध्यम से सुरक्षा उल्लंघनों को सटीक रूप से पहचानने और नवीन नीति ढांचों के अनुकूल होने में संघर्ष करते हैं।