💬 NLP
Evaluation Awareness Is Not One Capability: Evidence from Open Language Models
यह शोध पत्र ओपन लैंग्वेज मॉडल्स पर व्यापक प्रयोगों के माध्यम से यह प्रदर्शित करता है कि "इवैल्यूएशन अवेयरनेस" (मूल्यांकन जागरूकता) कोई एकल क्षमता नहीं है, बल्कि एक बहुआयामी घटना है जिसमें डिटेक्शन (पहचान), व्यवहारिक अनुकूलन और आंतरिक प्रतिनिधित्व शामिल हैं जो स्वतंत्र रूप से भिन्न होते हैं, जिससे एक "बेंचमार्क इल्यूजन" (बेंचमार्क भ्रम) उत्पन्न होता है जहाँ मानक सुरक्षा स्कोर वास्तविक दुनिया की तैनाती की सुरक्षा का विश्वसनीय रूप से पूर्वानुमान लगाने में विफल रहते हैं।