SafetyRepro: Configuration-Conditional Rank Instability on Alignment Benchmarks
"SafetyRepro" शोध पत्र यह प्रदर्शित करता है कि अलाइनमेंट बेंचमार्क में कॉन्फ़िगरेशन संबंधी विकल्प युग्मवार सुरक्षा रैंकिंग (pairwise safety rankings) को मौलिक रूप से उलट सकते हैं, जो इस रैंक अस्थिरता को मापने और संबोधित करने के लिए एक सैद्धांतिक ढांचा और मूल्यांकन प्रोटोकॉल प्रस्तुत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप तीन धावकों (मान लीजिए धावक A, धावक B और धावक C) में से यह तय करने की कोशिश कर रहे हैं कि कौन सबसे तेज़ है। आप एक निष्पक्ष दौड़ चाहते हैं ताकि पता चल सके कि कौन जीता।
AI की दुनिया में, ये "धावक" लार्ज लैंग्वेज मॉडल्स (LLMs) हैं, और "दौड़" एक बेंचमार्क टेस्ट है जिसे यह देखने के लिए बनाया गया है कि कौन अधिक सुरक्षित, अधिक सत्यवादी या कम पक्षपाती है।
यह शोध पत्र, SafetyRepro, तर्क देता है कि इन दौड़ों के परिणाम अक्सर नकली होते हैं क्योंकि दौड़ आयोजित करने वाले व्यक्ति (इवैल्यूएटर/मूल्यांकक) का नियमों, ट्रैक और स्टॉपवॉच पर बहुत अधिक नियंत्रण होता है। वास्तव में, केवल नियमों को थोड़ा बदलकर, मूल्यांकनकर्ता किसी भी धावक को विजेता बना सकता है, भले ही वे सभी एक ही दौड़ दौड़ रहे हों।
यहाँ सरल उपमाओं का उपयोग करके इस शोध पत्र के निष्कर्षों का विवरण दिया गया है:
1. "नियम पुस्तिका" की समस्या (The "Rulebook" Problem)
जब कोई बेंचमार्क पेपर कहता है कि "मॉडल A, मॉडल B से अधिक सुरक्षित है," तो यह एक वैज्ञानिक तथ्य जैसा लगता है। लेकिन यह शोध पत्र तर्क देता है कि यह रॉक-पेपर-सिज़र्स के खेल जैसा है जहाँ कागज पकड़े हुए व्यक्ति खेल शुरू होने से पहले चुपके से नियम बदल सकता है।
AI के सवाल का जवाब देने से पहले ही, मूल्यांकनकर्ता को चुनना होता है:
- प्रॉम्प्ट टेम्पलेट (The Prompt Template): प्रश्न कैसे पूछा गया है (जैसे, "इसका उत्तर दें" बनाम "आप एक सहायक सहायक हैं, इसका उत्तर दें")।
- डिकोडिंग (The Decoding): AI अगले शब्द का अनुमान कैसे लगाता है (जैसे, बहुत सख्त होना बनाम थोड़ा रचनात्मक होना)।
- स्कोरिंग (The Scoring): उत्तर को कैसे ग्रेड किया जाता है (जैसे, किसी विशिष्ट अक्षर जैसे "A" की तलाश करना बनाम पूरा पैराग्राफ पढ़ना)।
इस शोध पत्र ने तीन लोकप्रिय AI मॉडल्स को पाँच प्रसिद्ध सुरक्षा बेंचमार्क्स पर टेस्ट किया। उन्होंने यह टेस्ट केवल एक बार नहीं किया; उन्होंने इसे नियमों के 612 विभिन्न संयोजनों (जैसे जूते, मोज़े और लेस के हर संभव संयोजन को आज़माना) के माध्यम से चलाया।
2. "फ्लिप" (मुख्य खोज)
सबसे चौंकाने वाली खोज है जिसे लेखक "रैंक फ्लिप" (Rank Flip) कहते हैं।
कल्पना कीजिए कि आपके पास एक लीडरबोर्ड है।
- परिदृश्य 1: आप "नियम सेट A" का उपयोग करते हैं। लीडरबोर्ड कहता है: धावक A > धावक B > धावक C।
- परिदृश्य 2: आप "नियम सेट B" (एक अलग प्रॉम्प्ट या स्कोरिंग विधि) पर स्विच करते हैं। अचानक, लीडरबोर्ड कहता है: धावक C > धावक A > धावक B।
शोध पत्र ने पाया कि उनके द्वारा टेस्ट किए गए प्रत्येक बेंचमार्क पर, मूल्यांकनकर्ता कॉन्फ़िगरेशन बदलकर विजेता को बदल सकता था।
- XSTest नामक एक विशिष्ट टेस्ट पर (जो यह जाँचता है कि क्या AI खतरनाक सवालों के जवाब देने से मना करता है), मूल्यांकनकर्ता 6 संभावित रैंकिंग्स में से किसी को भी घटित करवा सकता था। वे सेटिंग्स में थोड़ा बदलाव करके सबसे खराब मॉडल को सबसे अच्छा और सबसे अच्छे को सबसे खराब दिखा सकते थे।
उपमा: यह एक कुकिंग कॉम्पिटिशन के जज की तरह है जो यह तय कर सकता है कि "तीखापन" ही एकमात्र चीज़ मायने रखती है। यदि वह ऐसा करता है, तो एक हल्का सूप तीखी करी से हार जाएगा। लेकिन यदि वह तय करता है कि "मिठास" ही एकमात्र चीज़ मायने रखती है, तो करी केक से हार जाएगी। यह शोध पत्र दिखाता है कि वर्तमान AI बेंचमार्क ऐसे ही हैं: विजेता इस बात पर निर्भर करता है कि जज पहले किस स्वाद को चखने का फैसला करता है।
3. विभिन्न टूल्स का "ब्लैक बॉक्स"
शोध पत्र ने यह भी देखा कि यदि आप एक ही मॉडल को समान सेटिंग्स के साथ टेस्ट करने के लिए तीन अलग-अलग "रेसिंग सॉफ़्टवेयर" पैकेज (जैसे lm-evaluation-harness, HELM, और Inspect AI) का उपयोग करते हैं, तो क्या होता है।
परिणाम: स्कोर बहुत अलग थे।
- एक टेस्ट पर, स्कोर केवल इसलिए 21.7 प्रतिशत अंक तक भिन्न थे क्योंकि एक अलग सॉफ़्टवेयर पैकेज का उपयोग किया गया था।
- क्यों? क्योंकि भले ही वे एक ही "कार्य" का परीक्षण कर रहे थे, सॉफ़्टवेयर पैकेज वास्तव में अलग-अलग चीजें माप रहे थे। एक शायद यह जाँच रहा था कि क्या AI ने सही अक्षर चुना, जबकि दूसरा यह जाँच रहा था कि क्या AI ने एक ऐसा वाक्य लिखा है जिसमें सही अक्षर शामिल है।
उपमा: यह एक इमारत की ऊँचाई मापने वाले तीन अलग-अलग लोगों की तरह है। एक ज़मीन से छत तक मापता है। एक बेसमेंट से छत तक मापता है। एक छत से आसमान तक मापता है। वे सभी "ऊँचाई" माप रहे हैं, लेकिन उनके टूल्स और परिभाषाएँ मेल नहीं खातीं, इसलिए उन्हें पूरी तरह से अलग नंबर मिलते हैं।
4. "सुरक्षा" के लिए इसका क्या अर्थ है
शोध पत्र निष्कर्ष निकालता है कि जब आप ऐसी हेडलाइन पढ़ते हैं जिसमें कहा गया हो कि "मॉडल X, मॉडल Y से अधिक सुरक्षित है," तो आपको बहुत संशयवादी होना चाहिए।
- दावा: यह शोध पत्र यह नहीं कहता कि मॉडल खराब हैं। यह कहता है कि रैंकिंग अस्थिर है।
- वास्तविकता: "मॉडल A अधिक सुरक्षित है" वाला कथन वास्तव में (मॉडल A + उपयोग किए गए विशिष्ट नियम) के जोड़े (pair) के बारे में एक कथन है। यदि आप नियम बदलते हैं, तो यह कथन गलत हो सकता है।
- प्रस्तावित समाधान: लेखक एक "GRID कार्ड" का सुझाव देते हैं। ठीक वैसे ही जैसे भोजन पर लगा पोषण लेबल आपको बताता है कि इसमें कौन सी सामग्री है, एक बेंचमार्क स्कोर के साथ एक लेबल होना चाहिए जो उस स्कोर को उत्पन्न करने के लिए उपयोग किए गए प्रत्येक नियम को सूचीबद्ध करता हो। बिना इस लेबल के, स्कोर अर्थहीन है।
एक वाक्य में सारांश
यह शोध पत्र सिद्ध करता है कि वर्तमान AI सुरक्षा परीक्षण इतने संवेदनशील हैं कि एक मूल्यांकनकर्ता मूल रूप से किसी भी AI मॉडल को विजेता या हारने वाला दिखाने के लिए परिणामों को "रिग" (हेरफेर) कर सकता है, जिसका अर्थ है कि हम वर्तमान रैंकिंग पर तब तक भरोसा नहीं कर सकते जब तक कि हम नियमों को मानकीकृत न करें और यह स्पष्ट रूप से खुलासा न करें कि टेस्ट कैसे चलाया गया था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।