When No Benchmark Exists: Validating Comparative LLM Safety Scoring Without Ground-Truth Labels
यह शोध पत्र ग्राउंड-ट्रुथ बेंचमार्क की अनुपस्थिति में नियंत्रित कंट्रास्ट और स्थिरता मेट्रिक्स पर आधारित एक इंस्ट्रुमेंटल-वैलिडिटी चेन स्थापित करके तुलनात्मक एलएलएम (LLM) सुरक्षा स्कोर को मान्य करने के लिए एक ढांचे का परिचय देता है, जो 'सिंपल ऑडिट' (SimpleAudit) टूल के माध्यम से यह प्रदर्शित करता है कि सुरक्षा रैंकिंग संदर्भ-निर्भर होती है और उन्हें एक एकल संकुचित स्कोर के बजाय उनकी विशिष्ट ऑडिट स्थितियों के साथ रिपोर्ट किया जाना चाहिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शहर के योजनाकार (city planner) हैं जो नागरिकों को सलाह देने के लिए एक नया रोबोट नियुक्त करने की कोशिश कर रहे हैं। आपके पास दो रोबोट हैं, रोबोट A और रोबोट B। आपको यह जानने की आवश्यकता है कि कौन सा रोबोट "सुरक्षित" है (गलत या खतरनाक सलाह देने की संभावना कम है) इससे पहले कि आप उन्हें जनता से बात करने दें।
आमतौर पर, आप उन्हें एक मानकीकृत परीक्षा (एक बेंचमार्क) पर परखेंगे जहाँ आपको सही उत्तर पता होते हैं। लेकिन क्या होगा यदि आप एक विशिष्ट, दुर्लभ भाषा (जैसे नॉर्वेजियन) या एक बहुत ही विशिष्ट कार्य के लिए रोबोट बना रहे हैं जहाँ अभी तक कोई ऐसी परीक्षा मौजूद नहीं है? आप केवल अनुमान नहीं लगा सकते, और आप अभी से एक विशाल परीक्षा बनाने का खर्च भी नहीं उठा सकते।
यह पेपर बताता है कि बिना किसी पूर्व-निर्मित परीक्षा के इन रोबोटों की तुलना कैसे की जाए। वे इसे "बेंचमार्कलेस कंपैरेटिव सेफ्टी स्कोरिंग" (Benchmarkless Comparative Safety Scoring) कहते हैं।
यहाँ बताया गया है कि यह कैसे काम करता है, उपमाओं (analogies) का उपयोग करते हुए:
1. समस्या: "नो-एग्जाम" (परीक्षा-रहित) दुविधा
आमतौर पर, सुरक्षा परीक्षण एक बहुविकल्पीय परीक्षा की तरह होता है जिसमें उत्तर कुंजी (answer key) होती है। लेकिन कई वास्तविक स्थितियों में (जैसे नॉर्वे में एक विशिष्ट सरकारी विभाग में), कोई उत्तर कुंजी नहीं होती।
- पुराना तरीका: तब तक प्रतीक्षा करें जब तक कोई आपके लिए एक आदर्श परीक्षा न बना ले (जिसमें वर्षों और पैसा लगता है)।
- नया तरीका: अभी एक "मॉक ट्रायल" (नकली मुकदमा) बनाएं ताकि यह देखा जा सके कि दूसरा रोबोट बेहतर व्यवहार करता है या नहीं, भले ही हमें पूर्णतः "परफेक्ट" स्कोर का पता न हो।
2. समाधान: "मॉक ट्रायल" (SimpleAudit)
लेखकों ने SimpleAudit नामक एक टूल बनाया है। इसे एक नियंत्रित अदालती नाटक (controlled courtroom drama) के रूप में सोचें।
- स्क्रिप्ट (परिदृश्य पैक - Scenario Pack): यादृच्छिक (random) प्रश्नों के बजाय, वे विशिष्ट स्थितियों का एक निश्चित सेट उपयोग करते हैं (जैसे, "एक नागरिक चिकित्सा सलाह मांगता है," "कोई कानूनी मदद मांगता है")। यह मुकदमे की स्क्रिप्ट है।
- अभिनेता (लक्ष्य मॉडल - Target Model): यह वह रोबोट है जिसका परीक्षण किया जा रहा है (रोबोट A या रोबोट B)।
- अभियोजक (ऑडिटर - Prosecutor): यह एक दूसरा AI है जिसे अभिनेता के उत्तरों में कमियां निकालने के लिए डिज़ाइन किया गया है। यह अभिनेता को यह देखने के लिए पेचीदा फॉलो-अप प्रश्न पूछता है कि क्या वह गलती करता है।
- न्यायाधीश (जज - Judge): तीसरा AI पूरी बातचीत को सुनता है और एक सख्त नियम पुस्तिका (rubric) के आधार पर स्कोर देता है।
मुख्य नियम: आप इसे केवल एक बार नहीं चलाते। आप परिणाम केवल भाग्य पर आधारित न हो, इसके लिए आप उसी सेटिंग्स के साथ एक ही स्क्रिप्ट को 10 बार चलाते हैं।
3. "सेफ्टी चेक" (वैलिडेशन चेन)
चूंकि कोई उत्तर कुंजी नहीं है, तो आप कैसे जानते हैं कि यह परीक्षण वास्तव में काम कर रहा है? लेखकों ने यह साबित करने के लिए कि उनका टूल वैध है, तीन-चरणीय "रियलिटी चेक" का उपयोग किया है:
चरण 1: "सबोटेज" टेस्ट (प्रतिक्रियाशीलता - Responsiveness)
कल्पित कीजिए कि वे रोबोट A को लेते हैं और गुप्त रूप से उसके सुरक्षा फिल्टर को "तोड़" देते हैं (इसे एक "एब्लिटरेटेड" संस्करण बना देते हैं जो गलत चीजें बोलने की अधिक संभावना रखता है)।- परीक्षण: क्या टूल अंतर को पहचान पाता है?
- परिणाम: हाँ। टूल ने सुरक्षित रोबोट की तुलना में "टूटे हुए" रोबोट को बहुत कम स्कोर दिया। यह साबित करता है कि टूल सुरक्षा संबंधी समस्याओं को पकड़ने के लिए पर्याप्त संवेदनशील है।
चरण 2: "ब्लेम गेम" (टारगेट डोमिनेंस - Target Dominance)
अदालत में, कभी-कभी न्यायाधीश पक्षपाती होता है, या अभियोजक बहुत कमजोर होता है। लेखक यह सुनिश्चित करना चाहते थे कि स्कोर वास्तव में रोबोट के व्यवहार के बारे में था, न कि AI जज या अभियोजक की विशिष्टताओं के बारे में।- परीक्षण: उन्होंने अलग-अलग जजों और अभियोजकों के साथ ट्रायल चलाया।
- परिणाम: स्कोर में बदलाव का सबसे बड़ा कारण जिस रोबोट का परीक्षण किया जा रहा था, वह था, न कि वह जज जिसका उपयोग किया जा रहा था। यह साबित करता है कि टूल रोबोट को मापता है, न कि स्वयं टूल को।
चरण 3: "रिपीट" टेस्ट (स्थिरता - Stability)
यदि आप 10 बार ट्रायल चलाते हैं, तो क्या आपको समान परिणाम मिलते हैं?- परिणाम: हाँ। लगभग 10 रन के बाद, स्कोर उछलना-कूदना बंद कर देता है और एक स्थिर संख्या में बदल जाता है।
4. वास्तविक दुनिया का परीक्षण: नॉर्वेजियन प्रोक्योरमेंट
लेखकों ने इस पर एक वास्तविक नॉर्वेजियन सरकारी प्रोजेक्ट का परीक्षण किया जिसमें दो मॉडलों की तुलना की गई: बोरेलिस (Borealis) और जेम्मा (Gemma)।
- निष्कर्ष: उन्होंने केवल यह नहीं कहा कि "रोबोट A बेहतर है।" उन्होंने कहा, "रोबोट A स्वास्थ्य सेवा के प्रश्नों के लिए सुरक्षित है, लेकिन रोबोट B भाषा के प्रश्नों के लिए सुरक्षित है।"
- पाठ: आप केवल एक एकल "विजेता" नहीं चुन सकते। आपको विशिष्ट जोखिमों को देखना होगा। टूल ने उन्हें डेटा का एक समूह (स्कोर, क्रिटिकल फेलियर रेट और अनिश्चितता) दिया ताकि वे एक सूचित निर्णय ले सकें।
5. "कॉन्ट्रैक्ट" (आप क्या दावा कर सकते हैं और क्या नहीं)
पेपर इस बात को लेकर बहुत सावधान है कि यह टूल क्या वादा करता है।
- यह वादा करता है: "यदि आप इस सटीक स्क्रिप्ट का उपयोग करते हैं, इस सटीक नियम के साथ, तो रोबोट A, रोबोट B से अधिक सुरक्षित है।"
- यह वादा नहीं करता: "यह रोबोट पूरी दुनिया के लिए 100% सुरक्षित है" या "यह रोबोट कभी गलती नहीं करेगा।"
- उपमा: इसे कार क्रैश टेस्ट की तरह समझें। यदि आप एक कार को 30 मील प्रति घंटे की रफ्तार से दीवार से टकराते हैं, तो आप कह सकते हैं, "इस कार ने उस दूसरी कार की तुलना में उस विशिष्ट क्रैश को बेहतर तरीके से संभाला।" आप यह नहीं कह सकते कि, "यह कार ब्रह्मांड की हर संभावित ड्राइविंग स्थिति के लिए सुरक्षित है।"
सारांश
यह पेपर कहता है: जब आपके पास मानक परीक्षण नहीं होता है, तो आप तब भी सुरक्षा की तुलना कर सकते हैं यदि आप एक सख्त, दोहराने योग्य "मॉक ट्रायल" बनाते हैं और यह सिद्ध करते हैं कि ट्रायल वास्तव में सुरक्षा परिवर्तनों पर प्रतिक्रिया करता है।
उन्होंने एक टूल (SimpleAudit) बनाया जो ऐसा करता है, यह साबित किया कि यह काम करता है (मॉडल्स को "तोड़कर" यह देखना कि क्या टूल उसे पकड़ पाता है), और दिखाया कि यह सरकारों को यह निर्णय लेने में कैसे मदद करता है कि किस AI का उपयोग करना है, बजाय इसके कि वे केवल एक यादृच्छिक विजेता को चुनें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।