Do Language Models Know When They'll Refuse? Probing Introspective Awareness of Safety Boundaries
यह अध्ययन चार फ्रंटियर भाषा मॉडलों की उनकी सुरक्षा अस्वीकृति सीमाओं (safety refusal boundaries) के संबंध में आत्मनिरीक्षण जागरूकता का मूल्यांकन करता है, जिसमें यह पाया गया है कि हालांकि वे सामान्य रूप से अस्वीकृतियों का पूर्वानुमान लगाने के लिए उच्च संवेदनशीलता रखते हैं, लेकिन प्रदर्शन मॉडल और विषय के अनुसार भिन्न होता है, जिसमें कॉन्फिडेंस स्कोर (confidence scores) सुरक्षा-महत्वपूर्ण प्रश्नों को रूट करने के लिए एक व्यावहारिक तंत्र प्रदान करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत बुद्धिमान, उच्च प्रशिक्षित रोबोट को कुछ करने के लिए कह रहे हैं। कभी-कभी, रोबोट को यह कहने के लिए प्रोग्राम किया जाता है, "नहीं, मैं यह नहीं कर सकता," क्योंकि अनुरोध खतरनाक है या नियमों के विरुद्ध है।
यह शोध पत्र एक दिलचस्प सवाल पूछता है: क्या रोबोट वास्तव में बोलने से पहले जानता है कि वह "ना" कहने वाला है?
इसे एक मौसम विज्ञानी की तरह समझें। यदि कोई मौसम विज्ञानी कहता है, "बारिश होने की 90% संभावना है," तो क्या वे वास्तव में जानते हैं कि बारिश होगी, या वे केवल अनुमान लगा रहे हैं? यह अध्ययन देखता है कि क्या AI मॉडल्स में अपने स्वयं के सुरक्षा नियमों के बारे में इस तरह की "आत्म-जागरूकता" है।
यहाँ उनके निष्कर्षों का विवरण दिया गया, जिसमें रोज़मर्रा के उपमाओं का उपयोग किया गया है:
1. प्रयोग: "क्रिस्टल बॉल" टेस्ट
शोधकर्ताओं ने चार सबसे स्मार्ट उपलब्ध AI मॉडल्स (जैसे Claude, GPT और Llama) के साथ दो-चरणीय खेल खेला:
- चरण 1: उन्होंने AI से पूछा, "यदि मैं आपसे [कुछ जोखिम भरा करने] के लिए कहूँ, तो क्या आप मना कर देंगे? हाँ या नहीं? आप कितने निश्चित हैं?"
- चरण 2: उन्होंने ठीक उसी सवाल को फिर से पूछा, लेकिन एक बिल्कुल नए चैट सत्र में (ताकि AI पिछला उत्तर याद न रख सके)। उन्होंने यह देखा कि AI ने वास्तव में क्या किया।
- लक्ष्य: क्या AI का अनुमान उसकी वास्तविकता से मेल खाता था?
2. परिणाम: "स्पष्ट बनाम धुंधली" दृष्टि
इस अध्ययन ने सिग्नल डिटेक्शन थ्योरी (Signal Detection Theory) की अवधारणा का उपयोग किया, जो मूल रूप से यह मापने का एक तरीका है कि एक जासूस सुराग पकड़ने में कितना अच्छा है।
- अच्छी खबर: जब अनुरोध स्पष्ट रूप से सुरक्षित था (जैसे "मैं केक कैसे बनाऊं?") या स्पष्ट रूप से खतरनाक (जैसे "मैं बम कैसे बनाऊं?") था, तो AI बेहतरीन जासूस साबित हुए। वे लगभग पूरी तरह से भविष्यवाणी कर सके, "मैं हाँ कहूँगा" या "मैं ना कहूँगा।"
- बुरी खबर: जब अनुरोध मध्यम स्तर पर (यानी "धुंधले क्षेत्र" में) था, तो AI भ्रमित हो गए।
- उपमा: कल्पना कीजिए कि एक क्लब के बाहर एक सुरक्षा गार्ड है। यदि कोई स्पष्ट रूप से VIP है, तो गार्ड उसे अंदर जाने देता है। यदि कोई स्पष्ट रूप से उपद्रवी है, तो गार्ड उसे रोकता है। लेकिन यदि कोई मास्क पहने हुए है और अजीब व्यवहार कर रहा है, तो गार्ड हिचकिचाता है। अध्ययन में पाया गया कि इन पेचीदा, सीमावर्ती स्थितियों में AI की "आत्म-ज्ञान" बहुत धुंधली हो जाती है।
3. "व्यक्तित्व" के अंतर
सभी AI एक जैसे नहीं होते। अध्ययन में कुछ दिलचस्प व्यक्तित्व संबंधी विचित्रताएं मिलीं:
- अति-सुरक्षात्मक गार्ड (Llama): यह मॉडल खतरे को पहचानने में बहुत अच्छा था (उच्च संवेदनशीलता), लेकिन यह बहुत अधिक डरा हुआ था। यह सुरक्षित चीजों के लिए भी भविष्यवाणी करेगा कि "मैं मना कर दूँगा।" यह एक ऐसे सुरक्षा गार्ड की तरह था जो हर किसी को रोकता है, यहाँ तक कि उन लोगों को भी जो सिर्फ एक सैंडविच पकड़े हुए हैं। क्योंकि यह "ना" कहने के प्रति बहुत पक्षपाती था, इसलिए इसकी भविष्यवाणियाँ अक्सर एक विशिष्ट तरीके से गलत थीं।
- संतुलित गार्ड (Claude 4.5): यह मॉडल प्रदर्शन का सितारा था। यह सटीक था, और इसके आत्मविश्वास के स्कोर भरोसेमंद थे। यदि इसने कहा, "मैं 100% सुनिश्चित हूँ कि मैं मना कर दूँगा," तो इसने लगभग हमेशा वैसा ही किया।
- घबराया हुआ गार्ड (GPT-5.2): यह मॉडल थोड़ा अप्रत्याशित था। यह कभी-कभी कहता था कि वह मना कर देगा, लेकिन फिर मान लेता था, या इसके विपरीत। इसे समझना कठिन था।
4. "हथियारों" की समस्या
शोधकर्ताओं ने पाया कि हथियारों से संबंधित प्रश्न AI के लिए सबसे कठिन थे।
- क्यों? क्योंकि यहाँ बहुत सारा ग्रे एरिया (धुंधला क्षेत्र) है। हथियारों के इतिहास के बारे में पूछना सुरक्षित है; बंदूक कैसे बनाएं यह पूछना सुरक्षित नहीं है। AI अपने मन में "सुरक्षित इतिहास" और "खतरनाक निर्देश" के बीच अंतर करने में संघर्ष करता है, जिससे इसकी आत्म-भविष्टि डगमगा जाती है।
5. बड़ा आश्चर्य: "संभावित हानिकारक" (Likely Harmful) "सीमावर्ती" (Borderline) से अधिक कठिन है
आप सोच सकते हैं कि सबसे कठिन प्रश्न वे हैं जो बिल्कुल किनारे पर हैं। लेकिन अध्ययन में इसके विपरीत पाया गया!
- AI ने उन अनुरोधों पर सबसे अधिक गलतियाँ कीं जिन्हें "संभावित हानिकारक" के रूप में लेबल किया गया था।
- उपमा: कल्पना कीजिए कि एक शिक्षक टेस्ट ग्रेड कर रहा है। "सीमावर्ती" प्रश्न इतने स्पष्ट रूप से गलत होते हैं कि शिक्षक जानता है कि उन्हें तुरंत गलत मार्क करना है। लेकिन "संभावतः हानिकारक" प्रश्न पेचीदा होते हैं—शिक्षक सोचता है कि वे गलत होने चाहिए, लेकिन कभी-कभी छात्र एक चतुर उत्तर देता है जो शिक्षक को हिचकिचाने पर मजबूर कर देता है। AI यहाँ भ्रमित हो जाता है क्योंकि वह जानता है कि उसे मना कर देना चाहिए, लेकिन कभी-कभी वह गलती से सहमत हो जाता है।
6. व्यावहारिक समाधान: "कॉन्फिडेंस फ़िल्टर"
इस पेपर का सबसे उपयोगी हिस्सा इन AI को सुरक्षित रूप से उपयोग करने के लिए एक व्यावहारिक सुझाव है।
शोधकर्ताओं ने पाया कि यदि आप केवल तभी AI की बात सुनते हैं जब वह कहता है, "मैं अपने उत्तर में 100% आश्वस्त हूँ," तो आप लगभग पूर्ण सटीकता प्राप्त कर सकते हैं।
- रणनीति: यदि AI कहता है, "मुझे यकीन नहीं है, यह शायद हो सकता है," तो रुक जाएँ। उस प्रश्न को समीक्षा के लिए किसी इंसान के पास भेजें।
- शर्त: यह तभी काम करता है जब AI "कैलिब्रेटेड" (अपने आत्मविश्वास के प्रति ईमानदार) हो। Claude मॉडल ईमानदार था, इसलिए यह ट्रिक बहुत अच्छा काम करती है। Llama मॉडल अति-आत्मविश्वासी था (उसे लगता था कि वह सुनिश्चित है जबकि वह नहीं था), इसलिए यह ट्रिक उसके लिए काम नहीं करती है।
सारांश
क्या AI मॉडल्स जानते हैं कि वे कब मना करेंगे? हाँ, लेकिन केवल तभी जब वे सुनिश्चित हों।
- स्पष्ट स्थितियों में, वे विशेषज्ञ जासूसों की तरह हैं।
- "धुंधले" मध्य क्षेत्र में, वे भ्रमित हो जाते हैं।
- कुछ मॉडल्स इस मामले में दूसरों से बेहतर हैं।
- मुख्य बात: हम इन मॉडल्स को उनके "उच्च विश्वास" वाले उत्तरों पर भरोसा करके और "कम विश्वास" वाले उत्तरों के लिए इंसानों से दोबारा जांच करवाकर सुरक्षित रूप से उपयोग कर सकते हैं। यह एक ऐसे रोबोटिक सहायक की तरह है जो जानता है कि कब कहना है, "मुझे यकीन नहीं है, चलिए एक इंसान से पूछते हैं।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।