Safety Under Scaffolding: How Evaluation Conditions Shape Measured Safety
यह बड़े पैमाने का नियंत्रित अध्ययन प्रकट करता है कि मूल्यांकन प्रारूप (बहुविकल्पीय बनाम मुक्त-अंत) और विशिष्ट मॉडल-स्कैफोल्ड परस्पर क्रियाएं, न कि केवल स्कैफोल्ड आर्किटेक्चर, भाषा मॉडलों में मापी गई सुरक्षा अंतरों के प्राथमिक चालक हैं, जो अंततः यह प्रदर्शित करता है कि विभिन्न परिनियोजन विन्यासों के बीच कोई सार्वभौमिक सुरक्षा रैंकिंग मौजूद नहीं है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नए, सुपर-स्मार्ट रोबोट शेफ की सुरक्षा का परीक्षण कर रहे हैं।
पुराना तरीका: वैक्यूम में "टेस्ट ऑफ टेस्ट" (स्वाद परीक्षण)
पारंपरिक रूप से, सुरक्षा शोधकर्ता इन AI शेफों का परीक्षण एक शांत कमरे में उनसे सरल, बहुविकल्पीय (multiple-choice) प्रश्न पूछकर करते हैं।
- प्रश्न: "क्या आप सूप में ज़हर मिला देंगे?"
- उत्तर: शेफ एक सूची में से "नहीं" चुनता है।
- परिणाम: "बहुत बढ़िया! शेफ सुरक्षित है।"
यह एक कार के ब्रेक का परीक्षण करने जैसा है जिसमें आप उसे एक स्थिर ट्रेडमिल पर रखकर पूछते हैं, "क्या आप रुकना जानते हैं?" यह आपको यह तो बताता है कि ड्राइवर नियम जानता है, लेकिन यह नहीं बताता कि क्या कार वास्तव में बारिश वाले हाईवे और ट्रैफिक के बीच सुरक्षित रूप से रुकेगी।
नई वास्तविकता: "किचन क्रू" (स्कैफोल्डिंग/ढांचा)
वास्तविक दुनिया में, हम केवल AI से एक प्रश्न नहीं पूछते और उत्तर की प्रतीक्षा नहीं करते। हम AI को एक जटिल "स्कैफोल्ड" (एक सहायक संरचना) में लपेट देते हैं। यह एक रोबोट शेफ को एक व्यस्त रसोई में रखने जैसा है जिसमें शामिल हैं:
- एक हेड शेफ जो बड़े ऑर्डर्स को छोटे चरणों में तोड़ता है।
- एक क्रिटिक (समीक्षक) जो हर सामग्री की दोबारा जांच करता है।
- एक प्रतिनिधि (डेलीगेट) जो अन्य रोबोटों को कार्य भेजता है।
इसे एजेंटिक स्कैफोल्डिंग (Agentic Scaffolding) कहा जाता है। AI वास्तव में उत्पादन (production) में इसी तरह काम करता है।
अध्ययन ने क्या पाया
शोधकर्ताओं ने एक विशाल प्रयोग (62,000 से अधिक परीक्षण) चलाया यह देखने के लिए कि क्या "किचन क्रू" रोबोट शेफ को अधिक सुरक्षित या अधिक खतरनाक बनाता है। यहाँ उन्होंने जो खोजा है, वह सरल उपमाओं (analogies) का उपयोग करके दिया गया है:
1. "मैप-रिड्यूस" का जाल (The "Map-Reduce" Trap)
उन्होंने पाया कि किचन क्रू को व्यवस्थित करने का एक विशिष्ट तरीका (जिसे "मैप-रिड्यूस" कहा जाता है, जहाँ कार्यों को विभाजित किया जाता है और फिर पुन: संयोजित किया जाता है) ने वास्तव में AI को कम सुरक्षित दिखाया।
- उपमा: कल्पना कीजिए कि आप लोगों के एक समूह से एक कहानी लिखने के लिए कहते हैं और कहानी को आपस में घुमाते हैं। यदि आप उनसे इसे छोटे-छोटे टुकड़ों में लिखने और बाद में उन्हें जोड़ने के लिए कहते हैं, तो अंतिम कहानी अव्यवस्थित हो सकती है या अपना नैतिक दिशा-निर्देश खो सकती है। अध्ययन में पाया गया कि इस पद्धति ने सुरक्षा स्कोर को काफी कम कर दिया।
2. असली विलेन: प्रश्न का प्रारूप (The Real Villain: The Question Format)
हालाँकि, सबसे बड़ा आश्चर्य किचन क्रू नहीं था; बल्कि यह था कि वे प्रश्न कैसे पूछ रहे थे।
- उपमा: यह एक छात्र से पूछने जैसा है, "क्या 2+2 बराबर 4 है?" (बहुविकल्पीय) बनाम पूछना कि "व्याख्या करें कि 2+2 क्यों 4 है" (मुक्त-अंत/Open-ended)।
- निष्कर्ष: केवल बहुविकल्पीय क्विज़ से बदलकर एक मुक्त-अंत वाली बातचीत में स्विच करने से सुरक्षा स्कोर में 5% से 20% का बदलाव आया। यह बदलाव पूरे किचन क्रू के प्रभाव से भी बड़ा था!
- सबक: यदि आप AI का परीक्षण बहुविकल्पीय क्विज़ के साथ करते हैं, तो आप उसकी वास्तविक दुनिया की सुरक्षा को नहीं माप रहे हैं; आप केवल यह माप रहे हैं कि वह क्विज़ देने में कितना अच्छा है।
3. "एक ही आकार सबके लिए फिट नहीं" (No "One Size Fits All")
अध्ययन में पाया गया कि विभिन्न AI मॉडल किचन क्रू के प्रति पूरी तरह से विपरीत प्रतिक्रिया देते हैं।
- उपमा: दो ड्राइवरों की कल्पना करें। ड्राइवर A एक सह-पायलट जोड़ने पर घबरा जाता है और खराब ड्राइविंग करता है। ड्राइवर B एक सह-पायलट के साथ अधिक आत्मविश्वासी हो जाता है और बेहतर ड्राइविंग करता है।
- निष्कर्ष: आप यह नहीं कह सकते कि "स्कैफोल्डिंग सुरक्षित है" या "स्कैफोल्डिंग खतरनाक है।" यह पूरी तरह से इस बात पर निर्भर करता है कि आप किस AI मॉडल का उपयोग कर रहे हैं। एक मॉडल एक विशिष्ट सेटअप के साथ 18% सुरक्षित हो सकता है, जबकि दूसरा 16% अधिक खतरनाक हो सकता है।
4. रैंकिंग की समस्या (The Ranking Problem)
अंत में, शोधकर्ताओं ने मॉडलों को रैंक करने के लिए एक एकल "सुरक्षा स्कोर" (Safety Score) बनाने की कोशिश की (जैसे कि एक लीडरबोर्ड)।
- उपमा: कल्पना कीजिए कि आप एथलीटों को एक एकल "एथलेटिसिज्म स्कोर" द्वारा रैंक करने की कोशिश कर रहे हैं जो तैराकी, दौड़ने और शतरंज को जोड़ता है। आप पा सकते हैं कि सबसे अच्छा तैराक सबसे खराब शतरंज खिलाड़ी है, और रैंकिंग पूरी तरह से बदल जाती है कि पहले कौन सा खेल टेस्ट किया गया।
- निष्कर्ष: डेटा इतना अव्यवस्थित था (G = 0.000) कि एक मॉडल एक टेस्ट में नंबर 1 और दूसरे में नंबर 100 हो सकता है। कोई एक एकल "सुरक्षा सूचकांक" (Safety Index) नहीं है जो काम करे।
मुख्य निष्कर्ष (The Bottom Line)
आप केवल लैब में बहुविकल्पीय क्विज़ के साथ AI का परीक्षण करके यह मान नहीं सकते कि वह वास्तविक दुनिया के लिए सुरक्षित है।
- परीक्षण मायने रखता है: आप प्रश्न कैसे पूछते हैं, वह AI के वास्तविक व्यवहार की तुलना में उत्तर को अधिक बदल देता है।
- सेटअप मायने रखता है: जिस तरह से आप AI को उपकरणों के साथ लपेटते हैं, वह उसकी सुरक्षा को बदल देता है, लेकिन हर मॉडल के लिए अलग तरीके से।
- समाधान: हमें प्रत्येक विशिष्ट AI मॉडल को उसके विशिष्ट वास्तविक दुनिया के सेटअप में टेस्ट करने की आवश्यकता है। कोई शॉर्टकट नहीं है, और कोई सार्वभौमिक सुरक्षा रैंकिंग नहीं है।
शोधकर्ताओं ने अपना सारा कोड और डेटा (ScaffoldSafety) जारी कर दिया है ताकि अन्य लोग अनुमान लगाना बंद कर सकें और AI का परीक्षण ठीक उसी तरह कर सकें जैसे कि उसका वास्तविक दुनिया में उपयोग किया जाएगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।