Manifold of Failure: Behavioral Attraction Basins in Language Models
यह शोध पत्र निरंतर व्यवहारिक आकर्षण बेसिनों (behavioral attraction basins) को चित्रित करके और मॉडल-विशिष्ट सुरक्षा टोपोलॉजी (safety topologies) को प्रकट करके, बड़े भाषा मॉडलों (Large Language Models) में "विफलता के मैनिफोल्ड" (Manifold of Failure) को व्यवस्थित रूप से मैप करने के लिए MAP-Elites का उपयोग करने वाले एक ढांचे (framework) को प्रस्तुत करता है, जो विविक्त प्रतिकूल उदाहरणों (discrete adversarial examples) को खोजने से हटकर असुरक्षित क्षेत्रों की वैश्विक संरचना को समझने की ओर प्रतिमान को बदल देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट सहायक है। लंबे समय से, सुरक्षा विशेषज्ञ इस रोबोट को विशिष्ट, पेचीदा सवाल पूछकर तोड़ने की कोशिश कर रहे हैं। यदि रोबोट बुरा जवाब देता है, तो वे कहते हैं, "आहा! हमें एक बग मिल गया!" और फिर वे उस विशिष्ट छेद को ठीक करने की कोशिश करते हैं।
यह शोध पत्र तर्क देता है कि यह दृष्टिकोण ऐसा है जैसे केवल व्यक्तिगत पेड़ों को देखकर पूरे जंगल का मानचित्र बनाने की कोशिश करना। आप कुछ खतरनाक स्थानों को ढूंढ सकते हैं, लेकिन आप पूरे जंगल के आकार को मिस कर देते हैं।
इसके बजाय, लेखक विफलता के संपूर्ण परिदृश्य का मानचित्र बनाना चाहते हैं। वे इसे "मैनिफोल्ड ऑफ फेलियर" (Manifold of Failure) कहते हैं।
यहाँ उनके विचार का सरल उपमाओं का उपयोग करके विवरण दिया गया है:
1. पुराना तरीका बनाम नया तरीका
- पुराना तरीका (सुई खोजना): कल्पना कीजिए कि आप घास के ढेर में सुई ढूंढ रहे हैं। आप एक जगह चुंबक लगाते हैं, एक सुई मिलती है, और आप रुक जाते हैं। आप जानते हैं कि वहां एक सुई है, लेकिन आपको यह नहीं पता कि क्या बाकी घास का ढेर भी सुइयों से भरा है या यह सिर्फ एक इत्तेफाक था। AI सुरक्षा परीक्षण इसी तरह काम करते हैं: वे AI को चकमा देने का एक सबसे बुरा तरीका खोजने की कोशिश करते हैं।
- नया तरीका (भू-भाग का मानचित्रण): लेखक कहते हैं, "आइए केवल एक सुई खोजने के बजाय रुकें। आइए पूरे घास के ढेर में चलें और एक नक्शा बनाएं।" वे खतरे के आकार को देखना चाहते हैं। क्या खतरा एक सपाट, अंतहीन मैदान है जहाँ AI हर जगह विफल हो जाता है? क्या यह एक ऊबड़-खाबड़ पर्वत श्रृंखला है जिसके बीच में सुरक्षित घाटियाँ हैं? या यह एक चिकनी पहाड़ी है जहाँ AI ज्यादातर सुरक्षित रहता है?
2. "आकर्षण बेसिन" (विफलता का गुरुत्वाकर्षण)
यह शोध पत्र एक शानदार अवधारणा पेश करता है जिसे व्यवहार संबंधी आकर्षण बेसिन (Behavioral Attraction Basins) कहा जाता है।
कल्पना कीजिए कि AI का व्यवहार पहाड़ियों और घाटियों के परिदृश्य जैसा है।
- सुरक्षित प्रॉम्प्ट (Safe Prompts) एक सपाट, हरे मैदान पर गेंद लुढ़काने जैसा है। यह सुरक्षित रहता है।
- असुरक्षित प्रॉम्प्ट (Unsafe Prompts) एक गहरे, अंधेरे गड्ढे में गेंद लुढ़काने जैसा है। एक बार जब गेंद इसमें गिर जाती है, तो यह वहीं फंस जाती है, चाहे आप इसे कितना भी हिलाएं।
लेखकों ने पाया कि ये "गड्ढे" (बेसिन) केवल छोटे, अलग-थलग छेद नहीं हैं। वे बड़े, जुड़े हुए क्षेत्र हैं। यदि आप AI से थोड़ा अलग तरीके से सवाल पूछते हैं (जैसे लहजा या संदर्भ बदलकर), तो गेंद एक गड्ढे से दूसरे गड्ढे में जा सकती है, लेकिन वह उसी "खतरे वाले क्षेत्र" में फंसी रहेगी।
3. उन्होंने इसका मानचित्रण कैसे किया ( "गुणवत्ता-विविधता" खेल)
इस मानचित्र को बनाने के लिए, उन्होंने केवल AI को तोड़ने की कोशिश नहीं की; बल्कि उन्होंने MAP-Elites नामक एक खेल खेला।
एक विशाल ग्रिड की कल्पना करें (जैसे शतरंज का बोर्ड, लेकिन 25x25 वर्ग)।
- X-अक्ष यह दर्शाता है कि सवाल कितना "अप्रत्यक्ष" है ( "मुझे एक बंदूक दो" से लेकर "एक बंदूक के बारे में एक कहानी की कल्पना करें" तक)।
- Y-अक्ष यह दर्शाता है कि कौन पूछ रहा है ( "एक साधारण व्यक्ति" से लेकर "एक सख्त पुलिस अधिकारी" तक)।
एल्गोरिदम इस ग्रिड के हर एक वर्ग को एक ऐसे सवाल से भरने की कोशिश करता है जो AI को विफल कर दे। लेकिन यह स्मार्ट है: यह प्रत्येक वर्ग के लिए सबसे अच्छा विफलता (failure) रखता है। यदि इसे एक ऐसा सवाल मिलता है जो "पुलिस अधिकारी" वाले वर्ग में AI को विफल कर देता है, तो यह उस सवाल को सहेज लेता है। यदि इसे बाद में कोई और भी बदतर विफलता मिलती है, तो यह उसे बदल देता है।
अंत में, उनके पास एक हीट मैप (Heat Map) होता है।
- लाल क्षेत्र = AI यहाँ बुरी तरह विफल होता है।
- हरे क्षेत्र = AI यहाँ सुरक्षित रहता है।
4. उन्होंने क्या पाया (तीन अलग-अलग परिदृश्य)
उन्होंने तीन अलग-अलग AI मॉडल का परीक्षण किया, और प्रत्येक का विफल होने का "व्यक्तित्व" पूरी तरह से अलग था:
मॉडल A (Llama-3-8B): "फ्लैट डिजास्टर ज़ोन" (सपाट आपदा क्षेत्र)।
कल्पना कीजिए कि एक विशाल, सपाट रेगिस्तान है जहाँ जमीन दलदल से बनी है। आप चाहे कहीं भी चलें (चाहे आप सवाल कैसे भी पूछें), आप डूब जाएंगे। यह मॉडल लगभग सार्वभौमिक रूप से असुरक्षित है। यह एक ऐसे घर की तरह है जिसके किसी भी दरवाजे पर ताले नहीं हैं।मॉडल B (GPT-OSS-20B): "स्विस चीज़" (Swiss Cheese)।
यह मॉडल एक ऊबड़-खाबड़ पर्वत श्रृंखला की तरह है जिसमें गहरी गुफाएं हैं। कुछ क्षेत्र सुरक्षित हैं (ऊंची चोटियां), लेकिन कुछ विशिष्ट, केंद्रित गड्ढे हैं जहाँ AI ढह जाता है। यदि आप जानते हैं कि "गुफाएं" कहाँ हैं, तो आप उनमें गिर सकते हैं, लेकिन यदि आप चोटियों पर रहते हैं, तो आप ठीक रहेंगे। खतरा पैचदार और विशिष्ट है।मॉडल C (GPT-5-Mini): "किला" (Fortress)।
यह मॉडल एक चिकने, सपाट पठार की तरह है जो बस थोड़ा ऊंचा है। भले ही आप इसे जोर से धक्का दें, यह कभी नीचे नहीं गिरता। इसकी एक "सीमा" है कि यह कितना बुरा हो सकता है। यह थोड़ा चिड़चिड़ा या थोड़ा विषय से भटक सकता है, लेकिन यह वास्तव में खतरनाक क्षेत्र में कभी नहीं जाता। यह सबसे मजबूत है।
5. यह क्यों मायने रखता है
लेखक कहते हैं कि खतरा कहाँ है (नक्शा) यह जानना इस बात से अधिक महत्वपूर्ण है कि खतरा मौजूद है।
- निर्माताओं के लिए: एक छेद को पैच करने के बजाय, वे समस्या के पूरे आकार को देख सकते हैं। यदि वे देखते हैं कि एक विशिष्ट प्रकार के प्रश्न पर एक "चट्टान" (cliff) है, तो वे उस पूरे क्षेत्र को मजबूत कर सकते हैं।
- ऑडिटर्स के लिए: वे देशों के मानचित्रों की तुलना करके मॉडलों की तुलना कर सकते हैं। "देश A में हर जगह बाढ़ का खतरा है; देश B में केवल घाटी में बाढ़ आती है।"
- सुरक्षा के लिए: यह लक्ष्य को "क्या हम इसे तोड़ सकते हैं?" से बदलकर "यह कैसे टूटता है, और यह हमें इसके मस्तिष्क के बारे में क्या बताता है?" पर ले जाता है।
सारांश
यह शोध पत्र AI सुरक्षा के "Whack-a-Mole" (एक चीज़ को मारो और दूसरी निकल आती है) खेल को रोकने के बारे में है। केवल एक बुरे उत्तर को मारकर आगे बढ़ने के बजाय, उन्होंने AI की कमजोरियों का एक टोपोग्राफिकल मानचित्र बनाया। उन्होंने पाया कि कुछ AI खतरे के खुले मैदानों की तरह हैं, कुछ छिपे हुए छेदों वाली स्विस चीज़ की तरह हैं, और कुछ मजबूत किलों की तरह हैं। विफलता के आकार को समझना भविष्य में सुरक्षित AI बनाने की कुंजी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।