How Language Models Process Out-of-Distribution Inputs: A Two-Pathway Framework
यह शोध पत्र प्रकट करता है कि भाषा मॉडलों के लिए मौजूदा व्हाइट-बॉक्स आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डिटेक्शन विधियाँ अनुक्रम लंबाई (sequence length) द्वारा संरचनात्मक रूप से भ्रमित होती हैं, और एक दो-मार्ग (two-pathway) ढांचे का प्रस्ताव करता है जो शब्दावली बदलावों (vocabulary shifts) के लिए एम्बेडिंग-आधारित संकेतों और जेलब्रेक जैसे गुप्त-इरादे वाले इनपुट का पता लगाने के लिए हिडन-स्टेट ट्रेजेक्टरी विशेषताओं के बीच अंतर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक संग्रहालय में सुरक्षा गार्ड हैं। आपका काम असली पेंटिंग्स के बीच नकली पेंटिंग्स (Out-of-Distribution या "OOD" इनपुट) को पहचानना है। हाल ही में, अन्य गार्डों ने एक नया टूल इस्तेमाल करना शुरू किया है: वे यह मापते हैं कि पेंटिंग कितनी "हिलती" है या उसके ब्रशस्ट्रोक कितने अराजक (chaotic) हैं (यह AI में अटेंशन एंट्रॉपी मापने जैसा है)। उनका दावा है कि यह टूल नकली पेंटिंग्स पकड़ने में अद्भुत है।
हालाँकि, यह पेपर तर्क देता है कि वे गार्ड वास्तव में धोखे में हैं। वे नकली पेंटिंग्स को नहीं पकड़ रहे हैं; वे बस यह गिन रहे हैं कि कैनवास पर कितने ब्रशस्ट्रोक हैं।
यहाँ सरल उपमाओं (analogies) का उपयोग करके पेपर के निष्कर्षों का विवरण दिया गया है:
1. "लॉन्ग कैनवास" का जाल (The Length Confound)
पेपर ने पाया कि कई लोकप्रिय AI सुरक्षा उपकरण गुप्त रूप से केवल यह माप रहे होते हैं कि टेक्स्ट कितना लंबा है।
- उपमा: कल्पना कीजिए कि सुरक्षा गार्ड का टूल एक स्केल (रूलर) है। यह दावा करता है कि यह "अराजकता" को मापता है, लेकिन वास्तव में यह केवल "लंबाई" मापता है।
- समस्या: परीक्षणों में, "नकली" पेंटिंग्स (जेलब्रेक या स्पैम) अक्सर असली पेंटिंग्स की तुलना में बहुत लंबी थीं। टूल ने लंबी पेंटिंग्स को देखा, घबरा गया और कहा, "यह नकली है!" सिर्फ इसलिए क्योंकि वह लंबी थी।
- प्रमाण: जब शोधकर्ताओं ने असली और नकली पेंटिंग्स को बिल्कुल समान लंबाई का बनाया, तो टूल काम करना बंद कर गया। यह लगभग रैंडम अनुमान लगाने (जैसे सिक्का उछालना) की स्थिति में आ गया। पेपर दिखाता है कि CED, RAUQ जैसे टूल्स और तैनात प्रणालियों के कुछ कॉन्फिडेंस स्कोर संरचनात्मक रूप से टूटे हुए हैं क्योंकि वे अटेंशन मैकेनिज्म पर निर्भर करते हैं जो स्वाभाविक रूप से टेक्स्ट की लंबाई के साथ बढ़ते हैं।
2. दो-मार्ग ढांचा (Two-Pathway Framework): "क्या" बनाम "कैसे"
एक बार जब शोधकर्ताओं ने "लंबाई के ट्रिक" को हटा दिया, तो उन्होंने पूछा: हम वास्तव में कैसे जान सकते हैं कि इनपुट अजीब है? वे एक दो-भाग वाली प्रणाली का प्रस्ताव देते हैं, जैसे कि एक जासूस अपराध स्थल को दो अलग-अलग तरीकों से देख रहा हो:
मार्ग A: "क्या" (Embeddings)
- उपमा: यह सूप के सामग्री (ingredients) को देखने जैसा है।
- यह कैसे काम करता है: यह शब्दावली (vocabulary) की जाँच करता है। यदि सूप में "विषाक्त" शब्द या "स्पैम" कीवर्ड हैं, तो यह मार्ग उसे फ्लैग करता है।
- यह कब काम करता है: यह स्पष्ट नकली चीजों को पकड़ने में बेहतरीन है, जैसे कि एक सूप जिसमें अचानक लेबल पर "ज़हर" लिखा हुआ दिखाई दे।
- यह कब विफल होता है: यह तब विफल हो जाता है जब नकली सूप असली सूप की ही सामग्री का उपयोग करता है लेकिन उसे अजीब तरीके से मिलाया जाता है। उदाहरण के लिए, एक "जेलब्रेक" प्रॉम्प्ट अक्सर सामान्य शब्दों का उपयोग करता है लेकिन उन्हें AI को धोखा देने के लिए व्यवस्थित करता है। "सामग्री जाँचने वाला" सामान्य शब्द देखता है और कहता है, "सब ठीक है," और इस चाल को पकड़ने में विफल रहता है।
मार्ग B: "कैसे" (Processing Trajectory)
- उपमा: यह शेफ को सूप पकाते हुए देखने जैसा है।
- यह कैसे काम करता है: अंतिम कटोरे को देखने के बजाय, यह मार्ग हर कदम (लेयर दर लेयर) के माध्यम से शेफ के हाथों की हलचल को देखता है। यह पूछता है: "क्या शेफ सुचारू रूप से काट रहा है? क्या वह अचानक घबराहट में चीजें फेंक रहा है? क्या बर्तन एक अजीब लय में हिल रहा है?"
- यह क्यों काम करता है: भले ही सामग्री (शब्द) सामान्य दिखें, एक "जेलब्रेक" प्रॉम्प्ट AI शेफ को एक अजीब, अप्राकृतिक लय में खाना पकाने के लिए मजबूर करता है। "कैसे" वाला मार्ग इस अजीब खाना पकाने की शैली को पकड़ लेता है।
- परिणाम: इस "कैसे" मार्ग ने उन ट्रिकी "जेलब्रेक" नकली चीज़ों को सफलतापूर्वक पहचाना जिन्हें "सामग्री" वाला मार्ग मिस कर गया था, जिससे इसने बहुत अधिक सटीकता स्कोर (0.850 बनाम पुराने तरीकों के पास-रैंडम स्कोर) प्राप्त किया।
3. "क्रॉस-ओवर" खोज (The "Cross-Over" Discovery)
पेपर ने पाया कि कोई भी विधि हर चीज़ के लिए पूर्ण नहीं है। यह दो अलग-अलग प्रकार के मेटल डिटेक्टर होने जैसा है:
- डिटेक्टर 1 (सामग्री/Embeddings): रेत के ढेर में छिपे सोने के सिक्के को खोजने में महान (स्पष्ट शब्दावली बदलाव)।
- डिटेक्टर 2 (पकाने की शैली/Trajectory): सोने की तरह दिखने वाले प्लास्टिक के सिक्के को खोजने में महान (सूक्ष्म संरचनात्मक चालें)।
- अंतर्दृष्टि: आपको दोनों की आवश्यकता है। जब "नकली" चीज़ केवल एक अलग विषय (topic) हो, तो डिटेक्टर 1 जीतता है। जब "नकली" चीज़ सामान्य शब्दों का उपयोग करने वाली एक चतुर चाल हो, तो डिटेक्टर 2 जीतता है।
4. "क्यों" (मैकेनिस्टिक साक्ष्य)
शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने AI के मस्तिष्क (सर्किट्स) के अंदर झाँका कि क्या हो रहा है।
- निष्कर्ष: जब AI एक "जेलब्रेक" (एक संरचनात्मक चाल) का सामना करता है, तो वह एक विशिष्ट तरीके से भ्रमित हो जाता है: उसका "अटेंशन" (ध्यान) सर्किट अनियंत्रित हो जाता है, जिससे उसका फोकस बिखर जाता है।
- विपरीत स्थिति: जब AI "हेट स्पीच" (एक शब्दावली बदलाव) का सामना करता है, तो मस्तिष्क के "मेमोरी" (MLP) हिस्से सक्रिय हो जाते हैं क्योंकि वह बुरे शब्दों को पहचान लेता है।
- सीख: अलग-अलग प्रकार के "नकली" चीज़ें AI को अलग-अलग तरह से तोड़ती हैं। पुराने टूल्स केवल "फोकस" वाले हिस्से को देखते थे और लंबाई से भ्रमित हो जाते थे। नया "ट्रैजेक्टरी" टूल पूरी कुकिंग प्रक्रिया को देखता है, इसलिए वह चाहे कहीं भी हो, टूटने की प्रक्रिया को देख लेता है।
सारांश
पेपर का दावा है कि कई वर्तमान AI सुरक्षा उपकरण इसलिए टूटे हुए हैं क्योंकि वे टेक्स्ट की लंबाई से धोखा खा जाते हैं। इसे ठीक करने के लिए, हमें केवल यह देखना बंद करना होगा कि टेक्स्ट क्या कहता है और यह देखना शुरू करना होगा कि AI इसे कैसे प्रोसेस करता है। AI की "सोचने की प्रक्रिया" (trajectory) को चरण-दर-चरण देखकर, हम उन चतुर चालों को पकड़ सकते हैं जो सतह पर सामान्य दिखती हैं लेकिन AI की आंतरिक मशीनरी के लिए अजीब होती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।