The Mask Is Not the Model: Auditing Prefix Invariance in Attention, State-Space, and Hybrid Sequence Models
यह शोध पत्र एक हल्का, प्रशिक्षण-मुक्त ऑडिट पद्धति प्रस्तुत करता है जो अटेंशन, स्टेट-स्पेस और हाइब्रिड मॉडलों में प्रिफिक्स इनवैरिएंस उल्लंघन (prefix invariance violations) का पता लगाने के लिए उन कॉज़ैलिटी लीक्स (causality leaks) की पहचान करता है जिन्हें मानक अटेंशन-मास्क निरीक्षण पकड़ने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस सिस्टम जो टेक्स्ट, स्पीच या इमेज जेनरेट करते हैं, वे अक्सर एक मौलिक नियम पर निर्भर करते हैं: उन्हें जानकारी को एक सख्त, एकतरफा टाइमलाइन में प्रोसेस करना चाहिए। कल्पना कीजिए कि आप एक ऐसी किताब पढ़ रहे हैं जहाँ आपको केवल वर्तमान पेज और उससे पहले के शब्द देखने की अनुमति है, लेकिन उसके बाद के पेज कभी नहीं देखे जा सकते। यह नियम, जिसे ऑटोरेग्रेशन (autoregression) कहा जाता है, इस मॉडल के सीखने और कार्य करने की रीढ़ है। यदि कोई मॉडल वर्तमान शब्द की भविष्यवाणी करने के प्रयास में गलती से भविष्य के शब्द पर नज़र डाल लेता है, तो उसे अनुचित लाभ मिलता है, जिससे परीक्षण के दौरान इसका प्रदर्शन कृत्रिम रूप से उच्च दिखाई देता है, जबकि वास्तविक उपयोग में यह विफल हो जाता है। वर्षों तक, वैज्ञानिक समुदाय ने यह मान लिया था कि "मास्क" (एक डिजिटल अवरोध जो भविष्य की जानकारी को ब्लॉक करने के लिए बनाया गया है) की जांच करना ही इस नियम का पालन सुनिश्चित करने के लिए पर्याप्त है। हालांकि, सियोल में VIDRAFT AI रिसर्च और QuantumOS के शोधकर्ताओं के एक नए अध्ययन से पता चलता है कि यह धारणा खतरनाक रूप से अधूरी है। उन्होंने एक सरल, कठोर परीक्षण विकसित किया है जो यह सिद्ध करता है कि विशिष्ट रूप से जारी किए गए मॉडल भविष्य से जानकारी लीक कर रहे हैं, और उन्होंने सटीक रूप से बताया है कि यह विफलता कहाँ होती है।
शोधकर्ताओं ने इसकी शुरुआत एक अवधारणा को औपचारिक रूप देने से की जिसे वे "प्रिफिक्स इनवेरिएंस" (prefix invariance) कहते हैं। सरल शब्दों में, इसका अर्थ यह है कि किसी भी दिए गए क्षण में किसी शब्द का आंतरिक प्रतिनिधित्व (internal representation) केवल उन शब्दों पर निर्भर होना चाहिए जो उससे पहले आए थे। यदि आप वाक्य के बिल्कुल अंत में एक शब्द बदलते हैं, तो वाक्य के शुरुआती शब्दों के लिए मॉडल की आंतरिक स्थिति (internal state) बिल्कुल नहीं बदलनी चाहिए। यदि यह बदलता है, तो मॉडल भविष्य के ज्ञान का उपयोग अतीत को प्रभावित करने के लिए कर रहा है। इसका परीक्षण करने के लिए, टीम ने एक हल्का ऑडिट बनाया जिसमें न तो कोई ट्रेनिंग की आवश्यकता है, न ही जटिल ग्रेडिएंट्स और न ही किसी विशेष हार्डवेयर की। यह प्रक्रिया सीधी है: वे मॉडल को रैंडम टोकन्स का एक क्रम देते हैं, प्रत्येक लेयर के आंतरिक स्टेट को रिकॉर्ड करते हैं, और फिर उसी क्रम को फिर से चलाते हैं जिसमें केवल अंतिम टोकन को बदला गया होता है। दोनों रन की तुलना करके, वे देख सकते हैं कि क्या अंत में हुए बदलाव के जवाब में अनुक्रम (sequence) के शुरुआती हिस्से में कोई बदलाव आया है। यदि शुरुआती हिस्से पूरी तरह से समान रहते हैं, तो मॉडल ईमानदार है। यदि वे थोड़े भी बदलते हैं, तो मॉडल में 'कॉज़ल लीक' (causal leak) है।
यह खोज इसलिए महत्वपूर्ण है क्योंकि शोधकर्ताओं ने पाया कि यह विधि उन त्रुटियों को पकड़ लेती है जिन्हें पारंपरिक जांच पूरी तरह से छोड़ देती है। अतीत में, इंजीनियर अटेंशन मास्क (attention masks)—जिनका उल्लेख ऊपर डिजिटल बाधाओं के रूप में किया गया है—का निरीक्षण करते थे ताकि कार्य-कारणता (causality) सुनिश्चित की जा सके। नया अध्ययन दिखाता है कि यह निरीक्षण अपर्याप्त है क्योंकि लीक्स अन्य तंत्रों के माध्यम से भी हो सकते हैं, जैसे कि डेटा को कैसे स्कैन या नॉर्मलाइज़ किया जाता है, भले ही मास्क स्वयं सही हो। इसे सिद्ध करने के लिए, टीम ने आठ अलग-अलग मॉडल चेकपॉइंट्स में 192 विभिन्न प्रकार के "फॉल्ट्स" (faults) इंजेक्ट किए। ये फॉल्ट्स सामान्य कोडिंग त्रुटियों का अनुकरण करने के लिए डिज़ाइन किए गए थे जो भविष्य की जानकारी को पीछे की ओर लीक होने दे सकती हैं। जबकि पारंपरिक मास्क निरीक्षण इन 192 फॉल्ट्स में से एक को भी नहीं ढूंढ सका, नए ऑडिट ने हर एक को पकड़ा और स्थानीयकृत (localize) किया, जिससे यह पहचान हुआ कि लीक किस सटीक लेयर से शुरू हुआ। त्रुटि के सटीक स्थान को पहचानने की यह क्षमता महत्वपूर्ण है, क्योंकि यह इंजीनियरों को केवल यह जानने के बजाय कि समस्या मौजूद है, कोड को ठीक करने की अनुमति देती है।
टीम केवल कृत्रिम दोषों के परीक्षण तक ही नहीं रुकी; उन्होंने यह देखने के लिए कि क्या यह समस्या वास्तविक दुनिया में मौजूद है, अपने तरीके को वास्तविक, सार्वजनिक रूप से उपलब्ध मॉडल्स पर लागू किया। उनके जांच ने दो विशिष्ट हाइब्रिड मॉडल्स: Zamba2 और Nemotron-H में एक गंभीर, संरचनात्मक दोष का खुलासा किया। ये मॉडल लंबे डेटा सीक्वेंस को कुशलतापूर्वक प्रोसेस करने के लिए "चंक्ड स्कैन" (chunked scan) नामक एक विशिष्ट तकनीक का उपयोग करते हैं। शोधकर्ताओं ने पाया कि इन चंक्स को जोड़ने के लिए जिम्मेदार कोड गलत तरीके से व्यवस्थित था। यह सुनिश्चित करने के बजाय कि प्रत्येक चंक केवल पिछले चंक्स को देखे, कोड ने भविष्य के चंक्स से जानकारी को वर्तमान में रिसने (bleed) दिया। यह दोष तब अदृश्य था जब मॉडल्स का परीक्षण छोटे सीक्वेंस पर किया गया था, लेकिन जैसे ही सीक्वेंस की लंबाई एक विशिष्ट थ्रेशोल्ड (एक सिंगल "चंक" का आकार) से अधिक हुई, लीक प्रकट हो गया। Zamba2 मॉडल के लिए, यह थ्रेशोल्ड 256 टोकन था; Nemotron-H के लिए, यह 128 था। जैसे ही सीक्वेंस इन सीमाओं को पार करता, मॉडल अपने शुरुआती प्रेडिक्शन को भविष्य की जानकारी से दूषित करने लगता।
शोधकर्ता इस त्रुटि को कोड के एक विशिष्ट तीन-लाइन वाले ब्लॉक तक ट्रैक करने में सक्षम रहे जो दोनों मॉडल्स में समान था, जो उनके विकास में एक साझा वंश (lineage) का सुझाव देता है। उस कोड ब्लॉक में डेटा रिडक्शन के ओरिएंटेशन को सुधारकर, वे लीक को पूरी तरह से समाप्त करने में सक्षम रहे, जिससे संदूषण (contamination) को बिल्कुल शून्य तक ले आया गया। इसने पुष्टि की कि दोष कोई यादृच्छिक ग्लिच या मॉडल के प्रशिक्षण का परिणाम नहीं था, बल्कि यह कि कोड कैसे लिखा गया था, इसकी एक मौलिक त्रुटि थी। अध्ययन ने एक व्यापक सबक भी रेखांकित किया: टेस्ट सीक्वेंस की लंबाई अत्यंत महत्वपूर्ण है। यदि टेस्ट मॉडल के आंतरिक प्रोसेसिंग विंडो से छोटा है, तो वे विशिष्ट कोड पाथ जिनमें ये दोष होते हैं, कभी सक्रिय नहीं होते हैं, और मॉडल साफ दिखाई देगा भले ही वह शुद्ध न हो। शोधकर्ताओं ने पाया कि उनके अपने प्रारंभिक जनगणना (census), जिसमें छोटे सीक्वेंस का उपयोग किया गया था, इन दोषों को पूरी तरह से मिस कर देती यदि उन्होंने टेस्ट की लंबाई नहीं बढ़ाई होती।
महत्वपूर्ण रूप से, अध्ययन ने यह भी खुलासा किया कि ऑडिट टूल भी विफल हो सकता है यदि मॉडल सही ढंग से लोड नहीं होते हैं। Falcon-H1 हाइब्रिड फैमिली से जुड़े तीन विशिष्ट मामलों में, टेस्ट ने "क्लीन" का निर्णय दिया क्योंकि लोडिंग एरर्स के कारण मॉडल इनपुट पर प्रतिक्रिया देने में विफल रहे, जिससे ऑडिट उपकरण प्रभावी रूप से निष्प्रभावी हो गया। शोधकर्ताओं ने महसूस किया कि एक "क्लीन" परिणाम तब तक अर्थहीन है जब तक कि टेस्टिंग टूल को उस विशिष्ट चेकपॉइंट पर सक्रिय साबित न किया जाए। यह सबक तब और पुख्ता हुआ जब टीम के अपने 7B मॉडल रिलीज को डिवाइस-प्लेसमेंट संघर्ष के कारण शुरू में ऑडिट नहीं किया जा सका। केवल तकनीकी बाधाओं को हल करने और मॉडल्स की प्रतिक्रिया सुनिश्चित करने के बाद ही ऑडिट आगे बढ़ा, जिससे यह सुनिश्चित हुआ कि परिणाम वास्तविक मॉडल व्यवहार को दर्शाते हैं, न कि किसी साइलेंट सिस्टम फेलियर को।
यह कार्य सीक्वेंस मॉडल्स की अखंडता को सत्यापित करने के लिए एक नया मानक स्थापित करता है। लेखक तर्क देते हैं कि जिस तरह मॉडल रिलीज़ में नियमित रूप से पैरामीटर काउंट और बेंचमार्क स्कोर रिपोर्ट किए जाते हैं, उनमें एक "कॉज़ल करेक्टनेस सर्टिफिकेट" (causal correctness certificate) भी शामिल होना चाहिए। इस सर्टिफिकेट में प्रिफिक्स इनवेरिएंस टेस्ट के परिणाम, जिसमें उपयोग किए गए सीक्वेंस की लंबाई, गणना की सटीकता और यह प्रमाण शामिल होगा कि टेस्टिंग इंस्ट्रूमेंट सही ढंग से काम कर रहा था, का विवरण होगा। अध्ययन निष्कर्ष निकालता है कि आज बनाए जा रहे जटिल, हाइब्रिड आर्किटेक्चर के लिए केवल अटेंशन मास्क पर भरोसा करना अब पर्याप्त नहीं है। एक सरल, टू-पास चेक का उपयोग करके जो आंतरिक अवस्थाओं की तुलना करता है, डेवलपर्स अब इन सूक्ष्म लीक्स का पता लगा सकते हैं और उन्हें ढूंढ सकते हैं, यह सुनिश्चित करते हुए कि उनके द्वारा बनाए और तैनात किए गए मॉडल वास्तव में सूचना की टाइमलाइन का सम्मान करते हैं। ये निष्कर्ष एक याद दिलाते हैं कि तेजी से विकसित होते आर्टिफिशियल इंटेलिजेंस के परिदृश्य में, सबसे महत्वपूर्ण सुरक्षा उपाय अक्सर वे होते हैं जिन्हें अनदेखा करना सबसे आसान होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।