Benchmarking Classical and Transformer-Based Models for Document Sensitivity Classification
यह शोधपत्र स्ट्रैटेजिक 16K (Strategic 16K) प्रस्तुत करता है, जो 16,000 राजनयिक केबलों का एक लीकेज-नियंत्रित संग्रह है, ताकि दस्तावेज़ संवेदनशीलता वर्गीकरण के लिए पहला पुनरुत्पादनीय बेंचमार्क स्थापित किया जा सके जो यह प्रकट करता है कि अवशिष्ट मार्कर (residual markers) मॉडल के प्रदर्शन को कैसे बढ़ा देते हैं और यह प्रदर्शित करता है कि स्वच्छ डेटा पर प्रशिक्षित होने पर BERT अन्य आर्किटेक्चर की तुलना में बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक संगठनों के विशाल, शांत गलियारों में, एक गलत तरीके से रखी गई दस्तावेज़ भी परिणामों की एक ऐसी श्रृंखला शुरू कर सकती है, जो नियामक दंड से लेकर राष्ट्रीय सुरक्षा उल्लंघन तक जा सकती है। दशकों से, यह तय करने का कार्य कि क्या कोई फ़ाइल साझा करने के लिए सुरक्षित है या उसे गुप्त रखा जाना चाहिए, मानव समीक्षकों पर निर्भर रहा है। ये विशेषज्ञ केबलों, मेमो और रिपोर्टों को पढ़ते हैं, और मैन्युअल रूप से "गोपनीय" (Confidential) या "गुप्त" (Secret) जैसे लेबल लगाते हैं। यह एक धीमी, महंगी प्रक्रिया है जो आज उत्पन्न होने वाली सूचनाओं की भारी मात्रा के साथ तालमेल बिठाने के लिए संघर्ष करती है। इसे हल करने के लिए, वैज्ञानिकों ने कृत्रिम बुद्धिमत्ता (AI) की ओर रुख किया है, इस उम्मीद में कि वे कंप्यूटर को उसी विवेक के साथ पढ़ना सिखा सकेंगे। हालाँकि, एक छिपे हुए जाल ने इन प्रयासों को बाधित किया है: प्रशिक्षण डेटा स्वयं उन संकेतों को समाहित करता है जो परीक्षण को विकृत कर देते हैं। यदि कोई कंप्यूटर वाक्य के बीच में लिखे गए "Secret" शब्द को पहचानने के बजाय वास्तविक अर्थ को समझने के बजाय केवल उस शब्द को पहचानना सीख जाता है, तो वह उस क्षण विफल हो जाएगा जब उसका सामना एक वास्तविक दस्तावेज़ से होगा जहाँ वह संकेत हटा दिया गया हो। यह शोध पत्र उस विशिष्ट समस्या को संबोधित करता है, यह पूछते हुए कि क्या मशीनें वास्तव में संवेदनशील जानकारी को पहचानना सीख सकती हैं या वे केवल मानव डेटा तैयारी द्वारा छोड़े गए शॉर्टकट को याद कर रही हैं।
शोधकर्ताओं ने एक निष्पक्ष परीक्षण बनाने के लिए विकीलीक्स (WikiLeaks) द्वारा जारी किए गए राजनयिक केबलों के एक विशाल संग्रह, जिसे 'पब्लिक लाइब्रेरी ऑफ यूएस डिप्लोमेसी' के नाम से जाना जाता है, का उपयोग किया। इस संग्रह में 2,50,000 से अधिक दस्तावेज़ हैं, जिनमें से प्रत्येक पर मूल रूप से सरकारी अधिकारियों द्वारा एक आधिकारिक वर्गीकरण अंकित किया गया था। टीम को सबसे पहले इस डेटा को साफ करना पड़ा, उन निशानों को हटाना पड़ा जो लेबल को स्पष्ट बनाते हैं। उन्होंने पैराग्राफ की शुरुआत में दिखने वाले (S) जैसे एकल-अक्षर कोडों को हटाया, उन वाक्यों को हटा दिया जिनमें स्पष्ट रूप से लिखा था "यह केबल वर्गीकृत है," और बार-बार आने वाली वितरण चेतावनियों को मिटा दिया। उन्होंने अपने अंतिम, शुद्ध डेटासेट को 'स्ट्रैटेजिक 16K' (Strategic 16K) नाम दिया, जो 16,000 दस्तावेजों का एक संग्रह है जहाँ किसी फ़ाइल को संवेदनशील बताने का एकमात्र तरीका उसकी वास्तविक सामग्री को समझना है। यह कदम महत्वपूर्ण था; इसके बिना, एक कंप्यूटर केवल "Secret" शब्द को स्कैन करके लगभग पूर्ण स्कोर प्राप्त कर सकता था, बजाय इसके कि वह यह सीखे कि एक दस्तावेज़ को संवेदनशील क्या बनाता है।
इस स्वच्छ डेटासेट के साथ, टीम ने छह अलग-अलग प्रकार के कंप्यूटर मॉडलों को परीक्षण के दायरे में रखा। उन्होंने पुराने, सरल तरीकों की तुलना की जो शब्दों की आवृत्ति गिनते हैं, बनाम नए, अधिक जटिल सिस्टम जो 'ट्रांसफॉर्मर' नामक तकनीक पर आधारित हैं, जिन्हें वाक्य में शब्दों के संदर्भ और संबंध को समझने के लिए डिज़ाइन किया गया है। परिणामों ने एक स्पष्ट विभाजन दिखाया। सबसे उन्नत ट्रांसफॉर्मर मॉडल, विशेष रूप से 'BERT' नामक मॉडल ने उच्चतम सटीकता प्राप्त की, जिसने लगभग 89 प्रतिशत बार संवेदनशील दस्तावेजों की सही पहचान की। एक अन्य ट्रांसफॉर्मर मॉडल, 'ELECTRA', दूसरे स्थान पर रहा। ये सिस्टम इसलिए सफल हुए क्योंकि उन्होंने दस्तावेज़ की पूरी कहानी को देखना सीखा, यह समझते हुए कि कैसे विभिन्न शब्द मिलकर एक रहस्य को व्यक्त करते हैं, न कि केवल विशिष्ट कीवर्ड्स की तलाश करना।
अध्ययन में यह भी पाया गया कि पुराने, सरल मॉडल पूरी तरह से बेकार नहीं थे। एक विधि जो शब्दों की आवृत्ति गिनने पर आधारित थी, जब एक मानक सांख्यिकीय एल्गोरिदम के साथ जोड़ी गई, तो उसने लगभग 86 प्रतिशत उत्तर सही दिए। हालांकि यह शीर्ष प्रदर्शन करने वालों से कम है, लेकिन यह एक ऐसे सिस्टम के लिए एक मजबूत परिणाम है जिसे चलाने के लिए बहुत कम कंप्यूटिंग शक्ति और समय की आवश्यकता होती है। शोधकर्ताओं ने उल्लेख किया कि सीमित संसाधनों वाले संगठनों के लिए, यह सरल दृष्टिकोण गति और विश्वसनीयता के बीच एक व्यावहारिक संतुलन प्रदान करता है। हालाँकि, सबसे महत्वपूर्ण निष्कर्ष यह था कि "विकृति" को रोक दिया गया था। जब शोधकर्ताओं ने मूल, बिना साफ किए गए डेटा पर मॉडलों का परीक्षण किया, तो सरल मॉडलों ने लगभग 99 प्रतिशत स्कोर किया, जो स्पष्ट रूप से छिपे हुए निशानों द्वारा बढ़ा हुआ था। एक बार जब वे निशान हटा दिए गए, तो स्कोर अधिक यथार्थवादी स्तर पर आ गया, जिससे सिद्ध हुआ कि मॉडल अब संवेदनशीलता के वास्तविक संकेतों को सीखने के लिए मजबूर थे।
शोध पत्र निष्कर्ष निकालता है कि जबकि वर्तमान में सबसे शक्तिशाली कृत्रिम बुद्धिमत्ता मॉडल इस कार्य के लिए सर्वश्रेष्ठ हैं, इस क्षेत्र को डेटा तैयार करने के तरीके के प्रति सतर्क रहना चाहिए। शोधकर्ता सुझाव देते हैं कि भविष्य में, एक एकल विशाल मॉडल पर निर्भर रहने के बजाय, संगठन मिलकर काम करने वाले विशेषीकृत प्रणालियों के एक समूह का उपयोग कर सकते हैं। एक प्रणाली लोगों या स्थानों के विशिष्ट नामों को देख सकती है, दूसरी चर्चा किए जा रहे विषय को, और तीसरी दस्तावेज़ की संरचना को। यह दृष्टिकोण न केवल सटीकता में सुधार करेगा बल्कि यह भी स्पष्ट करेगा कि किसी दस्तावेज़ को संवेदनशील के रूप में क्यों चिह्नित किया गया, जो सुरक्षा प्रणालियों में विश्वास के लिए एक महत्वपूर्ण विशेषता है। फिलहाल, 'स्ट्रैटेजिक 16K' का निर्माण एक नया मानक है, जो एक स्पष्ट, ईमानदार बेंचमार्क प्रदान करता है जो वैज्ञानिकों को छिपे हुए संकेतों के बिना प्रगति को मापने की अनुमति देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।