Redistributing Lossless-Compression Test Corpora: An Audit of Nine Corpora and a File-Level Publication Procedure
यह शोध पत्र व्यापक रूप से उपयोग किए जाने वाले नौ लॉसलेस-कंप्रेशन टेस्ट कॉर्पोरा का ऑडिट करके व्यापक लाइसेंसिंग अस्पष्टताओं और पुनरुत्पादकता अंतराल को उजागर करता है, और फिर संपीड़न डेटासेट के सुरक्षित पुनर्वितरण को सक्षम करने के लिए वंश रिकॉर्ड (lineage records), दोहरी-समीक्षा सत्यापन और मानकीकृत मेटाडेटा वाली एक कठोर फ़ाइल-स्तरीय प्रकाशन प्रक्रिया का प्रस्ताव देता है और उसे मान्य करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द दशकों से, वैज्ञानिक और इंजीनियर यह परीक्षण करने के लिए कि कंप्यूटर बिना एक भी बिट की जानकारी खोए डेटा को कितनी अच्छी तरह सिकोड़ सकते हैं, डिजिटल फाइलों के एक छोटे, पुराने संग्रह पर भरोसा करते आए हैं। 1980 के दशक के अंत और 2000 के दशक के मध्य के बीच एकत्रित ये फाइलें एक सार्वभौमिक मानक (यूनिवर्सल यार्डस्टिक) के रूप में कार्य करती हैं। क्योंकि ये छोटी, स्थिर और खोजने में आसान हैं, शोधकर्ता अपने नए संपीड़न (कंप्रेशन) उपकरणों की तुलना तीस साल पहले के परिणामों से कर सकते हैं। हालाँकि, इन फाइलों के इर्द-गिर्द एक शांत समस्या विकसित हुई है। जबकि डेटा स्वयं सार्वजनिक है, उन्हें कॉपी करने, साझा करने या संशोधित करने की कानूनी अनुमति अक्सर गायब है। डिजिटल अनुसंधान की दुनिया में, यदि आप यह साबित नहीं कर सकते कि आपके पास किसी फ़ाइल को साझा करने का अधिकार है, तो आप उस पर एक नया, विश्वसनीय परीक्षण सेट नहीं बना सकते। यह अनिश्चितता एक नाजुक नींव बनाती है: एक बेंचमार्क जो उन फाइलों पर बना है जो कानूनी रूप से किसी और की हो सकती हैं, उसे सुरक्षित रूप से वितरित, मिरर या अपडेट नहीं किया जा सकता है।
यह अनिश्चितता केवल एक कानूनी तकनीकी नहीं है; यह प्रगति में एक बाधा है। जब शोधकर्ता इन पुरानी फाइलों को बदलने के लिए एक आधुनिक परीक्षण सेट बनाना चाहते हैं, तो उन्हें एक कठिन कार्य का सामना करना पड़ता है। उन्हें यह सुनिश्चित करने के लिए प्रत्येक फ़ाइल की कानूनी स्थिति की एक-एक करके जांच करनी पड़ती है कि क्या उसे साझा किया जा सकता है। ऐसा करने के लिए कोई स्थापित तरीका नहीं था, और किसी ने भी सबसे प्रसिद्ध संग्रहों का ऑडिट नहीं किया था कि वे वास्तव में उपयोगकर्ताओं को उनके अधिकारों के बारे में क्या बताते हैं। स्पष्ट उत्तरों के बिना, यह क्षेत्र एक ऐसी नींव पर निर्माण करने का जोखिम उठा रहा है जिसे किसी भी क्षण उसके पैरों तले से खींचा जा सकता है।
यूजेन स्पिवक, एक स्वतंत्र शोधकर्ता, ने इस अंतर को भरने का निर्णय लिया। उन्होंने सबसे पहले डेटा संपीड़न अनुसंधान की रीढ़ माने जाने वाले नौ व्यापक रूप से उपयोग किए जाने वाले परीक्षण संग्रहों का गहन ऑडिट किया। उन्होंने उनके सार्वजनिक पृष्ठों और डाउनलोड आर्काइव्स की जांच की ताकि यह देखा जा सके कि वे स्वामित्व, उत्पत्ति और प्रत्येक फ़ाइल के उपयोग के विशिष्ट नियमों के बारे में क्या जानकारी प्रदान करते हैं। परिणाम चौंकाने वाले थे। समीक्षा किए गए नौ संग्रहों में से, आठ ने अपनी किसी भी फ़ाइल के लिए कोई लाइसेंस विवरण प्रदान नहीं किया। कुल मिलाकर, 76 क्लासिक परीक्षण फाइलें बिना किसी घोषित पुनर्वितरण अनुमति के प्रसारित हो रही थीं। हालांकि कुछ संग्रहों ने अस्पष्ट विवरण दिए कि फाइलें कहाँ से आईं, लेकिन उनमें से किसी ने भी वह विशिष्ट कानूनी पाठ प्रदान नहीं किया जो यह साबित करने के लिए आवश्यक था कि एक फ़ाइल को साझा किया जा सकता है। इसके अलावा, इनमें से किसी भी संग्रह ने उन सटीक कंप्यूटर कमांड्स को रिकॉर्ड नहीं किया जिनका उपयोग फाइलों को बनाने या संशोधित करने के लिए किया गया था, और न ही इनमें से किसी ने डेटा के लिए एक स्थायी, अपरिवस्त लिंक दिया जो इंटरनेट बदलने के साथ जीवित रहे।
इस समस्या को हल करने के लिए, स्पिवक ने डेटा प्रकाशित करने के लिए एक नई, कठोर प्रक्रिया विकसित की। पूरे संग्रह को एक एकल इकाई के रूप में मानने के बजाय जिसके पास एक सामान्य लाइसेंस हो, उनकी विधि प्रत्येक एकल फ़ाइल को एक अलग कानूनी इकाई के रूप में मानती है। प्रत्येक फ़ाइल के लिए, शोधकर्ता को एक "वंश रिकॉर्ड" (लिनिएज रिकॉर्ड) एकत्र करना होता है। इस रिकॉर्ड में वह सीधा लिंक शामिल है जहाँ से फ़ाइल आई है, मूल स्रोत का एक डिजिटल फिंगरप्रिंट यह साबित करने के लिए कि इसे बदला नहीं गया है, और यदि फ़ाइल सॉफ्टवेयर द्वारा बनाई गई थी, तो उसे उत्पन्न करने के लिए उपयोग किया गया सटीक कंप्यूटर कमांड। महत्वपूर्ण रूप से, शोधकर्ता को स्रोत के लाइसेंस पृष्ठ से उस विशिष्ट वाक्य को भी खोजना और सहेजना होगा जो स्पष्ट रूप से पुनर्वितरण की अनुमति देता है, साथ ही उसे पढ़ने की तारीख भी दर्ज करनी होगी। यह साक्ष्य इस तरह से सहेजा जाता है कि भले ही मूल वेबसाइट वर्षों बाद बदल जाए या गायब हो जाए, अनुमति का प्रमाण बना रहे।
इस प्रक्रिया में एक सख्त सुरक्षा तंत्र शामिल है: एक फ़ाइल को सार्वजनिक रिकॉर्ड में तभी अनुमति दी जाती है जब दो स्वतंत्र समीक्षक उसकी स्थिति पर सहमत हों। पहला समीक्षक उम्मीदवारों की एक सूची तैयार करता है, और दूसरा समीक्षक, जो पहली सूची नहीं देख पाता, हर एक फ़ाइल को फिर से शुरू से जाँचता है। यह "ब्लाइंड" दूसरा रिव्यू यह पकड़ने के लिए डिज़ाइन किया गया है कि कहीं कोई साधारण नज़र लाइसेंस के नाम को मिस न कर दे। जब स्पिवक ने इस पद्धति को गेम से संबंधित डेटा के एक नए सेट पर लागू किया—विशेष रूप से वीडियो गेम में उपयोग किए जाने वाले टेक्सचर, 3D मॉडल और ऑडियो फ़ाइलों पर—तो यह प्रक्रिया बिल्कुल इच्छित तरीके से काम करती है। 774 उम्मीदवार फाइलों के प्रारंभिक पूल से, दूसरे समीक्षक ने 30 फाइलें हटा दीं, जो लगभग 4 प्रतिशत की अस्वीकृति दर थी। ये गलत लाइसेंस नाम वाली फाइलें नहीं थीं; बल्कि ये सूक्ष्म समस्याओं वाली फाइलें थीं, जैसे कि अस्पष्ट लेखक श्रेय, पहचान योग्य लोगों वाले फोटो, या ऐसे स्रोत जहाँ अधिकार धारक की पुष्टि नहीं की जा सकती थी। एक एकल-समीक्षा प्रक्रिया इन 30 फाइलों को प्रकाशित कर देती, जिससे बाद में इन्हें वापस लेना पड़ता, जिससे पूरे संग्रह में विश्वास को ठेस पहुँचती।
अंतिम परिणाम गेम एसेट्स के दो सार्वजनिक रिकॉर्ड थे, जिनमें एक बिलियन बाइट से अधिक डेटा था। एक रिकॉर्ड में 744 फाइलें थीं जो बिना किसी प्रतिबंध के किसी के भी उपयोग के लिए स्वतंत्र थीं, और दूसरे में 13 फाइलें थीं जिनके लिए मूल निर्माता को सरल श्रेय देना आवश्यक था। प्रकाशन में एक 'मेनिफेस्ट' शामिल था, जो डेटा का एक विस्तृत मानचित्र है, जो दिखाता है कि प्रत्येक फ़ाइल कैसे बनाई गई थी और किस कानूनी अनुमति ने उसे कवर किया था। यह सुनिश्चित करने के लिए कि डेटा पर भरोसा किया जा सके, शोधकर्ता ने यह भी परीक्षण किया कि क्या डिजिटल आर्काइव को ठीक उसी तरह से फिर से बनाया जा सकता है। उन्होंने पाया कि एक आर्काइव का डिजिटल फिंगरप्रिंट अविश्वसनीय रूप से संवेदनशील होता है; कंप्यूटर सॉफ्टवेयर द्वारा फ़ाइल लिखने में एक मामूली, अदृश्य अंतर भी—जैसे कि एक सेटिंग जो इस आधार पर बदलती है कि कंप्यूटर विंडोज चला रहा है या कोई अन्य सिस्टम—फिंगरप्रिंट को बदल देगा। इसका अर्थ यह था कि डेटा को वास्तव में प्रतिलिपि योग्य (reproducible) बनाने के लिए, प्रकाशन को केवल फाइलों को ही नहीं, बल्कि आर्काइव बनाने के लिए उपयोग की गई प्रत्येक सेटिंग को भी सूचीबद्ध करना चाहिए।
डेटा प्रकाशित होने के बाद, दस्तावेज़ीकरण में मामूली त्रुटियां पाई गईं, जैसे कि गलत टूल के नाम या कमांड की सूची में छूटी हुई जानकारी। इन्हें मूल फाइलों को चुपचाप बदलने के बजाय रिकॉर्ड का एक नया संस्करण जारी करके सुधारा गया। यह दृष्टिकोण सुनिश्चित करता है कि जो कोई भी डेटा को देख रहा है, वह देख सके कि किसी भी समय वहां क्या उपलब्ध था। अध्ययन निष्कर्ष निकालता है कि स्पष्ट, फ़ाइल-दर-फ़ाइल कानूनी साक्ष्य के साथ एक टेस्ट कॉर्पस प्रकाशित करना संभव है, लेकिन इसके लिए काफी समय के निवेश और एक दूसरे, स्वतंत्र रिव्यू की आवश्यकता होती है ताकि उन सूक्ष्म त्रुटियों को पकड़ा जा सके जो एक साधारण चेक से छूट जाती हैं। दशकों से उपयोग किए जा रहे क्लासिक संग्रह कानूनी अनिश्चितता की स्थिति में बने हुए हैं, लेकिन यह नई प्रक्रिया उन सभी के लिए एक स्पष्ट मार्ग प्रदान करती है जो वैज्ञानिक अनुसंधान के लिए अगली पीढ़ी के विश्वसनीय, साझा करने योग्य डेटा का निर्माण करना चाहते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।