Counting Documents Is Not Counting Text: Unit Bias in Web-PDF Corpus Statistics
यह शोध पत्र यह प्रकट करता है कि वेब-पीडीएफ (web-PDF) कॉर्पस के आँकड़े प्रति दस्तावेज़ मेट्रिक्स रिपोर्ट करके एक महत्वपूर्ण "यूनिट बायस" (unit bias) से ग्रस्त हैं, जो इस तथ्य को छिपा देता है कि बड़े दस्तावेज़ों के एक छोटे से अंश में ही अधिकांश टेक्स्ट समाहित है और वर्तमान ट्रंकेशन (truncation) नीतियां कॉर्पस की कुल सामग्री के आधे से अधिक के नुकसान का परिणाम हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटरनेट के विशाल और अराजक पुस्तकालय में, कृत्रिम बुद्धिमत्ता (आर्टिफिशियल इंटेलिजेंस) को सोचना सिखाने के लिए एक नए प्रकार की पुस्तक अनिवार्य हो गई है। ये वे वेब पेज नहीं हैं जिन्हें हम माउस से ब्राउज़ करते हैं, बल्कि पीडीएफ नामक प्रारूप में डिजिटल दस्तावेज़ हैं, जो रिपोर्ट, शैक्षणिक शोध पत्र और आधिकारिक फॉर्म साझा करने का मानक है। वर्षों से, इन बुद्धिमान प्रणालियों का निर्माण करने वाले शोधकर्ताओं ने प्रत्येक डिजिटल फ़ाइल को एक एकल, समान इकाई के रूप में माना है। यदि किसी डेटासेट में दस लाख दस्तावेज़ हैं, तो उन्होंने माना कि इसमें सूचना के दस लाख समान भाग हैं, चाहे वह एक फ़ाइल एक पन्ने का फ्लायर हो और दूसरी पाँच सौ पन्नों का विश्वकोश। इस धारणा ने दुनिया के सबसे उन्नत कंप्यूटर मॉडल को प्रशिक्षित करने के लिए उपयोग किए जाने वाले डेटा के आकार और गुणवत्ता को मापने के हमारे तरीके को आकार दिया है। लेकिन करीब से देखने पर पता चलता है कि फ़ाइलों को गिनना शब्दों को गिनने का एक खराब तरीका है, और इन दो इकाइयों के बीच का अंतर उस सब कुछ को बदल देता है जिसे हम डेटा के बारे में जानते थे।
कॉमन क्रॉल फाउंडेशन के लुका फोपियानो का एक हालिया अध्ययन इन विशाल टेक्स्ट संग्रहों का वर्णन करने के मानक तरीके को चुनौती देता है। टीम ने 2021 के इंटरनेट के एक विशिष्ट स्नैपशॉट का परीक्षण किया, जो लगभग आठ मिलियन वेब पीडीएफ वाला एक डेटासेट है। जबकि इस डेटा के मूल रचनाकारों ने इसके आकार की रिपोर्ट दस्तावेज़ों की संख्या के संदर्भ में की थी, फोपियानो और उनके सहयोगियों ने इसे उन फ़ाइलों के भीतर वास्तविक टेक्स्ट की मात्रा द्वारा मापने का निर्णय लिया। उन्होंने एक चौंकाने वाला असंतुलन पाया: दस्तावेज़ बिल्कुल भी विनिमेय (interchangeable) नहीं थे। फ़ाइलों का एक बहुत छोटा हिस्सा, विशेष रूप रूप से वे जो बहुत लंबी थीं, उनमें अधिकांश शब्द शामिल थे। वास्तव में, केवल तीन प्रतिशत से अधिक दस्तावेज़ों में आधा टेक्स्ट था, जबकि शेष निन्यानवे प्रतिशत हिस्सा बाकी आधे हिस्से को साझा कर रहा था। इसका मतलब यह है कि यदि आप संग्रह को फ़ाइल गणना के आधार पर देखते हैं, तो यह छोटे नोट्स और फॉर्मों का एक पुस्तकालय प्रतीत होता है, लेकिन यदि आप इसे शब्द गणना के आधार पर देखते हैं, तो यह विशाल, लंबी पुस्तकों से भरा एक पुस्तकालय है।
लंबाई का यह झुकाव इस बात के गहरे परिणाम रखता है कि डेटा को कैसे संसाधित किया जाता है और इस प्रक्रिया में क्या खो जाता है। इंटरनेट आर्काइव जिसने ये फ़ाइलें प्रदान की हैं, उसका एक नियम है ताकि स्टोरेज स्पेस बचाया जा सके: यह किसी भी फ़ाइल को एक निश्चित आकार से बड़ा होने पर काट देता है। लंबे समय तक, वह सीमा एक मेगाबाइट थी। अध्ययन से पता चलता है कि इस नियम ने संग्रह के लगभग एक चौथाई दस्तावेज़ों को प्रभावित किया, जो प्रबंधनीय लगता है। हालाँकि, क्योंकि सबसे लंबे दस्तावेज़ ही काटे जा रहे थे, उन कटे हुए फ़ाइलों में लगभग दो-तिहाई टेक्स्ट मौजूद था। जब शोधकर्ताओं ने इन कटे हुए फ़ाइलों के लापता हिस्सों को फिर से बनाने की कोशिश की, तो उन्होंने पाया कि नुकसान अक्सर स्थायी था। टूटी हुई फ़ाइलों को पढ़ने के लिए दो अलग-अलग मानक उपकरणों का उपयोग करते हुए, उन्होंने पाया कि एक उपकरण केवल लगभग ग्यारह प्रतिशत गायब शब्दों को ही पुनः प्राप्त कर सका, जबकि दूसरे ने मुश्किल से एक प्रतिशत रिकवर किया। इन क्षतिग्रस्त फ़ाइलों के विशाल बहुमत के लिए, उपकरण कोई भी टेक्स्ट निकालने में सक्षम नहीं थे, जिससे कंप्यूटर मॉडल के ज्ञान में एक महत्वपूर्ण अंतराल रह गया।
शोधकर्ताओं ने यह भी देखा कि स्टोरेज सीमा बढ़ाने पर क्या होता है, जो 2025 में तब हुआ जब सीमा बढ़ाकर पांच मेगाबाइट कर दी गई। हालांकि इस समायोजन ने कटे हुए दस्तावेज़ों की संख्या को कम कर दिया, लेकिन इसने समस्या का समाधान नहीं किया। इस उच्च सीमा के साथ भी, संग्रह के कुल शब्दों का लगभग तीस प्रतिशत हिस्सा अभी भी कट जाएगा। अध्ययन दर्शाता है कि केवल आकार सीमा बढ़ाना सबसे मूल्यवान सामग्री को बचाने के लिए पर्याप्त नहीं है, क्योंकि सबसे बड़े दस्तावेज़ इतने विशाल होते हैं कि पांच मेगाबाइट का हिस्सा भी उनके आरंभ को पकड़ने के लिए बहुत छोटा होता है। शोधकर्ताओं ने निष्कर्ष निकाला कि इन डेटा संग्रहों के बारे में जिस तरह से हम बात करते हैं वह भ्रामक है। केवल दस्तावेज़ों की संख्या के आधार पर सांख्यिकी रिपोर्ट करना इस वास्तविकता को छिपाता है कि कुछ बड़ी फ़ाइलें लगभग सारी जानकारी रखती हैं। इन आर्टिफिशियल इंटेलिजेंस प्रणालियों को वास्तव में क्या सीखने के लिए मिल रहा है, इसे समझने के लिए हमें केवल फ़ाइलों को नहीं, बल्कि शब्दों को गिनना होगा, और यह पहचानना होगा कि इंटरनेट को संग्रहीत करने और फ़िल्टर करने के वर्तमान तरीके उस अधिकांश टेक्स्ट को हटा रहे हैं जिसकी हमें आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।