🔬 physics

Estimating Absolute Web Crawl Coverage From Longitudinal Set Intersections

यह शोध पत्र एक सरल, ग्राउंड-ट्रुथ-मुक्त विधि प्रस्तावित करता है जो क्रमिक क्रॉल के बीच अनुदैर्ध्य (longitudinal) URL ओवरलैप को एक अर्न प्रोसेस (urn process) के रूप में मॉडल करके एक वेब क्रॉल के पूर्ण कवरेज का अनुमान लगाती है, जिसे जर्मन एकेडेमिक वेब पर लगभग 46% कवरेज प्रकट करने के लिए लागू किया गया था।

मूल लेखक: Michael Paris, Grigori Paris, Fabian Baumann

प्रकाशित 2026-03-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Michael Paris, Grigori Paris, Fabian Baumann

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, निरंतर बदलते हुए पुस्तकालय के मुख्य लाइब्रेरियन हैं, जिसे जर्मन एकेडेमिक वेब (German Academic Web) कहा जाता है। हर छह महीने में, आपकी टीम इस पुस्तकालय से किताबें कॉपी करने के लिए रोबोटों का एक बेड़ा भेजती है। आप जानते हैं कि इस बार आपके रोबोटों ने कितनी किताबें कॉपी कीं (मान लीजिए 10 करोड़), लेकिन आपके मन में एक सवाल कौंध रहा है: "पुस्तकालय में वास्तव में कितनी किताबें हैं?"

चूंकि यह पुस्तकालय अनंत है और लगातार बदल रहा है (नई किताबें आ रही हैं, पुरानी गायब हो रही हैं), आप उन सभी को गिन नहीं सकते। आपके पास कोई मास्टर लिस्ट नहीं है, और न ही आप अपने काम की तुलना किसी अन्य लाइब्रेरियन के काम से कर सकते हैं क्योंकि आप ही इस विशिष्ट कार्य को करने वाले एकमात्र व्यक्ति हैं।

यह शोध पत्र इस प्रश्न का उत्तर देने के लिए एक चतुर और सरल तरीका प्रस्तुत करता है, जिसका उपयोग आप केवल अपने पिछले रिकॉर्ड के माध्यम से कर सकते हैं।

मूल विचार: "फिशिंग नेट" (मछली पकड़ने का जाल) सादृश्य

वेब को मछलियों (URL) से भरे एक विशाल तालाब के रूप में सोचें।

समस्या: आप अपना जाल (क्रॉल) फेंकते हैं और 10 करोड़ मछलियाँ पकड़ते हैं। लेकिन आपको नहीं पता कि पूरे तालाब में कुल कितनी मछलियाँ हैं।
पुराना तरीका: आमतौर पर, पूरे मछलियों की संख्या का अनुमान लगाने के लिए, आपको दो अलग-अलग लोगों की आवश्यकता होगी जो एक ही समय में जाल फेंकें और देखें कि उन्होंने कितनी मछलियाँ समान रूप से पकड़ी हैं। या, आपको "प्रसिद्ध मछलियों" की एक सूची की आवश्यकता होगी ताकि आप देख सकें कि आपने कितनी छोड़ दीं।
नया तरीका (यह शोध पत्र): आप आज जाल फेंकते हैं। फिर, आप छह महीने बाद फिर से जाल फेंकते हैं, और फिर एक साल बाद। आप आज पकड़ी गई मछलियों को देखते हैं और पूछते हैं: "इनमें से कितनी वही मछलियाँ हैं जो मैंने पिछली बार पकड़ी थीं?"

जादुई सूत्र: "अर्न" (Urn) मॉडल

लेखक एक गणितीय अवधारणा का उपयोग करते हैं जिसे "अर्न मॉडल" कहा जाता है। कल्पना कीजिए कि एक विशाल कलश (जार) है जो हर संभव वेबसाइट का प्रतिनिधित्व करने वाली रंगीन गेंदों से भरा है।

टर्नओवर (बदलाव की दर): जब भी आप तालाब में वापस आते हैं, कुछ मछलियाँ मर जाती हैं या तैरकर चली जाती हैं, और नई मछलियाँ जन्म लेती हैं। लेखकों ने पाया कि लगभग 27% वेबसाइटें हर साल गायब हो जाती हैं या बदल जाती हैं, जबकि 73% वैसी ही रहती हैं।
ओवरलैप (जुड़ाव): जब आप दो बार जाल फेंकते हैं, तो आपके दोनों जालों में पकड़ी गई मछलियों की संख्या दो चीजों पर निर्भर करती है:
- तालाब में वास्तव में कितनी मछलियाँ हैं (कुल आकार)।
- प्रत्येक बार आपने कितनी मछलियाँ पकड़ीं (आपके जाल का आकार)।

वर्षों के दौरान आपकी विभिन्न पकड़ के बीच के ओवरलैप के पैटर्न को देखकर, आप पीछे की ओर गणना कर सकते हैं ताकि तालाब के आकार का पता लगाया जा सके।

"सेल्फ-इंटरसेक्शन" (स्व-प्रतिच्छेदन) की तरकीब

यहाँ चतुर हिस्सा है:

यदि आप आज एक मछली पकड़ते हैं, और अगली बार भी वही सटीक मछली पकड़ते हैं, तो इसका मतलब है कि आपका जाल बहुत अच्छा है या तालाब छोटा है।
यदि आप अपनी पिछली पकड़ के साथ लगभग कोई भी मछली साझा नहीं करते हैं, तो इसका मतलब है कि या तो आपका जाल बहुत छोटा है, या तालाब इतना विशाल है कि आप केवल उसकी सतह को ही छू पा रहे हैं।

लेखकों ने अपने डेटा को एक ग्राफ पर अंकित किया। उन्होंने देखा कि समय के अंतराल के बढ़ने के साथ "ओवरलैप" कैसे कम होता गया।

ढलान (Slope): गिरावट की तीव्रता ने बताया कि वेब कितनी तेजी से बदलता है (27% टर्नओवर दर)।
इंटरसेप्ट (Intercept): रेखा का शुरुआती बिंदु (यदि वे जादुई रूप से एक ही क्षण में दो जाल पकड़ पाते) उन्हें कवरेज (Coverage) बताता।

परिणाम: आपने 46% पकड़ा

जब उन्होंने इस गणित को जर्मन एकेडेमिक वेब पर लागू किया, तो उन्हें एक आश्चर्यजनक उत्तर मिला:

कवरेज: उनके रोबोट वास्तव में उन सभी एकेडेमिक वेबसाइटों का लगभग 46% हिस्सा कैप्चर कर रहे हैं जिन्हें कैप्चर किया जा सकता है।
स्थिरता: वेब अपेक्षाकृत स्थिर है; साल-दर-साल लगभग 4 में से 3 वेबसाइटें वैसी ही रहती हैं।

यह क्यों महत्वपूर्ण है

यह एक बड़ी बात है क्योंकि:

बाहरी मदद की आवश्यकता नहीं: आपको तुलना करने के लिए वेबसाइटों की किसी "परफेक्ट लिस्ट" की आवश्यकता नहीं है। आपको बस अपने स्वयं के इतिहास की आवश्यकता है।
कोई प्रतिद्वंद्वी लाइब्रेरियन नहीं: आपको नोट्स की तुलना करने के लिए किसी अन्य संगठन के साथ टीम बनाने की आवश्यकता नहीं है।
आत्मविश्वास: अब, यदि कोई शोधकर्ता इस डेटा का उपयोग AI को प्रशिक्षित करने के लिए करता है, तो वे जानते हैं, "ठीक है, हमारे पास लगभग आधा चित्र है। यह काफी अच्छा है, लेकिन हम दूसरा आधा हिस्सा खो चुके हैं।"

सीमाएँ (बारीक विवरण)

लेखक स्वीकार करते हैं कि यह जादू नहीं है। यह मान लेता है कि:

"तालाब" का आकार अध्ययन के दौरान बहुत अधिक विस्फोट नहीं कर रहा है या सिकुड़ नहीं रहा है।
आपका जाल मछलियों को कुछ हद तक यादृच्छिक (randomly) तरीके से पकड़ता है (केवल सबसे बड़ी, आसानी से पकड़ में आने वाली मछलियों को नहीं)।
यह तब सबसे अच्छा काम करता है जब आपके पास कई स्नैपशॉट्स हों (जैसे कि वे 15 क्रॉल जिनका उन्होंने उपयोग किया)।

संक्षेप में

यह शोध पत्र हमें सिखाता है कि कैसे एक चलते हुए लक्ष्य के आकार का अनुमान लगाया जाए, यह देखकर कि हमने पहले ही कितनी बार उस पर प्रहार किया है। यह इंटरनेट के "युद्ध के कोहरे" (fog of war) को एक स्पष्ट, गणना योग्य मानचित्र में बदल देता है, जो हमें दिखाता है कि हमने शैक्षणिक दुनिया के कितने हिस्से को सफलतापूर्वक संग्रहित किया है।

यहाँ शोध पत्र "Estimating Absolute Web Crawl Coverage from Longitudinal Set Intersections" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वेब आर्काइव्स और केंद्रित क्रॉल (जैसे, शैक्षणिक या सरकारी डोमेन को लक्षित करना) विशाल मात्रा में डेटा एकत्र करते हैं, लेकिन उनकी पूर्णता (completeness) को मापना एक मौलिक चुनौती बनी हुई है।

मूल सीमा: एक एकल क्रॉल एक विशिष्ट विन्यास (configuration) के आधार पर एकत्रित URL का एक सेट ( $M$ ) परिभाषित करता है, लेकिन कुल क्रॉल करने योग्य वेब स्पेस ( $N$ ) अज्ञात रहता है। फलस्वरूप, एक एकल अलग-थलग क्रॉल से पूर्ण कवरेज ( $c = M/N$ ) निर्धारित नहीं किया जा सकता है।
पूर्व दृष्टिकोणों की सीमाएँ:
- बहु-क्रॉलर तुलना (Multi-crawler comparison): भारत और ब्रोडर (1998) जैसे तरीके विभिन्न इंजनों की तुलना करके सापेक्ष आकार (जैसे, इंजन A, B से 2 गुना बड़ा है) पाते हैं, लेकिन वे कुल वेब के पूर्ण कवरेज को निर्धारित नहीं कर सकते।
- एंटिटी-आधारित ग्राउंड ट्रुथ (Entity-based ground truth): बाहरी डेटासेट (जैसे, ज्ञात विश्वविद्यालय के नाम) का उपयोग करना विशिष्ट संस्थाओं के लिए रिकॉल (recall) को मापता है, लेकिन यह पूर्ण URL स्पेस को कैप्चर करने में विफल रहता है।
- गुणवत्ता ढांचे (Quality frameworks): SHARC जैसे उपकरण पेज फिडेलिटी या टेम्पोरल कोहेरेंस का आकलन करते हैं, लेकिन डोमेन-व्यापी कवरेज को नहीं मापते।

लक्ष्य: लेखक केवल अपने स्वयं के अनुदैर्ध्य (longitudinal) डेटा (क्रमिक क्रॉल की एक श्रृंखला) का उपयोग करके पूर्ण कवरेज (absolute coverage) का अनुमान लगाने के लिए एक विधि प्रस्तावित करते हैं, जिससे बाहरी ग्राउंड ट्रुथ या कई स्वतंत्र क्रॉलर्स की आवश्यकता समाप्त हो जाती है।

2. कार्यप्रणाली: अर्न मॉडल (Methodology: The Urn Model)

लेखक URL ओवरलैप और कवरेज के बीच एक विश्लेषणात्मक संबंध प्राप्त करने के लिए वेब क्रॉलिंग प्रक्रिया को एक स्टोकेस्टिक अर्न प्रोसेस (stochastic urn process) के रूप में मॉडल करते हैं।

सैद्धांतिक ढांचा (Theoretical Framework)

अर्न (The Urn): $N$ अद्वितीय, क्रॉल करने योग्य URL की जनसंख्या का प्रतिनिधित्व करता है।
समय चरण (Time Steps - $t$ ): क्रमिक क्रॉल (successive crawls) के अनुरूप होते हैं।
प्रत्येक चरण में दो प्रक्रियाएं:
1. टर्नओवर (Turnover - क्षय): URL का एक अंश $(1-\alpha)$ हटा दिया जाता है और नए URL द्वारा प्रतिस्थापित किया जाता है। पैरामीटर $\alpha$ क्रॉल के बीच URL के टेम्पोरल पर्सिस्टेंस (temporal persistence) का प्रतिनिधित्व करता है।
2. सैंपलिंग (Sampling): क्रॉलर वर्तमान जनसंख्या में से $M$ URL को बिना प्रतिस्थापन के (without replacement) समान रूप से यादृच्छिक (uniformly at random) रूप से चुनता है।
ओवरलैप का व्युत्पत्ति (Derivation of Overlap):
- क्रॉल $t=1$ से क्रॉल $t=T$ तक जीवित रहने की संभावना $\alpha^{T-1}$ है।
- क्रॉल $T$ में पुनः सैंपल होने की संभावना $M/N$ (कवरेज $c$ ) है।
- दो क्रॉल के बीच, जो समय $T$ द्वारा अलग किए गए हैं, इंटरसेक्शन का अपेक्षित आकार है:
  $E[|u_1 \cap u_T|] = M \cdot \alpha^{T-1} \cdot \frac{M}{N} = \frac{M^2}{N} \alpha^{T-1}$
- क्रॉल आकार $M$ द्वारा सामान्यीकृत करने पर अपेक्षित कंटेनमेंट अंश $f(T)$ प्राप्त होता है:
  $f(T) = c \cdot \alpha^{T-1}$

अनुमान रणनीति (Estimation Strategy)

लॉग-लीनियर रिग्रेशन (Log-Linear Regression): देखे गए कंटेनमेंट अंश $g(u_i, u_j) = |u_i \cap u_j| / M$ का लघुगणक (logarithm) लेने पर, संबंध रैखिक हो जाता है:
$\log(g) = \log(c) + |i-j| \cdot \log(\alpha)$
पैरामीटर निष्कर्षण (Parameter Extraction):
- इंटरसेप्ट ( $\log c$ ): रिग्रेशन लाइन का y-इंटरसेप्ट (जहाँ समय अंतर $\Delta t = 0$ है) पूर्ण कवरेज ( $c$ ) के अनुमान को प्रदान करता है।
- स्लोप ( $\log \alpha$ ): स्लोप क्षय दर (decay rate) (URL पर्सिस्टेंस) प्रदान करता है।
बायस सुधार (Bias Correction): मॉडल क्रॉलर बायस (जैसे, विशिष्ट सबग्राफ को प्राथमिकता देने वाला ब्रैडथ-फर्स्ट ट्रैवर्सल) को रिग्रेशन में एक अवशिष्ट पद (residual term) के रूप में मानकर उसे नियंत्रित करता है।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक अंतर्दृष्टि: वेब क्रॉलिंग को एक सरल अर्न प्रोसेस के रूप में औपचारिक रूप देता है, जो सेट इंटरसेक्शन थ्योरी को कैप्चर-रिकैप्चर इकोलॉजी मॉडल से जोड़ता है।
कार्यप्रणाली संबंधी नवाचार: एक ही आर्काइव के अनुदैर्ध्य स्व-इंटरसेक्शन (longitudinal self-intersections) का उपयोग करके पूर्ण (absolute) कवरेज का अनुमान लगाने के लिए पहला तरीका प्रस्तावित करता है, जिससे बाहरी ग्राउंड ट्रुथ या कई क्रॉलर्स पर निर्भरता समाप्त हो जाती है।
सामान्यीकरण (Generalizability): यह विधि किसी भी केंद्रित अनुदैर्ध्य क्रॉल कॉन्फ़िगरेशन के लिए लागू है, बशर्ते समय के साथ कई क्रॉल उपलब्ध हों।

4. परिणाम: जर्मन एकेडमिक वेब (GAW)

इस विधि को जर्मन एकेडमिक वेब (GAW) पर लागू किया गया, जो 2013 से 2021 तक अर्ध-वार्षिक रूप से संचालित लगभग 150 जर्मन विश्वविद्यालय डोमेन का एक केंद्रित क्रॉल है (15 क्रॉल, प्रत्येक ~100M रिकॉर्ड)।

डेटा विज़ुअलाइज़ेशन: पेयरवाइज कंटेनमेंट (pairwise containment) के हीटमैप ने स्पष्ट क्षय संरचना (decay structure) दिखाई, जैसे-जैसे क्रॉल के बीच का समय अंतराल बढ़ता गया।
मॉडल फिट: लॉग-ट्रांसफॉर्म किए गए कंटेनमेंट डेटा ने सैद्धांतिक मॉडल को असाधारण रूप से अच्छी तरह से फिट किया ( $R^2 = 0.95$ )।
मुख्य मेट्रिक्स:
- पूर्ण कवरेज ( $c$ ): लगभग 46%। इसका अर्थ है कि एक एकल GAW क्रॉल कुल क्रॉल करने योग्य शैक्षणिक वेब स्पेस का लगभग 46% हिस्सा कैप्चर करता है।
- URL पर्सिस्टेंस ( $\alpha$ ): लगभग 0.73 प्रति वर्ष। इसका तात्पर्य है कि 27% वार्षिक URL टर्नओवर दर है।
- हाफ-लाइफ (Half-life): अनुमानित URL हाफ-लाइफ ~2.2 वर्ष है, जो पूर्व वेब पर्सिस्टेंस अध्ययनों (कोहलर, 2002) के अनुरूप है।
टेम्पोरल रुझान (Temporal Trends): प्रति क्रॉल स्टार्ट डेट के रिग्रेशन विश्लेषण ने 2013-2021 की अवधि के दौरान कवरेज अनुमानों में बढ़ते रुझान को प्रकट किया, जो या तो बेहतर क्रॉल दक्षता या घटती कुल क्रॉल करने योग्य जनसंख्या के आकार का सुझाव देता है।

5. महत्व और निहितार्थ (Significance and Implications)

स्व-निहित मूल्यांकन (Self-Contained Assessment): आर्काइव ऑपरेटर अब बाहरी डेटासेट, एंटिटी मैचिंग, या अन्य क्रॉलर्स के साथ तुलना की आवश्यकता के बिना अपने आर्काइव्स की पूर्णता का आकलन कर सकते हैं।
डाउनस्ट्रीम अनुप्रयोग: बड़े भाषा मॉडल (LLMs) जैसे कार्यों के लिए वेब डेटा का उपयोग करने वाले शोधकर्ताओं के लिए सैंपलिंग अंश ( $c$ ) को जानना महत्वपूर्ण है, क्योंकि यह डेटासेट की प्रतिनिधित्व क्षमता (representativeness) को प्रमाणित करता है।
रणनीतिक योजना: विधि एक "रिप्लेसमेंट रिजीम" (स्थिर जनसंख्या आकार) और एक "ग्रोथ रिजीम" (विस्तारित जनसंख्या) के बीच अंतर करती है, जिससे ऑपरेटरों को इष्टतम क्रॉल फ्रीक्वेंसी तय करने में मदद मिलती है।
सीमाएँ और धारणाएँ:
- मानता है कि अवलोकन विंडो के दौरान जनसंख्या का आकार $N$ अपेक्षाकृत स्थिर रहता है।
- मानता है कि सैंपलिंग लगभग समान (uniform) है (हालांकि मॉडल अवशेषों के माध्यम से बायस को ठीक करता है)।
- URL-स्तर के कवरेज को मापता है, सामग्री-स्तर (content-level) के कवरेज को नहीं (एक URL बना रह सकता है जबकि उसकी सामग्री बदल जाती है)।

निष्कर्ष

यह शोध पत्र सफलतापूर्वक प्रदर्शित करता है कि अनुदैर्ध्य वेब आर्काइव्स में टेम्पोरल स्व-इंटरसेक्शन (temporal self-intersections) कैप्चर-रिकैप्चर मॉडल में स्वतंत्र नमूनों के प्रॉक्सी के रूप में कार्य कर सकते हैं। URL ओवरलैप के क्षय पर एक सरल अर्न मॉडल को फिट करके, लेखक केंद्रित वेब क्रॉल के पूर्ण कवरेज का अनुमान लगाने के लिए एक मजबूत, व्याख्यात्मक और बाहरी-डेटा-मुक्त तरीका प्रदान करते हैं।