🔬 physics

Estimating Absolute Web Crawl Coverage From Longitudinal Set Intersections

تقترح هذه الورقة طريقة بسيطة، خالية من البيانات المرجعية، لتقدير التغطية المطلقة لزحف ويب عبر نمذجة تداخلات عناوين URL الطولية بين عمليات الزحف اللاحقة كعملية جرة، والتي طُبقت على الشبكة الأكاديمية الألمانية للكشف عن تغطية تبلغ حوالي 46%.

المؤلفون الأصليون: Michael Paris, Grigori Paris, Fabian Baumann

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Michael Paris, Grigori Paris, Fabian Baumann

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك كبير أمناء المكتبة في مكتبة ضخمة ومتغيرة باستمرار تسمى الشبكة الأكاديمية الألمانية (German Academic Web). كل ستة أشهر، يرسل فريقك أسراباً من الروبوتات لنسخ الكتب من هذه المكتبة. أنت تعرف بالضبط عدد الكتب التي نسختها روبوتاتك هذه المرة (لنفترض أنها 100 مليون كتاب)، ولكن يراودك سؤال ملحّ: "كم عدد الكتب الموجودة فعلياً في المكتبة؟"

بما أن المكتبة لا نهائية ومتغيرة باستمرار (تظهر كتب جديدة وتختفي أخرى)، فلا يمكنك مجرد عدّها جميعاً. ليس لديك قائمة رئيسية، ولا يمكنك مقارنة عملك بعمل أمين مكتبة آخر لأنك الوحيد الذي يقوم بهذه المهمة المحددة.

تقدم هذه الورقة البحثية حيلة ذكية وبسيطة للإجابة على هذا السؤال باستخدام سجلاتك الماضية فقط.

الفكرة الجوهرية: تشبيه "شبكة الصيد"

فكر في الشبكة كأنها بركة عملاقة مليئة بالأسماك (روابط URL).

المشكلة: أنت تلقي شبكتك (عملية الزحف/الجمع) وتصطاد 100 مليون سمكة. لكنك لا تعرف عدد الأسماك الموجودة في البركة بأكملها.
الطريقة القديمة: عادةً، لتقدير العدد الإجمالي للأسماك، ستحتاج إلى شخصين مختلفين يلقيان شباكهما في نفس الوقت ليروا كم سمكة اصطادا معاً. أو ستحتاج إلى قائمة من "الأسماك الشهيرة" لترى كم واحدة فاتتك.
الطريقة الجديدة (هذه الورقة): أنت تلقي شبكتك اليوم. ثم تلقيها مرة أخرى بعد ستة أشهر، ومرة أخرى بعد عام. تنظر إلى الأسماख التي اصطدتها اليوم وتسأل: "كم منها هي نفس الأسماك التي اصطدتها في المرة السابقة؟"

الصيغة السحرية: نموذج "الجرّة" (Urn Model)

يستخدم المؤلفون مفهوماً رياضياً يسمى نموذج الجرّة. تخيل جرة ضخمة مليئة بكرات ملونة تمثل كل موقع إلكتروني ممكن.

معدل التغيير (Turnover): في كل مرة تعود فيها إلى البركة، تموت بعض الأسماك أو تسبح بعيداً، وتولد أسماك جديدة. وجد المؤلفون أن حوالي 27% من المواقع الإلكترونية تختفي أو تتغير كل عام، بينما يبقى 73% كما هي.
التداخل (Overlap): عندما تلقي شبكتك مرتين، فإن عدد الأسماك التي تصطادها في كلتا الشبكتين يعتمد على شيئين:
- عدد الأسماك الموجودة فعلياً في البركة (الحجم الإجمالي).
- عدد الأسماك التي تمكنت من صيدها في كل مرة (حجم شبكتك).

من خلال النظر في نمط التداخل بين عمليات الصيد المختلفة عبر السنين، يمكنك العودة إلى الوراء لتحديد حجم البركة.

حيلة "التقاطع الذاتي" (Self-Intersection)

هذا هو الجزء الذكي:

إذا اصطدت سمكة اليوم، واصطدت نفس السمكة تماماً في المرة القادمة، فهذا يعني أن شبكتك جيدة جداً أو أن البركة صغيرة.
إذا لم تصطد تقريباً أي أسماك مشتركة مع صيدك السابق، فهذا يعني إما أن شبكتك صغيرة جداً، أو أن البركة ضخمة للغاية لدرجة أنك بالكاد تلامس سطحها.

قام المؤلفون برسم بياناتهم على رسم بياني. ونظروا في كيفية انخفاض "التداخل" كلما طالت الفترة الزمنية بين عمليات الزحف.

الميل (Slope): حدة الانخفاض أخبرتهم بمدى سرعة تغير الويب (معدل التغيير بنسبة 27%).
نقطة التقاطع (Intercept): نقطة البداية للخط (لو كان بإمكانهم اصطياد شبكتين في اللحظة ذاتها بشكل سحري) أخبرتهم بـ التغطية (Coverage).

النتيجة: لقد اصطدت 46%

عندما طبقوا هذه الرياضيات على الشبكة الأكاديمية الألمانية، وجدوا إجابة مفاجئة:

التغطية: روبوتاتنا تلتقط في الواقع حوالي 46% من جميع المواقع الأكاديمية التي يمكن التقاطها.
الاستقرار: الويب مستقر نسبياً؛ حيث يبقى حوالي 3 من كل 4 مواقع كما هي من سنة إلى أخرى.

لماذا هذا مهم؟

هذا أمر بالغ الأهمية لأن:

لا حاجة لمساعدة خارجية: لا تحتاج إلى "قائمة مثالية" للمواقع للمقارنة بها. أنت تحتاج فقط إلى تاريخك الخاص.
لا وجود لأمين مكتبة منافس: لا تحتاج للتعاون مع منظمة أخرى لتبادل الملاحظات.
الثقة: الآن، إذا استخدم باحث هذه البيانات لتدريب ذكاء اصطناعي، فإنه يعرف: "حسناً، لدينا حوالي نصف الصورة. هذا جيد، لكننا نفتقد النصف الآخر".

القيود (التفاصيل الدقيقة)

يعترف المؤلفون أن هذا ليس سحراً. فهو يفترض:

أن حجم "البركة" لا ينفجر أو يتقلص بشكل جامح خلال فترة الدراسة.
أن شبكتك تصطاد الأسماك بشكل عشوائي نوعاً ما (وليس فقط الأسماك الأكبر أو الأسهل صيداً).
أنه يعمل بشكل أفضل إذا كان لديك العديد من اللقطات عبر الزمن (مثل عمليات الزحف الـ 15 التي استخدموها).

باختصار

تعلمنا هذه الورقة كيفية تخمين حجم هدف متحرك من خلال النظر في مقدار ما أصبناه بالفعل، مراراً وتكراراً. إنها تحول "ضباب الحرب" للإنترنت إلى خريطة واضحة وقابلة للحساب، مما يوضح لنا بالضبط مقدار العالم الأكاديمي الذي نجحنا في أرشفته.

فيما يلي ملخص تقني مفصل للورقة البحثية بعنوان "تقدير التغطية المطلقة لزحف الويب من خلال التقاطعات الطولية للمجموعات".

1. بيان المشكلة

تجمع أرشيفات الويب والزحف الموجه (مثل استهداف النطاقات الأكاديمية أو الحكومية) كميات هائلة من البيانات، لكن تحديد مدى اكتمالها يظل تحديًا جوهريًا.

القصور الجوهري: تُحدد عملية زحف واحدة مجموعة من عناوين URL التي تم جمعها ( $M$ ) بناءً على إعداد محدد، ولكن الحجم الإجمالي لفضاء الويب القابل للزحف ( $N$ ) غير معروف. وبناءً على ذلك، لا يمكن تحديد التغطية المطلقة ( $c = M/N$ ) من عملية زحف واحدة معزولة.
قصور النهج السابقة:
- مقارنة الزواحف المتعددة: تقارن طرق مثل (Bharat & Broder, 1998) بين محركات بحث مختلفة لإيجاد الأحجام النسبية (على سبيل المثال، المحرك أ أكبر بمرتين من المحرك ب)، لكنها لا تستطيع تحديد التغطية المطلقة للويب ككل.
- الحقيقة الأرضية القائمة على الكيانات: استخدام مجموعات بيانات خارجية (مثل أسماء جامعات معروفة) يقيس الاستدعاء لكيانات محددة، لكنه يفشل في استيعاب فضاء عناوين URL بالكامل.
- أطر الجودة: أدوات مثل SHARC تقيم دقة الصفحة أو التماسك الزمني، لكنها لا تقيس تغطية النطاق بالكامل.

الهدف: يقترح المؤلفون طريقة لتقدير التغطية المطلقة باستخدام بيانات الأرشيف الخاصة بها فقط (سلسلة من عمليات الزحف اللاحقة)، مما يلغي الحاجة إلى حقيقة أرضية خارجية أو زواحف مستقلة متعددة.

2. المنهجية: نموذج الجرة (Urn Model)

نمذج المؤلفون عملية زحف الويب كعملية جرة عشوائية لاستخلاص علاقة تحليلية بين تداخلات المجموعات والتغطية.

الإطار النظري

الجرة: تمثل مجتمع $N$ من عناوين URL الفريدة والقابلة للزحف.
الخطوات الزمنية ( $t$ ): تقابل عمليات الزحف المتعاقبة.
عمليتان لكل خطوة:
1. الدوران (الاضمحلال): يتم إزالة جزء من عناوين URL واستبداله بآخرين بنسبة $(1-\alpha)$ . يمثل المعامل $\alpha$ الاستمرارية الزمنية لعناوين URL بين عمليات الزحف.
2. أخذ العينات: يقوم الزاحف بسحب $M$ من عناوين URL بشكل عشوائي منتظم (بدون استبدال) من المجتمع الحالي.
اشتقاق التداخل:
- احتمال بقاء عنوان URL من الخطوة $t=1$ حتى الخطوة $t=T$ هو $\alpha^{T-1}$ .
- احتمال إعادة اختيار العنوان في الخطوة $T$ هو $M/N$ (أي التغطية $c$ ).
- الحجم المتوقع للتقاطع بين عمليتي زحف تفصل بينهما الفترة $T$ هو:
  $E[|u_1 \cap u_T|] = M \cdot \alpha^{T-1} \cdot \frac{M}{N} = \frac{M^2}{N} \alpha^{T-1}$
- وبقسمة الناتج على حجم الزحف $M$ نحصل على كسر الاحتواء المتوقع $f(T)$ :
  $f(T) = c \cdot \alpha^{T-1}$

استراتيجية التقدير

الانحدار الخطي اللوغاريتمي: من خلال أخذ اللوغاريتم لكسر الاحتواء المرصود $g(u_i, u_j) = |u_i \cap u_j| / M$ ، تصبح العلاقة خطية:
$\log(g) = \log(c) + |i-j| \cdot \log(\alpha)$
استخراج المعاملات:
- التقاطع ( $\log c$ ): يوفر تقاطع محور الصادات في خط الانحدار (حيث فرق الزمن $\Delta t = 0$ ) تقدير التغطية المطلقة ( $c$ ).
- الميل ( $\log \alpha$ ): يوفر الميل معدل الاضمحلال (استمرارية عنوان URL).
تصحيح الانحياز: يأخذ النموذج في الاعسب انحياز الزاحف (مثل التفضيل لنمط البحث بالعرض - breadth-first traversal) من خلال معاملة الانحرافات عن التوقعات المنتظمة النظرية كباقي (residual term) في عملية الانحدار.

3. المساهمات الرئيسية

الرؤية النظرية: صياغة عملية زحف الويب كعملية جرة بسيطة، وربط نظرية تقاطع المجموعات بنماذج "الالتقاط وإعادة الصيد" (capture-recapture) المستخدمة في علم البيئة.
الابتكار المنهجي: اقتراح أول طريقة لتقدير التغطية المطلقة باستخدام التقاطعات الذاتية الطولية من أرشيف واحد، مما يزيل الاعتماد على بيانات خارجية أو زواحف مستقلة متعددة.
القابلية للتعميم: الطريقة قابلة للتطبيق على أي تكوين زحف طولي موجه، بشرما توفر عمليات زحف متعددة عبر الزمن.

4. النتائج: الويب الأكاديمي الألماني (GAW)

طُبقت الطرح على الويب الأكاديمي الألماني (GAW)، وهو زحف موجه لنطاقات جامعية ألمانية تبلغ حوالي 150 نطاقاً، أُجري نصف سنويًا من عام 2013 إلى 2021 (15 عملية زحف، حوالي 100 مليون سجل لكل منها).

تصوير البيانات: أظهر مخطط حراري للاحتواء الزوجي هيكل اضمحلال واضح مع زيادة الفارق الزمني بين عمليات الزحف.
ملائمة النموذج: ناسبت بيانات الاحتواء المحولة لوغاريتميًا النموذج النظري بشكل ممتاز ( $R^2 = 0.95$ ).
المقاييس الرئيسية:
- التغطية المطلقة ( $c$ ): حوالي 46%. وهذا يعني أن عملية زحف واحدة لـ GAW تلتقط حوالي 46% من إجمالي فضاء الويب الأكاديمي القابل للزحف.
- استمرارية عنوان URL ( $\alpha$ ): حوالي 0.73 لكل سنة. وهذا يعني أن معدل دوران عناوين URL السنوي هو 27%.
- عمر النصف: بلغ عمر النصف المقدر لعناوين URL حوالي 2.2 سنة، وهو ما يتوافق مع دراسات استمرارية الويب السابقة (Koehler, 2002).
الاتجاهات الزمنية: كشف تحليل الانحدار لكل تاريخ بدء زحف عن اتجاه متزايد في تقديرات التغطية خلال الفترة 2013-2021، مما يشير إما إلى تحسن في كفاءة الزحف أو انخفاض في حجم مجتمع الويب القابل للزحف.

5. الأهمية والآثار المترتبة

التقييم الذاتي المكتفي: يمكن لمشغلي الأرشيف الآن تقييم اكتمال أرشيفاتهم دون الحاجة إلى مجموعات بيانات خارجية، أو مطابقة كيانات، أو مقارنات مع زواحف أخرى.
التطبيقات اللاحقة: معرفة كسر العينة ( $c$ ) أمر بالغ الأهمية للباحثين الذين يستخدمون بيانات الويب لمهام مثل تدريب النماذج اللغوية الكبيرة (LLMs)، حيث يحدد مدى تمثيلية مجموعة البيانات.
التخطيط الاستراتيجي: تميز الطريقة بين "نظام الاستبدال" (مجتمع مستقر الحجم) و"نظام النمو" (مجتمع متوسع في الحجم)، مما يساعد المشغلين على تحديد وتيرة الزحف المثلى.
القيود والافتراضات:
- تفترض أن حجم المجتمع $N$ يظل ثابتًا نسبيًا خلال فترة المراقبة.
- تفترض أن أخذ العينات منتظم تقريبًا (رغم أن النموذج يصحح الانحياز عبر البواقي).
- تقيس التغطية على مستوى عنوان URL، وليس على مستوى المحتوى (قد يستمر عنوان URL بينما يتغير محتواه).

الخاتمة

أثبتت الورقة بنجاح أن التقاطعات الذاتية الزمنية في أرشيفات الويب الطولية يمكن أن تعمل كبديل للعينات المستقلة في نماذج الالتقاط وإعادة الصيد. ومن خلال مطابقة نموذج جرة بسيط على اضمحلال تداخلات عناوين URL، قدم المؤلفون طريقة قوية، وقابلة للتفسير، وخالية من البيانات الخارجية لتقدير التغطية المطلقة لعمليات زحف الويب الموجهة.