Infini-News: Efficiently Queryable Access to 1.3 Billion Processed Common Crawl News Articles
تقدم الورقة البحثية "Infini-News"، وهي مجموعة أدوات وفهرس شامل يعالج أكثر من 1.3 مليار مقال إخباري من "Common Crawl" مع بيانات وصفية غنية وتحديد للغة، مما يمكّن الباحثين من الاستعلام بكفاءة عن الأرشيف بأكمله بحثاً عن أي أنماط نصية في زمن يقل عن ثانية واحدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد دراسة كيف تحدث العالم حول الأحداث الكبرى على مدار العقد الماضي. أنت بحاجة إلى مكتبة ضخمة من المقالات الإخبارية.
في الماضي، كان أمامك خياران سيئان:
- جدار الدفع (Paywall): الذهاب إلى أرشيف إخباري تجاري (مثل مكتبة راقية). إنه يحتوي على كل شيء، لكنه يكلف ثروة، ولا يُسمح لك بمشاركة الكتب مع أصدقائك أو حتى إخراجها من المبنى.
- الكومة الخام (The Raw Dump): الذهوة إلى "Common Crawl"، وهو مستودع ضخم ومجاني لشبكة الإنترنت بأكملها. يحتوي على كل شيء، لكنه عبارة عن فوضى عارمة من ملفات HTML الخام بحجم تيرابايت. لإيجاد مقال واحد، سيتعين عليك بناء جرافة خاصة بك، وتنقيب وسط أكوام من النفايات الرقمية، وقضاء شهور فقط في تنظيف البيانات قبل أن تتمكن من البدء في قراءتها.
Infini-News هو الحل الذي بناه المؤلفون لإصلاح هذا الأمر. فكر فيه كـ فهرس فائق القوة، ومنظف مسبقاً، وقابل للبحث الفوري لأكبر أرشيف إخبي مجاني في العالم.
إليك كيف يعمل، مقسماً إلى أجزاء بسيطة:
1. التنظيف العظيم (المتن المعالج مسبقاً)
أخذ المؤلفون المستودع الخام الفوضوي (180 تيرابايت من البيانات) وأجروا عليه عملية تشغيل عبر آلة تنظيف متطورة.
- ماذا فعلوا: قاموا بإزالة الإعلانات، والنوافذ المنبثقة مثل "اشترك الآن"، وأشرطة التنقل، والأكواد المعطلة.
- النتيجة: انتهى بهم المطاف بـ 1.35 مليار مقال إخباري نظيف من أغسطس 2016 وحتى اليوم. الأمر يشبه تحويل كومة من الخردة غير المصنفة إلى مستودع منظم من السيارات الجاهزة. لم تعد بحاجة لتكون ميكانيكياً لتستخدمه؛ أنت فقط تقود السيارة.
2. الملصقات الذكية (إثراء البيانات الوصفية)
كومة مكونة من 1.35 مليار مقال لا تزال مربكة. أنت بحاجة لمعرفة ما الذي تنظر إليه. أضاف المؤلفون ثلاث طبقات من "الملصقات الذكية" لكل مقال:
- علامات اللغة: لم يكتفوا بالتخمين، بل استخدموا ثلاثة "محققين" (مصنفات ذكاء اصطناعي) لتسمية اللغة. إذا شك أحد المحققين، يقوم الآخرون بالتدقيق. يغطي هذا أكثر من 1,000 لغة، من الإنجليزية والإسبانية إلى اللهجات النادرة.
- من أين يأتي: حاولوا تحديد البلد الذي جاء منه كل مقال. استخدموا أدلة مثل عنوان الموقع الإلكتروني (مثلاً .de لألمانيا)، وعنوان الناشر في تذييل الصفحة، وقوائم المؤسسات الإخبارية المعروفة. نجحوا في وضع علامات الأصل لـ 83% من المقالات عبر 222 دولة.
- لماذا يهم ذلك: يتيح هذا للباحثين طرح أسئلة مثل: "كيف بدا شكل الأخبار المتعلقة بالحرب في أوكرانيا في ألمانيا مقابل البرازيل؟" دون الحاجة لقراءة كل مقال يدوياً.
3. محرك البحث السحري (فهارس Infini-gram)
هذه هي الحيلة الأكثر إبهاراً. عادةً، البحث عبر 1.35 مليار مقال قد يستغرق ساعات أو أياماً.
- التشبيه: تخيل محاولة العثور على جملة محددة في مكتبة تضم مليار كتاب. محرك البحث العادي سيضطر لفتح كل كتاب، وقراءة كل صفحة، والتحقق مما إذا كانت الكلمات متطابقة. هذا بطيء.
- حيلة Infini-News: قاموا ببناء فهرس مصفوفة اللاحقة (suffix-array index). فكر في هذا كخريطة فائقة التفصيل لكل كلمة وعبارة في المكتبة.
- السرعة: باستخدام هذه الخريطة، يمكنك كتابة عبارة (حتى لو كانت غريبة مثل "تغير المناخ" أو اقتباس محدد)، وسيقوم النظام بالعثيد على كل ظهور لها في أقل من ثانية.
- لا حاجة للتحميل: لست بحاجة لتحميل المكتبة بأكملها للبحث فيها. أنت فقط تستعلم من الخريطة، وتحصل على قائمة من "معرفات الكتب"، ثم تقوم بتحميل المقالات المحددة التي تحتاجها فقط. هذا يوفر على الباحثين الحاجة إلى أقراص صلبة ضخمة.
ماذا يمكنك أن تفعل به؟
يسلط البحث الضوء على طرق محددة يمكن للباحثين استخدام هذه الأداة من خلالها:
- السفر عبر الزمن: يمكنك تتبع كيف تغيرت قصة ما على مدار 10 سنوات (التحليل الطولي).
- تتبع الإشاعة: يمكنك رؤية كيف انتشر خبر معين أو اقتباس مزيف من صحيفة إلى أخرى (توزيع المحتوى).
- المقارنة العالمية: يمكنك مقارنة كيف غطت دول مختلفة نفس الحدث.
- سلامة الذكاء الاصطناعي: يمكنك التحقق مما إذا كان روبوت دردشة جديد قد تدرب على قصص إخبارية محددة من خلال البحث عن تطابقات دقيقة.
العقبات (القيود)
المؤلفون صادقون بشأن ما لا تستطيع هذه الأداة فعله:
- ليست مباشرة (Live): الأخبار من الأرشيف، لذا هناك تأخير طفيف. لا يمكنك مراقبة الأخبار العاجلة أثناء حدوثها في هذه اللحظة تماماً.
- جدران الدفع المفقودة: تحتوي فقط على الأخبار المجانية. إذا وضعت صحيفة مقالاً خلف "جدار دفع"، فإن Infini-News لا تملكه.
- مشكلة "الروبوتات": حوالي عام 2023، بدأت العديد من المواقع الإخبارية في حظر زواحف الذكاء الاصطناعي. لاحظ المؤلفون انخفاضاً في المقالات الجديدة من مواقع معينة بعد ذلك، لذا قد تكون البيانات أقل اكتمالاً للأوقات الأخيرة جداً.
- الملصقات ليست مثالية: علامات البلد واللغة جيدة جداً (دقتها حوالي 89%)، لكنها ليست مثالية بنسبة 100%. يُتوقع من الباحثين التدقيق إذا كانوا بحاجة إلى دقة مطلقة.
الخلا الخلاصة
Infini-News هي مجموعة أدوات تعتمد على "الاسترجاع أولاً". بدلاً من إجبار الباحثين على تحميل مكتبة بحجم مدينة صغيرة، فهي تمنحهم مفتاحاً يسمح لهم بالعثور فوراً على الصفحات الدقيقة التي يحتاجونها وتحميل تلك الصفحات فقط. إنها تحول جبلاً فوضوياً وغير قابل للوصول من البيانات إلى مورد نظيف وقابل للبحث ومجاني لدراسة كيف يتواصل العالم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.