CC-GPX: Extracting High-Quality Annotated Geospatial Data from Common Crawl
تقدم هذه الورقة CC-GPX، وهو مسار عمل فعال يستخرج مجموعة بيانات متعددة الوسائط مكونة من 1,416 وصفاً مكتوباً بواسطة البشر مقترنة ببيانات متجهية من نوع MultiLineString من ملفات Common Crawl GPX لدعم الأبحاث في أنماط الأنشطة الخارجية، ومعالجة اللغات الطبيعية، وتوليد المسارات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل الإنترنت كمكتبة ضخمة وفوضوية تحتوي على كل كتاب، وصفحة ويب، وملف تم نشره عبر الإنترنت منذ عام 2008. تُسمى هذه المكتبة Common Crawl، وهي ضخمة جدًا لدرجة أنها تضم أكثر من 9.5 بيتابايت من البيانات (أي ما يعادل تكديم مليارات من أقراص الـ DVD). عادةً ما يستخدم الباحثون هذه المكتبة لتعليم الحواسيب كيفية التحدث بلغة البشر، بحثًا عن النصوص لتدريب روبوتات الدردشة القائمة على الذكاء الاصطناعي.
لكن في هذه الورقة البحثية، طرح المؤلفون سؤالًا مختلفًا: "ماذا لو بحثنا عن خرائط ومسارات مشي مخبأة داخل هذه المكتبة؟"
إليك قصة كيف وجدوها، وكيف قاموا بتنظيفها، وكيف حولوها إلى خريطة كنز جديدة.
1. البحث عن الكنز المخبأ (جمع البيانات)
تخيل الإنترنت كمحيط شاسع. معظم الناس ينظرون فقط إلى الجزر الكبيرة والمشهورة (مثل Strava أو AllTrails)، لكن تلك الأماكن غالبًا ما تفرض قواعد صارمة بشأن من يمكنه استخدام بياناتها. أما Common Crawl، فهو يشبه شاطئًا عامًا حيث يمكن لأي شخص التقاط الأصداف، بشرط اتباع القواعد.
قام المؤلفون ببناء "شبكة" رقمية لصيد نوع معين من الأصداف: ملفات .GPX.
- ما هو ملف GPX؟ تخيله كمدونة يومية رقمية لمسار تنزه، أو جري، أو ركوب دراجة. يحتوي الملف على سلسلة من إحداثيات نظام تحديد المواقع العالمي (GPS) (المسار الذي سلكته) وغالبًا ما يتضمن ملاحظة صغيرة كتبها الشخص الذي قام بالرحلة.
- التحدي: المكتبة فوضوية. كان على المؤلفين غربلة 3 مليارات ملف للعثور على الملفات الصحيحة فقط.
- الحيلة: بدلًا من تحميل المحيط بأكمله (الذي سيستغرق وقتًا طويلاً)، استخدموا حيلة ذكية لجلب "الأصداف" المحددة التي يحتاجونها فقط من الملفات الضخمة، مما وفر عليهم وقتًا هائلًا. لقد وجدوا أكثر من 112,000 ملف GPX محتمل.
2. الفلتر (تنظيف البيانات)
ليست كل صدفة هي لؤلؤة. كان على المؤلفين تصفية النفايات للاحتفاظ بالجواهر عالية الجودة فقط. لقد عملوا كأمناء مكتبة صارمين:
- قاعدة "الطول الزائد": استبعدوا المسارات التي تزيد طولها عن 100 كم (62 ميلاً). لماذا؟ لأنه من الصعب كتابة قصة قصيرة جيدة عن رحلة تمتد لعدة أيام عبر أوروبا. أرادوا مسارات تبدو وكأنها مغامرة واحدة كاملة.
- قاعدة "القصر الزائد": تجاهلوا أي شيء أقصر من نزهة سريعة حول المربع السكني (0.5 كم).
- فحص "القصة": المسار بدون وصف هو مجرد خط على الخريطة. استخدم المؤلفون مساعد ذكاء اصطناعي ذكي (Llama-3) لقراءة الملاحظات.
- ملاحظة جيدة: "مشية جميلة لمدة 4 ساعات مع إطلالة رائعة من البرج." (تم الاحتفاظ بها!)
- ملاحظة سيئة: "ملف يحتوي على نقاط من ساعتي" أو "تحقق من مواعيد العمل." (تم استبعادها!)
- درع الخصوصية: تمامًا كما لا تريد نشر عنوان منزلك في كتاب، قام المؤلفون بتنقية البيانات. استخدموا "أقلام تحديد سوداء" رقمية لإخفاء عناوين البريد الإلكتروني، وأرقام الهواتف، والأسماء، لضمان عدم إمكانية تحديد هوية أشخاص حقيقيين.
- جسر اللغة: الكثير من هذه الملاحظات كُتبت بالفرنسية، أو الألمانية، أو لغات أخرى. استخدم المؤلفون أداة ترجمة لتحويلها جميعًا إلى الإنجليزية، حتى يتمكن الجميع من قراءتها.
3. ملء الفراغات
كانت بعض المذكرات الرقمية تفتقر إلى "ارتفاع" المسار (الارتفاع عن سطح الأرض). تخيل خريطة تظهر لك الطريق المتعرج ولكنها لا تخبرك ما إذا كنت تصعد تلة أو تنزل في وادٍ.
- استخدم المؤلفون "خريطة طبوغرافية" عبر الأقمار الصناعية (نموذج رقمي لسطح الأرض) لتخمين ارتفاع كل نقطة في المسار حيث كانت البيانات الأصلية مفقودة. الآن، أصبح كل مسار جسمًا ثلاثي الأبعاد، وليس مجرد خط مسطح.
4. النتيجة النهائية: مجموعة بيانات جديدة
بعد كل عمليات التنظيف هذه، انتهى بهم المطاف بـ 1,416 زوجًا عالي الجودة.
- الزوج الأول: قصة مفصلة كتبها إنسان عن مغامرة في الهواء الطلق.
- الزوج الثاني: مسار GPS الدقيق (خط ثلاثي الأبعاد) لتلك المغامرة.
تأتي هذه المسارات من 25 دولة مختلفة، معظمها في أوروبا، وتغطي أنشطة مثل التنزه، وركوب الدراجات، والجري.
لماذا يهم هذا؟
يقترح المؤلفون أن مجموعة البيانات هذه هي أداة جديدة للباحثين ومطوري الذكاء الاصطناعي:
- بالنسبة للذكاء الاصطناعي: يمكنها تعليم الحواسيب كيفية كتابة أوصاف بشرية للأماكن أو كيفية إنشاء مسارات مشي واقعية، مما يستبدل المسارات الوهمية التي تصنعها الحواسيب بتجارب بشرية حقيقية.
- بالنسبة للعلم: تساعدنا على فهم كيفية وصف الناس لتجاربهم في الهواء الطلق وما هي المعالم التي يلاحظونها.
باختًا، أخذ المؤلفون كومة فوضوية وضخمة من بيانات الإنترنت، ونظفوها، وترجموها، ونظموها في مجموعة مرتبة من القصص البشرية الحقيقية المقترنة بخرائط حقيقية. لقد أثبتوا أنه حتى في مكتبة فوضوية مثل Common Crawl، يمكنك العثور على بيانات جغرافية مكانية منظمة وجميلة إذا عرفت كيف تبحث.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.