Geolocating News about Extreme Climate Events: A Comparative Analysis of Off-the-Shelf Tools for Toponym Identification in German
تُجري هذه الدراسة تحليلاً مقارناً لثلاث أدوات جاهزة للتعرف على الكيانات المسماة (Flair وSpacy وStanza) لتحديد أسماء المواقع الجغرافية في المقالات الإخبارية الألمانية حول الظواهر المناخية المتطرفة، موضحةً كيف تنتقل مخرجاتها المختلفة عبر مهام التحديد الجغرافي اللاحقة لتؤثر بشكل كبير على الاستنتاجات المتعلقة ببروز الدول في التغطية الإعلامية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق تحاول حل لغز: "أين وقعت هذه الظاهرة الجوية المتطرفة حقاً؟"
لديك كومة من المقالات الإخبارية الألمانية. بعضها يتحدث عن فيضانات في البرازيل، والبعض الآخر عن موجات حر في ألمانيا. المشكلة هي أن المقالات فوضوية. قد يقول مقال ما: "إن الفيضانات في بورتو أليغري بالبرازيل تذكرنا بمنطقة هونسروك في ألمانيا". القارئ البشري يعرف فوراً أن الكارثة في البرازيل. ولكن ماذا عن الكمبيوتر؟ قد يرتبك بكلمة "ألمانيا" ويظن أن الفيضان حدث هناك.
هذه الورقة البحثية تدور حول اختبار ثلاثة "محققين كمبيوتريين" (أدوات برمجية) لمعرفة أيهم الأفضل في إيجاد الموقع الصحيح في هذه القصص الإخبارية.
المحققون الثلاثة
اختبر الباحثون ثلاث أدوات برمجية شهيرة وجاهزة للاستخدام (فكر فيها كأنها ثلاث علامات تجارية مختلفة من أجهزة الـ GPS):
- Flair
- Spacy
- Stanza
مهمتهم هي التعرف على الكيانات المسماة (NER). وباللغة البسيطة، يعني هذا مسح الجملة وتسليط الضوء على الكلمات التي تبدو كأماكن (مثل "باريس"، أو "الأمازون"، أو "هونسروك").
التجربة: اختبار "أعمى"
عادةً، لاختبار محقق، تعطيه قائمة إجابات تعرف مسبقاً أنها صحيحة (معيار ذهبي). ولكن في العالم الحقيقي، غالباً لا يملك الباحثون هذه القائمة. لذا، وضع المؤلفون اختباراً مخادعاً:
- قاموا بتغذية الأدوات الثلاث جميعها بمجموعة من 983 مقالاً إخبارياً ألمانياً حول الكوارث (فيضانات، حرائق، موجات حر).
- طلبوا من كل أداة إدراج الأماكن التي وجدتها.
- ثم حاولوا تخمين بلد الكارثة بناءً على تلك القوائم فقط.
ما وجدوه: المحققون يختلفون
هنا كانت المفاجأة الكبرى: الأدوات الثلاث لم تتفق مع بعضها البعض كثيراً.
- قوائم مختلفة: إذا أعطيت نفس المقال للأدوات الثلاث، فستقوم كل منها بتحديد مجموعات مختلفة من الكلمات كـ "أماكن". قد ترى إحداها 14 مكاناً، وأخرى 15، وقد لا يتفقان حتى على ماهية تلك الـ 14 مكاناً.
- مشكلة "الضجيج":
- Spacy كان مثل محقق يرى الكثير من الأشياء. فقد صنف كلمات عامة مثل "مدينة"، أو "وسط المدينة"، أو "مطار" كأماكن محددة. هذا خلق الكثير من "الضجيج" (إنذارات كاذبة).
- Stanza ارتبك أحياناً بسبب كلمات تبدو كأماكن لكنها ليست كذلك، مثل الصفات (على سبيل المثال، كلمة "إيطالي" قد تطلق بحثاً عن أماكن في إيطاليا، حتى لو كان المقال يتحدث عن سفارة إيطالية في فرنسا).
- Flair كان الأكثر حذراً. فقد وجد أماكن أقل، لكن الأماكن التي وجدها كانت أكثر احتمالاً لأن تكون مواقع حقيقية وصحيحة.
تأثير الدومينو: لماذا يهم الأمر؟
تظهر الورقة أن اختيار المحقق الخطأ يغير الحكم النهائي.
- تخمينات خاطئة للبلد: نظرًا لأن الأدوات وجدت قوائم مختلفة، فقد خمنت بلد الكارثة بشكل مختلف. في بعض الحالات، غيّر اختيار الأداة البلد المتوقع بنسبة أكثر من 10%.
- ترتيب "الشعبية": حاول الباحثون ترتيب البلدان حسب عدد مرات ظهورها في الأخبار.
- إذا استخدمت Flair، سيبدو الترتيب قريباً جداً من الحقيقة التي حددها البشر.
- إذا استخدمت Spacy أو Stanza، فسيكون الترتيب غير دقيق قليلاً. على سبيل المثال، قد تعتقد إحدى الأدوات أن سويسرا هي أكثر دولة يتم الحديث عنها، بينما يعرف البشر أنها في الواقع البرازيل.
الخلاصة
المؤلفون لا يقولون إن أداة واحدة مثالية أو أن الأدوات الأخرى عديمة الفائدة. هم يقولون: لا تختار أداة لمجرد أنها مشهورة.
إذا كنت باحثاً يحاول فهم تغطية تغير المناخ، فإن الأداة التي تختارها تعمل كمرشح (فلتر). المرشح المختلف قلياً يمكن أن يغير استنتاجاتك حول البلدان الأكثر تأثراً أو الأكثر نقاشاً.
باختة: حتى لو كنت تستخدم برامج "جاهزة"، عليك مراجعة عملها. إذا لم تفعل ذلك، فقد تكتب تقريراً بالخطأ يقول إن الفيضانات حدثت في ألمانيا بينما كانت في الواقع في البرازيل، ببساطة لأن حاسوبك ارتبك بوجود كلمة "ألمانيا" في النص.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.