Comparative Evaluation of GPT-4o-mini and Llama-3.1-8B for Extracting Climate Hazard Impacts from Nigerian News Corpus
تقارن هذه الدراسة بين نموذج GPT-4o-mini ونموذج Llama-3.1-8B على مجموعة نصوص إخبارية نيجيرية لاستخراج آثار المخاطر المناخية، كاشفةً أنه في حين يؤدي كلا النموذجين بشكل مماثل في التصنيف، فإن GPT-4o-mini يقدم دقة فائقة ومعدلات أقل بكثير من الهلوسة، مما يسلط الض الضوء على مقايضة حرجة في الموثوقية للتوثيق عالي المخاطر في سياقات دول الجنوب العالمي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في العالم الحديث، تظل كميات هائلة من المعلومات حول الكوارث حبيسة داخل مقالات إخبارية غير منظمة. تصف هذه القصص الفيضانات والعواصف وموجات الحر، لكنها مكتوبة في شكل فقرات نصية بدلاً من جداول بيانات منظمة. وبالنسبة للباحثين ومخططي الطوارئ، فإن تحويل هذه القصص إلى إحصائيات مفيدة يعد مهمة شاقة. تقليديًا، كان على البشر قراءة كل مقال على حدة لاستخراج تفاصيل مثل تاريخ الحدث، والموقع المحدد، وعدد الأشخاص المتضررين. وكان هذا العمل اليدوي بطيئًا ويستحيل توسيع نطاقه عندما تُنشر آلاف القصص. مؤخرًا، ظهر نوع جديد من البرامج الحاسوبية يسمى "النماذج اللغوية الكبيرة". وهي أدوات متطورة تم تدريبها على كميات هائلة من النصوص ويمكنها قراءة وفهم وتلخيص المعلومات. وهي توفر وسيلة لأتمتة استخراج الحقائق من الأخبار، مما قد يحول القصص الفوضوية إلى بيانات واضحة وقابلة للتنفيذ لإدارة الكوارث. ومع ذلك، ليست كل هذه الأدوات متساوية، ولا تزال موثوقيتها في المواقف عالية المخاطر، خاصة في المناطق ذات اللغات وأساليب التقارير الفريدة، تمثل سؤالاً حاسمًا.
وضع فريق من الباحثين خطة لاختبار مدى قدرة نموذجين مختلفين من نماذج الكمبيوتر على أداء هذه المهمة الصعبة باستخدام تقارير إخبارية من نيجيريا. ركزت الدراسة على تحدٍ محدد: استخراج تفاصيل حول المخاطر المناخية، مثل الفيضانات والعواصف، من مجموعة تتكون من 1,226 مقالاً إخباريًا نيجيريًا فريدًا. قارن الباحثون بين نموذج تجاري معروف، وهو GPT-4o-mini، مقابل نموذج مفتوح المصدر يسمى Llama-3.1-8B. كان الهدف هو معرفة أي أداة يمكنها تحديد نوع الكارثة بدقة أكبر، وتحديد الموقع بدقة وصولاً إلى منطقة الحكومة المحلية، واستخراج أرقام محددة تتعلق بالآثار البشرية والاقتصادية. ولضمان اختبار عادل وصارم، بنى الباحثون نظامًا حيث يقرأ كلا النموذجين المقالات نفسها ويحاولان ملء نموذج مهيكل بالحقائق، والذي يتم التحقق منه لاحقًا مقابل "معيار ذهبي" يتكون من 100 مقال تم تصنيفها يدويًا من قبل خبراء بشريين.
أظهرت النتائج فرقًا واضحًا بين الأداتين، لا سيما عندما يتعلق الأمر بالمعلومات الأكثر أهمية. كان كلا النموذجين جيدين تمامًا في تحديد النوع العام للخطر، مثل التمييز بين الفيضان والعاصفة، مع أداء أفضل قليًا للنموذج التجاري. كما نجح كلاهما في تحديد الدولة بشكل صحيح في كل مرة تقريبًا. ومع ذلك، عندما أصبحت المهمة أكثر تحديدًا، اتسعت الفجوة. فعندما طُلب منه تحديد الولاية أو المدينة المحددة التي وقعت فيها الكارثة، كان النموذج التجاري أكثر دقة بشكل كبير من النسخة مفتوحة المصدر. وقد عانى النموذج مفتوح المصدر أكثر مع هذه التفاصيل الدقيقة، حيث خلط غالبًا بين أسماء الأماكن المتشابهة في النطق أو أغفل المناطق الإدارية المحددة التي تعد حيوية للاستجابة المحلية للطوارئ.
ومع ذلك، كان الاكتشاف الأكثر أهمية يتعلق بالأرقام. ففي التقارير المتعلقة بالكوارث، يعد معرفة عدد الأشخاص الذين نزحوا بدقة أو مقدار الأموال التي فُقدت أمرًا ضروريًا للتخطيط للمساعدات. وجد الباحثون أن النموذج مفتوح المصدر أنتج حجمًا أكبر بكثير من السجلات الرقمية، لكن الغالبية العظمى من هذه الأرقام لم تكن مدعومة في الواقع بنصوص المقالات الإخبارية. في الواقع، حوالي 36 بالمائة فقط من الأرقام التي أنتجها النموذج مفتوح المصدر يمكن تتبعها إلى جملة محددة في النص المصدر. أما الثلثان الآخران فبدا أنهما تخمينات أو افتراءات، وهي ظاهرة تُعرف باسم "الهلوسة". وفي المقابل، كان النموذج التجاري أكثر حذرًا؛ فبينما أنتج أرقامًا أقل بشكل عام، إلا أن حوالي 66 بالمائة منها كانت مستندة إلى النص الفعلي. وهذا يعني أنه عندما يبلغ النموذج التجاري عن رقم ما، فمن المرجح جدًا أن يكون حقيقة مأخوذة مباشرة من القصة بدلاً من كونه رقمًا مختلقًا.
هذا الاختلاف في الموثوقية له آثار عميقة على كيفية استخدام هذه الأدوات في العالم الحقيقي. تشير الدراسة إلى أنه بينما يمكن أن تكون النماذج مفتوحة المصدر مفيدة للحصول على نظرة عامة حول أماكن وقوع الكوارث، إلا أنها ليست موثوقة بما يكفي بعد لاستخدامها بمفردها لاستخراج أرقام التأثير المحددة. فإذا اعتمد مخطط على أرقام النموذج مفتوح المصدر دون التحقق منها، فقد يبني قرارات حاسمة بناءً على بيانات لا وجود لها في الأصل. لقد أثبت النموذج التجاري أنه أكثر اعتمادًا لهذه التفاصيل عالية المخاطر، رغم أنه لا يزال يرتكب أخطاءً. وخلص الباحثون إلى أنه للحصول على أفضل النت_ائج، يجب النظر إلى أدوات الكمبيوتر هذه كـ "مساعدين" يساعدون البشر في معالجة كميات كبيرة من النصوص بسرعة، ولكن يجب أن تظل عملية التحقق النهائي من الأرقام المهمة من صنع البشر. يسمح هذا النهج بسرعة الأتمتة مع ضمان الدقة اللازمة لحماية الأرواح والموارد في مناطق مثل نيجيريا، حيث المخاطر المناخية متكررة وشديدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.