💬 NLP

ClimateCheck 2026: Scientific Fact-Checking and Disinformation Narrative Classification of Climate-related Claims

تُعد ClimateCheck 2026 مهمة مشتركة تعمل على تطوير التحقق الآلي من الادعاءات المتعلقة بالمناخ وتصنيف روايات التضليل الإعلامي من خلال مجموعات بيانات موسعة، وأطر تقييم مبتكرة تعالج انحيازات التوسيم، ورؤى حول تباين قابلية التحقق من أنواع مختلفة من المعلومات المضللة بشأن المناخ.

المؤلفون الأصليون: Raia Abu Ahmad, Max Upravitelev, Aida Usmanova, Veronika Solopova, Georg Rehm

نُشر 2026-03-30

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Raia Abu Ahmad, Max Upravitelev, Aida Usmanova, Veronika Solopova, Georg Rehm

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك أمين مكتبة في مكتبة ضخمة وفوضوية، حيث يصرخ الملايين من الناس بادعاءات حول الطقس، والقمم الجليدية، ومستقبل كوكبنا. بعض هذه الصرخات حق، وبعضها أكاذيب، وبعضها مجرد تخمينات. مهمتك هي العثور على الكتب الصحيحة (الأوراق العلمية) لإثبات أو دحض هذه الصرخات.

هذه الورقة البحثية، ClimateCheck 2026، هي بمثابة تقرير تقييمي لمسابقة حاولت فيها برامج الكمبيوتر القيام بمهمة أمين المكتبة هذه. إليك قصة ما حدث، مشروحة ببساطة.

1. المشكلة الكبرى: "الضجيج" مقابل "الإشارة"

لفترة طويلة، كان مدققو الحقائق مثل المحققين الذين يبحثون عن أدلة في غرفة فوضوية. عادة ما كانوا يتحققون من مصادر عامة مثل ويكيبيديا أو المواقع الإخبارية. لكن بالنسبة لتغير المناخ، هذا ليس كافياً. أنت بحاجة للذهاب مباشرة إلى المصدر: الملخصات العلمية (ملخصات الأبحاث الجادة).

المشكلة؟ الأوراق العلمية مكتوبة بـ "لغة الروبوت" (مصطلحات معقدة)، وهي طويلة، وتتغير بمرور الوقت. وفي الوقت نفسه، فإن المعلومات المضللة حول المناخ على وسائل التواصل الاجتماعي صاخبة، وعاطفية، وغالباً ما تستخدم حِيلاً ذكية لتبدو حقيقية.

2. المسابقة: "ClimateCheck 2026"

وضع المنظمون (فريق من الباحثين من ألمانيا) تحدياً ضخماً يسمى ClimateCheck 2026. لقد قدموا لـ 20 فريقاً من خبراء الذكاء الاصطناعي كمية هائلة من البيانات — أكبر بثلاث مرات من تحدي العام الماضي — وطلبوا منهم بناء روبوتات يمكنها القيام بما يلي:

المهمة 1: عمل المحقق. بالنظر إلى ادعاء على وسائل التواصل الاجتماعي (مثل: "الأنهار الجليدية لا تذوب")، ابحث عن أفضل 5 أوراق علمية تتحدث عن ذلك. ثم قرر: هل الورقة تدعم الادعاء، أم تدحضه (تثبت خطأه)، أم أن هناك معلومات غير كافية؟
المهمة 2: قارئ الأفكاء. بدلاً من مجرد التحقق من الحقيقة، كان على الروبوت تخمين القصة الكامنة وراء الكذبة. هل ينشر الشخص معلومات مضللة لأنه يعتقد أن "تغير المناخ خدعة"، أم لأنه يعتقد أن "الحلول مكلفة للغاية"، أو أن "العلم غير موثوق"؟

3. اللمسة الجديدة: البحث عن "القصة"

في السنوات السابقة، كان التركيز فقط على "صواب أو خطأ". هذا العام، أضافوا طبقة جديدة: تصنيف السرد (Narrative Classification).

فكر في الأمر على هذا النحو:

الطريقة القديمة: يرى الروبوت ادعاءً ويقول: "خطأ".
الطريقة الجديدة: يرى الروبوت ادعاءً ويقول: "خطأ. وأنا أعرف لماذا تقول هذا. أنت تستخدم قصة 'إنها دورات طبيعية'، وهي سيناريو شائع يستخدمه المنكرون".

هذا أمر بالغ الأهمية لأنه يساعدنا على فهم كيف تنتشر المعلومات المضللة، وليس فقط وجودها.

4. النتائج: من الفاز؟

قدمت ثمانية فرق أفضل روبوتاتها. وإليكم ما وجدوه:

الفوز لـ "البحث الذكي": الروبوتات الأفضل لم تستخدم مجرد عقل واحد كبير (نموذج ذكاء اصطناعي ضخم). بل استخدمت خط إنتاج متعدد المراحل (multi-stage pipeline). تخيل عملية توظيف:
1. الفاحص: يمسح بسرعة آلاف الأوراق ليجد بضع مئات التي قد تكون ذات صلة (مثل فاحص السير الذاتية).
2. المُجري للمقابلة: يقرأ تلك المئات القليلة بعناية لاختيار أفضل 5.
3. القاضي: يقرأ الخمسة النهائية مع الادعاء معاً لاتخاذ القرار النهائي.
- الدرس المستفاد: أن تكون ذكياً في كيفية بحثك هو أهم من مجرد امتلاك كمبيوتر ضخم.
"القصة" كانت أصعب: بينما كانت الروبوتات جيدة جداً في العثور على الأوراق الصحيحة، إلا أنها واجهت صعوبة في تصنيف "القصة" (السرد) المحددة للكذبة. الأمر يشبه القدرة على العث finding الكتاب الصحيح، ولكن مع صعوبة في فهم دافع المؤلف الخفي.

5. المفاجأة الكبرى: بعض الأكاذيب أصعب في الإثبات

اكتشف الباحثون شيئاً رائعاً: ليست كل الأكاذيب متساوية.

الأكاذيب السهلة: "مستوى سطح البحر لا يرتفع". (سهل إثبات خطئها برسم بياني بسيط).
الأكاذيب الصعبة: "علوم المناخ غير موثوقة". (هذه "كذبة ميتا" أو كذبة حول المنهج نفسه).
- التشبيه: إذا قال أحدهم "أمين المكتبة يكذب بشأن الكتب"، وحاولت إثبات خطئه بإظهار كتاب له، فسيقول ببساة "أرأيتم؟ الكتاب جزء من الكذبة!".
- الروبوتات وجدت صعوبة كبيرة في دحض الادعاءات التي تهاجم مصداقية العلم نفسه. لا يمكنك استخدام ورقة علمية لإثبات أن العلم موثوق إذا كان الادعاء هو أن الورقة نفسها مزيفة. هذا "فخ هيكلي" للذكاء الاصطنا}$.

6. مشكلة "الدرجة المخفية"

تشير الورقة أيضاً إلى خلل في كيفية تقييمنا لهذه الروبوتات عادةً.

الدرجة الرسمية: إذا وجد الروبوت ورقة "صحيحة" ولكنها لم تكن موجودة في نموذج الإجابة الرسمي، فسيتم معاقبة الروبوت.
الدرجة الجديدة (Ev2R): اخترع الباحثون طريقة جديدة للتقييم. استخدموا "وكيلًا" (قاضٍ ذكاء اصطناعي ذكي) للتحقق مما إذا كان الروبوت قد وجد أدلة جيدة، حتى لو لم تكن تلك الأدلة موجودة في نموذج الإجابة الأصلي.
النتيجة: أحد الفرق التي بدت وكأنها خاسرة في لوحة النتائج الرسمية، وجد في الواقع أدلة أفضل من الفائزين، لكن نظام التقييم القديم لم يلحظ ذلك. هذا يعلمنا أننا بحاجة إلى طرق أفضل لتقييم الذكاء الاصطناعي حتى لا نعاقبه لكونه دقيقاً للغاية.

7. الخلاصة

علمتنا ClimateCheck 2026 ثلاثة أشياء رئيسية:

الهيكل مهم: أنظمة الذكاء الاصطناعي الأفضل تستخدم عملية خطوة بخطوة (بحث، تنقيح، حكم) بدلاً من مجرد التخمين.
السياق هو المفتاح: لمحاربة المعلومات المضللة، نحتاج إلى فهم القصة وراء الكذبة، وليس فقط الحقائق.
بعض المعارك أصعب: الذكاء الاصطناعي بارع في التحقق من الحقائق، لكنه يعاني عندما تكون الكذبة حول نظام الحقائق نفسه.

باختصار، نحن نبني "أمناء مكتبة" أفضل لعصر المناخ، لكن لا يزال أمامنا عمل للقيام به لتعليمهم كيفية التعامل مع القصص الأكثر دهاءً وإرباكاً.

1. بيان المشكلة

يتناول البحث التحدي الحرج المتمثل في التحقق الآلي من الحقائق (AFC) فيما يتعلق بادعاءات تغير المناخ. وبينما تقدمت أنظمة التحقق الآلي، إلا أن معظمها يعتمد على مصادر ويب عامة (مثل ويكيبيديا) بدلاً من الأدبيات العلمية الموثوقة. ويعد التحقق من الادعاءات مقابل الملخصات العلمية أمراً صعباً بسبب:

المصطلحات المتخصصة: المصطلحات الفنية الخاصة بالمجال في الأوراق العلمية.
الاستدلال المعقد: الحاجة إلى ربط الادعاءات بالأدلة من خلال الاستشهادات والاستدلال المنطقي.
سرديات التضليل: غالباً ما تعمل معلومات التضليل المناخي عبر أنماط بلاغية متكررة (سرديات) بدلاً من مجرد ادعاءات كاذبة معزولة، مما يجعل التحقق البسيط على مستوى الادعاء غير كافٍ.
محدودية التوسيم (Annotation): تؤدي التوسيمات غير المكتملة للحقيقة الأرضية (ground truth) في مجموعات البيانات الموجودة إلى تحيز مقاييس التقييم.

2. المنهجية ومجموعة البيانات

يقدم المؤلفون ClimateCheck 2026، وهي نسخة مطورة من مهمة مشتركة (shared task) تعتمد على نسخة عام 2025.

تطوير مجموعة البيانات

النطاق: تم مضاعفة حجم بيانات التدريب ثلاث مرات، بإضافة 523 ادعاءً فريداً باللغة الإنجليزية و1,897 زوجاً من (الادعاء-الملخص) [Claim-Abstract Pairs - CAPs]. تحتوي مجموعة البيانات النهائية على 958 ادعاءً فريداً و4,927 زوجاً (CAPs).
التوسيم:
- المهمة 1 (التحقق): يتم ربط الادعاءات بـ 1 إلى 5 ملخصات وتصنيفها كـ يدعم (Supports)، أو يدحض (Refutes)، أو لا توجد معلومات كافية (NEI). كان اتفاق المقيّمين (Inter-annotator agreement) كبيراً ( $\kappa = 0.73$ ).
- المهمة 2 (تصنيف السرديات): تم توسيم نفس الادعاءات بـ سرديات التضليل بناءً على تصنيف Coan et al. (2021). يتضمن ذلك 27 تسمية محددة عبر 5 مجموعات رئيسية (مثل "الجليد لا يذوب"، "الحلول لن تنجح"). تم استخدام نظام تعدد التسميات (multi-label scheme)، حيث تم قياس اتفاق المقيّمين عبر معامل كريبندورف $\alpha$ (تراوح بين 0.55 و0.72 حسب التسمية).

تعريف المهام

المهمة 1.1 (الاسترجاع): استرجاع أفضل 5 ملخصات علمية أكثر صلة بادعاء معين.
المهمة 1.2 (التحقق): تصنيف العلاقة بين الادعاء وكل ملخص مسترجع (يدعم/يدحض/لا توجد معلومات كافية).
المهمة 2 (تصنيف السرديات): التنبؤ بسردية (أو سرديات) التضليل الموجودة في الادعاء باستخدام تصنيف هرمي.

إطار التقييم

المقاييس القياسية: Recall@K، وBinary Preference (Bpref)، ودرجات F1.
التقييم المعدل (Ev2R): لمعالتدلة التوسيمات غير المكتملة (حيث قد تكون الملخصات المسترجعة ذات صلة ولكنها ليست ضمن المجموعة الذهبية)، قام المؤلفون بتكييف إطار عمل Ev2R. يستخدم هذا الإطار:
- مكون مرجعي: تفكيك النصوص إلى حقائق ذرية لقياس مدى التوافق.
- مكون مرجع بديل: استخدام نموذج DeBERTa مضبوط بدقة للتنبؤ بالصحة والثقة للأزواج غير الموسومة.
- يسمح هذا بتقييم أكثر قوة لجودة الاسترجاع بما يتجاوز المعيار الذهبي المحدود.

3. المساهمات الرئيسية

معيار موحد: أول مجموعة بيانات تربط في آن واحد بين استرجاع الأدلة، والتحقق من الادعاءات، وتصنيف السرديات عبر نفس مجموعة الادعاءات، مما يتيح تحليل المهام المتقاطعة.
إطار تقييم قوي: تكييف إطار عمل Ev2R للتعامل مع التوسيمات غير المكتملة في عملية التحقق من الحقائق العلمية متعددة الأدلة، مما يكشف عن التحيزات في المقاييس القياسية.
التحليل التجريبي عبر المهام: تحقيق مبتكر في كيفية تأثير سرديات التضليل على صعوبة الاسترجاع والتحقق، مما يكشف عن القيود الهيكلية في النهج الحالية للتحقق الآلي من الحقائق (AFC).

4. النتائج وأداء الأنظمة

أُجريت المسابقة على منصة CodaBench بمشاركة 20 متسابقاً مسجلاً و8 مشاركات في لوحة الصدارة.

المهمة 1: الاسترجاع والتحقق

أفضل الأنظمة أداءً: استخدمت أنظمة مثل ClimateSense وAnt Bridge خطوط معالجة متعددة المراحل (BM25 $\to$ إعادة ترتيب كثيف باستخدام BGE/MiniLM $\to$ مُشفّر متقاطع/Cross-Encoder).
التحقق: غالباً ما تفوقت نماذج اللغات الكبيرة (LLMs) ذات القدرة على التعلم الصفري (Zero-shot) (مثل GPT-4o-mini، gpt-oss-120b) على النماذج الأصغر المضبوطة بدقة، لا سيما في مهام الاستدلال.
النتيجة الرئيسية: بينما كان أداء الاسترجاع مرتفعاً بشكل عام، ظل التحقق من تسميات "يدحض" (Refutes) هو الأكثر صعوبة، حيث خلطت الأنظمة غالباً بين "يدحض" و"يدعم" أو "لا توجد معلومات كافية".

المهمة 2: تصنيف السرديات

أفضل الأنظمة أداءً: حقق كل من ahilbert وXplaiNLP أعلى درجات Macro-F1.
الاستراتيجية: تمثلت الاستراتيجية الأكثر فعالية في الاستدلال الهرمي (تحديد مجموعات السرديات العريضة قبل التسميات الفرعية الدقيقة) واستخدام التوليد المعزز بالاسترجاع (RAG) باستخدام التصنيف.
مقايضة الكفاءة: أدت أساليب الاستدلال المكثفة (Chain-of-Thought) إلى تحسين الدقة ولكنها استهلكت طاقة تزيد بنحو 25 ضعفاً عن الاستدلال الصفري (zero-shot inference).

تحليل Ev2R (البيانات غير الموسومة)

حل النظام ytsoneva في المرتبة الأخيرة وفقاً للمقاييس الرسمية، ولكنه حقق أعلى درجة Ev2R. لقد استرجع هذا النظام العديد من الملخصات غير الموسومة التي كانت في الواقع أدلة عالية الجودة، مما يثبت أن المقاييس القياسية تعاقب الأنظمة التي تسترجع أدلة خارج المجموعة الذهبية المحدودة.

5. الأهمية والرؤى

يقدم البحث عدة رؤى حاسمة لمستقبل التحقق العلمي من الحقائق:

التحقق المعتمد على السردية (Narrative-Dependent Verification):
- الاسترجاع هو عملية محايدة للسردية: يمكن العثور على الأدلة العلمية ذات الصلة بغض النظر عن نوع سردية التضليل.
- التحقق هو عملية تعتمد على السردية: الادعاءات التي تنتمي إلى المجموعة 4 ("الحلول لن تنجح") والمجموعة 5 ("العلم غير موثوق") هي أصعب بشكل منهجي في دحضها باستخدام الملخصات العلمية.
- القيد الهيكلي: تهاجم ادعاءات المجموعة 5 مصداقية العلم نفسه؛ وبالتالي، فإن استخدام ملخص علمي لدحضها هو أمر "مشكل ذاتياً من الناحية المرجعية". يشير هذا إلى أن التحقق الآلي من الحقائق القائم على الأدلة يواجه حدوداً جوهرية أمام الادعاءات الإبستمولوجية (المعرفية).
الاتجاهات المستقبلية:
- خطوط معالجة مدركة للسردية: يجب على الأنظمة أولاً تصنيف نوع السردية ثم تكييف استراتيجية التحقق (على سبيل المثال، تحديد الادعاءات الإبستمولوجية للمراجعة البشرية بدلاً من إصدار أحكام آلية).
- ما وراء التوسيمات الذهبية: يجب أن تتطور أطر التقييم للتعامل مع التوسيمات غير المكتملة، حيث إن التوسيم الشامل للأدلة العلمية نادراً ما يكون ممكناً.
- الاستدلال الهرمي: يعتمد النجاح في تصنيف السرديات على استراتيجيات الاستدلال من العام إلى الخاص (coarse-to-fine) بدلاً من مجرد حجم النموذج.

الخاتمة

تثبت ClimateCheck 2026 أنه بينما يمكن للأنظمة الآلية استرجاع الأدلة العلمية بفعالية، فإن تصنيف صحة سرديات التضليل المناخي يتأثر بشدة بالسرد البلاغي الأساسي. يجادل البحث بضرورة التحول من التحقق القائم حصراً على الأدلة إلى التحقق المدرك للسردية، مع الإقرار بأن بعض أشكال التضليل المناخي مقاومة هيكلياً للدحض العلمي القياسي.