Evaluating Agreement Between Human Consensus and Large Language Model Ratings of Suicide Reporting
تُظهر هذه الدراسة أن النماذج اللغوية الكبيرة يمكنها تقييم المقالات الإخبارية المتعلقة بالانتحار بفعالية باستخدام إطار عمل TEMPOS وبدرجة توافق تضاهي المقيمين البشريين، مما يشير إلى أن الذكاء الاصطناعي أداة قابلة للتطبيق لتوسيع نطاق مراقبة التقارير المسؤولة عن الانتحار عند اقترانه بالإشراف البشري.
المؤلفون الأصليون:Andrew Sarkin, Bilal Malik, Elizabeth Doery
تخيل عالماً تعمل فيه الأخبار مثل مرآة ضخمة غير مرئية. أحياناً، تعكس هذه المرآة القصص بطريقة تساعد الناس على إيجاد الأمل والحلول؛ وفي أحيان أخرى، يمكنها عن طريق الخطأ أن تظهر صورة مشوهة تجعل الموقف السيئ يبدو أسوأ. يطلق العلماء على هذا اسم "تأثير ويرتر" (Werther Effect)، حيث يمكن لطرق معينة في الإبلاغ عن حالات الانتحار أن تؤدي للأسف إلى زيادة عدد الأشرخاص الذين يؤذون أنفسهم، و"تأثير باباجينو" (Papageno Effect)، حيث يمكن للقصص المليئة بالأمل والمصاغة بعناية أن تنقذ الأرواح بالفعل. وبسبب هذا، وضع خبراء الصحة مجموعة من "قواعد الطريق" للصحفيين ليتبعوها، مثل تجنب العناوين المثيرة أو تضمين خطوط المساعدة. لكن الجزء الصعب هنا هو أن التحقق مما إذا كانت ملايين المقالات الإخبارية تتبع هذه القواعد يشبه محاولة عد كل حبة رمل على الشاطئ يدوياً؛ فهذا الأمر يستغرق وقتاً طويلاً، وهو مرهق، كما أن قراءة الكثير من القصص الحزينة قد يكون ثقيلاً عاطفياً على الأشخاص الذين يقومون بالعد. وهنا يأتي الدور الجديد لفكرة استخدام "قضاة الذكاء الاصطناعي". هل يمكن لبرنامج كمبيوتر فائق الذكاء، تم تدريبه على قراءة هذه القواعد، أن يقوم بعملية العد بدلاً منا؟ هذا هو السؤال الكبير الذي سعى هذه الدراسة للإجابة عليه.
قرر الباحثون، وهم فريق من جامعة كاليفورنيا في سان دييغو، اختبار هذه الفكرة باستخدام قائمة مراجعة محددة تسمى TEMPOS (أداة تقييم التصوير الإعلامي للانتحار). فكر في TEMPOS كأنها بطاقة تسجيل مكونة من 10 نقاط، حيث تحصل المقالة الإخبارية على نقاط لكونها آمنة ومحترمة، وتفقد نقاطاً لكونها مثيرة أو خطيرة. ولرؤية ما إذا كان بإمكان أجهزة الكمبيوتر لعب هذه اللعبة بمستوى البشر، قاموا بجمع 42 قصة إخبارية حقيقية حول وفيات الانتحار. ثم قاموا بوضع فريقين من القضاة جنباً إلى جنب: فريق من سبعة خبراء بشريين مدربين، وفريق من خمسة نماذج مختلفة من الذكاء الاصطناعي (العقول التي تقف وراء أدوات مثل ChatGPT وGrok وغيرها).
قرأ البشر والذكاء الاصطناعي نفس القصص وأعطوا درجاتهم بشكل مستقل، دون التحدث مع بعضهم البعض. أولاً، نظر الباحثون في مدى اتفاق البشر مع بعضهم البعض. ووجدوا أنه بينما قد يرى حكم بشري واحد الأمور بشكل مختلف قليلاً عن آخر، إلا أنه عند حساب متوسط آراء السبعة بشر، فإنهم يخلقون درجة "معيار ذهبي" مستقرة للغاية (والتي أطلقوا عليها اسم HumanGold). هذا يشبه وجود لجنة من سبعة نقاد طعام؛ قد يحب أحدهم الملوحة، بينما يكرهها آخر، لكن رأيهم المتوسط عادة ما يكون ذوقاً موثوقاً جداً للطبق.
بعد ذلك، سألوا: "إلى أي مدى اقترب قضاة الذكاء الاصطناعي من المعيار الذهبي البشري؟" كانت النتائج جيدة بشكل مفاجئ. أظهرت نماذج الذكاء الاصطناعي الفردية توافقاً "متوسطاً إلى قوي" مع الفريق البشري. وكان أحد النماذج، المسمى Grok، حاداً بشكل خاص، حيث طابق الإجماع البشري بقدر يقارب قدرة أفضل القضاة البشر. ولكن الخدعة الحقيقية حدثت عندما دمج الباحثون أفضل ثلاثة نماذج ذكاء اصطناعي في فريق "قاضٍ خارق" واحد، والذي أطلقوا عليه اسم AISilver. حقق فريق الذكاء الاصطناعي المدمج هذا الارتباط مع الإجماع البشري بنسبة 0.797، وهو ما يكاد يقترب من أفضل نموذج ذكاء اصطناعي فردي.
ومع ذلك، وجدت الدراسة أيضاً بعض علامات "الحذر". كان الذكاء الاصطناعي (وحتى البشر) أفضل بكثير في رصد الأشياء الملموسة والواضحة، مثل "هل تضمنت المقالة رقم هاتف للمساعدة؟" أو "هل وصفت طريقة الانتحار؟". هذه تشبه رصد سيارة حمراء في موقف للسيارات؛ فهي إما موجودة أو غير موجودة. لكن الذكاء الاصطناعي واجه صعوبة أكبر في الأجزاء "المرنة" والتفسيرية من بطاقة التقييم، مثل "هل جعلت المقالة الانتحار يبدو جذاباً؟" أو "هل كانت اللغة مثيرة؟". هذه تشبه محاولة الحكم على مزاج أغنية ما؛ إنه أمر أصعب بكما أن يتفق الكمبيوتر (وحتى البشر) تماماً على هذه المشاعر. كما لاحظ الباحثون أن نماذج الذكاء الاصطناعي كانت تعطي أحياناً درجات مرتفعة قليلاً في المتوسط، مثل معلم كريم جداً في منح درجات الامتياز.
إذاً، ما هو الحكم النهائي؟ تشير الورقة البحثية إلى أن الذكاء الاصطناعي ليس بديلاً مثالياً للبشر بعد، ولكنه "مساعد" واعد جداً. لا يمكنه إصدار الحكم النهائي والحاسم بمفرده، خاصة في الأجزاء الصعبة والعاطفية من القصة. ولكن إذا استخدمت فريقاً من نماذج الذكاء الاصطناعي (مثل فريق AISilver) للقيام بالعمل الشاق المتمثل في مسح آلاف المقالات، ثم جعلت فريقاً صغيراً من البشر يراجع النتائج أو يتعامل مع الحالات الصعبة، فقد يغير ذلك قواعد اللعبة. يمكن لهذا النهج أن يساعد في مراقبة التغطية الإخبارية على نطاق واسع دون استنزاف الخبراء البشر، مما يضمن أن مرآة الأخبار تعكس القصص بطريقة تحمي وتساعد بدلاً من أن تضر. وتخلص الدراسة إلى أنه بينما لا ينبغي لنا الوثوق بالذكاء الاصطناعي بشكل أعمى، فإن اقترانه بالإشراف البشري قد يكون المفتاح للحفاظ على سلامة ومسؤولية التقارير المتعلقة بالانتحار في العصر الرقمي.
ملخص تقني: تقييم الاتفاق بين الإجماع البشري وتقييمات النماذج اللغوية الكبيرة لتقارير الانتحار
بيان المشكلة تعد التقارير الإعلامية المسؤولة عن الانتحار استراتيجية حيوية في مجال الصحة العامة، حيث يمكن للتغطية إما أن تفاقم السلوك الانتحاري (تأثير "فيرتر") أو تعزز الوقاية (تأثير "باپاجينو"). وبينما أصدرت منظمات مثل منظمة الصحة العالمية إرشادات مفصلة للتقرير، فإن مراقبة الالتزام بها على نطاق واسع أمر صعب للغاية من الناحية العملية. إن الترميز المحتوي اليدوي باستخدام أداة تقييم التصوير الإعلامي للانتحار (TEMPOS) يستغرق وقتاً طويلاً، ويتطلب تدريباً متخصصاً، ويفرض عبئاً عاطفياً تراكمياً على المقيمين البشر المعرضين لمحتوى مثير للاضطراب. تعالج هذه الدراسة الفجوة في المراقبة القابلة للتوسع من خلال التحقق مما إذا كانت النماذج اللغوية الكبيرة (LLMs) يمكنها تقييم مقالات أخبار حوادث الانتحار بشكل موثوق باستخدام إطار عمل TEMPOS باتفاق يضاهي المقيمين البشر المدربين.
المنهجية أجرى الباحثون دراسة موثوقية واتفاق شملت 42 مقالاً إخبارياً باللغة الإنجليزية من الولايات المتحدة تصف حوادث انتحار محددة. استخدمت الدراسة أداة TEMPOS، التي تحول توصيات الإبلاغ عن الانتحار إلى 10 مجالات قابلة للقياس (مثل وصف الطريقة، وتضمين موارد الوقاية، والتمجيد) والتي يتم تقييمها على مقياس رتبي (0-2)، مما ينتج عنه إجمالي درجة من 0 إلى 20.
المقيمون: وظفت الدراسة 7 مقيمين بشريين مدربين و5 نماذج لغوية كبيرة متميزة (ChatGPT 5.3، Claude Opus 4.7، Grok 4.3، Gemini 3.1 Pro، وDeepSeek-V3).
الإجراءات: خضع المقيمون البشر لتدريب معياري على معيار TEMPOS. تم توجيه النماذج اللغوية الكبيرة عبر بروتوكول معياري لقراءة المقالات الكاملة وتعيين درجات لجميع المجالات العشرة، مع تقديم مبررات موجزة واقتباسات كدليل. ولضمان المتانة، تمت معالجة المقالات في دفعات على مدى عدة أشهر، وتم تقييم النماذج اللغبية الكبيرة في مرحلتين: تشغيل أولي، وتشغيل نهائي باستخدام أحدث إصدارات النماذج المتاحة اعتباراً من 28 أبريل 2026.
المعايير المرجعية:
HumanGold (الذهب البشري): تم تعريفه كمتوسط إجمالي درجات TEMOS عبر جميع المقيمين البشر لكل مقال، ليكون بمثابة معيار الإجماع البشري.
AISilver (الفضة الاصطناعية): هو درجة ذكاء اصطناعي مجمعة تُحسب عن طريق متوسط إجمالي درجات أفضل النماذج أداءً (التي تم اختيارها بناءً على الارتباط مع HumanGold وتحليل "ترك المقيم الواحد" LORO).
التحليل الإحصائي: تم قياس الاتفاق باستخدام معاملات الارتباط داخل الفئة (ICCs) مع نموذج تأثير عشوائي ثنائي الاتجاه (الاتفاق المطلق). تم حساب كل من موثوقية المقيم الفردي (ICC(2,1)) وموثوقية متوسط المقيمين (ICC(2,k)). كما استخدمت الدراسة تحليل "ترك المقيم الواحد" (LORO) لتقييم الاستقرار وحسبت ارتباطات بيرسون ومتوسط الانحياز بين نماذج الذكاء الاصطناعي الفردية وHumanGold.
النتائج الرئيسية
الموثوقية: كانت موثوقية المقيم الفردي متوسطة (ICC(2,1) = 0.532)، بينما كانت موثوقية متوسط المقيمين عبر جميع المقيمين الاثني عشر (البشر والذكاء الاصطناعي معاً) ممتازة (ICC(2,k) = 0.932). وهذا يؤكد أن تجميع التقييمات يحسن الاستقرار بشكل كبير.
الذكاء الاصطناعي مقابل الإجماع البشري: أظهرت نماذج الذكاء الاصطناعي الفردية ارتباطات متوسطة إلى قوية مع HumanGold، تراوحت من r=0.489 (DeepSeek) إلى r=0.812 (Grok).
الأداء المجمع: أظهرت لوحة AISilver الأولية (ChatGPT، Claude، Gemini) ارتباطاً قوياً مع HumanGold (r=0.809). وفي مجموعة التقييم المحدثة، حققت لوحة AISilver الجديدة (ChatGPT، Claude، Grok) نتيجة r=0.797. وبينما أظهر Grok أعلى ارتباط فردي في المجموعة المحدثة (r=0.812)، أشارت فترات الثقة لتمهيد Bootstrap إلى أن أداءه كان قابلاً للمقارنة مع درجة AISilver المجمعة بدلاً من كونه متفوقاً عليها بشكل حاسم.
الانحياز: مال جميع النماذج اللغوية الكبيرة إلى المبالغة في تقدير الدرجات مقارنة بـ HumanGold. أظهر Grok أعلى متوسط انحياز (المبالغة بمقدار 2.39 نقطة)، بينما أظهر Claude أقل انحياز.
الاتفاق على مستوى البنود: كانت الموثوقية أعلى في البنود الملموسة والقابلة للملاحظة مثل تضمين موارد الوقاية (T10)، ووصف طريقة الانتحار (T4)، ومذكرات الانتحار (T5). وعلى العكس من ذلك، كان الاتفاق أقل في المجالات التفسيرية التي تتطلب حكماً، مثل التمجيد (T9)، والتكهنات (T2)، وتأطير عوامل الخطر (T7).
المساهمات الرئيسية
التحقق من صحة الذكاء الاصطناło لمراقبة التقارير عن الانتحار: تقدم الدراسة دليلاً تجريبياً على أن النماذج اللغوية الكبيرة يمكن أن تتوافق مع الإجماع البشري المدرب عند تطبيق إطار عمل TEMPOS، مما يشير إلى أن الذكاء الاصطناعي أداة محتملة للمراقبة واسعة النطاق.
تطوير إطار عمل HumanGold/AISilver: قدم المؤلفون منهجية لإنشاء معيار إجماع بشري (HumanGold) ودرجة ذكاء اصطناعي مجمعة (AISilver). يعالج هذا الإطار عدم استقرار النماذج وانحراف الإصدارات من خلال الاستفيد من إجماع النماذج المتعددة بدلاً من الاعتماد على مقيم واحد.
التحليل التفصيلي لأداء المعايير: تحدد الأبحاث مجالات TEMPOS المحددة التي يتفق فيها الذكاء الاصطناعي والمقيمون البشر (الحقائق الملموسة) مقابل المجالات التي يختلفون فيها (الأحكام التفسيرية)، مما يقدم رؤى لتحسين كل من توجيهات الذكاء الاصطناعي وبروتوكولات التدريب البشري.
القابلية للتوسع وتقليل العبء العاطفي: تسلط الدراسة الضوء على قدرة الذكاء الاصطناعي على تخفيف الأعباء العاطفية واللوجستية المرتبطة بالمراقبة البشرية المستمرة للمحتوى المثير للاضطراب المتعلق بالانتحار.
الأهمية والادعاءات يزعم البحث أن الذكاء الاصطناعي لا ينبغي النظر إليه كبديل للحكم البشري، بل كـ "أداة فحص متوافقة مع الإجماع" قادرة على دعم المراقبة المستمرة واسعة النطاق. ويؤكد المؤلفون أنه بينما لا ينبغي التعامل مع تقييمات الذكاء الاصطناعي كأحكام نهائية، إلا أنها توفر مساراً عملياً لتوسيع نطاق التغذية الراجعة بشأن التقارير المتعلقة بحوادث الانتحار، لا سيما عند اقترانها بالإشراف البشري وعينات التدقيق.
تؤكد الدراسة أن الهدف ليس جعل الذكاء الاصطناعي يتفوق على البشر، بل تحقيق اتفاق كافٍ مع الإجماع البشري (HumanGold) ليكون مفيداً من الناحية التشغيلية للمراقبة منخفضة المخاطر. وتشير النتائج إلى أن نهج الذكاء الاصطناعي المجمع (AISilver) يوفر استراتيجية استقرار ضد تقلبات إصدارات النماذج الفردية، مما يجعله مكوناً قابلاً للتطبيق في سير عمل هجين بين البشر والذكاء الاصطناعي للمراقبة في مجال الصحة العامة. ويخلص المؤلفون إلى أن الاستخدام المسؤول لهذه الأدوات، القائم على الشفافية والضمانات، يمكن أن يساعد بشكل كبير في جهود الوقاية من الانتحار من خلال تمكين تقديم تغذية راجعة أكثر كفاءة للصحفيين.