ملخص تقني: تقييم الخبراء وحدود التغذية الراجعة البشرية في اختبار سلامة الذكاء الاصطناعي في مجال الصحة النفسية

بيان المشكلة

يعتمد النموذج السائد لتطوير وتقييم أنظمة الذكاء الاصطناعي، لا سيما في المجالات عالية المخاطر مثل الصحة النفسية، على التعلم من التغذية الراجعة البشرية (LHF). يفترض هذا النهج أن تجميع أحكام الخبراء ينتج إشارة "الحقيقة الأرضية" (ground truth) صالحة لتدريب نماذج المكافأة (مثل RLHF وDPO) ومصنفات السلامة. ومع ذلك، نادراً ما يتم اختبار هذا الافتراض، وعندما تُقاس الموثوقية، غالباً ما يظل عدم الإبلاغ عنها أمراً شائعاً.

في مجال الصحة النفسية، تكون المخاطر مرتفعة للغاية: إذ يمكن للاستجابات غير المناسبة من الذكاء الاصطناعي أن تؤدي إلى الوفاة، أو تعزيز الأوهان، أو تكريس الوصمة الاجتماعية. يعتمد التقييم عادةً على عدد قليل من المتخصصين الذين يقيمون مخرجات الذكاء الاصطناعي. وتتمثل المشكلة الجوهرية التي يبحث فيها هذا العمل في مدى قدرة هؤلاء الخبراء فعلياً على الوصول إلى إجماع متسق. فإذا كان الخبراء يحملون فلسفات إكلينيكية مختلفة جوهرياً، فإن تجميع تسمياتهم قد لا يؤدي إلى تقليل الضجيج، بل قد يؤدي إلى محو الأطر المهنية الراسخة، مما يخلق "تسويات حسابية" لا تعكس أي واقع إكليني متماسك.

المنهجية

استخدم المؤلفون تصميماً مختلط المناهج متسلسلاً يجمع بين التحليل الكمي للموثوقية والتحقيق النوعي في الأطر الإكلينيكية.

بناء مجموعة البيانات

• المحتوى: مجموعة بيانات تضم 360 استجابة مولدة بواسطة الذكاء الاصطناعي لطلبات (prompts) اصطناعية في مجال الصحة النفسية.
• النماذج: تم توليد الاستجابات بواسطة أربعة نماذج لغوية كبيرة: GPT-5، وClaude 4 Sonnet، وGrok-4، وLlama 3.2.
• التصميم: تم تغيير الطلبات بشكل منهجي باستخدام مصفوفة 3×3 تجمع بين الشدة الإكلينيكية (منخفضة، متوسطة، عالية) ومباشرة التواصل.
• فئات المخاطر: تم تحديد عشر فئات عالية المخاطر (مثل دعم الأفكار الانتحارية، تعزيز الهلاوس، معاقبة سلوكيات ADHD) مشتقة من الإرشادات الإكلينيكية والأعمال السابقة حول استجابات الذكاء الاصطناعي الضارة.

إطار التقييم

• المقياس (Rubric): مقياس مُعاير يغطي بُعدين (السلامة والجودة) عبر ثمانية عوامل:
  • السلامة: شدة الضرر المحتمل، احتمالية حدوث الضرر.
  • الجودة: الصحة، الصلة بالموضوع، الإنصات النشط، التعاطف والتحقق، الحدود والتنبيهات الأخلاقية، القدرة على التنفيذ والتشجيع.
• المقياس: مقاييس ليكرت خماسية النقاط (1 = الأسوأ، 5 = الأفضل).

المشاركون والإجراءات

• المقيمون: ثلاثة أطباء نفسيين معتمدين من تخصصات فرعية متنوعة (البالغين، الأطفال والمراهقين)، وتوجهات نظرية مختلفة (ثقافية، اجتماعية-نفسية-بيولوجية)، وفئات مرضى متنوعة.
• العملية:
  1. المعايرة: جلسة مدتها 90 دقيقة لمراجعة المقاييس ونقاط الارتكاز.
  2. الترميز (Annotation): تقييم مستقل لجميع الاستجابات الـ 360 عبر جميع العوامل الثمانية (إجمالي 8,640 تقييماً).
  3. المقابلات: مقابلات شبه منظمة (45-60 دقيقة) لاستكشاف عمليات التقييم والأطر الأساسية.
• التحليل:
  • كمياً: معامل الارتباط داخل الفئة (ICC) للموثوقية، ومعامل كريبندورف ($\alpha$) للبيانات الترتيبية. الانحراف المطلق المتوسط (MAD) لقياس حجم الاختلاف.
  • نوعياً: تحليل موضوعي انعكاسي لنصوص المقابلات لشرح الأنماط الكمية.

النتائج الرئيسية

1. ضعف الموثوقية بين المقيمين

على الرغم من التدريب المتشابه والتعليمات المشتركة، كانت الموثوقية بين المقيمين ضعيفة باستمرار، حيث انخفضت عن عتبة 0.40 التي تعتبر عادةً الحد الأدنى المقبول للتقييم ذي العواقب الوخيمة.

• موثوقية المقيم الواحد ($ICC_{(2,1)}$): تراوحت بين 0.087 (الحدود) و0.295 (الإنصات النشط).
• الموثوقية المتوسطة ($ICC_{(2,k)}$): حتى عند متوسط جميع المقيمين الثلاثة، وصلت الموثوقية فقط إلى مستويات "مقبولة" (بحد أقصى 0.556)، بينما ظل عامل "الحدود" في نطاق "ضعيف" (0.223).
• معامل كريبندورف $\alpha$: سجلت أربعة عوامل قيماً سالبة (على سبيل المثال، الحدود $\alpha = -0.203$)، مما يشير إلى اختلاف منهجي أسوأ من الصدفة. وهذا يعني أنه عندما أعطى أحد المقيمين درجة عالية، أعطى الآخرون درجات منخفضة بشكل منهجي.

2. مفارقة المخاطر العالية

كان الاختلاف أعلى في العناصر الأكثر حرجاً من حيث السلامة، مما يناقض الافتراض بأن الخبراء يتفقون أكثر على القضايا الحرجة.

• الانتحار وإيذاء النفس: أنتجت أكبر قدر من الاختلاف (MAD 0.598 و0.566 على التوالي).
• ADHD: أظهرت أقل قدر من الاختلاف (MAD 0.461)، ربما لأن الإرشادات أقل صرامة وتوجيهاً.
• الشدة: ولدت الحالات ذات الشدة العالية اختلافاً أكبر من الحالات المنخفضة أو المتوسطة.

3. اختلاف منهجي وليس عشوائياً

كان الاختلاف توجيهياً وعكس أطر عمل إكلينيكية متماسكة ولكنها غير متوافقة، بدلاً من كونه خطأ في القياس.

• عدم التماثل بين المقيمين: لوحظ عدم تماثل بنسبة 3.5:1 بين المقيمين. كان المقيم (أ) (متوسط 4.186) أكثر تساهلاً باستمرار من المقيم (ج) (متوسط 3.639).
• التفاوت المدفوع بالإطار العملي:
  • الخبير (أ) (الأولوية للسلامة): أعطى الأولوية لتجنب الضرر؛ وقيم الاستجابات بشكل أعلى إذا كانت تتجنب الضرر الفعلي، حتى لو كانت محدودة علاجياً.
  • الخبير (ب) (التركيز على التفاعل): ركز على الاتصال العلاجي والسعي لطلب المساعدة؛ وعاقب الاستجابات "الآمنة" ولكن الباردة.
  • الخبير (ج) (المستند إلى السياق الثقافي): طبق المعايير الأكثر صرامة، مؤكداً على السياق الثقافي والقيود الصريحة للذكاء الاصطناعي؛ وقيم 92% من الاستجابات بأنها غير كافية فيما يتعلق بـ "الحدود" لأنها افتقرت إلى التنبيهات الصريحة.
• عامل الحدود: كان أقل عوامل الموثوقية ($\alpha = -0.203$)، وهو ما جسد التباين؛ حيث اشترط الخبير (ج) وجود تنبيهات صريحة مثل "أنا ذكاء اصطناعي"، بينما قبل الخبير (أ) الحدود الضمنية من خلال الإحالات. إن تجميع هذه الآراء ينتج متوسطاً لا يعكس المعيار الفعلي لأي من الخبيرين.

4. الأنماط الخاصة بالنماذج

تفاوت الاختلاف باختلاف مصدر النموذج. أظهر GPT-5 أعلى اختلاف في "الحدود" (MAD 0.921)، بينما أظهر Grok-4 أعلى اختلاف إجمالي، لا سيما في الأبعاد التفاعلية. يشير هذا إلى أن تقديرات الموثوقية من نموذج واحد لا تنطبق بالضرورة على النماذج الأخرى.

المساهمات الرئيسية

1. إثبات وجود اختلاف غير قابل للاختزال: يثبت البحث أن الاختلاف بين الخبماء، حتى بين الأطباء النفسيين المعتمدين، هو اختلاف جوهري ومنهجي، ويستمر رغم المعايرة. وهذا يتحدى الافتراض بأن التغذية الراجعة البشرية توفر حقيقة أرضية مستقرة لعمليات RLHF وتصنيف السلامة.
2. تحديد التحيز المنهجي: يوضح البحث أن الاختلاف ليس ضجيجاً عشوائياً، بل يعكس فلسفات إكلينيكية متنافسة (الأولوية للسلامة مقابل التركيز على التفاعل مقابل السياق الثقافي). وتبرز هذه الاختلافات بشكل أوضح في السيناريوهات عالية الخطورة (الانتحار، إيذاء النفس).
3. الآلية النوعية: من خلال المقابلات، حدد المؤلفون أن الخبراء يعتمدون على استدلالات مخاطر شمولية بدلاً من التمييز بين العوامل التفصيلية. إن "الضجيج" الذي تسعى طرق المحاذاة الحالية لمتوسطه هو في الواقع إشارة متنازع عليها تمثل أطراً مهنية متنوعة وصحيحة.

الأهمية والآثار المترتبة

يجادل البحث بأنه في المجالات الحرجة للسلامة ذات العواقب طويلة الأمد، قد لا توفر التغذية الراجعة البشرية الحقيقة الأرضية المستقرة التي تفترضها طرق محاذاة الذكاء الاصطناعي الحالية.

• لنماذج المكافأة: قد يؤدي تدريب نماذج المكافأة على التسميات المجمعة إلى تعليم النماذج محاكاة "التسويات الحسابية" بدلاً من الجودة الإكلينيكية الحقيقية، مما قد يؤدي إلى سلوكيات غير متماسكة علاجياً.
• لتصنيف السلامة: قد ترث المصنفات المدربة على تسميات الخبراء في المجالات عالية الخطورة (مثل خطر الانتحار) أحكاماً متنازعاً عليها كحقائق، مما يخلق ثقة زائفة في السلامة.
• لمعايير التقييم: تعتبر المعايسات التي تعامل تقييمات البشر كحقيقة موضوعية معيبة جوهرياً إذا لم يستطع الخبراء الاتفاق على ما يشكل استجابة "جيدة".

التوصيات

يقترح المؤلفون الانتقال من التجميع القائم على الإجماع إلى الأساليب التي تحافظ على الاختلاف بين الخبراء وتتعلم منه:

• الإبلاغ عن الموثوقية: يجب الإبلاغ عن الموثوقية بين المقيمين في جميع دراسات التقييم.
• الترميز المعلن عن الإطار: يجب على الخبراء التصريح بإطار عملهم الإكلينيكي قبل البدء في الترميز، مما يخلق توزيعات موسومة مفهرسة حسب الإطار بدلاً من الدرجات المدمجة.
• الاختلاف كإشارة للتصعيد: يجب أن يؤدي الاختلاف العالي إلى مراجعة بشرية أو سلوك أكثر تحفظاً للنظام، بدلاً من امتصاصه في متوسط مجمع.
• الوزن الواعي بالسياق: بالنسبة لحالات استخدام معينة، قد يكون من الضروري وزن المقيّمين الذين تتوافق أطر عملهم مع سياق النشر، رغم أن الاختيار الديناميكي للأطر يظل تحدياً مفتوحاً.

يخلص البحث إلى أن اختلاف الخبراء في مجالات السلامة الحرجة هو ظاهرة اجتماعية-تقنية حيث تقدم الخبرة المهنية طبقات معقدة من التباين المبدئي الذي لا يمكن حله بمجرد تحسين القياس أو زيادة عدد المقيّمين.