ملخص تقني: أنماط وزن الأدلة في الفحص النفسي باستخدام النماذج اللغوية الكبيرة

بيان المشكلة

يتجاوز الطلب العالمي على الرعاية الصحية النفسية بشكل كبير توافر التقييمات التي يقدمها الأطباء، مما يخلق حاجة ماسة لأدوات فحص قابلة للتوسع. وبينما توفر النماذج اللغوية الكبيرة (LLMs) إمكانات لاستخراج إشارات المخاطر النفسية من سرديات المرضى، إلا أن موثوقيتها تظل غير مؤكدة. غالبًا ما تركز الدراسات الحالية على دقة التصنيف النهائي أو مهام الاضطراب الواحد باستخدام تسميات ذاتية الإفصاح، مما يترك ثلاث فجوات حرجة للترجمة السريرية:

1. نقص المعايير المرجعية المرتبطة بـ SCID: تفتقر دراسات عديدة لتقييم النماذج اللغوية الكبيرة باستخدام مقابلات تجريبية شبه منظمة مقترنة بتسميات مرجعية تشخيصية من المقابلة السريرية المنظمة لـ DSM (SCID).
2. عدم كفاية توصيف المجموعات الفرعية: لا تزال الاختلافات في الأداء عبر الطبقات الديموغرافية (الجنس، العمر، العرق) غير مفهومة جيدًا.
3. آليات الخطأ الغامضة: ليس من الواضح ما إذا كانت أخطاء السلبية الكاذبة تنبع من الفشل في اكتشاف الأعراض، أم من كيفية قيام النماذج بوزن أدلة الأعراض بشكل متفاوت مقابل ضعف الأداء الوظيفي وإشارات السياق الوقائي (مثل القدرة على التكيف، والدعم الاجتماعي).

المنهجية

قدم المؤلفون معيارًا يتكون من 555 مقابلة تجريبية شبه منظمة جُمعت من المشاركين (متوسط العمر = 39.4؛ 50.1% إناث؛ 77.8% بيض). خضع المشاركون لمقابلات سريرية منظمة (SCID) لتحديد التسميات المرجعية لأربعة فئات تشخيصية: اضطراب القلق، واضطراب الاكتئاب الجسيم (MDD)، واضطراب ما بعد الصدمة (PTSD)، وأي اضطراب نفسي حالي (MHD).

التصميم التجريبي:

• النماذج التي تم تقييمها: خمسة من النماذج اللغوية الكبيرة المتطورة (LLaMA 3، DeepSeek، GPT-4o Mini، GPT-4.1 Mini، GPT-5 Mini).
• استراتيجية التوجيه (Prompting): توجيه محدد للمهمة بدون أمثلة (Zero-shot). تم توجيه النماذج لتقييم حالة واحدة في كل مرة، وتوليد مسوغ استدلالي بأسلوب سريري، وتقديم تنبؤ فحص ثنائي ("نعم"/"لا").
• مقاييس الأداء: الدقة (Accuracy)، الدقة التنبؤية (Precision)، الاستدعاء (Recall)، النوعية (Specificity)، مقياس F1، ومعامل ارتباط ماتيوس (MCC). تم تقييم الأهمية الإحصائية باستخدام اختبارات Cochran's Q واختبارات McNemar مع تصحيح Bonferroni.
• تحليل دمج الأدلة: تم إجراء تحليل لاحق لمسوغات الاستدلال الخاصة بنموذج GPT-4.1 Mini (الذي اختير لثبات هيكله وأدائه) حيث تم تصنيف النص إلى ثلاثة مجالات للأدلة باستخدام التعبيرات النمطية القائمة على القواعد:
  1. أدلة الأعراض: أعراض نفسية خاصة بالمهمة (مشتقة من PHQ-9، GAD-7، PCL-5).
  2. الضعف الوظيفي: تعطل في الوظائف المهنية أو الاجتماعية أو اليومية.
  3. السياق الوقائي: الوظائف المحفوظة، القدرة على التكيف، والدعم الاجتماعي.
• النمذجة الإحصائية: قارنت اختبارات Mann–Whitney U بين أعداد الأدلة بين الحالات الإيجابية الحقيقية (TP) والحالات السلبية الكاذبة (FN). حددت نماذج الانحدار اللوجستي المعياري كيف تنبأت ميزات الأدلة هذه بمخرجات النموذج مقابل تسميات SCID المستمدة.

النتائج الرئيسية

1. أداء الفحص

تفاوت أداء النماذج بشكل كبير عبر المهام والعائلات (الدقة: 0.49–0.86؛ MCC: 0.16–0.38).

• الأفضل أداءً: أظهر كل من GPT-4.1 Mini وGPT-5 Mini الأكثر اتساقًا في دقة الاضطرابات المحددة. حقق GPT-4.1 Mini أعلى دقة للقلق (0.72)، والاكتئاب (0.86)، واضطراب ما بعد الصدمة (0.81).
• التباين: أظهر GPT-4o Mini أدنى دقة في فحص القلق (0.49).

2. التفاوتات الديموغرافية

• الجنس: ظهر نمط ثابت حيث كانت دقة تصنيف الاكتئاب أعلى للمشاركين الذكور مقارنة بالإناث عبر جميع النماذج (على سبيل المثال، GPT-4.1 Mini: الذكور 0.91 مقابل الإناث 0.82).
• العمر والعرق: لم يُلاحظ أي نمط ثابت متعلق بالعمر أو تدهور موحد عبر طبقات العرق، رغم وجود اختلافات تعتمد على النموذج.

3. أنماط وزن الأدلة (النتيجة الجوهرية)

كشف تحليل أخطاء السلبية الكاذبة أن النماذج لم تكتفِ بمجرد تفويت الأعراض، بل قامت بـ تقليل وزنها بنشاط في وجود إشارات وقائية.

• وجود الأعراض في الأخطاء: غالبًا ما احتوت حالات السلبية الكاذبة للقلق واضطراب ما بعد الصدمة على أعداد أعلى من أدلة الأعراض مقارنة بحالات الإيجابية الحقيقية.
• دور السياق:
  • السياق الوقائي: ارتبط وجود مؤشرات الوظائف المحفوظة، أو القدرة على التكيف، أو الدعم الاجتماعي سلبًا بالمخرجات الإيجابية للنموذج. في حالات القلق واضطراب ما بعد الصدمة، تضمنت حالات السلبية الكاذبة كثيرًا هذه السياقات الوقائية جنبًا إلى جنب مع الأعراض.
  • الضعف الوظيفي: ارتبط دليل الضعف الوظيفي إيجابيًا بالتصنيفات الإيجابية.
• النموذج مقابل الحقيقة الأرضية: أظهر الانحدار اللوجستي أن ميزات الأدلة (خاصة الضعف الوظيفي والسياق الوقائي) كانت تنبؤات أقوى لقرارات النموذج اللغوي منها لعلامات التشخيص المستمدة من SCID. يشير هذا إلى أن النماذج تطبق آلية وزن أكثر صرامة أو مختلفة عن المعيار المرجعي السريري، وتتطلب تحديدًا تقاربًا بين الأعراض والضعف قبل تعيين تسمية إيجابية.

الأهمية والادعاءات

يزعم البحث أن النماذج اللغوية الكبيرة يمكن أن تدعم الفحص النفسي القابل للتوسع، لكنها تسلط الضوء على آلية محددة للفشل تتطلب التحقق الدقيق قبل النشر السريري.

• ما وراء الدقة: تجادل الدراسة بأن الدقة الإجمالية غير كافية للتقييم السريري. النتيجة الأساسية هي أن السلبيات الكاذبة غالبًا ما تنشأ ليس من نقص اكتشاف الأعراض، بل من ميل النموذج إلى التقليل من قيمة أدلة الأعراض عندما يتضمن السرد وظائف محفوظة أو سياقات وقائية.
• الآثار السريرية: يشير سلوك "وزن الأدلة" هذا إلى أن النماذج اللغوية الكبيرة قد تسيء تشخيص الحالات حيث يبلغ المرضى عن أعراض ولكنهم يصفون أيضًا آليات تكيف فعالة أو دعمًا اجتماعيًا، مما قد يؤدي إلى تفويت الأفراد الذين لا يزالون بحاجة إلى تقييم سريري.
• الاتجاه المستقبلي: خلص المؤلفون إلى أن الأنظمة المستقبلية يجب أن تتجاوز الاستدلال أحادي المرحلة إلى أطر عمل معايرة، أو متعددة الأدوار، أو متعددة الوكلاء قادرة على حل عدم اليقين بشكل صريح ودمج الأدلة السريرية المتنافسة (الأعراض مقابل الوظيفة) لتقليل أخطاء السلبية الكاذبة.

تؤكد الدراسة أنه بينما يبدو GPT-4.1 Mini وGPT-5 Mini واعدين، فإن منطق اتخاذ القرار لديهما فيما يتعلق بالتوازن بين الأعراض والسياق الوظيفي يختلف عن المعايير التشخيصية السريرية القياسية، مما يستوجب مزيدًا من الاستقصاء حول العدالة وآليات الخطأ.