Evaluating Large Language Models for Assessment of Psychosis Risk

إليك ملخص تقني مفصل لورقة البحث بعنوان "تقييم النماذج اللغوية الكبيرة لتقدير مخاطر الذهان".

1. بيان المشكلة

يعتمد الوقاية من الذهان على الكشف المبكر عن الأفراد في حالة الخطر السريري العالي للإصابة بالذهان (CHR-P). ومع ذلك، فإن معدلات الكشف الحالية منخفضة (5-14% فقط ممن يتطور لديهم الذهان لاحقاً يتم تحديدهم مبكراً) بسبب اختناقات كبيرة في عملية التقييم:

• مشكلات القابلية للتوسع: تتطلب التقييمات المعيارية (مثل PSYCHS، CAARMS، SIPS) ممارسين سريريين مدربين تدريباً عالياً لإجراء مقابلات شبه منظمة تستغرق ما يصل إلى ساعتين.
• الذاتية والتباين: تفسير الأعراض الدقيقة يخضع للذاتية، مما يؤدي إلى تباين بين المقيمين وبين المواقع المختلفة.
• قيود الموارد: الاعتماد على مقيمين بشريين متخصصين يحد من وصول الرعاية الوقائية على مستوى السكان.

تستقصي الدراسة ما إذا كانت النماذج اللغوية الكبيرة (LLMs) يمكنها أتمتة استخراج المعلومات ذات المعنى السريري من نصوص المقابلات لدعم تقييم مخاطر الذهان بشكل قابل للتوسع، ودقيق، وقابل للتكرار.

2. المنهجية

مصدر البيانات والمعالجة المسبقة

• مجموعة البيانات: استخدمت الدراسة مجموعة بيانات الشراكة المسرعة للأدوية لمرض الفصام (AMP-SCZ).
• العينة: 678 نصاً جزئياً للمقابلات (أول 30 دقيقة) من 373 مشاركاً (77.7% من حالات CHR-P، و22.3% من الضوابط الأصحاء).
• الحقيقة الأرضية (Ground Truth): تم إقران النصوص مع درجات شدة وتكرار الأعراض التي سجلها الباحثون عبر 15 مجالاً من مجالات الأعراض (مثل الأفكار غير العادية، الهلاوس السمعية/البصرية، والاضطرابات الجسدية).
• المعالجة المسبقة: تم تقسيم النصوص إلى 15 حالة خاصة بكل مجال ($n=4,691$)، وتطبيع أدوار المتحدثين، وإزالة الهوية.

اختيار النموذج والنشر

• النماذج التي تم تقييمها: 11 نموذجاً من النماذج مفتوحة الأوزان تتراوح من 1 مليار إلى 80 مليار معلمة (مثل Llama-3.3-70B، Qwen3-Next-80B، Gemma-3n، Phi-3).
• النشر: تم نشر جميع النماذج محلياً على بنية تحتية مؤسسية آمنة (كينجز كوليدج لندن وجامعة أكسفورد) لضمان خصوصية البيانات وتجنب نقل بيانات الصحة العقلية الحساسة إلى واجهات برمجة تطبيقات خارجية.
• تكوين الاستدلال: تم استخدام فك التشفيد الحتمي (البحث الجشع، درجة الحرارة=0) لتعظيم القدرة على التكرار.

استراتيجية التلقين (Prompting Strategy)

• الاستدلال المنظم: استخدمت الدراسة التلقين بأسلوب سلسلة الأفكار (Chain-of-Thought - CoT).
• المهمة: لكل مجال من المجالات الـ 15 للأعراض، تم توجيه النماذج لـ:
  1. تحليل نص المقابلة.
  2. استنتاج درجات الشدة والتكرار (مقياس 0-6) بناءً على أدلة صريحة.
  3. توليد ملخص موجز للتعليل القائم على الأدلة.
  4. إخراج النتائج في قالب JSON صارم.
• المعالجة اللاحقة: تم استخدام خطوط أنابيب للتحقق والإصلاح الآلي للتعامل مع أخطاء التنسيق (مثل استخراج regex لكتل JSON المفقودة).

مقاييس التقييم

• التصنيف: الدقة (Accuracy)، الحساسية (Sensitivity)، النوعية (Specificity)، الدقة المحددة (Precision)، ومقياس F1، ومعامل ماتيوس للارتباط (MCC) للكشف عن حالة CHR-P.
• الانحدار/الاتفاق: معامل ارتباط بيرسون ($r$)، معامل الارتباط داخل الفئة (ICC)، والمساحة تحت المنحنى (AUC) لدرجات شدة وتكرار الأعراض.
• العدالة: التكافؤ الديموغرافي وتساوي الفرص عبر العمر، العرق، اللغة، الجنس، والموقع.
• التقييم النوعي: مراجعة الخبراء لتقارير الملخص من حيث الدقة، والتلفيق (الهلوسة)، ومعدلات الإغفال.
• الكفاءة: ذروة استخدام ذاكرة وحدة معالجة الرسومات وسرعة توليد الرموز (الرموز في الثانية).

3. النتائج الرئيسية

أداء التصنيف (الكشف عن CHR-P)

• الارتباط بحجم النموذج: تحسن الأداء مع زيادة حجم النموذج.
• أفضل النماذج أداءً:
  • Llama-3.3-70B-Instruct: حقق أعلى دقة (0.802)، مع حساسية عالية (0.934) ونوعية متوسطة (0.580).
  • Qwen3-Next-80B-A3B-Instruct: أداء مماثل (الدقة 0.793، الحساسية 0.934).
• النماذج الصغيرة: حققت حتى النماذج الأصغر (مثل Gemma-3n-E4B-it) أداءً تنافسياً (الدقة 0.766) بتكاليف حوسبة أقل بكثير.
• نمط التحيز: أظهرت النماذج ميلاً نظامياً نحو المبالغة في التقدير (حساسية عالية، نوعية أقل)، وهو أمر مقبول في سياق الفحص لتقليل الحالات السلبية الكاذبة.

الاتفاق في تسجيل الأعراض

• الارتباط: أظهرت الدرجات التي ولدها النموذج اللغوي الكبير اتفاقاً قوياً مع تقييمات الباحثين.
  • Llama-3.3-70B: معامل ICC للشدة = 0.743، معامل ICC للتكرار = 0.748.
  • Qwen3-Next-80B: معامل ICC للشدة = 0.767، معامل ICC للتكرار = 0.749.
• تباين المجالات: كان الأداء أعلى في الاضطرابات الإدراكية (السمعية/البصرية) وأدنى في المجالات المعقدة أو المعتمدة على السياق (مثل الاضطرابات الحسية الجسدية، والأفكار الهوسية العشقية).
• أنواع الأخطاء: كانت معظم حالات عدم الاتفاق بين الفئات الترتيبية المتجاورة.

العدالة الخوارزمية

• الديموغرافيا: لوحظت فروق طفيفة عبر العمر، العرق، اللغة الأولى، والجنس.
• تباين المواقع: حدثت أبرز التباينات في الأداء عبر المواقع (مثل ملبورن مقابل المواقع الأخرى)، ويرجع ذلك على الأرجح إلى الاختلافات في أساليب المقابلة أو استراتيجيات التوظيف بدلاً من تحيز النموذج.

جودة تقرير الملخص

• الدقة: 93.3% من الملخصات مثلت محتوى النص بالكامل.
  ে* التلفيق (Confabulation): حدث التلفيق ذو الصلة السريرية (اختلاق ضيق أو ضعف وظيفي) في 2.7% فقط من التقارير.
• الإغفال: حدثت حالات إغفال طفيفة في حوالي 1.8% من الحالات؛ ولم يتم إغفال أي مخاوف تتعلق بالسلامة.
• التحقق من الخبراء: ارتبطت الدرجات المستمدة فقط من ملخصات النماذج اللغوية الكبيرة بقوة مع كل من درجات النموذج ودرجات الباحثين ($r \approx 0.86$).

أنماط الفشل

كشف تحليل الخبراء لأسوأ 15 حالة أداءً عن:

1. الإفراط في المرضية (53%): صنفت النماذج تجارب بشرية طبيعية (مثل عدم الثقة بسبب التنمر) على أنها ذات أهمية سريرية.
2. سوء وضع السياق (27%): المعلومات المتعلقة بمجال معين نوقشت في قسم آخر من المقابلة، مما أدى إلى فقدان أو خطأ في التسجيل.
3. التباين مع الحقيقة الأرضية (13%): حالات كان فيها النموذج اللغوي صحيحاً من الناحية النظرية بناءً على النص، مما يشير إلى أن تقييمات الباحثين قد تستخدم سياقاً خارجياً غير موجود في النص.

المفاضلة بين الحوسبة والأداء

• تطلبت النماذج الأكبر ذاكرة GPU أكبر بكثير وإنتاجية أقل.
• تم تحديد Gemma-3n-E4B-it كمرشح "النقطة المثالية"، حيث يقدم درجات F1 قوية مع بصمة ذاكرة منخفضة (21 جيجابايت) وإنتاجية عالية (7.6 رمز/ثانية)، مما يجعله قابلاً للنشر في الأجهزة الطرفية (Edge deployment).

4. المساهمات الرئيسية

1. أول تقييم منهجي: هذه هي أول دراسة تقيم النماذج اللغوية الكبيرة مفتوحة الأوزان لتقييم مخاطر الذهان المنظم باستخدام نصوص المقابلات القياسية النفسية.
2. إطار عمل قابل للتوسع: أثبتت الدراسة إمكانية وجود مسار للتدقيق الآلي يقلل من الاعتماد على المقيمين المتخصصين النادرين مع الحفاظ على ارتباط عالٍ مع الخبراء البشريين.
3. نهج يحافظ على الخصوصية: أثبتت الدراسة جدوى استخدام النماذج مفتوحة الأوزان المنشورة محلياً، مما يعالج المخاوف الأخلاقية المتعلقة بنقل بيانات الصحة العقلية الحساسة.
4. تحليل العدالة والسلامة: قدمت تقييماً صارماً للعدالة الخوارزمية والسلامة، حيث أظهرت الحد الأدنى من التحيز الديموغرافي ولكنها سلطت الضوء على التباين الخاص بالمواقع وانخفاض معدلات الهلوسة الخطيرة.
5. رؤى النشر العملي: رسمت الدراسة المقايضة بين دقة النموذج والتكلفة الحسابية، وحددت نماذج محددة مناسبة للبيئات السريرية محدودة الموارد.

5. الأهمية والآثار المترتبة

• الأثر السريري: يمكن للنماذج اللغوية الكبيرة أن تعمل كأداة "الإنسان في الحلقة" (human-in-the-loop) لفرز المرضى، وأتمتة التسجيل الأولي، وتوليد مسودات الملخصات، مما يزيد من قابلية توسع خدمات الكشف المبكر عن الذهان.
• الفائدة البحثية: يمكن لهذا النهج توحيد تسجيل الأعراض في الدراسات متعددة المواقع، مما يقلل من التباين بين المقيمين.
• الاتجاهات المستقبلية: تشير الدراسة إلى أنه بينما تؤدي النماذج الأكبر الأداء الأفضل، فإن النماذج الأصغر والأكثر كفاءة تعد خيارات قابلة للتطبيق. يجب أن يركز العمل المستقبلي على:
  • ضبط النماذج (Fine-tuning) على مجموعات بيانات سريرية محددة.
  • معالجة التباين الخاص بالمواقع من خلال هندسة التلقين المحلية.
  • دمج التسجيل في الوقت الفعلي أثناء المقابلات الحية.
  • تقييم نماذج "الاستدلال" مع الحد من هلوسات الاستدلال.

الخلاصة: تخلص الدراسة إلى أن النماذج اللغوية الكبيرة مفتوحة الأوزان لديها القدرة على تحويل تقييم مخاطر الذهان من عملية تعتمد على المتخصصين وتواجه اختناقات، إلى سير عمل قابل للتوسع، ومعياري، وفعال، شريطة تنفيذها ضمن إطار عمل خاضع للإشراف وبوجود عنصر بشري في الحلقة.