Automatic detection of depression in clinical interviews with large language models
تُظهر هذه الدراسة أن التحليل اللغوي الآلي للمقابلات السريرية باستخدام النماذج القائمة على المحولات واستراتيجيات التجميع يمكن أن يكتشف بفعالية اضطراب الاكتئاب الجسيم لدى المتحدثين باللغة الكانتونية، مما يحسن كفاءة المعالجة بشكل كبير مع تسليط الضوء على أهمية جودة النسخ والسياق الحواري لتحقيق الأداء الأمثل.
المؤلفون الأصليون:Longdi Xian, Kit Ying Chan, Jie Chen, Joey W Y Chan, Ngan Yin Chan, Bei Huang, Yun-Kwok Wing, Tim M H Li
يعد الاكتئاب حالة شائعة وخطيرة تؤثر على الملايين من الناس في جميع أنحاء العالم، ومع ذلك، فإن اكتشافه مبكراً يعتمد غالباً على قدرة الشخص على الوصول إلى متخصص في الصحة النفسية. وفي أماكن كثيرة، يندر وجود هؤلاء الخبراء، وتكون عملية التشخيص بطيئة، مما يترك الكثيرين دون المساعدة التي يحتاجونها. ولمعالجة ذلك، بدأ الباحثون في استكشاف ما إذا كان بإمكان الحواسيب أن تتعلم رصد علامات الاكتئاء من خلال الاستماع إلى كيفية حديث الناس. ويعتمد هذا المجال على فكرة أن الطريقة التي يصف بها الشخص مشاعره، والكلمات التي يختارها، وإيقاع محادثته يمكن أن تكشف عن حالته النفسية. وقد أدت التطورات الأخيرة في الذكاء الاصطناعي إلى إنشاء أدوات قوية قادرة على فهم اللغة البشرية، مما يوفر طريقة جديدة لتحليل هذه المحادثات تلقائياً. والهدف ليس استبدال الأطباء، بل إنشاء أداة سريعة وسهلة الوصول يمكنها المساعدة في تحديد من يحتاج إلى الرعاية، مما قد يصل إلى الأشخاص الذين قد لا يتم تشخيصهم لولا ذلك.
وضع فريق من الباحثين في الجامعة الصينية في هونغ كونغ هدفاً لاختبار ما إذا كانت أدوات الذكاء الاصطناعي هذه يمكنها اكتشاف اضطراب الاكتئاب الجسيم بدقة باستخدام تسجيلات للمقابلات السريرية. لقد عملوا مع 299 مشاركاً يتحدثون لغة الكانتونية، بما في ذلك 194 مريضاً تم تشخيص إصابتهم بالاكتئاب و105 من الأصحاء. قام الباحثون بتسجيل مقابلات منظمة حيث طرح الإكلينيكي أسئلة واستجاب المشارك لها. ولرؤية ما إذا كان بإمكانهم جعل العملية أسرع وأكثر قابلية للتوسع، قارنوا بين طريقتين لتحويل هذه التسجيلات الصوتية إلى نصوص. كانت الطريقة الأولى هي النهج التقليدي، حيث يقوم البشر بكتابة كل كلمة تُقال يدوياً، وهي عملية استغرقت حوالي 45 دقيقة لكل مقابلة. أما الطريقة الثانية، فقد استخدمت نظاماً آلياً لنسخ الصوت فورياً. ثم قاموا بتغذية هذه النصوص في عدة نماذج حاسوبية مختلفة مصممة لفهم اللغة، واختبار ما إذا كانت النماذج تستطيع التمييز بين المشاركين الأصحاء والمصابين بالاكتئاب.
وجدت الدراسة أن استخدام نظام النسخ الآلي كان قفزة هائلة للأمام في الكفاءة؛ فقد قلل الوقت اللازم لمعالجة كل مقابلة من حوالي 45 دقيقة إلى أقل من 10 دقائق، أي انخفاض بنسبة 79 بالمائة. هذه السرعة تجعل من الممكن تحليل أعداد كبيرة من المقابلات بسرعة، وهو أمر ضروري للاستخدام في العالم الحقيقي. ومع ذلك، اكتشف الباحثون أن هذه السرعة جاءت مع مقايضة صغيرة؛ إذ كانت النماذج التي تدربت على النصوص المكتوبة يدوياً أفضل قليلاً في تحديد الاكتئاب من تلك التي تدربت على النصوص المولدة آلياً. وهذا يشير إلى أنه بينما أصبحت الآلات جيدة جداً في الاستماع، إلا أنها لا تزال تفقد أحياناً الفروق الدقيقة التي يلتقطها ناسخ بشري. وبالرغم من هذه الفجوة الصغيرة، كانت النسخ الآلية فعالة للغاية، مما يثبت أن التكنولوجيا جاهزة للتطبيق العملي حيث تكون السرعة أمراً بالغ الأهمية.
كان هناك اكتشاف رئيسي آخر يتعلق بالأجزاء التي يجب على الحاسوب الاستماع إليها من المحادثة. اختبر الباحثون سيناريوهين: أحدهما حيث يقرأ النموذج إجابات المريض فقط، والآخر حيث يقرأ المحادثة بأكملها، بما في ذلك أسئلة الطبيب. ووجدوا أن النماذج كان أداؤها أفضل عندما امتلكت السياق الكامل للحوار. فقد تبدو إجابة المريض القصيرة، مثل "ليس حقاً" أو "أحياناً"، غامضة في حد ذاتها، ولكن عندما يرى النموذج السؤال الذي سبقها، يصبح المعنى أكثر وضوحاً. فعلى سبيل المثال، إذا سأل الطبيب عن أنماط النوم وقال المريض "أحياناً"، فإن الحاسوب يفهم أن هذا يشير إلى اضطرابات النوم. يساعد هذا السياق النموذج على تقديم أحكام أكثر دقة، مما يظهر أن التفاعل بين الطبيب والمريض يحتوي على أدلة قيمة تضيع إذا تم تحليل صوت المريض وحده.
ولجعل اكتشافهم أكثر موثوقية، قام الفريق بدمج تنبؤات عدة نماذج حاسوبية مختلفة في نظام واحد أقوى. لقد اختبروا طرقاً متنوعة لدمج آرائهم، مثل أخذ متوسط درجاتهم أو البحث عن أقوى إشارة بينهم. هذا النهج المدمج، المعروف باسم "النموذج التجميعي" (Ensemble)، حسن دقة الكشف بما يتجاوز ما يمكن لأي نموذج منفرد تحقيقه بمفرده. ثم تم اختبار أفضل تركيبة أداء على مجموعة جديدة تماماً مكونة من 169 شاباً لم يكونوا جزءاً من الدراسة الأصلية. وفي هذا الاختبار المستقل، نجح النظام المدمج في تحديد الاكتئاب بمستوى عالٍ من الدقة، حيث كان أداؤه مساوياً لأفضل نموذج منفرد وأفضل قليلاً من غيره. وقد أكد ذلك أن النظام يمكنه تعميم نتائجه على أشخاص جدد، وليس فقط على أولئك الذين تدرب عليهم.
تقدم نتائج هذه الدراسة مساراً واعداً للرعاية الصحية النفسية. فقد أثبت الباحثون أنه من الممكن بناء نظام يكتشف الاكتئاب من الكلام بدقة عالية مع تقليل الوقت المطلوب للتحليل بشكل كبير. وعلى الرغم من أن النصوص المنسوخة آلياً لم تكن مثالية، إلا أنها كانت جيدة بما يكفي لدعم نظام يعمل جيداً في العالم الحقيقي. كما سلطت الدراسة الضوء على أن تضمين أسئلة الطبيب في التحليل يوفر سياقاً حاسماً يحسن فهم الحاسوب. وبينما لا يعد النظام بعد بديلاً للتشخيص البشري، إلا أنه يمثل خطوة مهمة نحو جعل فحص الصحة النفسية أسرع، وأكثر سهولة في الوصول، ومتاحاً لمزيد من الناس الذين يحتاجون إليه. ويشير العمل إلى أنه مع الأدوات المناسبة، يمكن للتكنولوجيا أن تساعد في سد الفجوة بين من يعانون من الاكتئاب والرعاية التي يستحقونها.
ملخص تقني: الكشف التلقائي عن الاكتئاب في المقابلات السريرية باستخدام النماذج اللغوية الكبيرة
بيان المشكلة يعد الكشف الدقيق وفي الوقت المناسب عن اضطراب الاكتئاب الجسيم (MDD) أمراً بالغ الأهمية للعلاج الفعال، ومع ذلك يظل الوصول إلى المتخصصين المدربين في الصحة العقلية عائقاً كبيراً. يعتمد التقييم التقليدي على الحكم السريري، وهو أمر لا يمكن توسيع نطاقه بسهولة. وبينما توفر النماذج اللغوية الكبيرة (LLMs) إمكانات لتحليل الأنماط اللغوية في المقابلات السرجيرية للكشف عن الاكتئاب، فإن عدة تحديات تعيق تطبيقها العملي:
كفاءة معالجة البيانات: عملية تفريغ المقابلات الصوتية السريرية يدوياً هي عملية مجهدة وتستغفرق وقتاً طويلاً، مما يخلق عنق زجاجة أمام النشر في الوقت الفعلي أو على نطاق واسع.
تباين مصادر البيانات: من غير الواضح ما إذا كانت النماذج تعمل بشكل أفضل باستخدام كلام المريض فقط أم باستخدام التفاعل الكامل بين المحاور والمستجيب، وكيف تؤثر جودة التفريغ (يدوي مقابل تلقائي) على الأداء.
تحسين النموذج: بينما تُعرف طرق التجميع (ensemble methods) بقدرتها على تحسين دقة التشخيص، إلا أن استراتيجيات التجميع المثلى (مثل المتوسط، والحد الأقصى، والتباين) للكشف عن الاكتئاب في الحوارات السريرية لا تزال غير مستكشفة بشكل كافٍ.
المنهجية استخدمت الدراسة تسجيلات مقابلات سريرية مهيكلة لـ 299 مشاركاً يتحدثون بالكانتونية (194 مصاباً باضطراب الاكتئاب الجسيم، و105 من الأصحاء) تم جمعها بين عامي 2020 و2022. تضمن سير عمل البحث أربع مراحل أساسية:
إعداد البيانات والتفريغ:
التفريغ اليدوي: قام خبراء بشريون بتفريغ المقابلات، مع الاحتفاظ بأدوار المتحدثين.
التفريغ التلقائي: تمت معالجة الصوت باستخدام نظام تحديد المتحدث (PyAnnote-Audio) متبوعاً بالتعرف التلقائي على الكلام (ASR). تم اختبار خمس أدوات ASR، واختيرت "Tencent Cloud Speech-to-Text" للدراسة نظراً لانخفاض معدل خطأ الكلمات (WER) لديها إلى 0.102 في اللغة الكانتونية.
بناء مجموعة البيانات: تم إنشاء أربع مجموعات بيانات متميزة: (تفاعل يدوي، مستجيب فقط - يدوي، تفاعل تلقائي، مستجيب فقط - تلقائي).
بنية النموذج والتدريب:
تم تقييم سبعة من بنيات "Transformer" الصينية سابقة التدريب وهي: BERT، وRoBERTa، وXLNet، وELECTRA، وALBERT، وMentalBERT، وDistilBERT.
استراتيجية التدريب: تم استخدام التحقق المتقاطع خماسي الطيات الطبقي على مستوى المشارك لمنع تسرب البيانات. تم تقسيم المقابلات الطويلة إلى نوافذ متداخلة (بحد أقصى 512 رمزاً، وتداخل قدره 128).
المعلمات الفائقة (Hyperparameters): تم تدريب النماذج بمعدل تعلم قدره 1×10−5، وحجم دفعة قدره 8، مع التوقف المبكر بناءً على مساحة تحت المنحنى (AUC) للتحقق من الصحة.
بناء التجميع (Ensemble Construction):
قارنت الدراسة بشكل منهجي بين النماذج الفردية ونهج التجميع.
طرق التجميع: تم اختبار تسع تقنيات تجميع إحصائية، بما في ذلك المتوسط (Mean)، والحد الأقصى (Max)، والحد الأدنى (Min)، والانحراف المعياري (SD)، والوسيط (Median)، والتباين (Variance)، والتباين المشترك (Covariance)، والربيع العلوي والسفلي (Upper/Lower Quartiles).
استراتيجيات التجميع: تم اختبار ثلاثة نهجين: (أ) تجميع كافة النماذج، (ب) تجميع أفضل n من النماذج بناءً على ترتيب الأداء، (ج) تجميع كافة التشكيلات الممكنة لـ n من النماذج لإيجاد الحد الأمثل العالمي.
التقييم والتحقق:
المقاييس الداخلية: تم قياس الأداء باستخدام AUC (المقياس الأساسي)، ودرجة F1، والحساسية (Sensitivity)، والنوعية (Specificity)، والقيمة التنبؤية الإيجابية (PPV)، والقيمة التنبؤية السلبية (NPV).
التحقق الخارجي: تم اختبار أفضل نموذج تجميعي (الذي تم اختياره بناءً على البيانات الداخلية فقط) على مجموعة خارجية مستقلة مكونة من 169 مشاركاً من الشباب (88 من الأصحاء، 81 مصاباً بالاكتئاب) لتقييم القدرة على التعميم.
النتائج الرئيسية
مكاسب الكفاءة: قلل التفريغ التلقائي متوسط وقت المعالجة لكل مقابلة من حوالي 45 دقيقة (يدوي) إلى 9.65 دقيقة، مما يمثل انخفاضاً بنسبة 79% في الوقت.
جودة التفريغ: بينما حسن التفريغ التلقائي الكفاءة، إلا أنه أدى إلى انخفاض طفيف، وإن كان غير معنوي في كثير من الأحيان، في قدرة النموذج على التمييز مقارنة بالتفريغ اليدوي. على سبيل المثال، في بيانات المستجيب فقط، حقق نموذج DistilBERT مساحة تحت المنحنى (AUC) قدرها 0.78 مع التفريغ اليدوي مقابل 0.70 مع التفريغ التلقائي (p=.004).
تأثير دور المتحدث: حققت النماذج المدربة على التفاعلات الكاملة بين المحاور والمستجيب عموماً قيم AUC أعلى من تلك المدربة على نص المستجيب فقط. كان هذا معنوياً إحصائياً لنماذج RoBERba وALBERT وMentalBERT في التفريغ اليدوي، ولأغلب النماذج في التفريغ التلقائي. يشير المؤلفون إلى أن أسئلة المحاور توفر السياق اللازم لتفسير ردود المريض القصيرة.
أداء التجميع:
تفوقت نماذج التجميع بشكل كبير على أفضل النماذج الفردية في التحقق الداخلي (على سبيل المثال، حقق نموذج تجميع ثلاثي مكون من ELECTRA وALBERT وRoBERTa باستخدام طريقة التجميع بالمتوسط AUC قدره 0.87 على نص التفاعل التلقائي، متفوقاً على نموذج RoBERTa وحده الذي حقق 0.82).
اختلفت طريقة التجميع المثلى باختلاف الحالة: كان التجميع بالربيع السفلي (Lower-quartile) هو الأمثل للتفريغ اليدوي، بينما كان التجميع بالمتوسط (Mean) هو الأمثل للتفريغ التلقائي.
التحقق الخارجي: في المجموعة الخارجية المستقلة، حقق النموذج التجميعي النهائي AUC قدره 0.75. وكانت هذه النتيجة مطابقة لنموذج RoBERa المنفرد (AUC 0.75) وأعلى قليلاً من DistilBERT (AUC 0.73). لم يترجم التحسن الملحوظ في اختيار التجميع الداخلي إلى مكسب معنوي إحصائياً فوق أفضل نموذج فردي في الإعداد الخاري.
الأهمية والادعاءات يدعي البحث أن تحليل اللغة المؤتمت هو نهج قابل للتطبيق للكشف عن الاكتئاب، حيث يوفر توازناً فعالاً بين الكفاءة والدقة. تسلط الدراسة الضوء على ثلاث مساهمات رئيسية:
القابلية للتوسع: إثبات أن نظام التعرف التلقائي على الكلام عالي الجودة (خاصة Tencent Cloud للغة الكانتونية) يمكن أن يقلل بشكل كبير من وقت إعداد البيانات دون المساس تماماً بأداء النموذج، مما يجعل الفحص واسع النطاق أكثر عملية.
الأهمية السياقية: تقديم دليل على أن تضمين الحوار السريري الكامل (المحاور والمستجيب) يعطي أداءً تشخيصياً أفضل من كلام المريض وحده، ويرجع ذلك على الأرجح إلى الإشارات السياقية التي توفرها أسئلة السريري.
الصرامة المنهجية: التقييم المنهجي لمختلف استراتيجيات تجميع النماذج وإثبات أنه بينما تحسن النماذج التجميعية الأداء الداخلي، فإن قدرتها على التعميم الخارجي يجب أن تخضع لتدقيق صارم، حيث إن المكاسب الداخلية لا تضمن دائماً تفوق التمييز الخارجي.
يخلص المؤلفون إلى أنه بينما تعد الأدوات المؤتمتة واعدة، فإن عوامل مثل جودة التفريغ، وسياق المحادثة، وضرورة التحقق الخارجي المستقل، تعد أموراً حاسمة عند تفسير أداء النماذج للتطبيقات السريرية. لا تدعي الدراسة أن النماذج جاهزة للنشر السريري الفوري، لكنها تدعم استخدامها كأدوات بحثية ووسائل مساعدة محتملة في تقييم الصحة العقلية.