💻 computer science

CBT-Audio: Evaluating Audio Language Models for Patient-Side Distress Intensity Estimation in CBT Session Recordings

تقدم هذه الورقة البحثية CBT-Audio، وهي مجموعة بيانات تضم 1,802 دورة مريض مشروحة من جلسات العلاج المعرفي السلوكي، لتوضيح أن النماذج اللغوية الصوتية تحسن بشكل كبير من تقدير ضيق المريض من خلال التقاط الإشارات الصوتية التي تغفل عنها النماذج النصية فقط، لا سيما عندما يختلف المحتوى اللفظي عن الأداء الصوتي.

المؤلفون الأصليون: Qixuan Hu, Shuchang Ye, Xumou Zhang, Anastasia Serafimovska, Anastasia Suraev, Amit Saha, Ping-hsiu Lin, Sydney Su, Usman Naseem, Adam G. Dunn, Jinman Kim

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Qixuan Hu, Shuchang Ye, Xumou Zhang, Anastasia Serafimovska, Anastasia Suraev, Amit Saha, Ping-hsiu Lin, Sydney Su, Usman Naseem, Adam G. Dunn, Jinman Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول فهم مزاج شخص ما بمجرد قراءة نص محادثته. إذا قال: "أنا بخير"، فقد تظن أنه على ما يرام. ولكن ماذا لو قال تلك الكلمات نفسها بينما كان صوته يرتجف، وإيقاعه متسارعاً، وبدا وكأنه على وشك البكاء؟ في جلسة علاجية حقيقية، سيلتقط المعالج هذا الفرق فوراً. فهم يعرف أن كيفية قول الشيء لا تقل أهمية عن ما يقال.

ومع ذلك، فإن معظم أنظمة الذكاء الاصطناعي (AI) التي تدرس العلاج النفسي كانت "صماء". فقد كانت قادرة فقط على قراءة النصوص المكتوبة، مما جعلها تفقد الإشارات الحيوية المختبئة في الصوت. تقدم هذه الورقة البحثية أداة جديدة تسمى CBT-Audio لمعالجة هذه النقطة العمياء.

إليك تفصيل لما قام به الباحثون، باستخدام تشبيهات بسيطة:

1. المشكلة: النقطة العمياء لـ "النص فقط"

تخيل العلاج المعرفي السلوكي (CBT) كرقصة بين المعالج والمريض. لسنوات، كان الباحثون الذين يحاولون بناء ذكاء اصطناعي للمساعدة في هذه الرقصة يراقبون فقط آثار الأقدام (النصوص المكتوبة) التي تتركها الخطوات. لم يتمكنوا من رؤية تعبيرات الراقصين أو سماع أنفاسهم.

تجادل الورقة بأن هذا خطأ كبير. فالمريض الذي يقول "أنا قلق" بصوت هادئ وثابت يعني شيئاً مختلفاً تماماً عن قوله "أنا قلق" بصوت مرتجف وحاد النبرة. نماذج الذكاء الاصطناعي الحالية، التي تقرأ النص فقط، تفقد هذه "الإشارات الصوتية" الحاسمة.

2. الحل: CBT-Audio (الأذن الجديدة)

أنشأ الباحثون مجموعة بيانات جديدة تسمى CBT-Audio.

المصدر: لم يستخدموا مرضى حقيقيين (لحماية الخصوصية). بدلاً من ذلك، جمعوا 96 ساعة من الفيديوهات التعليمية العامة حيث قام ممثلون ومعالجون بتمثيل أدوار جلسات علاجية.
المحتوى: قاموا بتفكيك هذه الفيديوهات إلى 1,802 لحظة فردية تحدث فيها "المريض".
التصنيف: لم يعتمدوا على التخمين لتحديد الحالة المزاجية. بل استخدموا نظاماً ذكياً (ولاحقاً خبراء بشريين) لتقييم كل لحظة على مقياس من 1 إلى 5، حيث 1 يعني "هادئ" و5 يعني "مضطرب للغاية". استند هذا التقييم إلى الصوت الفعلي للنبرة، وليس فقط الكلمات.

3. التجربة: اختبار 10 "آذان"

أخذ الباحثون 10 نماذج مختلفة من نماذج الذكاء الاصطناعي مفتوحة المصدر (التي تمثل "الآذان") وأعطوها اختباراً. طلبوا من كل نموذج ذكاء اصطناعي تخمين مستوى الضيق (من 1 إلى 5) للمريض في تلك اللحظات الـ 1,802. واختبروا الذكاء الاصطناعي تحت ثلاثة ظروف مختلفة:

الصوت فقط: يمكن للذكاء الاصطناعي سماع الصوت لكن لا يمكنه قراءة الكلمات.
النص فقط: يمكن للذكاء الاصطناعي قراءة الكلمات لكن لا يمكنه سماع الصوت (مثل شخص أصم يقرأ نصاً مكتوباً).
الصوت + النص: يمكن للذكاء الاصطناعي سماع الصوت وقراءة النص معاً.

4. النتائج: "الصوت" يضيف قيمة

كانت النتائج كمن يكتشف أن حاسة جديدة تساعدك على التنقل في الغرفة بشكل أفضل:

السماع ليس دائماً أفضل من القراءة: إذا أعطيت الذكاء الاصطناعي الصوت فقط (بدون النص)، لم يكن دائماً أفضل من إعطائه النص فقط. في بعض الأحيان، كان الصوت وحده مربكاً.
لكن الجمع بينهما هو الفائز: عندما أعطى الباحثون الذكاء الاصطناعي كلاً من الصوت والنص، كان أداؤه أفضل بشكل ملحوظ في 8 من أصل 10 نماذج.
سحر "عدم التطابق": حدث التحسن الأكبر عندما لم تتطابق الكلمات مع الصوت.
- مثال: إذا قال مريض "أنا بخير" (نص) ولكنه بدا وكأنه على وشك البكاء (صوت)، فإن الذكاء الاصطناعي الذي يسمع الصوت يدرك أن مستوى الضيق مرتفع. أما الذكاء الاصطناعي الذي يقرأ النص فقط، فيظن أن المريض هادئ.
- مثال: إذا قال مريض "أنا أتصبب عرقاً وأشعر بالذعر" (نص) ولكنه بدا هادئاً وثابتاً (صوت)، فإن الذكاء الاصطنا الذي يسمع الصوت يدرك أن المريض يصف في الواقع حدثاً ماضياً أو خوفاً افتراضياً، وليس حالة ذعر حالية.

5. ماذا يعني هذا (وفقاً للورقة البحثية)

تخلص الورقة إلى أن الصوت ليس مجرد بديل للنص؛ بل هو شريك للنص.

يمكن لنماذج الذكاء الاصطناعي الحالية أن تتعلم استخدام هذه الإشارات الصوتية (النبرة، السرعة، التردد) لفهم الضيق بشكل أفضل.
الفائدة الكبرى تأتي عندما يستطيع الذكاء الاصطناعي رصد "عدم التطابق" بين ما يقوله الشخص وكيفية قوله.
تسمح مجموعة البيانات هذه (CBT-Audio) للباحثين باختبار ما إذا كان الذكاء الاصطناعي "يستمع" حقاً للوزن العاطفي للصوت، وليس فقط يعالج التعريفات القاموسية للكلمات.

باختصار: قامت الورقة ببناء ميدان تدريب حيث يمكن للذكة الاصطناعي تعلم الاستماع إلى نبرة الصوت، وليس فقط الكلمات. وقد وجدوا أنه عندما يستطيع الذكاء الاصطناعي سماع الصوت وقراءة الكلمات معاً، يصبح أفضل بكثير في فهم مدى الضيق الذي يشعر به الشخص بالفعل، خاصة عندما يروي الصوت قصة مختلفة عن الكلمات.

ملخص تقني: CBT-Audio

بيان المشكلة

تقتصر الأبحاث الحالية في تطبيق الذكاء الاصطناه لـ العلاج المعرفي السلوكي (CBT) بشكل أساسي على التفاعلات القائمة على النصوص. وبينما تم تقييم النماذج اللغوية الكبيرة (LLMs) في توليد الاستجابة العلاجية وتصنيف المعرفة، فإن هذه التقييمات تعتمد على النصوص المكتوبة، مما يخلق "نقطة عمياء" كبيرة. ففي الممارسة الإكلينيكية، يعتمد المعالجون بشكل كبير على الإشارات الصوتية غير اللفظية — مثل النبرة، والسرعة، والتردد، والارتجاف، وطبقة الصوت — لتقييم ضيق المريض، وغالبًا ما يفسرون عدم التطابق بين ما يقوله المريض وكيفية قوله له. إن مجموعات البيانات والمعايير الحالية (مثل Cactus وDiaCBT وRealCBT) هي إما اصطناعية أو نصية فقط، مما يفشل في التقاط التباين العاطفي وأنماط التفاعل الموجودة في الجلسات الكلامية الحقيقية. علاوة على ذلك، فإن الأبحاث القائمة على الكلام في مجال الصحة العقلية (مثل DAIC-WOZ) تركز بشكل كبير على التصنيف التشخيصي بدلاً من تقدير شدة الضيق على مستوى الدور (turn-level) داخل الجلسة العلاجية. هناك نقص في الموارد لتقييم ما إذا كانت النماذج اللغوية الصوتية (ALMs) يمكنها استخدام الإشارات الصوتية بفعالية لتقدير شدة ضيق المريض في سياقات العلاج المعرفي السلوكي.

المنهجية

بناء مجموعة البيانات: CBT-Audio

يقدم المؤلفون CBT-Audio، وهي مجموعة بيانات مصممة لتقييم تقدير ضيق المريض من جلسات العلاج المعرفي السلوكي المنطوقة.

المادة المصدرية: تتكون مجموعة البيانات من 1,802 دوراً للمريض مستخرجة من 96 تسجيلاً تعليمياً متاحاً للجمة في مجال العلاج المعرفي السلوكي (حوالي 20 ساعة إجمالاً) مستضافة على YouTube. تتميز هذه التسجيلات بتمثيل أدوار وحالات دراسية حيث يلعب "المريض" ممثل أو متدرب أو إكلينيكي، مما يضمن عدم وجود أي معرفات لمرضى حقيقيين.
خط معالجة البيانات:
1. استخراج الأدوار: تم استخدام WhisperX (باستخدام Whisper-large-v3) للنسخ النصي والمحاذاة القسرية، بينما قام pyannote speaker-diarization-3.1 بتعيين تسميات المتحدثين. تم دمج مقاطع المتحدث نفسه المتتالية التي تفصل بينها أقل من خمس ثوانٍ.
2. تصنيف الأدوار: تمت معالجة النصوص بواسطة Claude Sonnet 4.5 للتمييز بين أدوار المعالج وأدوار المريض بناءً على الأنماط الحوارية.
3. التصفية: تم الاحتفاظ فقط بأدوار المريض التي تبلغ مدة صوتها $\ge$ 2 ثانية، مع استبعاد المقاطع المكونة من كلمة واحدة (backchannels).
استراتيجية التسمية:
- المقياس: يتم تقييم شدة الضيق على مقياس ترتيب من 1 إلى 5 مقتبس من مقياس المشاعر الإيجابية والسلبية (PANAS)، يتراوح من "هادئ" (1) إلى "مغمور/مضطرب" (5).
- التسميات المرجعية: تم إنشاؤها باستخدام نهج تقييم التشابه الدلالي (SSR). حيث تم توجيه GPT-audio 1.5 بمقطع صوت المريض وسياق الثلاث أدوار السابقة لتوليد وصف للحالة العاطفية. تم تضمين هذا الوصف باستخدام BGE-m3 ومقارنته عبر تشابه جيب التمام (cosine similarity) ضد خمسة تعريفات مرجعية. التعريف المرجعي صاحب أعلى درجة تشابه هو الذي حدد التسمية. تمت إعادة العملية ثلاث مرات، وكان تصويت الأغلبية (الوسيط في حالة التعادل) هو التسمية المرجعية النهائية.
- التحقق: تم ترميز مجموعة فرعية مكونة من 194 مقطعاً من قبل خمسة خبراء ذوي خلفيات إكلينيكية وبحثية. اتفق إجماع الخبراء مع التسميات المرجعية ضمن نطاق $\pm$ 1 في 81.4% من المقاطع، مع اتفاق متوسط بين المقيمين (Krippendorff's $\alpha$ = 0.439).

الإعداد التجريبي

النماذج: تم تقييم عشرة من النماذج اللغوية الصوتية مفتوحة المصدر (ALMs)، بما في ذلك SALMONN-7B، وMiniCPM-o -2.6، وPhi-4-Multimodal، وQwen2.5-Omni، وQwen3-Omni، وKimi-Audio، وUltravox، وAudio Flamingo 3، وVoxtral-Mini، وGemma-4-E4B. تمثل هذه النماذج بنيات متنوعة (مثل مشفرات تعتمد على Whisper، ومشفرات صوتية مخصصة، وهياكل MoE).
ظروف المدخلات: تم اختبار كل نموذج تحت ثلاثة ظروف:
1. الصوت فقط (AO): مقطع صوت المريض + سياق 3 أدوار (النص).
2. النص فقط (TO): نص المريض + سياق 3 أدوار.
3. الصوت + النص (AT): مقطع صوت المريض + نص المريض + سياق 3 أدوار.
المهمة: تم توجيه النماذج لإخراج رقم صحيح واحد (1–5) لتقدير شدة ضيق المريض.
المقاييس: المقياس الأساسي كان متوسط الخطأ المطلق (MAE). شملت المقاييس الثانوية دقة الخطأ بواحد ( $A_1$ )، وارتباط رتب سبيرمان ( $\rho$ )، ومعامل كوهنز كابا الموزون تربيعياً (QWK)، وجذر متوسط مربع الخطأ (RMSE). تم تقييم الأهمية الإحصائية باستخدام اختبار ويلكوكسون لعلامات الرتب المزدوجة لكل دور.

النتائج الرئيسية

الأداء العام

الأفضل أداءً: حقق كل من Gemma-4-E4B وQwen3-Omni-30B-A3B أدنى قيم لـ MAE. حقق Gemma-4-E4B أفضل أداء مع مدخلات (الصوت + النص) (MAE 0.720)، بينما حقق Qwen3-Omni أفضل أداء مع (الصوت فقط) (MAE 0.785).
تباين النماذج: تباين الأداء بشكل كبير عبر عائلات النماذج. على سبيل المثال، كان SALMONN-7B نموذجاً شاذًا بوضوح مع معدلات خطأ عالية (MAE > 1.6)، بينما كان Voxtral-Mini (بـ 3.6 مليار معلمة) يعمل بشكل مشابه لنماذج تبلغ ضعف حجمه. لم يظهر عدد المعلمات ارتباطًا واضحًا بالأداء ضمن نطاق الـ 7–8 مليار معلمة.

تأثير نمط المدخلات

الصوت مقابل النص: لم يتفوق مدخل الصوت فقط باستمرار على مدخل النص فقط. في الواقع، بالنسبة لبعض النماذج (مثل Ultravox وSALMONN)، كان وضع النص فقط هو الأفضل.
الصوت + النص: أدى الجمع بين الصوت والنصوص إلى تحسينات أكثر اتساقًا. في 8 من أصل 10 عائلات نماذج، أدى إضافة الصوت إلى النص إلى تحسين تقدير الضيق مقارنة باستخدام النص وحده. كان هذا التحسن ذا دلالة إحصائية ( $p < 0.05$ ) لأربعة نماذج: Audio Flamingo 3، وKimi-Audio-7B، وGemma-4-E4B، وQwen3-Omni-30B-A3B.
دراسات الحالة: كشف تحليل حالات محددة أن الصوت يوفر القيمة الأكبر عندما يختلف المحتوى اللفظي مع الأداء الصوتي.
- التقليل من الشأن بسبب النص: عندما أعرب المريض لفظيًا عن اليأس ولكن بصوت قريب من البكاء ومتردد، قللت النماذج التي تعتمد على النص فقط من تقدير الضيق، بينما صححت النماذج المدعومة بالصوت ذلك.
- المبالغة في التقدير بسبب النص: عندما وصف المريض أعراض القلق لفظيًا ولكن بصوت ثابت ومسيطر (أو ضحك)، بالغت النماذج التي تعتمد على النص فقط في تقدير الضيق، بينما ساعدت الإشارات الصوتية النماذج على إدراك غياب الضيق الحاد الفوري.
- التوافق: عندما توافقت الكلمات مع الصوت، كان أداء جميع ظروف المدخلات متشابهًا.

الأهمية والادعاءات

يزعم البحث أن CBT-Audio يعالج فجوة حرجة في الذكاء الاصطناعي للصحة العقلية من خلال جعل السلوك الكلامي للمريض قابلًا للقياس للتقييم. لا يدعي المؤلفون أنهم بنوا نظامًا تشخيصيًا إكلينيكيًا، بل يوضحون أن:

الصوت يوفر معلومات تكميلية: تحتوي الإشارات الصوتية على إشارات الضيق التي لا تلتقطها النصوص، لا سيما عند وجود عدم تطابق بين المحتوى وطريقة الإلقاء.
النماذج اللغوية الصوتية الحالية يمكنها الاستفادة من هذه الإشارات: رغم أن الصوت وحده ليس بديلًا عالميًا للنص، إلا أن الجمع بين الصوت والنصوص يسمح للنماذج مفتوحة المصدر الحالية بتقدير شدة ضيق المريض بشكل أفضل.
الاتجاه المستقبلي: يدعم العمل الحجة بأن نماذج العلاج المعرفي السلوكي المستقبلية يجب أن تُصمم وتُقيم كنماذج للتفاعل العلاجي الكلامي، وليس مجرد توليد نصوص. يوفر CBT-Audio أساسًا لتطوير أنظمة أكثر أمانًا واعية للصوت في التفاعل مع الصحة العقلية، وتقييم قدرة النماذج على اكتشاف فروق الضيق لدى المرضى.

القيود

يقر المؤلفون بعدة قيود:

مصدر البيانات: جميع التسجيلات باللغة الإنجليزية وتتميز بتمثيل ممثلين أو متدربين بدلاً من مرضى حقيقيين يسعون للعلاج، مما قد يحد من إمكانية تعميم النطاقات العاطفية مقارنة بالعلاج في العالم الحقيقي.
الأتمتة: اعتمد استخراج الأدوار على التمييز والنسخ النصي الآلي، مما قد يؤدي إلى حدوث أخطاء، خاصة مع تداخل الكلام.
النطاق: تقيس التسميات الضيق المُدرك من التفاعل الملحوظ، وليس التشخيص الإكلينيكي أو التقرير الذاتي للمريض. مجموعة البيانات مخصدة للتقييم البحثي، وليس للتقييم الإكلينيكي.