A Dataset of Robot-Patient and Doctor-Patient Medical Dialogues for Spoken Language Processing Tasks
تقدم هذه الورقة MeDial-Speech، وهي مجموعة بيانات حوارات طبية جديدة تتجاوز 111 ساعة من الحوارات بين الروبوت والمريض وبين الطبيب والمريض تغطي أربع حالات صحية محددة، إلى جانب معيار لاختيار الجمل يكشف أن النماذج اللغوية الكبيرة ذات القدرات المتطورة تحقق دقة متوسطة ولكنها تظهر ثقة مفرطة كبيرة في توقعاتها.
المؤلفون الأصليون:Heriberto Cuayahuitl, Grace Jang
تخيل أنك تحاول تعليم روبوت كيف يكون طبيباً لطيفاً، ذكياً، وفعالاً. لا يمكنك مجرد تغذيته بكتاب مدرسي؛ بل يحتاج إلى ممارسة التحدث مع الناس، وسماع مخاوفهم، والاستجابة بالكلمات المناسبة. هذا هو بالضبط موضوع هذه الورقة البحثية: إنشاء "صالة ألعاب رياضية" ضخمة للتدريب للروبوتات وأطباء الذكاء الاصطناعي.
إليك قصة مشروعهم الجديد، MeDial-Speech، مقسمة إلى أجزاء بسيطة:
1. "صالة الألعاب الرياضية للتدريب" (مجموعة البيانات)
قام الباحثون ببناء مكتبة ضخمة من المحادثات المسجلة. فكر في الأمر كأنه صالة ألعاب رياضية للذكاء الاصطالي، ولكن بدلاً من رفع الأثقال، يقوم الذكاء الاصطناعي بـ "رفع" المحادثات.
الحجم: سجلوا أكثر من 111 ساعة من الكلام. هذا يشبه الاستماع إلى "بودكاست" بشكل متواصل لمدة خمسة أيام تقريباً.
اللاعبون: لم يسجلوا أطباء حقيقيين ومرضى حقيقيين (لأن ذلك صعب بسبب الحصول على الأذونات). بدلاً من ذلك، استخدموا ممثلين.
"المرضى": لعب 325 متطوعاً (معظمهم من الطلاب) دور أشخاص يعانون من مخاوف صحية محددة: فقدان الذاكرة (خرف أجسام ليوي)، مشاكل القلب، آلام الكتف، وآلام الصدر (الذبحة الصدرية).
"الأطباء": لعب طلاب الطب دور الأطباء.
"الروبوت": وقف روبوت يدعى Pepper في الغرفة. لكن هنا تكمن الخدعة: الروبوت لم يكن يفكر من تلقاء نفسه. كان هناك "محرك دمى" بشري (مشغل عن بُعد) في غرفة أخرى، يرتدي سماعات رأس ويراقب شاشة. عندما يتحدث الروبوت، كان في الواقع طبيب بشري يتحدث من خلال فم الروبوت. يُسمى هذا إعداد "ساحر أوز" (Wizard of Oz)—مثل الساحر في قصة "ساحر أوز" الذي يحرك الرافعات خلف الستار.
2. "المترجم السحري" (كيف عمل النظام)
كان الإعداد يشبه لعبة "الهاتف المكسور" عالية التقنية:
تحدث الطبيب البشري في الميكروفون.
قام الكمبيوتر فوراً بتحويل تلك الكلمات إلى نص (التعرف على الكلام).
أضاف الكمبيوتر علامات الترقيم (مثل النقاط والفواصل) لتبدو الجمل طبيعية.
ثم نطق الروبوت تلك الكلمات بصوت عالٍ لـ "المريض".
أجاب المريض، وقام الروبوت بتسجيل كل شيء.
خلق هذا حلقة واقعية حيث اعتقد "المريض" أنه يتحدث إلى روبوت، لكن "الروبوت" كان في الواقع طبيباً بشرياً متنكراً.
3. "الامتحان" (الاختبار)
لم يكتفِ الباحثون بجمع البيانات فحسب؛ بل وضعوها تحت الاختبار. طلبوا من ثلاثة عقول ذكاء اصطناعي فائقة الذكاء (GPT-5 mini، وDeepSeek-V3، وClaude Sonlet 4) خوض اختبار متعدد الخيارات.
اللعبة: تم إعطاء الذكاء الاصطناعي مقتطفاً من محادثة، وكان عليه اختيار أفضل جملة تالية يجب أن يقولها الطبيب من قائمة تضم 20 خياراً.
التحدي: كان الأمر يشبه لعبة الأسئلة العامة حيث كانت 19 إجابة عبارة عن هراء عشوائي، وإجابة واحدة فقط هي الاستجابة الطبية المثالية.
النتائج:
الفائز: كان Claude Sonlet 4 هو الطالب الأفضل، حيث أجاب على حوالي 71-75% من الأسئلة بشكل صحيح.
المشكلة: حتى الفائز (والآخرون) كان لديهم عيب شخصي كبير: الثقة المفرطة.
التشبيه: تخيل طالباً يؤدي امتحاناً. إذا أجاب على سؤال بشكل صحيح، يشعر بثقة 100%. وإذا أخطأ، فإنه لا يزال يشعر بثقة 100%. كانت نماذج الذكاء الاصطناعي مثله تماماً. لم يكونوا يعرفون متى كانوا يخمنون. كانوا واثقين عندما أخطأوا تماماً كما كانوا واثقين عندما أصابوا.
4. لماذا هذا مهم (وفقاً للورقة البحثية)
تزعم الورقة أن مجموعة البيانات هذه هي مورد مجاني (للاستخدام غير التجاري) لمساعدة الباحثين في بناء روبوتات طبية أفضل.
تساعد في تدريب الذكاء الاصطناعي على فهم كيفية تدفق المحادثات الحقيقية.
تساعد في اختبار ما إذا كان بإمكان الروبوتات التعامل مع "الضجيج" في الحياة الواقعية (مثل عندما يتمتم المريض أو يتحدث بصوت منخفض).
تسلط الضوء على أنه بينما يتحسن الذكاء الاصطناعي في اختيار الكلمات المناسبة، فإنه لا يزال بحاجة إلى تعلم التواضع—أي معرفة متى لا يعرف الإجابة.
الملخص
فكر في هذه الورقة البحثية كأنها إصدار لـ لعبة فيديو ضخمة ومجانية لمطوري الذكاء الاصطناعي. تتضمن اللعبة الاستماع إلى ساعات من الدردشات المحاكية بين الطبيب والمريض. استخدمها الباحثون لإظهار أنه بينما يجيد الذكاء الاصطناعي لعب دور الطبيب، فإنه لا يزال يتصرف مثل أحمق واثق—فهو يعتقد أنه على حق حتى عندما يكون مخطئاً. الهدف هو استخدام هذه البيانات لإصلاح مشكلة الثقة تلك حتى يتمكن الروبوتات يوماً ما من مساعدة البشر بأمان في صحتهم.
ملخص تقني: مجموعة بيانات MeDial-Speech وتقييم النماذج اللغوية الكبيرة (LLM)
1. بيان المشكلة
لا يزال تطبيق النماذج اللغوية الكبيرة (LLMs) على الاستشارات الطبية المنطوقة يمثل تحديًا بحثيًا مفتوحًا. وبينما حققت النماذج اللغوية الكبيرة تقدمًا في المجالات العامة، فإن نشرها في سياقات طبية تفاعلية ومنطوقة يعوقه ندرة مجموعات البيانات عالية الجودة والمتاحة للعموم. إن مجموعات البيانات الطبية القائمة على الكلام هي إما مغلقة المصدر، أو تقتصر على التفاعلات بين البشر والبشر، أو تعتمد بشكل كبير على تعزيز البيانات الاصطناعية. علاوة على ذلك، فإن النماذج اللغوية الكبيرة الطبية الحالية مدربة أساسًا على مجموعات نصوص (Corpora)، وتفتقر إلى التخصص في الفروق الدقيقة للحوارات المنطوقة التفاعلية التي تشمل التفاعلات بين البشر والبشر (Human-Human) وبين البشر والآلات (Robot-Patient). هناك حاجة ماسة لمجموعة بيانات مجانية ومتاحة تدعم تطوير الذكاء الاصطناعي الحواري القادر على إدارة الحالات الطبية غير الطارئة، مما يسهم في تخفيف أعباء العمل عن المتخصصين في الرعاية الصحية.
2. المنهجية
نظام جمع البيانات
طور المؤلفون نظام "ساحر أوز" (Wizard-of-Oz - WOZ) باستخدام روبوت Pepper مجهز بقدرات التحكم عن بُعد.
الإعداد: كان الطبيب البشري (المتحكم عن بُعد) يتواجد في غرفة منفصلة عن الروبوت والمريض. كان المتحكم يدرك المريض عبر البث الصوتي والمرئي وينقل الاستجابات من خلال الروبوت.
معالجة الكلام: بدلاً من نقل الصوت الخام للمتحكم، استخدم النظام تعرفًا مستمرًا على الكلام (نموذج Vosk) للنسخ النصي في الوقت الفعلي، يليه تنقيط تلقائي (FastPunct) وتوليد كلام اصطناعي (Acapela). ضمن ذلك أن يسمع المريض كلامًا روبوتيًا مُصطنعًا بدلاً من صوت الطبيب البشري.
السلوكيات غير اللفظية: تضمن الروبوت تتبع الوجه، وإيماءات الرأس، وإيماءات عشوائية (التحية، الشرح، نعم/لا، من فضلك) لمحاكاة التفاعل الطبيعي.
التسجيل: تم تسجيل الصوت بتردد 16 كيلو هرتز (16 بت، أحادي المسار) لجانب الروبوت/المريض و44 كيلو هرتز (ستيريو) لمخرجات تحويل النص إلى كلام (TTS). كما تم التقاط الفيديو بمعدل 10 إطارات في الثانية (640×480).
تكوين مجموعة البيانات (MeDial-Speech)
المشاركون: 325 مشاركًا غير مدفوعي الأجر (معظمهم من طلاب الجامعات) قاموا بدور المرضى المحاكيين.
الحالات: غطت الحوارات أربع حالات صحية محددة: خرف أجسام ليوي (Lewy body dementia)، وفشل القلب، وآلام الكتف، والذبحة الصدرية.
النطاق: تتكون مجموعة البيانات من 111.4 ساعة من البيانات الصوتية، و581 حوارًا، وحوالي 264,451 كلمة.
التعليقات التوضيحية (Annotations): تشمل البيانات نسخًا نصية يدوية، وتسميات أدوار المتحدث (طبيب، روبوت، مريض، لا أحد)، وملفات التجزئة (Audacity). حوالي 70% من الحوارات تحتوي على نسخ نصي يدوي لكل من أقوال الطبيب والمريض.
التنسيق: تُخزن البيانات في مجلدات منفصلة لكل استشارة، تحتوي على الصوت الخام، والنسخ النصية، والبيانات الوصفية للتجزئة.
بروتوكول القياس المرجعي (Benchmarking)
لتقييم فائدة مجموعة البيانات لمعالجة اللغة المنطوقة (SLP)، اقترح المؤلفون معيار اختيار الجملة الذي يعامل توليد الحوار كمهمة تصنيف.
المهمة: بناءً على سياق الحوار، يجب على النموذج اللغوي الكبير اختيار الاستجابة التالية الأكثر ملاءمة من بين 20 خيارًا (خيار واحد صحيح، و19 خيارًا مشتتًا يتم اختيارهم عشوائيًا من جمل فريدة قالها الطبيب).
النماذج التي تم تقييمها: GPT-5 mini، وDeepSeek-V3، وClaude Sonnet 4.
الحالات:
بدون ضجيج: تم استخدام النسخ النصي اليدوي لجميع الأقوال.
مع وجود ضجيج: تم استبدال أقوال المريض بنصوص ناتجة عن التعرف الآلي على الكلام (ASR) (تم إنتاجها عبر Faster-Whisper) لمحاكاة عدم اليقين في العالم الحقيقي، بينما ظلت أقوال الطبيب يدوية.
المقاييس: الدقة المتوازنة (Balanced Accuracy)، مقياس F1، المساحة تحت المنحنى (AUC)، درجة براير (Brier Score)، تباعد KL، الإنتروبيا المتقاطعة الثنائية (Binary Cross Entropy)، والخطأ في المعايرة المتوقع (ECE).
3. النتائج الرئيسية
أداء النماذج اللغوية الكبيرة
الأفضل أداءً: تفوق نموذج Claude Sonnet 4 على النماذج الأخرى في معظم المقاييس.
بدون ضجيج: 71.19% دقة متوازنة.
مع وجود ضجيج: 74.73% دقة متوازنة.
المتانة ضد الضجيج: أظهر Claude Sonnet 4 وGPT-5 mini متانة ضد ضجيج التعرف الآلي على الكلام (ASR)، بينما أظهر DeepSeek V3 تدهورًا في الأداء.
الأهمية الإحصائية: أشارت الاختبارات الموقعة على التنبؤات الصعبة إلى أن Claude Sonnet 4 كان أفضل بشكل ملحوظ من الآخرين (p<.05). كما أظهرت اختبارات ويلكوكسون (Wilcoxon Signed Rank Tests) فروقًا ذات دلالة إحصائية بين Claude Sonnet 4 وDeepSeek V3 في التنبؤات الناعمة (soft predictions)، رغم أن الفرق بين Claude وGPT-5 mini لم يكن جوهريًا في البيانات المليئة بالضجيج.
المعايرة والإفراط في الثقة
كانت النتيجة الحرجة هي الإفراط في الثقة لدى جميع النماذج التي تم تقييمها.
توزيع الثقة: أظهرت النماذج مستويات ثقة متساوٍ تقريبًا بغض النظر عما إذا كان اختيار الجملة صحيحًا أم خاطئًا.
معامل التداخل (OVL): لوحظ تداخل عالٍ بين التوزيعات الغاوسية (Gaussian distributions) لدرجات الثقة للتنبؤات الصحيحة مقابل الخاطئة (تراوح قيم OVL بين 0.734 و0.927).
الاستنتاج: تفشل النماذج في الفصل بين مستويات الثقة بين التنبؤات الصحيحة والخاطئة، مما يشير إلى الحاجة لتحسين معايرة النماذج لتتماشى الاحتمالات المتوقعة مع الواقع.
4. المساهمات الرئيسية
مجموعة بيانات MeDial-Speech: تقديم مجموعة بيانات جديدة ومجانية تحتوي على أكثر من 111 ساعة من الحوارات الطبية المنطوقة من تفاعلات المريض مع الروبوت والمريض مع الطبيب. وهي فريدة من نوعها لدمجها بين التفاعلات البشرية-الآلية والبشرية-البشرية مع مستويات متعددة من التوضيح.
جمع بيانات واقعي: استخدام نظام روبوت يتم التحكم فيه عن بُعد مع التعرف المستمر على الكلام وتوليد الكلام لخلق بيئة تفاعلية واقعية دون الاعتماد على استجابات واجهة المستخدم الرسومية (GUI) المحددة مسبقًا.
معيار الحوار: إطار تقييم جديد يستخدم اختيار الجملة (اختيار من متعدد من 20 خيارًا) لتقييم النماذج اللغوية الكبيرة في سياقات الحوار الطبي، وتحديدًا اختبار الأداء في ظروف الضجيج (ASR).
التحليل التجريبي للمعايرة: توفر الدراسة دليلًا على أن النماذج اللغوية الطبية الكبيرة المتطورة تعاني من إفراط شديد في الثقة في تنبؤاتها الاحتمالية، مما يسلط الضوء على مجال محدد للتحسين المستقبلي للنماذج.
5. الأهمية والادعاءات
تضع الورقة البحثية MeDial-Speech كأصل تأسيسي لتدريب وتقييم "الذكاء الاصطاء الطبي" (Med-AIs) والأطباء الآليين القادرين على إدارة الحالات غير الطارئة. ومن خلال توفير مجموعة بيانات تسد الفجوة بين تدريب النماذج اللغوية الكبيرة القائم على النصوص وبين الواقع الطبي التفاعلي والمنطوق، يهدف المؤلفون إلى دعم:
تدريب المهارات السريرية: مساعدة طلاب الطب والمتدربين في التواصل والاستنتاج خارج أماكن التدريب السريري.
تطوير الذكاء الاصطناي: تمكين إنشاء روبوتات حوارية لتقديم الرعاية الصحية.
البحث العلمي: تقديم معيار لمهام معالجة اللغة المنطوقة، بما في ذلك كشف النشاط الصوتي (VAD)، والتعرف على الكلام (ASR)، وتوليد الحوار.
يخلص المؤلفون بتواضع إلى أنه بينما تكشف مجموعة البيانات والمعيار عن القيود الحالية (خاصة فيما يتعلق بمعايرة النموذج والإفراط في الثقة)، إلا أنها تمثل خطوة ضرورية نحو تطوير أنظمة طبية تفاعلية وموثوقة. وقد تم إصدار مجموعة البيانات لأغراض غير تجارية لتسهيل المزيد من الأبحاث في هذا المجال.