MEDIC: Comprehensive Evaluation of Leading Indicators for LLM Safety and Utility in Clinical Applications

تخيل عالماً تستطيع فيه الحواسيب القراءة والكتابة مثل البشر. هذه البرامج الذكية، التي تُسمى "نماذج اللغات الكبيرة" (LLMs)، تشبه المكتبات الرقمية التي ابتلعت كل كتاب تقريباً على الإنترنت. إنها بارعة جداً في الإجابة على أسئلة المعلومات العامة لدرجة أنها قد تتفوق أحياناً على الأطباء البشر في الاختبارات الطبية. ولكن هنا تكمن المشكلة: معرفة حقيقة ما تختلف تماماً عن استخدامها لإصلاح مشكلة حقيقية. الأمر يشبه معرفة قواعد لعبة البيسبول بدقة، لكنك تفشل في الإمساك بكرة طائرة عندما تبدأ المباراة فعلياً.

لفترة طويلة، اختبر العلماء هذه النماذج من الذكاء الاصطناائي باستخدام اختبارات ثابتة، تشبه الاختبارات متعددة الخيارات التي يخوضها الطلاب في المدارس. وإذا حقق النموذج درجة عالية، يفترض الناس أنه جاهز للعالم الحقيقي. ومع ذلك، فإن مجرد قدرة النموذج على استرجاع نص من كتاب طبي لا يعني أنه يستطيع بأمان حساب جرعة دواء، أو كتابة أمر برمجي للوصق إلى سجلات المرضى، أو رصد خطأ خطير في ملاحظة طبيب. السؤال الكبير هو: كيف نعرف ما إذا كانت هذه المساعدات الرقمية آمنة ومفيدة حقاً قبل أن نطلق سراحها في المستشفيات؟ هنا يأتي دور البحث الجديد، الذي يحاول بناء اختبار أفضل ينظر إلى ما يمكن للذكاء الاصطناعي "فعله"، وليس فقط ما "يعرفه".

---

تقرير MEDIC: لماذا لا يكفي أن تكون "مثقفاً بالكتب"

تعرفوا على MEDIC. لا، ليس دواءً جديداً للبرد؛ بل هو "تقرير درجات" جديد كلياً وشديد التفصيل، صُمم لتقييم قدرة الذكاء الاصطناعي على التعامل مع الوظائف الطبية الواقعية. أدرك الفريق وراء هذه الدراسة، الذي يعمل في M42 وADIA Lab في أبوظبي، أن الطريقة القديمة لاختبار الذكاء الاصطناعي كانت تشبه الحكم على طاهٍ فقط بناءً على مدى قدرته على تسمية المكونات، دون سؤاله أبداً عن طهي وجبة.

بنى الباحثون إطار عمل يسمى MEDIC (والذي يرمز إلى التقييم الشامل للمؤشرات الرائدة) لفحص خمس "عضلات" مختلفة لعقل الذكاء الاصطناعي:

1. الاستدلال الطبي: هل يمكنه استنتاج ما يعاني منه المريض؟
2. الأخلاقيات والتحيز: هل هو عادل مع الجميع ويحترم الخصوصية؟
3. فهم البيانات: هل يمكنه قراءة ملاحظات الأطباء غير المنظمة وتحويلها إلى بيانات نظيفة؟
4. التعلم أثناء العمل: هل يمكنه استخدام معلومات جديدة تُقدم له في اللحظة الحالية لحل مشكلة؟
5. السلامة: هل يمكنه رصد الأخطاء ورفض القيام بأشياء خطيرة؟

الفجوة الكبرى بين "المعرفة" و"العمل"

أكثر شيء مفاجئ وجده الفريق هو أن كونك "مثقفاً بالكتب" لا يضمن لك القدرة على "أداء العمل". لقد اختبروا عشرات من أذكى نماذج الذكال الاصطناعي في العالم. بعض هذه النماذج تشبه أدمغة ضخمة بمليارات الروابط، بينما البعض الآخر أصغر حجماً ولكنه أسرع.

عندما أعطوا النماذج أسئلة معلومات طبية قياسية (مثل "ما هو علاج المرض X؟")، سجلت النماذج درجات عالية جداً. كان الأمر يشبه طالباً يتفوق في الامتحان النهائي. ولكن بعد ذلك، قام الباحثون بتغيير الاختبار إلى مهام تشغيلية. فبدلاً من مجرد الإجابة على الأسئلة، كان على النماذج القيام بـ:

• إجراء عمليات حسابية طبية دقيقة لحساب جرعات الأدوية.
• كتابة كود برمجي (SQL) لسحب سجلات مرضى محددين من قاعدة بيانات.
• كتابة ملخص لتاريخ مريض طويل دون اختلاق معلومات.

النتيجة؟ انهارت الدرجات. النماذج التي كانت مثالية في أسئلة المعلومات العامة فشلت فشلاً ذريعاً في الرياضيات والبرمجة. إنه يشبه طالباً يمكنه تسميع كتاب قواعد كرة القدم كاملاً، لكنه يتعثر بالكرة بمجرد بدء اللعبة. تشير الورقة البحثية إلى أن مجرد معرفة الذكاء الاصطناعي للحقائق لا يعني امتلاكه "ذاكرة عضلية" لاستخدامها بأمان في مستشفى حقيقي.

فخ "الهلوسة" وأداة المحقق الجديدة

أحد أكبر المخاوف المتعلقة بالذكاء الاصطناعي هو "الهلوسة" — عندما يقوم الكمبيوتر باختلاق حقائق غير صحيحة بكل ثقة. في المستشفى، قد يكون اختلاق حقيقة ما أمراً مميتاً.

ولإمساك هذا الخطأ، ابتكر الفريق حيلة ذكية تسمى إطار الاستجواب المتقاطع (CEF). تخيل محققاً يستجوب شاهداً؛ فبدلاً من مجرد سؤاله "هل رأيت الجريمة؟"، يسأله المحقق "إذا كنت قد رأيت الجريمة، فما هو لون السيارة؟" ثم يتحقق مما إذا كانت الإجابة تتطابق مع القصة.

استخدم الباحثون هذه الطريقة لاستجواب الذكاء الاصطناعي حول كتاباته الخاصة. طلبوا من الذكاء الاصطناعي تلخيص قصة مريض، ثم سألوا الذكاء الاصطناعي أسئلة محددة حول ذلك الملخص لمعرفة ما إذا كان يقول الحقيقة.

• وجدوا أن النماذج الأكبر ليست دائماً هي الأفضل. في الواقع، كانت بعض النماذج الضخمة أكثر عرضة لتناقض نفسها أو اختلاق تفاصيل مقارنة بالنماذج الأصغر والمتخصصة.
• اكتشفوا أيضاً أن الطرق القديمة لتقييم الذكاء الاصطناعي (عدّ كم عدد الكلمات التي تطابق إجابة مثالية) كانت عديمة الفائدة. الأمر يشبه تقييم قصيدة عبر عدّ كم مرة تظهر فيها كلمة "الـ"؛ فهذا لا يخبرك ما إذا كانت القصيدة ذات معنى. كانت طريقة "المحقق" الجديدة أفضل بكثير في رصد الأكاذيب.

مشكلة السلامة "الخاملة" مقابل "النشطة"

كشفت الورقة أيضاً عن فجوة مخيفة في السلامة.

• السلامة الخاملة (Passive Safety): وهي عندما يرفض الذكاء الاصطناعي القيام بشيء سيء، مثل "اكتب وصفة لسم". أظهرت الاختبارات أن معظم النماذج بارعة في هذا؛ فهي تقول "لا" بكل أدب.
• السلامة النشطة (Active Safety): وهي عندما يتعين على الذكاء الاصطناعي النظر في ملاحظة طبيب وقول: "انتظر، هذه الجرعة خاطئة!" أو "هذا المريض لديه حساسية من هذا الدواء!".

وهنا تكمن المشكلة: النماذج التي كانت بارعة جداً في قول "لا" للطلبات السيئة، كانت غالباً سيئة جداً في رصد الأخطاء في الملاحظات الطبية الحقيقية. الأمر يشبه وجود حارس أمن بارع جداً في منع الناس من إدخال الأسلحة، ولكنه يتجاهل تماماً الشخص الموجود بالفعل في الداخل ويحاول سرقة درج النقود. تشير الورقة إلى أن تدريب السلامة الحالي يجعل الذكاء الاصطناعي مهذباً أكثر من اللازم ليكون محققاً جيداً.

لا يوجد "نموذج خارق" واحد يفوز

أخيراً، نظر الباحثون في لوحة الصدارة. كانوا يأملون في العث على نموذج "بطل" واحد يكون الأفضل في كل شيء. النتيجة: لا يوجد بطل.

أظهرت النتائج مزيجاً فوضوياً. قد يكون النموذج هو الأفضل في الرياضيات ولكنه سيء في كتابة الملخصات. وقد يكون رائعاً في رصد الأخطاء ولكنه سيء في اتباع التعليمات. الأمر يشبه فريق رياضي يكون فيه أفضل مهاجم هو أسوأ حارس مرمى. تخلص الورقة إلى أننا لا نستطيع مجرد اختيار ذكاء اصطناعي واحد "أفضل" للمستشفى، بل نحتاج إلى نهج "المحفظة" (Portfolio) — أي استخدام نماذج مختلفة لمهام مختلفة، مثل استخدام الآلة الحاسبة للرياضيات والكاتب للملاحظات، بدلاً من توقع قيام روبوت واحد بكل شيء بشكل مثالي.

الخلاصة

دراسة MEDIC هي بمثابة جرس إنذار. إنها تخبرنا أنه لا يمكننا فقط النظر إلى درجات النموذج في اختبار معلومات عامة ونفترض أنه جاهز للمستشفى. الفجوة بين "معرفة الإجابة" و"أداء الوظيفة" هائلة. وللحفاظ على سلامة المرضى، نحتاج إلى اختبار الذكاء الاصطناعي في مهام واقعية، واستخدام طرق أفضل لكشف الأكاذيب، والاعتراف بأنه لا يوجد ذكاء اصطناعي واحد مثالي في كل شيء. لقد جعل المؤلفون لوحة صدارة عامة لكي يتمكن العالم من مراقبة هذه النماذج وهي تحاول التحسن في العمل الحقيقي المتمثل في إنقاذ الأرواح.