🤖 machine learning

Safety and accuracy follow different scaling laws in clinical large language models

تقدم الورقة إطار عمل SaFE-Scale ومعيار RadSaFE-200 لإثبات أن سلامة النماذج اللغوية الكبيرة السريرية ليست نتاجاً سلبياً لعملية التوسع، بل هي خاصية تعتمد على عملية النشر حيث تساهم الأدلة عالية الجودة بشكل كبير في تقليل الأخطاء الخطيرة، في حين تفشل عمليات الاسترجاع القياسية وزيادة الحوسبة في تكرار مكاسب السلامة هذه.

المؤلفون الأصليون: Sebastian Wind, Tri-Thien Nguyen, Jeta Sopa, Mahshad Lotfinia, Sebastian Bickelhaup, Michael Uder, Harald Köstler, Gerhard Wellein, Sven Nebelung, Daniel Truhn, Andreas Maier, Soroosh Tayebi Arasteh

نُشر 2026-05-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sebastian Wind, Tri-Thien Nguyen, Jeta Sopa, Mahshad Lotfinia, Sebastian Bickelhaup, Michael Uder, Harald Köstler, Gerhard Wellein, Sven Nebelung, Daniel Truhn, Andreas Maier, Soroosh Tayebi Arasteh

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الفكرة الكبرى: الأكبر ليس دائماً الأكثر أماناً

تخيل أنك تقوم بتعيين فريق من طلاب الطب لمساعدتهم في تشخيص المرضى. قد تفترض أنك إذا وظفت "الأذكى" (أكبر نموذج ذكاء اصطناٍعي) أو أعطيتهم مكتبة ضخمة ليقرؤوا منها (بيانات أكثر)، فإنهم سيقومون تلقائياً بارتكاب أخطاء أقل خطورة.

تجادل هذه الورقة البحثية بأن هذا الافتراض خاطئ. ففي عالم الطب عالي المخاطر، لا يضمن مجرد جعل النموذج "أذكى" أو "أكبر" كونه آمناً. يمكن للنموذج أن يكون دقيقاً للغاية في المتوسط، ولكنه قد يرتكب بعض الأخطاء الخطيرة والمروعة بكل ثقة.

لقد بنى الباحثون ساحة اختبار جديدة تسمى RadSaFe-200 (فكر فيها كأنها "اختبار قيادة آمن" للذكاء الاصطناعي الطبي) لمعرفة ما الذي يجعل أنظمة الذكاء الاصطناعي هذه آمنة حقاً. لقد اختبروا 34 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي تحت ستة سيناريوهات مختلفة.

السيناريوهات الستة: كيف اختبرنا الذكاء الاصطناعي

لم يكتفِ الباحثون بسؤال الذكاء الاصطناعي أسئلة فحسب؛ بل غيروا كيفية سماحهم للذكاء الاصطناعي بالإجابة. تخيل هذه السيناريوهات كست طرق مختلفة قد يؤدي بها الطالب اختباراً ما:

الكتاب المغلق (Closed-Book): يجب على الطالب الإجابة من ذاكرته فقط. لا يُسمح بالملاحظات.
الأدلة النظيفة (Clean Evidence): يتم إعطاء الطالب ملخصاً مثالياً وواضحاً كتبه طبيب للحقائق مباشرة قبل الاختبار.
الأدلة المتضاربة (Conflict Evidence): يتم إعطاء الطالب الملخص المثالي، ولكن يتسلل شخص ما ويضع جملة واحدة مربكة أو متناقضة.
البحث القياسي (RAG): يُسمح للطالب بالبحث عن الإجابات في موسوعة غير منظمة وغير منقحة (Radiopaedia)، لكنه لا يعرف كيفية تصفية الضجيج.
بحث الوكيل (Agentic RAG): لدى الطالب مساعد ذكي يقوم بالبحث في الموسوعة، ويقرأ النتائج، ويلخصها للطالب.
السياق الأقصى (Max Context): يتم إلقاء الموسوعة بأكملها في حجر الطالب، على أمل أن يتمكن من العثد على الصفحة الصحيحة وسط الفوضى.

النتائج المفاجئة

1. قوة "الأدلة النظيفة" الخارقة

كان الاكتشاف الأكبر هو أن إعطاء الذكاء الاصطناعي حقائق عالية الجودة ومكتوبة من قبل أطباء كان الشيء الوحيد الذي أصلح مشاكل السلامة حقاً.

التشبيه: تخيل طالباً يؤدي اختباراً. إذا أعطيته ورقة غش كتبها طبيب حائز على جائزة نوبل، فسيصيب في كل شيء تقريباً ولن يرتكب أخطاء خطيرة نادراً.
البيانات: عندما حصل الذكاء الاصطناعي على هذه "الأدلة النظيفة"، قفزت الدقة من 73.5% إلى 94.1%. والأهم من ذلك، انخفضت الأخطاء الخطيرة من 12% إلى 2.6% فقط.

2. فخ "البحث"

اعتقد الباحثون أن منح الذكاء الاصطناٍعي إمكانية الوصول إلى الإنترنت (البحث/RAG) أو مساعد ذكي (Agent) سيجعله أكثر أماناً.

التشبيه: الأمر يشبه إعطاء طالب مكتبة فوضوية. قد يجد الكتاب الصحيح، لكنه قد يقرأ أيضاً تدوينة مربكة ويصبح واثقاً من الإجابة الخاطئة.
النتيجة: حسنت طرق "البحث" الدقة قليلاً، لكنها لم تعالج مشابكل السلامة. ظل الذكاء الاصطناعي يرتكب أخطاء خطيرة، وفي بعض الأحيان أصبح أكثر ثقة في إجاباته الخاطئة.

3. أسطورة "الدماغ الكبير"

لقد اختبروا نماذج تتراوح من الصغيرة جداً إلى الضخمة (بعضها يحتوي على مئات المليارات من المعلمات/Parameters).

التشبيه: قد تعتقد أن طالب دكتوراه عبقري أكثر أماناً من طالب ثانوي. لكن في هذا الاختبار، لا يزال طالب الدكتوراه يرتكب نفس الأخطاء المحددة والخطيرة التي يرتكبها طالب الثانوي إذا لم تكن لديه الملاحظات الصحيحة.
النتيجة: لم يجعل تكبير حجم النموذج النظام أكثر أماناً بشكل تلقائي. جودة المعلومات المقدمة للنموذج كانت أهم بكثير من حجم "دماغ" النموذج نفسه.

4. فخ الثقة

كان أحد أكثر الاكتشافات رعباً هو ما يتعلق بـ الثقة.

التشبيه: تخيل طالباً يجيب على سؤال بشكل خاطئ ولكنه يقول: "أنا متأكد بنسبة 100% أنني على حق!" بوجه جامد.
النتيجة: غالباً ما كان الذك_ الاصطناعي واثقاً بشكل خطير عندما يخطئ. لم يهم إذا كان النموذج صغيراً أم كبيراً؛ فعندما يرتكب خطأ طبياً عالي المخاطر، فإنه عادة ما يكون واثقاً جداً من ذلك. لا يمكنك الوثوق بـ "مقياس الثقة" الخاص بالذكاء الاصطناعي لتعرف ما إذا كان آمناً أم لا.

5. مشكلة "تفكير الجماعة"

حاولوا وضع ثلاثة نماذج مختلفة من الذكاء الاصطناٍعي معاً للتصويت على إجابة ("Ensemble")، على أمل أن يصحح كل منهم أخطاء الآخر.

التشبيه: الأمر يشبه لجنة من ثلاثة أطباء. ستعتقد أنه إذا أخطأ أحدهم، فسيقوم الآخرون بتصحيحه.
النتيجة: في بعض الأحيان، ارتكب الثلاثة نماذج نفس الخطأ الخاطئ في نفس الوقت. وهذا ما يسمى بـ "الفشل المتزامن". عندما يتفق فريق من نماذج الذكاء الاصطناعي على إجابة خاطئة، يمكنهم خداع البشر ليعتقدوا أن الإجابة صحيحة بالتأكيد، مما يجعل الموقف أكثر خطورة.

الخلاصة

تخلص الورقة البحثية إلى أن السلامة ليست نتيجة تلقائية لجعل الذكاء الاصطناٍعي أكبر أو أسرع.

التوسع (Scaling up) (جعل النماذج أكبر) يساعد قليلاً، لكنه لا يحل مشكلة السلامة.
إضافة المزيد من القدرة الحسابية (Compute) (ترك الذكاء الاصطناعي يفكر لفترة أطول أو يصوت عدة مرات) لا يعالج القضايا الجوهرية.
الشيء الوحيد الذي نجح: هو تغذية الذكاء الاصطناٍعي بأدلة نظيفة وعالية الجودة ومنسقة من قبل أطباء قبل أن يجيب.

الخلاصة المستفادة: إذا كنت تريد ذكاءً اصطناعياً طبياً آمناً، فلا تشترِ فقط أكبر نموذج متاح. بدلاً من ذلك، ركز على بناء نظام يزوده بأفضل المعلومات وأكثرها موثوقية ممكنة. جودة "الملاحظات" التي يقرأها الذكاء الاصطناٍعي هي أهم من حجم "الطالب" الذي يقرأها.

ملخص تقني: السلامة والدقة تتبعان قوانين توسع مختلفة في النماذج اللغوية الكبيرة السريرية

بيان المشكلة
يتم نشر النماذج اللغوية الكبيرة (LLMs) السريرية بشكل متزايد لدعم اتخاذ القرار، وغالبًا ما يتم ذلك تحت افتراض أن توسيع حجم النموذج، أو طول السياق، أو حسابات وقت الاستدلال سيؤدي بطبيعته إلى تحسين السلامة. ومع ذلك، في المجالات السريرية مثل الأشعة، لا تُعد السلامة مجرد دالة لمتوسط الدقة. فقد يحقق النموذج دقة عالية مع الاحتفاظ بمجموعة فرعية صغيرة من "الأخطاء عالية المخاطر" — وهي إجابات خاطئة يمكن أن تغير الإدارة السريرية، أو تتعارض مع الأدلة، أو تُقدم بثقة مفرطة وخطيرة. غالبًا ما تعامل الاختبارات المعيارية التقليدية جميع الإجابات الخاطئة على أنها متكافئة، مما يفشل في التمييز بين الأخطاء غير الضارة والأخطاء ذات العواقب السريرية الوخيمة. ويفترض المؤلفون أن الأخطاء المتعلقة بالسلامة هي أخطاء نادرة، وغير متماثلة، وذات بنية سريرية، مما يعني أن استراتيجيات التوسع التي تحسن متوسط الأداء قد لا تخفف من أنماط الفشل المحددة وعالية المخاطر هذه.

المنهجية
لمعالجة هذه الفجوة، قدم المؤلفون إطار عمل SaFE-Scale (التقييم الموجه للسلامة في التوسع)، وهو إطار لقياس كيفية تغير سلامة النماذج اللغوية الكبيرة السريرية عبر حجم النموذج، وجودة الأدلة، واستراتيجية الاسترجاع، والتعرض للسياق، وحسابات وقت الاستدلال.

بناء الاختبار المعياري (RadSaFE-200): تستخدم الدراسة RadSaFE-200، وهو اختبار معياري لسلامة الأشعة يتكون من 200 سؤال من نوع الاختيار من متعدد. تم تجميع مجموعة البيانات من مجموعات منشورة سابقًا (RadioRAG، RaR) وحالات تم تنسيقها حديثًا. ومن الأهمية بمكان أن يتضمن كل سؤال:
- "أدلة نظيفة" (استنتاج سريري موجز وصحيح) محددة من قبل الأطباء.
- "أدلة متضاربة" (أدلة نظيفة بالإضافة إلى جملة مشتتة أو متضاربة جزئيًا).
- تسميات على مستوى الخيارات تشير إلى ما إذا كان خيار إجابة معين يشكل خطأً عالي المخاطر (ضرر سريري محتمل)، أو إجابة غير آمنة (تتعارض مع معايير الرعاية)، أو تضاربًا في الأدلة.
التصميم التجريبي: قيم المؤلفون 34 نموذجًا لغويًا كبيرًا تم نشرها محليًا عبر سبع عائلات (Qwen، Llama، Gemma، MedGemma، DeepSeek، Mistral، OpenAI-OSS) تتراوح من 0.5 مليار إلى 685 مليار معلمة. اتبع التقييم تصميمًا عاملاً كاملاً عبر ستة ظروف للنشر:
- الكتاب المغلق (Closed-book): التلقين بدون أدلة خارجية (Zero-shot prompting).
- الأدلة النظيفة: التلقين باستخدام أدلة منسقة ومكتوبة من قبل الأطباء.
- الأدلة المتضاربة: التلقين بأدلة تحتوي على عنصر مشتت.
- RAG القياسي (Standard RAG): التوليد المعزز بالاسترجاع باستخدام خط معالجة ثابت وموقع Radiopaedia كمصدر.
- RAG الوكيل (Agentic RAG): إطار عمل الاسترجاع والاستنتاج (RaR) الذي يتضمن إعادة صياغة الاستعلام وتوليف المعلومات عبر خطوات متعددة.
- السياق الأقصى (Max-context): التلقين باستخدام أقصى نافذة سياق ممكنة.

بحثت التجارب الثانوية في حسابات وقت الاستدلال عبر الاتساق الذاتي (التصويت بالأغلبية على 20 عينة) والمجموعات المكونة من ثلاثة نماذج ثابتة (التصويت بالأغلبية عبر نماذج غير متجانسة).

المقاييس: شملت النتائج الأولية معدل الخطأ عالي المخاطر، ومعدل الإجابة غير الآمنة، ومعدل التضارب، والثقة الخطيرة (المُعرفة بأنها إجابة خاطئة وعالية المخاطر مع ثقة $\ge$ 0.80 بعد تطبيع الإنتروبيا). تم الإبلاغ عن الدقة كنقطة نهاية ثانوية.

النتائج الرئيسية
تظهر الدراسة أن السلامة والدقة ينفصلان بشكل كبير عبر ظروف النشر المختلفة:

جودة الأدلة هي المهيمنة: جاء التحسن الأكثر أهمية في كل من الدقة والسلامة من توفير أدلة نظيفة ومكتوبة من قبل الأطباء. أدى ذلك إلى نقل متوسط دقة النماذج من 73.5% (الكتاب المغلق) إلى 94.1% وخفض الأخطاء عالية المخاطر من 12.0% إلى 2.6%. كما انخفضت الثقة الخطيرة من 8.0% إلى 1.6%.
محدودية الاسترجاع والاستنتاج الوكيل: بينما أدى RAG القياسي وAgentic RAG إلى تحسين الدقة مقارنة بالتلقين بالكتاب المغلق (76.0% و78.1% على التوالي)، إلا أنهما فشلا في إعادة إنتاج ملف السلامة الخاص بالأدلة النظيفة. وعلى الرغم من أن Agentic RAG حسن الدقة مقارنة بـ Standard RAG، إلا أنه أدى إلى زيادة في الثقة الخطيرة (8.0% مقابل 5.7%)، مما يشير إلى أن تحسين دمج الأدلة لا يقضي تلقائيًا على الأخطاء الواثقة وعالية المخاطر.
عدم فعالية حجم النموذج والحسابات:
- حجم النموذج: ضمن عائلات النماذج، حسنت المعلمات الأكبر النماذج الأساسية للكتاب المغلق ولكنها لم تقضِ على الأخطاء عالية المخاطر. ضغطت الأدلة النظيفة التباين بين العائلات، مما يشير إلى أن جودة الأدلة هي محدد أقوى للسلامة من حجم النموذج.
- طول السياق: زاد التلقين بالسياق الأقصى من زمن الاستجابة (27.0 ثانية مقابل 18.0 ثانية) دون سد فجوة السلامة، مما أسفر عن دقة مماثلة للتلقين بالكتاب المغلق (74.0%).
- حسابات وقت الاستدلال: قدم الاتساق الذاتي مكاسب طفيفة فقط في الدقة (+0.39%) وفي السلامة، وفشل في تقليل الأخطاء عالية المخاطر بشكل كبير.
- المجموعات (Ensembles): بينما حسنت المجموعات الدقة الإجمالية بالنسبة لمتوسط اللوحة، إلا أنها تسببت في فشل متزامن، حيث اختار الأعضاء الثلاثة نفس الخيار الخاطئ. كانت العديد من أخطاء المجموعات عالية المخاطر بالإجماع، ولم تتفوق المجموعات باستمرار على العضو الأكثر أمانًا فيها.
الثقة كإشارة: وُجد أن الثقة هي مرشح غير موثوق للسلامة. حافظت النماذج على ثقة عالية (غالبًا >85%) حتى عندما أنتجت أخطاء عالية المخاطر أو غير آمنة. كانت الفجوة بين الثقة في الإجابات الصحيحة والأخطاء عالية المخاطر صغيرة جدًا بحيث لا يمكن استخدامها كمرشح للنشر.
تركيز الحالات الأسوأ: لم تكن الإخفاقات ذات العواقب السريرية عشوائية؛ بل تركزت في مجموعة فرعية صغيرة من الأسئلة. أنتجت أعلى 15 سؤالاً من حيث المخاطر أخطاءً عالية المخاطر في أكثر من 50% من لوحة النماذج، وبعض الأسئلة تسببت في معدلات فشل بلغت 100% عبر جميع النماذج الـ 34.

الأهمية والادعاءات
يزعم البحث أن سلامة النماذج اللغوية الكبيرة السريرية ليست نتيجة سلبية للتوسع (حجم النموذج، أو السياق، أو الحسابات)، بل هي خاصية للنشر تشكلها جودة الأدلة، وتصميم الاسترجاع، وبناء السياق.

انفصال المقاييس: يجادل المؤلفون بأن قوانين توسع الدقة لا تنطبق على السلامة. يمكن للنظام أن يصبح أكثر دقة مع بقائه غير آمن إذا لم تعالج استراتيجية النشر (مثل الاسترجاع) الطبيعة المحددة للأخطاء عالية المخاطر.
الأدلة أمر بالغ الأهمية: الرافعة الأساسية للسلامة هي جودة المعلومات المقدمة للنموذج. الأدلة المنسقة والمكتوبة من قبل الأطباء هي الحالة الوحيدة المختبرة التي نقلت النماذج باستمرار إلى "منطقة النشر الآمنة" (الدقة $\ge$ 90%، الخطأ عالي المخاطر $\le$ 5%).
إعادة تقييم استراتيجيات النشر: تشير النتائج إلى أن الاعتماد على الاسترجاع، أو الاستنتاج الوكيل، أو المجموعات وحدها ليس كافيًا للسلامة السريرية. قد تحسن هذه الطرق الأداء المتوسط ولكنها تترك أخطاء متبقية عالية الثقة تشكل مخاطر سريرية.
التحول في التقييم: يدعو البحث إلى تحول في تقييم النماذج اللغوية الكبيرة السريرية من تقارير الدقة ذات المعيار الواحد إلى توصيف السلامة متعدد الأبعاد الذي يقيس صراحةً الأخطاء عالية المخاطر، والتناقضات، والإخفاقات المتزامنة. ويُقدم RadSaFE-200 وSaFE-Scale كأدوات لتمكين هذا النوع من تحليل السلامة التفصيلي والمحدد حسب حالة النشر.

يخلص المؤلفون إلى أن الأنظمة السريرية الأكثر أمانًا التي تعمل بالذكال الاصطناعي تتطلب قياسًا صريحًا للسلامة على مستوى النشر، مع إعطاء الأولوية لتقليل الأخطاء عالية المخاطر من خلال ضوابط جودة الأدلة بدلاً من افتراض أن السلامة ستظهر من خلال توسيع معلمات النموذج أو حسابات وقت الاستدلال.