💬 NLP

Same Patient, Different Words, Different Diagnosis? Evaluating Semantic Stability in Clinical LLMs

تقترح هذه الورقة إطار عمل للتحقق الدلالي ومقاييس جديدة لتقييم استقرار 16 نموذجاً من النماذج اللغوية الكبيرة، السريرية والعامة، تجاه تغيرات المطالبات التي تحافظ على المعنى، مما يكشف أن التخصص في المجال لا يضمن باستمرار تحقيق قدر أكبر من المتانة في سياقات الرعاية الصحية.

المؤلفون الأصليون: Mahdi Alkaeed, Adnan Qayyum, Nabeel Abo Kashreef, Muhammad Bilal, Junaid Qadir

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mahdi Alkaeed, Adnan Qayyum, Nabeel Abo Kashreef, Muhammad Bilal, Junaid Qadir

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات إبداعية.

الفكرة الكبرى: نفس المريض، كلمات مختلفة، تشخيص مختلف؟

تخيل أنك طبيب. لديك مريض يعاني من مجموعة محددة من الأعراض. كتبت ملاحظة تصف الحالة. ثم طلبت من برنامج كمبيوتر (ذكاء اصطناعي) أن يخمن التشخيص.

الآن، تخيل أنك أعدت كتابة تلك الملاحظة. استخدمت كلمات مختلفة، أو غيرت بنية الجملة، أو استبدلت مصطلحاً طبياً بآخر شائع (مثل قول "نوبة قلبية" بدلاً من "احتشاء عضلة القلب"). المعنى هو نفسه تماماً. المريض لم يتغير.

المشكلة: تسأل الورقة البحثية: إذا سألت الذكاء الاصطناعي نفس السؤال بالضبط ولكن بصياغة مختلفة، هل سيعطيك نفس الإجابة؟

للأسเสีย، وجد الباحثون أن نماذج الذكاء الاصطناعي هذه غالباً ما تكون مثل متنبئي الطقبة المتقلبين. إذا سألت "هل ستمطر؟" قد تحصل على إجابة "نعم". ولكن إذا سألت "هل هناك احتمالية لهطول الأمطار؟"، فقد يقول نفس الذكاء الاصطناعي فجأة "لا"، رغم أن الطقس لم يتغير. في المستشفى، هذا النوع من عدم الاستقرار يكون خطيراً.

الحل: "فلتر الحقيقة"

لاختبار هذا الأمر بشكل صحيح، كان على الباحثين أن يكونوا حذرين للغاية. لم يكن بإمكانهم مجرد طلب إعادة صياغة الأشياء من الذكاء الاصطناعي، لأن الذكاء الاصطناعي قد يغير المعنى عن طريق الخطأ (على سبيل المثال، تحويل "لا يوجد ألم" إلى "يوجد ألم").

لقد بنوا فلتر حقيقة متعدد الطبقات لضمان أن الأسئلة متطابقة تماماً في المعنى:

فحص المنطق (NLI): استخدموا "روبوت منطق" خاصاً يتحقق مما إذا كانت جملتان تستلزمان بعضهما البعض منطقياً. إذا كانت الجملة (أ) تعني الجملة (ب)، والجملة (ب) تعني الجملة (أ)، فهما توأمان.
القاضي الذكي (AI Judge): استخدموا ذكاءً اصطناعياً ثانياً، أكثر ذكاءً، للتدقيق في عمل روبوت المنطق.
الطبيب البشري: أخيراً، قام طبيب مرخص وممارس بمراجعة الأسئلة للتأكد من أن الحقائق الطبية (الجرعات، الأعراض، التوقيت) لم تتغير بالخطأ.

الأسئلة التي اجتازت الاختبارات الثلاثة فقط هي التي استُخدمت في التجربة.

التجربة: الأطباء العامون مقابل المتخصصين

اختبر الباحثون 16 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي. وقسموهم إلى مجموعتين:

نماذج عامة الغرض (GP): هذه تشبه العامّين الأذكياء. لقد قرؤوا كل شيء على الإنترنت وهم جيدون في أشياء كثيرة، لكنهم ليسوا خبراء طبيين بالتدريب.
نماذج متخصصة في المجال (DS): هذه تشبه الأطباء المقيمين المتخصصين. لقد تم تدريبهم خصيصاً على الكتب الطبية وسجلات المرضى.

الفرضية: افترض الجميع أن "الأطباء المقيمين المتخصصين" (نماذج DS) سيكونون أكثر استقراراً وموثوقية من "العامّين" (نماذج GP) عندما تتغير الصياغة.

المفاجأة: النماذج المتخصصة لم تفز باستمرار.

أحياناً، كانت النماذج المتخصصة أكثر استقراراً.
وأحياناً، كانت النماذج العامة أكثر استقراراً.
وفي كثير من الأحيان، كان كلاهما مهزوزاً بنفس القدر.

التشبيه: الأمر يشبه اختبار اثنين من الطهاة. أحدهما طباخ ماهر يطبخ الطعام الإيطالي فقط (متخصص)، والآخر طباخ رائع يعرف جميع أنواع المطابخ (عام). تطلب منهما إعداد طبق مكرونة. إذا وصفت الطبق بطريقة مختلفة قليلاً ("اغلِ المعكرونة" مقابل "اطبخ الباستا")، قد تتوقع من الطباخ الإيطالي أن يكون أكثر اتساقاً. لكن الدراسة وجدت أن الطباخ الإيطالي قد يرتبك أحياناً بسبب الكلمات الجديدة، بينما يظل الطباخ العام هادئاً. التخصص وحده لا يضمن الاستقرار.

فخ الثقة: "أنا متأكد، لكني مخطئ"

نظر الباحثون أيضاً في مدى ثقة الذكاء الاصطناعي في إجاباته.

النتيجة: غالباً ما يتصرف الذكاء الاصطناعي مثل طالب مغرور، هو مخطئ ولكنه يعتقد أنه على صواب.
حتى عندما يغير الذكاء الاصطناعي إجابته بسبب تغير الصياغة (مما يظهر عدم استقراره)، فإنه غالباً ما يحافظ على نفس المستوى العالي من الثقة.
التشبيه: تخيل طالباً يؤدي امتحاناً. إذا أعدت صياغة السؤال، فقد يغير إجابته من "أ" إلى "ب". ولكن إذا سألته "ما مدى تأكدك؟"، فسيظل يقول "متأكد بنسبة 100%!". وجدت الورقة أن الثقة العالية ليست علامة جيدة على أن الذكاء الاصطناعي صحيح أو مستقر بالفعل.

النقاط الرئيسية المستخلصة

التغييرات الصغيرة مهمة: تغيير بضع كلمات في موجه (Prompt) طبي يمكن أن يجعل الذكاء الاصطناعي يعطي تشخيصاً مختلفاً تماماً، حتى لو كان المعنى هو نفسه.
التدريب ليس درعاً سحرياً: مجرد تدريب الذكاء الاصطناعي على بيانات طبية لا يعني أنه سيكون أكثر موثوقية عندما تختلف اللغة.
الثقة مضللة: قول الذكاء الاصطناي "أنا متأكد بنسبة 99%" لا يعني أنه لن يغير رأيه إذا سألته بطريقة مختلفة قليلاً.
نحن بحاجة إلى اختبارات أفضل: قبل أن نثق في هذه الأنظمة من الذكاء الاصطناعي في المستشفيات، نحتاج إلى اختبارها ليس فقط لمعرفة ما إذا كانت تعطي الإجابة الصحيحة مرة واحدة، بل لمعرفة ما إذا كانت ستظل ثابتة عندما تتغير الكلمات.

باخت-صريح: تحذرنا الورقة من أن أنظمة الذكاء الاصطناعي الطبية الحالية تشبه المترجمين غير الموثوقين. إذا تحدثت إليها بـ "الإنجليزية الطبية"، فقد تعطيك إجابة واحدة. وإذا تحدثت إليها بـ "الإنجليزية العادية" (حتى لو كانت تعني الشيء نفسه)، فقد تعطيك إجابة مختلفة. نحن بحاجة إلى إصلاح عدم الاستقرار هذا قبل السماح لها بمساعدة الأطباء في علاج المرضى.

ملخص تقني: تقييم الاستقرار الدلالي في النماذج اللغوية الكبيرة السريرية

بيان المشكلة

يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في البيئات السريرية لمهام مثل دعم التشخيص وتوليد الملخصات. ومع ذلك، تُظهر هذه النماذج حساسية كبيرة تجاه التباينات اللغوية الطفيفة في المدخلات (مثل إعادة الصياغة، أو استبدال المترادفات، أو إعادة الترتيب النحوي). وفي بيئات الرعاية الصحية الحرجة التي تتطلب سلامة عالية، يجب أن تؤدي المدخلات المتكافئة دلالياً إلى تنبؤات متسقة؛ ومع ذلك، تشير الأدلة التجريبية إلى أن الأداء يمكن أن ينحرف بنسبة 8-50% تحت مثل هذه التباينات.

يتمثل التحدي المنهجي الأساسي في تقييم عدم الاستقرار هذا في الافتقار إلى التحقق الدلالي الموثوق. فالمناهج الحالية التي تعتمد على مقاييس التشابه القائمة على التضمين (مثل تشابه جيب التمام - cosine similarity) غالباً ما تفشل في التقاط الفروق السريرية الحاسمة المتعلقة بالنفي، أو الزمنية، أو الشدة. على سبيل المثال، قد تحصل جملتا "المريض يعاني من ألم في الصدر" و"المريض ينفي وجود ألم في الصدر" على درجات تشابه عالية رغم اختلاف معانيهما السريرية الجذري. وبدون تحقق صارم من أن متغيرات المطالبة (prompts) تحافظ حقاً على المعنى السريري، يصبح من المستحيل التمييز بين عدم الاستقرار الحقيقي للنموذج وبين الاستجابات المشروعة للمحتوى المعدل.

المنهجية

يقترح المؤلفون إطار عمل منهجياً لتقييم الاستقرار الدلالي باستخدام معيار مرجعي تم التحقق منه بصرامة وثلاثة مقاييس مبتكرة.

1. إطار التحقق الدلالي

لضمان أن متغيرات المطالبة تحافظ على المعنى السريري، طور المؤلفون مسار تحقق متعدد المراحل:

توليد المتغيرات: بدءاً من 200 مطالبة أساسية (100 من MedQA-USMLE و100 من DiagnosisQA)، تم توليد 10 متغيرات حافظة للمعنى لكل مطالبة باستخدام GPT-4o-mini. شملت المتغيرات توسيع أو ضغط الاختصارات، والتحويل من اللغة السريرية إلى لغة عامة، وإعادة الترتيب النحوي، وتحويل صيغة المبني للمعلوم والمجهول. ومنعت القيود الصارمة تغيير الحقائق السريرية، أو النفي، أو الزمنية، أو الشدة.
التصفية القائمة على الاستدلال اللغوي الطبيعي (NLI): تمت تصفية المتغيرات المولدة باستخدام ثلاثة نماذج مسبقة التدريب للاستدلال اللغوي الطبيعي (PubMedBERT-MNL-MedNLI، وroberta-large-mnli، وdeberta-large-mnli). لم يتم الاحتفاظ بالمتغير إلا إذا استوفى شرط الاستلزام الثنائي (الاستلزام المتبادل) مع المطالبة الأصلية عبر اثنين على الأقل من النماذج الثلاثة.
تدقيق هجين بين البشر والنماذج اللغوية: تم تطبيق عملية تحقق مكونة من جولتين:
- الجولة الأولى: تمت مراجعة العينات التي تم التحقق منها عبر NLI بواسطة "نموذج لغوي كحكم" (باستخدام GPT-5.2 وMedLLaMA3) وخبير سريري مرخص.
- الجولة الثانية: تمت إعادة تقييم العينات التي رفضها الحكام الآليون من قبل الخبير السريري لاستعادة الصيغ المعاد صياغتها بشكل صحيح والتي تم تصفيتها آلياً بشكل محافظ للغاية.
- يتكون المعيار النهائي من 1,761 متغيراً تم التحقق من حفظه للمعنى.

2. مقاييس التقييم

يقدم البحث ثلاثة مقاييس لقياس حساسية النموذج:

حساسية المتغيرات الحافظة للمعنى (MVS): نسبة المتغيرات التي تم التحقق منها والتي تؤدي إلى تغيير في مخرجات النموذج المتوقعة مقارنة بالمطالبة الأساسية.
تباين الثقة ( $\Delta$ C): متوسط التغير المطلق في الاحتمالية القصوى المتوقعة (الثقة) عبر المتغيرات، حتى عندما يظل المخرج المتوقع دون تغيير.
أسوأ حالة عدم استقرار (WCI): مقياس لكل عينة يشير إلى ما إذا كان أي متغير تم التحقق منه قد تسبب في تحول النموذج من تنبؤ صحيح إلى خاطئ (أو العكس).

3. الإعداد التجريبي

قيم الإطار 16 نموذجاً لغوياً كبيراً مفتوح المصدر (8 نماذج عامة [GP] و8 نماذج متخصصة في المجال [DS]) عبر عائلات متطابقة ونطاقات بارامترية متساوية (من 1.5 مليار إلى 8 مليار). تم اختبار النماذج تحت تكميم 4-bit NF4 مع استدلال بنصف الدقة. تم اشتقاق التنبؤات بشكل حتمي من احتمالات الرموز (tokens) لعزل الحساسية الدلالية عن ضوضاء أخذ العينات.

النتائج الرئيسية

1. التخصص في المجال لا يضمن الاستقرار

خلافاً للافتراض بأن الضبط الدقيق الطبي يضمن الاستقرار، تظهر النتائج أن المتانة تعتمد بشكل كبير على النموذج وليس حصراً على المجال.

أداء مختلط: صُنفت العديد من النماذج المتخصصة (DS) ضمن النماذج الأكثر متانة، لكن النماذج العامة القوية (مثل LLaMA3.1-8B وQwen2.5-7B) كانت مساوية لها أو أكثر تنافسية.
لا يوجد تفوق عالمي: كشف التحليل الإحصائي (اختبارات التبديل المقترنة) عن عدم وجود دليل ثابت على أن التخصص في المجال يحسن المتانة. في بعض الحالات (مثل MedQwen2.5-7B على MedQA)، كانت النماذج المتخصصة أقل متانة بشكل ملحوظ من نظيراتها العامة.
النسيان الكارثي: أظهرت بعض النماذج المتخصصة (مثل MediChat-LLaMA3-8B) أداءً أقل من نظيراتها العامة، مما يشير إلى أن استراتيجيات التكيف يمكن أن تضعف قدرات الاستدلال العامة.

2. صعوبة المهمة تضاعف عدم الاستقرار

أظهرت النماذج حساسية أعلى (MVS وWCI أعلى) في مجموعة بيانات MedQA الأكثر تعقيداً مقارنة بـ DiagnosisQA. يشير هذا إلى أن الاستقرار الدلالي يتدهور مع زيادة متطلبات الاستدلال. وقد ثبت أن التحولات اللغوية المحددة، مثل إعادة صياغة الأسئلة وتحويل اللغة السريرية إلى لغة عامة، كانت الأكثر إرباكاً، بينما كان للتحريرات الطفيفة (مثل توسيع الاختصارات) تأثير ضئيل.

3. ضعف الارتباط بين الثقة والاستقرار

الثقة مقابل التنبؤ: هناك ارتباط ضعيف فقط بين عدم استقرار التنبؤ (MVS) وتباين الثقة ( $\Delta$ C). غالباً ما تحافظ النماذج على ثقة عالية حتى عندما تتغير تنبؤاتها تحت إعادة صياغات متكافئة دلالياً.
الإفراط في الثقة: ظلت العديد من النماذج مفرطة في الثقة رغم انخفاض متانتها أو دقتها. على سبيل المثال، حقق Qwen2.5-3B دقة 40% فقط في MedQA بينما سجل ثقة قدرها 0.90.
مشكلات المعايرة: كان الارتباط بين الثقة والدقة متواضعاً في DiagnosisQA ( $r=0.41$ ) وضعيفاً في MedQA ( $r=0.18$ )، مما يشير إلى أن درجات الثقة ليست مؤشرات موثوقة للصحة أو المتانة في أسئلة الاستجواب الطبية.

4. تأثير التكميم (Quantization)

وجد البحث أن تكميم 4-bit NF4 كان له تأثير ضئيل على مقاييس الاستقرار لمعظم النماذج، مع ملاحظة اختلافات طفيفة تعتمد على مجموعة البيانات في WCI.

الأهمية والادعاءات

يجادل البحث بأن الضبط الدقيق الطبي وحده لا يضمن بشكل موثوق سلوكاً مستقراً تحت المتغيرات الطبيعية للمطالبات. يدعي المؤلفون ما يلي:

المتانة ليست متأصلة في التخصص في المجال: إن نشر نموذج تم ضبطه طبياً لا يضمن تلقائياً الثبات الدلالي؛ فالمتانة تعتمد أكثر على البنية، والحجم، وجودة التدريب بدلاً من مجرد وجود بيانات طبية.
التقييم الحالي غير كافٍ: تعتبر دقة المعايير المرجعية القياسية مقياساً غير كافٍ للجاهزية السريرية. يمكن للنماذج أن تبدو كفؤة في المطالبات الثابتة بينما تفشل فشلاً ذريعاً تحت إعادة الصياغة الطفيفة التي تحفظ المعنى.
الثقة مضللة: لا ينبغي تفسير الثقة العالية للنموذج كإشارة إلى الاستقرار أو الصحة، حيث تعبر النماذج غالباً عن يقين قوي حتى عندما تكون مخرجاتها هشة.
الحاجة إلى تقييم صريح للمتانة: قبل النشر السريري، يجب أن تخضع النماذج اللغوية الكبيرة لتقييم صريح للمتانة باستخدام متغيرات حافظة للمعنى تم التحقق منها عبر طرق دلالية مبدئية (مثل NLI) بدلاً من مقاييس التشابه البسيطة.

خلصت الدراسة إلى أن الاستقرار الدلالي يجب أن يُعامل كمتطلب أساسي للذكاء الاصطناዊ في الرعاية الصحية، مما يستوجب التحول من تقييمات الدقة أحادية المطالبة إلى تحليل الحساسية المنهجي.