Prompting language influences diagnostic reasoning and accuracy of large language models

ملخص تقني: تأثير لغة التلقين على الاستدلال التشخيصي ودقة النماذج اللغوية الكبيرة

بيان المشكلة
بينما تُظهر النماذج اللغوية الكبيرة (LLMs) وعوداً في دعم القرار السريري، إلا أن موثوقيتها في اللغات غير الإنجليزية تظل غير مؤكدة. تعتمد معظم التقييمات على بيانات باللغة الإنجليزية ومعايير اختبار متعددة الخيارات، والتي تفشل في استيعاب تعقيد الاستدلال السريري في العالم الحقيقي. ونظراً لأن الممارسة الطبية مترابطة بعمق مع اللغة والثقافة والوبائيات المحلية، فإن هناك فجوة حرجة في فهم ما إذا كانت النماذج اللغوية الكبيرة -التي تدربت بشكل أساسي على مجموعات نصوص إنجليزية- قادرة على أداء الاستدలال التشخيصي بذات الدقة في لغات أخرى، مثل الفرنسية. هذا التفاوت يشكل مخاطر على عدالة نشر الرعاية الصحية وسلامة المرضى، لا سيما في البيئات متعددة اللغات.

المنهجية
أجرى المؤلفون تقييماً مقارناً ثنائي اللغة للاستدلال التشخيصي ودقة التشخيص النهائي عبر خمسة نماذج لغوية كبيرة: o3، و DeepSeek-R1، و GPT-4-Turbo، و Llama-3.1-405B-Instruct، و BioMistral-7B.

• مجموعة البيانات: استخدمت الدراسة 180 حالة سريرية (vignettes) تغطي 16 تخصصاً طبياً (باستثناء المجالات التقنية البحتة أو الجراحية). تم اشتقاق هذه الحالات من إنشاء اصطناعي، ومواد مرجعية، وحالات واقعية مجهولة الهوية. تم بناء كل حالة باللغة الفرنسية وترجمتها بشكل مستقل إلى اللغة الإنجليزية بواسطة طبيبين، لضمان التكافؤ الدلالي والدقة السريرية.
• التلقين (Prompting): تم استعلام النماذج مرة واحدة لكل حالة في كلتا اللغتين باستخدام تلقين موحد يوجه النموذج للعمل كطبيب، وتقديم استدلال سريري، وإخراج التشخيص النهائي بتنسيق JSON.
• إطار التقييم: قام طبيبان بتقييم جميع مخرجات النماذج بشكل مستقل باستخدام مقياس مكون من 18 نقطة يشمل ستة معايير:
  1. الصلاحية الداخلية (0–5): استخراج وتفسير بيانات الحالة.
  2. الصلاحية الخارجية (0–3): دقة المعرفة الطبية بما يتجاوز محتوى الحالة.
  3. الفرضيات والتشخيص التفريقي (0–1): توليد تشخيصات تفريقية ذات صلة.
  4. البنية المنطقية (0–4): التماسك والتنظيم في الاستدلال.
  5. التعبير (0–2): الصحة النحوية والدلالية.
  6. دقة التشخيص النهائي (0–3): المواءمة مع التشخيص المرجعي.
• التحليل الإحصائي: تم تحليل فروق الأداء بين الإنجليزية والفرنسية باستخدام النماذج الخطية المختلطة (LMM) مع اعتبار اللغة كأثر ثابت والحالة/المقيم كأثار عشوائية. استُخدمت اختبارات أحادية الجانب لتقييم فرضية تفوق أداء الإنجليزية على الفرنسية، مع تصحيح "بونفيروني" للمقارنات المتعددة. كما تم تقييم الموثوقية بين المقيمين باستخدام معاملات الارتباط داخل الفئة (ICC) وكاي تربيع (Cohen's kappa).

النتائج الرئيسية

• الأداء العام: أظهرت أربعة من أصل خمسة نماذج (DeepSeek-R1، GPT-4-Turbo، Llama-405B، BioMistral-7B) أداءً أفضل بشكل ملحوظ في اللغة الإنجليزية مقارنة بالفرنسية. تراوح متوسط الفرق في الدرجات الإجمالية بين 0.37 إلى 0.91 نقطة على مقياس الـ 18 نقطة (القيمة المعدلة p < 0.05).
  • أظهر نموذج Llama-405B أكبر فجوة (0.91 نقطة).
  • رغم تخصص نموذج BioMistral-7B في المجال الطبي، إلا أنه سجل درجات أقل بشكل عام (متوسط ~8–9/18) وأظهر فجوة لغوية كبيرة (0.78 نقطة).
  • كان نموذج o3 هو الوحيد الذي لم يظهر أي أثر لغوي إجمالي (متوسط الفرق 0.08، p = 1.000)، محققاً أداءً يقترب من الحد الأقصى (الوسيط 18/18) في كلتا اللغتين.
• أبعاد الاستدلال: لم تكن الفجوة اللغوية موحدة عبر أنواع الاستدلال. لوحظت تفاوتات كبيرة لصالح الإنجليزية في:
  • التشخيص التفريقي: ولدت نماذج Llama-405B و GPT-4-Turbo و DeepSeek-R1 تشخيصات تفريقية أكثر اتساقاً في الإنجليزية.
  • البنية المنطقية: أظهرت نماذج GPT-4-Turbo و Llama-405B و BioMistral-7B تنظيماً أكثر تماسكاً في الاستدلال باللغة الإنجليزية.
  • الصلاحية الداخلية: أظهر نموذج Llama-405B و DeepSeek-R1 قدرة أفضل على استخراج وتفسير البيانات السريرية في الإنجليزية.
  • التعبير: أظهر نموذج BioMistital-7B أخطاءً نحوية أكثر تكراراً في الفرنسية.
• أنواع الاستدلال: كانت الفجوة اللغوية أكثر وضوحاً في الاستدلال الافتراضي الاستنباطي (hypothetico-deductive) والاستدلال الخوارزمي (algorithmic)، وهي الأنواع التي تتطلب استدلالاً متعدد الخطوات ومعقداً. لم يُلاحظ أي أثر لغوي في الاستدلال الاحتمالي (probabilistic reasoning) عبر أي من النماذج.
• الارتباط: بالنسبة لنموذج BioMistral-7B، كان الارتباط بين جودة الاستدلال ودقة التشخيص أقوى بكثير في الإنجليزية ($\rho=0.75$) منه في الفرنسية ($\rho=0.60$)، مما يشير إلى أن الاستدلال والدقة أكثر ارتباطاً وثيقاً في السياق الإنجليزي لهذا النموذج.

الأهمية والادعاءات
تزعم الورقة أن لغة التلقين تظل محدداً حاسماً لأداء النماذج اللغوية الكبيرة في الاستدلال التشخيصي السريري. وتثبت النتائج أن فجوة الأداء ليست مجرد مسألة استدعاء للمعلومات، بل تمتد لتشمل جودة وتماسك وصلاحية داخلية لعملية الاستدلال السريري نفسها.

ويرى المؤلفون ما يلي:

1. الآثار المترتبة على العدالة: إذا أنتجت النماذج استدلالاً أقل جودة وتشخيصات أقل دقة بلغة المريض الأصلية (غير الإنجليزية)، فقد يؤدي ذلك إلى تفاقم التفاوتات الصحية القائمة. وهذا أمر مثير للقلق بشكل خاص مع تزايد استخدام النماذج اللغوية الكبيرة مباشرة من قبل المرضى للحصول على المعلومات الصحية.
2. ما وراء الاختبارات: بخلاف الدراسات السابقة المقتصرة على اختبارات البورد الطبية متعددة الخيارات، تؤكد هذه الدراسة أن الفجوات اللغوية تستمر في مهام الاستدلال التشخيصي المفتوحة التي تحاكي الممارسة السريرية الواقعية بشكل أوثق.
3. أهمية بنية النموذج: يشير غياب الفجوة اللغوية في نموذج o3 إلى أن التطورات في قدرات الاستدلال (مثل توسيع حساب وقت الاختبار/test-time compute scaling، وسلاسل التفكير الممتدة/extended chain-of-thought) قد تخفف جزئياً من التفاوتات المرتبطة باللغة، حتى عندما تكون بيانات التدريب إنجليزية في الغالب.
4. تفاوت الموارد: بما أن الفرنسية لغة ذات موارد عالية نسبياً وتمثلها كبير في مجموعات بيانات التدريب، يفترض المؤلفون أن هذه التفاوتات من المرجح أن تتضاعف بالنسبة للغات ذات الموارد المنخفضة.

تخلص الدراسة إلى أن ضمان الأداء العادل عبر اللغات يجب أن يكون أولوية لتطوير النماذج والتقييم التنظيمي، وذلك لمنع النماذج اللغية الكبيرة من تفويت الفرصة لتقليل، بدلاً من توسيع، التفاوتات في الوصول إلى معلومات صحية موثوقة. ولدعم الأبحاث المستقبلية، أطلق المؤلفون مجموعة البيانات الثنائية الكاملة وكود التقييم.