← أحدث الأبحاث
💻 علوم الحاسوب

Numerical Consistency and Accuracy of Large Language Models in Risk Communication for Cardiovascular Prevention in Older Adults: A Cross-Sectional Multi-Model Paired Study

تُظهر هذه الدراسة المقطعية متعددة النماذج أنه في حين حققت النماذج اللغوية الكبيرة السائدة حالياً دقة تقترب من الحد الأقصى في تحويل مقاييس مخاطر القلب والأوعية الدموية لكبار السن، فإن أداءها يتمايز أساساً من خلال الاتساق بين عمليات التشغيل، حيث أظهر "DeepSeek" استقراراً أقل بكثير من "Doubao" و"Kimi"، وتنشأ حالات عدم الاتساق حصرياً تقريباً من أخطاء التقريب الحميدة بدلاً من الأخطاء ذات الأهمية السريرية.

المؤلفون الأصليون: Yanhui Jiao, Jiaxin Li, Xiuzhen Xing, Lei Cao, Qing Li

نُشر 2026-11-03
📖 5 دقيقة قراءة🧠 قراءة متعمّقة

المؤلفون الأصليون: Yanhui Jiao, Jiaxin Li, Xiuzhen Xing, Lei Cao, Qing Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

لا تزال أمراض القلب هي السبب الأكثر شيوعاً للمرض والوفاة حول العالم، ويقع عبء تأثيرها الأكبر على كبار السن. وعندما يحاول الأطباء منع هذه المشكلات قبل بدئها، فإنهم غالباً ما يوصون بأدوية يومية مثل "الستاتينات". ويعتمد قرار تناول مثل هذا الدواء على فهم مشترك بين المريض والطبيب: ما مدى الفائدة التي سيقدمها، وما هي المخاطر؟ تعتمد هذه المحادثة على الأرقام؛ فقد يشرح الطبيب أن العلاج يقلل من خطر الإصابة بنوبة قلبية بنسبة مئوية معينة، أو أنه مقابل كل مئة شخص يتناولون الدواء، سيتجنب عدد محدد منهم حدثاً سيئاً. هذه الطرق المختلفة لصياغة الحقيقة نفسها هي جميعها متكافئة رياضياً، لكنها قد تبدو مختلفة تماماً بالنسبة للعقل البشري. وتتطلب عملية ترجمة رقم إلى آخر مهارة تسمى "الحسابية" (numeracy)، وهي مهارة يجدها حتى بعض المتخصصين في المجال الطبي صعبة. ومع ازدياد استخدام أدوات الذكاء الاصطناعي في الرعاية الصحية، يتجه الكثير من الناس الآن إليها للحصول على هذه التفسيرات. ولكن إذا قدم الكمبيوتر للمريض رقماً اليوم ورقماً مختلفاً قليلاً غداً لنفس السؤال تماماً، فإن الثقة في تلك الأداة تبدأ في التآكل.

لقد وضع فريق من الباحثين هدفاً لاختبار مدى قدرة ثلاثة أنظمة شهيرة للذكاء الاصطناعي على التعامل مع هذه المهمة المحددة. أرادوا معرفة ما إذا كانت هذه النماذج قادرة على تحويل الإحصاءات الطبية المعقدة باستمرار إلى أرقام واضحة وبسيطة لكبار السن. ركزت الدراسة على سيناريو يحتاج فيه المريض إلى معرفة فوائد وأضرار دواء للقلب. أنشأ الباحثون ثمانين قصة طبية مختلفة وواقعية تتضمن مرضى مسنين يعانون من عوامل خطر متنوعة. وفي كل قصة، كان على الذكاء الاصطناعي حساب أربع قيم محددة: مقدار تقليل العلاج لخطر وقوع حدث قلبي، ومقدار زيادة خطر الآثار الجانبية، وعدد الأشخاص الذين يحتاجون لتناول الدواء لكي يستفيد شخص واحد، وعدد الأشخاص الذين يحتاجون لتناوله لكي يتضرر شخص واحد. ولضمان اختبار عادل، طلب الباحثون من كل نموذج من نماذج الذكاء الاصطري الثلاثة الإجابة على كل سؤال ثلاث مرات متتالية، وفعلوا ذلك باللغتين الإنجليزية والصينية. نتج عن ذلك آلاف الاستجابات التي تم فحصها مقابل مفتاح إجابات مثالي ومغلق وضعه خبراء بشريون.

كشفت النتائج عن حقيقة مذهلة حول كيفية عمل هذه الأنظمة. فعندما تعلق الأمر بإتقان الحساب، كانت النماذج شبه مثالية؛ إذ كانت تحسب الأرقام الصحيحة دائماً تقريباً، مما يشير إلى أن قدرتها على الحوسبة لهذا النوع من المهام المنظمة بلغت بالفعل أعلى مستوى ممكن. ومع ذلك، كانت القصة الحقيقية تتعلق بالاتساق. فعندما طُرح نفس السؤال ثلاث مرات على نفس النموذج، لم تكن الإجابات متطابقة دائماً. فقد قدم أحد النماذج، وهو "DeepSeek"، مجموعة مختلفة من الأرقام في أكثر من عشر حالات، رغم أنه كان مضبوطاً على وضع يفترض أن ينتج النتيجة نفسها في كل مرة. أما النموذجان الآخران، "Doubao" و"Kimi"، فقد كانا أكثر استقراراً، حيث اتفقا مع أنفسهما في كل مرة تقريباً. حدث هذا التضارب حتى عندما لم تكن النماذج تحاول أن تكون إبداعية؛ بل كانت ببساطة تتبع تعليمات الحساب.

وعندما نظر الباحثون عن كثب في الأوقات التي قدمت فيها النماذج إجابات مختلفة، وجدوا أن الاختلافات كانت دائماً ضئيلة وغير ضارة. ففي معظم الحالات، كان الخلاف مجرد مسألة تقريب للأرقام. على سبيل المثال، إذا أظهر الحساب أن المريض يحتاج لتناول الدواء أربع وعشرين مرة لمساعدة شخص واحد، فقد تقوم إحدى عمليات التشغيل بتقريب ذلك إلى أربعة وعشرين، بينما قد تقوم أخرى بالتقريب إلى ثلاثة وعشرين. هذه التحولات الصغيرة لم تغير النصيحة الطبية أو الاستنتاج بشأن ما إذا كان الدواء يستحق التناول أم لا. كانت النماذج تقول الشيء نفسه جوهرياً، لكن بوضع رقم مختلف قليلاً على الملصق. كانت نسبة الحالات التي تضمنت استجابات إشكالية حقاً ضئيلة جداً، وهي أقل من عُشر الواحد بالمائة. وتضمنت هذه الحالات النادرة إعطاء النموذج قيمة مختلفة تماماً، أو الفشل في الإجابة، أو تغيير رأيه بشأن صحة الإجابة.

كما تحققت الدراسة مما إذا كانت اللغة المستخدمة تؤثر على النتائج. أدت النماذج أداءً جيداً في اللغة الصينية تماماً كما فعلت في الإنجليزية، مع عدم وجود فرق جوهري في الدقة بين اللغتين. وهذا يشير إلى أن القدرة على التعامل مع هذه الأرقام لا ترتبط بلغة معينة. ومع ذلك، لاحظ الباحثون أن النموذج الذي عانى من مشكلة في الاتساق بالإنجليزية عانى أيضاً في الصينية، مما يشير إلى أن المشكلة كانت في محرك البرمجيات نفسه وليس في اللغة. وتتحدى هذه النتائج اعتقاداً شائعاً بأن ضبط الذكاء الاصطناعي على وضع "درجة الحرارة الصفرية" (zero temperature) يضمن تقديم نفس الإجابة دائماً. ففي هذه الدراسة، وحتى مع تلك الإعدادات، قدمت الخدمة أرقاماً مختلفة في بعض الأحيان، ويرجع ذلك على الأرجح إلى كيفية بناء النظام وتشغيله في الخلفية.

في نهاية المطاف، تظهر الأبحاث أنه بينما يتفوق الذكاء الاصطناعي في حساب الإحصاءات الطبية، فإن موثوقيته تعتمد على مدى اتساقه في تكرار تلك الحسابات. فبالنسبة لمريض يسأل سؤالاً يتعلق بالحياة أو الموت، فإن سماع رقم مختلف في كل مرة يمكن أن يجعله يشعر بعدم الموثوقية، حتى لو كانت جميع الأرقام صحيحة من الناحية التقنية. يقترح المؤلفون أنه عند تقييم الذكاء الاصطناعي الطبي، يجب على الخبراء النظر إلى ما وراء الدقة البسيطة والاهتمام الشديد بهذا الاستقرار. وهم يقترحون طريقة جديدة لقياس الموثوقية من خلال عدّ المرات التي تعطي فيها النماذج إجابات ليست فقط مختلفة، بل مختلفة بشكل خطير. وفي حالة سيناريوهات أمراض القلب هذه، كانت النماذج آمنة، لكن الدراسة تسلط الضوء على أنه لكي تحظى هذه الأدوات بالثقة في العيادات الحقيقية، يجب ألا تكتفي بمعرفة الإجابة الصحيحة فحسب، بل يجب أن تكون قادرة أيضاً على قولها بالطريقة نفسها في كل مرة.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →