Metric-dependent evaluation of a retrieval-augmented large language model workflow for oral squamous cell carcinoma treatment planning: a retrospective study
تُظهر هذه الدراسة الاسترجاعية أن ترتيب أربعة نماذج لغوية كبيرة مدعومة بتقنية التوليد المعزز بالاسترداد (RAG) لتخطيط علاج سرطان الخلايا الحرشفية الفموية يتباين بشكل كبير اعتماداً على مقياس التقييم المستخدم، مما يسلط الض الضوء على أوجه القصور في الاعتماد على درجات إجمالية واحدة لتحديد الأداء السريري للنماذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل طبيباً يجلس للتخطيط لعلاج مريض مصاب بسرطان الفم. هذه ليست مهمة بسيطة حيث توجد إجابة واحدة صحيحة فقط. يعتمد القرار على الموقع الدقيق للورم، ومدى انتشاره، والصحة العامة للمريض، وتفضيلاته الشخصية. حتى عندما يتبع الأطباء أفضل الإرشادات الطبية، فقد يختارون مسارات مختلفة ولكنها متساوية في الصلاحية لنفس المريض. قد يوصي أحد الأطباء بالجراحة أولاً، بينما يقترح آخر العلاج الإشعاعي. يمكن أن يكون كلا المخططين سليماً من الناحية الطبية. هذا التعقيد يجعل من الصعب جداً اختبار ما إذا كان برنامج كمبيوتر يمكنه مساعدة الأطباء في اتخاذ هذه القرارات. إذا اقترح جهاز كمبيوتر خطة تبدو مختلفة عن الخطة التي كتبها طبيب بشري منذ سنوات، فهل يكون الكمبيوتر مخطئاً؟ أم أنه يقدم فقط حلاً مختلفاً وجيداً بنفس القدر؟
هذا السؤال يقع في قلب دراسة حديثة تبحث في الذكاء الاصطائي في الطب. أراد الباحثون معرفة ما إذا كانت النماذج اللغوية الكبيرة — وهي برامج كمبيوتر مدربة على كميات هائلة من النصوص لفهم وتوليد اللغة البشرية — يمكن أن تساعد في التخطيط لعلاج سرطان الخلايا الحرشفية الفموية، وهو نوع شائع من سرطان الفم. غالباً ما تُقرن هذه النماذج بنظام يسمى "التوليد المعزز بالاسترجاع". فكر في هذا الأمر كإعطاء الكمبيوتر مكتبة من الكتب والمبادئ التوجيهية الطبية للاطلاع عليها قبل أن يكتب إجابته، بدلاً من تركه يعتمد فقط على ما يتذكره من تدريبه. والهدف هو معرفة ما إذا كانت أنظمة الذكاء الاصطناعي هذه قادرة على إنتاج خطط علاجية تضاهي جودة تلك التي يضعها الأطباء ذوو الخبرة.
جمع الباحثون 100 حالة حقيقية لسرطان الفم من مستشفى في الصين. غطت هذه الحالات مرضى تتراوح أعمارهم بين 29 و89 عاماً، بمتوسط عمر يقارب الستين عاماً. كان معظم المرضى من الرجال. لكل حالة، قام الفريق بتغذية التفاصيل الطبية للمريض في أربعة إصدارات مختلفة من نظام الذكاء الاصطناعي. تم تجهيز كل نظام بنفس المكتبة من الإرشادات والأوراق البحثية الطبية. ثم قام الذكاء الاصطناعي بتوليد خطة علاجية لكل مريض. بعد ذلك، قارن الباحثون هذه الخطط التي أنتجها الذكاء الاصطاري بالخطط العلاجية الفعلية التي وضعها الأطباء البشريون لهؤلاء المرضى في الماضي.
ولإجراء هذه المقارنة، استخدم الفريق عدة طرق مختلفة. طلبوا من نظام ذكاء اصطناعي واحد أن يعمل كحكم ويقيم الخطط. واستخدموا برامج كمبيوتر لقياس مدى تشابه كلمات الذكاء الاصطناعي مع كلمات الطبيب البشري. كما نظروا في مدى تطابق أفكار الذكاء الاصطناعي مع أفكار الطبيب باستخدام مقياس رياضي للمعنى. وأخيراً، قام خمسة متخصصين ذوي خبرة في سرطان الرأس والعنق بمراجعة الخطط بشكل أعمى، وتقييمها من حيث السلامة والمنطق والفائدة.
كانت النتائج مفاجئة وكشفت عن درس حاسم حول كيفية اختبار الذكاء الاصطناعي الطبي. فعندما نظر الباحثون في الدرجات، تغير النظام "الأفضل" بناءً على طريقة قياسه. حصل نظام ذكاء اصطناعي يسمى "Qwen" على أعلى درجة عندما حكمه نظام ذكاء اصطناعي آخر. بينما بدا نظام "Doubao" الأكثر تشابهاً مع الخطط البشرية عند قياس مدى توافق معانيهم. أما نظام "Claude"، فقد كان الأكثر تشابهاً في صياغة الكلمات مع الخطط البشرية. ومع ذلك، عندما راجع الأطباء البشريون الخطط، أعطوا ترتيباً مختلفاً تماماً، مفضلين اثنين من الأنظمة الأخرى.
تظهر هذه النتيجة أنه لا توجد طريقة واحدة مثالية للقول بأن هذا هو الذكاء الاصطناعي الأفضل. فقد يبدو البرنامج رائعاً إذا كنت تحصي عدد الكلمات التي يتشاركها مع الخطة البشرية، لكن هذا لا يعني أنه اتخذ القرارات الطبية الصحيحة. وعلى العكس من ذلك، قد يستخدم برنامج ما كلمات مختلفة تماماً، ومع ذلك يقدم خطة علاجية آمنة وفعالة. وجدت الدراسة أن برامج الكمبيوتر كانت قادرة على توليد خطط علاجية معقولة، لكن الباحثين لم يتمكنوا من إثبات أن أي برنامج واحد منها كان متفوقاً على الآخرين أو أنه جاهز للاستخدام بمفرده في المستشفى.
كان الباحثون حذرين في ملاحظة ما لم تثبته دراستهم. نظرًا لأنهم نظروا فقط في السجلات الماضية، لم يتمكنوا من معرفة ما إذا كان الذكاء الاصطناعي سيحسن بالفعل النتائج الصحية للمرضى أو يمنع الأخطاء في بيئة حقيقية. كما لم يتمكنوا من فصل تأثير "مكتبة" الذكاء الاصطناعي عن ذكاء الذكاء الاصطناعي نفسه، لذا لم يتمكنوا من القول بيقين ما إذا كانت الكتب الطبية الإضافية هي التي صنعت الفارق. علاوة على على ذلك، لم تختبر الدراسة ما إذا كان بإمكان الذكاء الاصطناعي التعامل مع التعقيد الكامل للعيادة الحقيقية، حيث يتفاعل الأطباء والمرضى بشكل ديناميكي.
في النهاية، تشير الدراسة إلى أن تقييم الذكاء الاصطناعي الطبي أكثر تعقيداً من مجرد إعطائه درجة اختبار. فالطريقة التي تقيس بها الذكاء الاصطناعي تغير من يبدو أنه الفائز. ولكي تكون هذه الأدوات آمنة ومفيدة في المستقبل، ستحتاج إلى اختبارها بطرق أكثر صرامة، مع عمل الأطباء البشريين جنباً إلى جنب معها لضمان أن الخطط ليست فقط متشابهة نصياً مع السجلات الماضية، بل هي أيضاً آمنة ومفيدة حقاً للمرضى. وحتى ذلك الحين، فإن أهم نتيجة هي أنه يجب علينا أن نكون حذرين للغاية بشأن كيفية تحديد البرنامج الذي يمكنه المساعدة في إنقاذ الأرواح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.