Large Language Models for Automated AGREE II Quality Appraisal of Sepsis Clinical Practice Guidelines: A Methodological Comparative Study

في عالم الطب الحديث عالي المخاطر، غالبًا ما تُوجَّه العلاجات المنقذة للحياة بواسطة إرشادات الممارسة السريرية. هذه الإرشادات ليست مجرد اقتراحات عابرة، بل هي وثائق مُصاغة بعناية تجمع أفضل الأدلة العلمية المتاحه في تعليمات واضحة. فهي تخبر الفرق الطبية كيفية التعامل مع الحالات المعقدة مثل تعفن الدم (الإنتان)، وهو رد فعل خطير تجاه العدوى يمكن أن يؤدي إلى توقف الأعضاء عن العمل ويحصد أرواح الآلاف. ومع ذلك، فإن جودة هذه الإرشادات تتباين بشكل هائل؛ فبعضها مبني على أساليب صارمة وشفافة، بينما يفتقر البعض الآخر إلى العمق أو الوضوح. ولفرز الموثوق من غير الموثوق، يستخدم الخبراء أداة محددة تسمى "AGREE II". تعمل هذه الأداة كقائمة مراجعة تفصيلية، حيث تطرح ثلاثة وعشرين سؤالاً محددًا حول هيكل الإرشادات، والأدلة التي تستند إليها، ومدى قابليتها للتطبيق في الاستخدام الواقعي. تقليديًا، يعد ملء هذه القائمة عملية بطيئة ومكلفة تتطلب فرقًا من المتخصصين المدربين تدريبًا عاليًا لقراءة كل كلمة في الوثيقة ومناقشة مزاياها. ومع نمو عدد الإرشادات المنشورة بسرعة تفوق عدد الخبراء المتاحين لقراءتها، يواجه المجتمع الطبي عقبة: كيف نضمن الجودة دون أن نغرق في هذا الكم الهائل؟

هنا يدخل الذكاء الاصطناعي إلى القصة، وتحديدًا جيل جديد من البرامج الحاسوبية المعروفة باسم النماذج اللغوية الكبيرة. أظهرت هذه الأنظمة، التي تدربت على كميات هائلة من النصوص، قدرة على القراءة والفهم وتلخيص المعلومات المعقدة. تساءل الباحثون عما إذا كانت هذه الأدوات الرقمية قادرة على تحمل العبء الثقيل لتقييم الإرشادات الطبية، والقيام بدور بمثابة "مراجعة أولية" سريعة ومؤتمتة قبل أن يتدخل الخبير البشري. وضع فريق من العلماء خطة لاختبار هذه الفكرة عبر وضع ستة نماذج لغوية كبيرة مختلفة في مواجهة لجنة من الخبراء البشريين. لم يطلبوا من الحواسيب تخمين الإجابات، بل غدوهم النص الكامل لإحدى عشرة إرشداً حقيقياً لعلاج تعفن الدم، وطلبوا من النماذج تقييمها باستخدام نفس قائمة مراجعة "AGREE II" الصارمة التي استخدمها البشر بالفعل. كان الهدف هو معرفة ما إذا كانت الآلات تستطيع التفكير مثل الخبراء، أم أنها ستتعثر في تفاصيل الحكم الطبي الدقيقة.

كشفت النتتائج عن علاقة واعدة ولكنها بعيدة عن المثالية. تمكنت النماذج الحاسوبية من الاتفاق مع الخبراء البشريين إلى درجة متوسطة، حيث نجحت في رصد الجودة العامة للوثائق. ومع ذلك، لم تكن مجرد محاكاة للفكر البشري، بل طورت أنماطًا خاصة بها من الأخطاء. كانت النتيجة الأكثر لفتاً للنظر هي وجود انحياز ثابت في كيفية تقييم الآلات لـ "القابلية للتطبيق" في الإرشادات. يسأل هذا القسم من قائمة المراجعة عما إذا كانت الوثيقة تقدم نصائح عملية كافية للأطباء لاستخدامها فعلياً في المستشفيات المزدحمة، مع مراعاة أمور مثل التكلفة، والمعدات، والموارد المحلية. منح الخبراء البشريون هذه الأقسام درجات أعلى بشكل عام، مدركين القصد العملي وراء التوصيات. وفي المقابل، أعطت النماذج الحاسوبية هذه الأقسام درجات أقل بكثير باستمرار. يبدو أن الآلات كانت تبحث عن تعليمات صريحة وخطوة بخطوة حول كيفية تنفيذ العلاج، وقامت بمعاقبة الإرشادات لعدم توفيرها لها، حتى عندما كانت تلك الإرشادات سليمة من جوانب أخرى. لقد بدت وكأنها تفتقر إلى السياق الواقعي الدقيق الذي يفهمه الأطباء البشريون بالفطرة.

وعلى العكس من ذلك، مالت النماذج إلى أن تكون سخية للغاية عند تقييم "صرامة التطوير". يفحص هذا الجزء من قائمة المراجعة كيفية إنشاء الإرشادات، بحثاً عن أدلة تثبت أن المؤلفين اتبعوا أساليب علمية صارمة. كانت الحواسيب بارعة في رصد الكلمات المفتاحية مثل "مراجعة منهجية" أو "قائم على الأدلة"، وعندما رأت هذه المصطلحات، منحت درجات عالية. وفي بعض الأحيان، منحت هذه الدرجات حتى عندما شعر الخبراء البشريون أن المنهجيات لم تكن بقوة اللغة المستخدمة. كانت الآلات تقرأ سطح النص بشكل جيد جداً، لكنها كانت تغفل أحياناً عن الحقيقة العميقة لكيفية إجراء العمل الفعلي. وقد خلق هذا ديناميكية غريبة حيث كانت الحواسيب شديدة القسوة على الأجزاء العملية من الإرشادات، ومتساهلة للغاية في الأجزاء النظرية.

بالإضافة إلى الدرجات المحددة، بحثت الدراسة أيضاً في سرعة وتكلفة استخدام هذه النماذج المختلفة. قاس الباحثون الوقت الذي استغرقه كل حاسوب لقراءة الإرشادات، وكمية "الوقود" الرقمي الذي استهلكه لإنتاج الإجابة. برز أحد النماذج، الذي طورته شركة تكنولوجيا صينية، كأكثر النماذج كفاءة؛ فقد أنتج درجات تتوافق جيداً مع الخبراء البشريين، وفعل ذلك في خمس عشرة ثانية فقط، واستخدم أقل قدر من الموارد الرقمية. أما نموذج آخر من شركة تقنية أمريكية كبرى، فكان أبطأ قليلاً وأكثر تكلفة في التشغيل، لكنه أظهر أقل قدر من الانحياز، مما يعني أن درجاته كانت الأقرب إلى المتوسط البشري دون الميل بشدة نحو اتجاه معين أو آخر. وجدت الدراسة أن النموذج الأكبر والأقوى ليس بالضرورة هو الأفضل لهذه المهمة المحددة؛ بل إن النموذج الأكثر كفاءة لم يكن هو النموذج ذو الحجم الأكبر أو المعرفة الطبية الأكثر شمولاً. يشير هذا إلى أنه بالنسبة لهذا النوع من العمل التفصيلي والمنظم، فإن القدرة على اتباع مجموعة محددة من القواعد أهم من الحجم الخام.

خلص الباحثون إلى أن أدوات الذكاء الاصطناعي هذه ليست جاهزة لاستبدال الخبراء البشريين. فإذا اعتمد مستشفى فقط على الحاسوب لتقرير مدى جودة الإرشادات، فقد يرفض وثائق ممتازة لمجرد أن الآلة كانت صارمة جداً بشأن التفاصيل العملية، أو قد يقبل وثائق ضعيفة لأن الآلة انخدعت باللغة المنمقة. بدلاً من ذلك، فإن أفضل استخدام لهذه النماذج هو كـ "نظام فرز". يمكنها مسح مئات الإرشادات بسرعة، وتحديد تلك التي تبدو واعدة، وتسليط الضوء على تلك التي قد تحتاج إلى نظرة فاحصة. وهذا من شأنه أن يحرر وقت الخبراء البشريين للتركيز على الحالات الأكثر صعوبة، وخاصة تلك الإرشادات التي تقف على الحافة بين القبول والرفض. بهذه الطريقة، تعمل التكنولوجيا كمساعد قوي، يتولى التعامل مع الحجم والسرعة، تاركةً الحكم النهائي الدقيق للبشر الذين يفهمون واقع رعاية المرضى. تؤكد الدراسة أنه بينما تستطيع الآلات قراءة الكلمات، إلا أنها لا تزال بحاجة إلى البشر لفهم المعنى.