Evaluating LLMs for HIV Epidemiological Surveillance in Spanish: Clinical Summarization, Risk Factor Extraction, and Inference Stability across Models

في بيئة غرف الطوارئ بالمستشفيات، حيث تسود أجواء صاخبة وضغوط عالية، يسابق الأطباء الزمن باستمرار. يتعين عليهم تجميع قصة المريض من ملاحظات مجزأة، ونتائج اختبارات مبعثرة، وملاحظات سريعة، لاتخاذ قرارات تنقذ الأرواح. وبالنسبة للمرضى المصابين بفيروس نقص المناعة البشرية (HIV)، وهو فيروس يضعف جهاز المناعة في الجسم، تصبح هذه العملية بالغة الأهمية بشكل خاص. إن تحديد عوامل الخطر مبكراً — مثل الجنس غير المحمي، أو مشاركة الإبر، أو أعراض معينة — يمكن أن يؤدي إلى إجراء الفحوصات والعلاج الذي يوقف انتشار الفيروس. ومع ذلك، عندما يغرق الطبيب في العمل بسبب التعامل مع عشرات المرضى يومياً، يمكن للتفاصيل الجوهرية أن تضيع بسهولة. إن الحجم الهائل للنصوص غير المنظمة في السجلات الطبية يجعل من الصعب استخراج كل دليل ذي صلة يدوياً، مما يخلق عقبة تؤدي فيها المعلومات المفقودة إلى تأخير التشخيص والسماح للمرض بالاستمرار في انتشاره الصامت.

ولمعالة ذلك، يستكشف الباحثون استخدام برامج حاسوبية متطورة تُعرف باسم "نماذج اللغات الكبيرة". هذه هي أنظمة الذكاء الاصطناعي التي تم تدريبها على كميات هائلة من النصوص والتي يمكنها قراءة وفهم وتلخيص اللغة البشرية. والفكرة هي أن هذه الأدوات يمكن أن تعمل كعين ثانية، حيث تقوم بمسح آلاف السجلات الطبية بسرعة لتسليط الضوء على التفاصيل الرئيسية وتلخيص التاريخ المرضي للمرضى. ولكن لكي ينجح هذا في مستشفى حقيقي، يجب أن تكون هذه التكنولوجيا موثوقة للغاية؛ إذ لا يمكنها اختلاق حقائق، أو ترك معلومات حيوية، أو التصرف بشكل غير متوقع. علاوة على ذلك، ولأن هذه الأدوات يتم اختبارها غالباً في بلدان ناطقة بالإسبانية، يجب أن تفهم اللغة الطبية المحددة والفروق الثقافية الدقيقة للملاحظات السريرية الإسبانية، وليس الإنجليزية فقط.

قام فريق من الباحثين في إسبانيا مؤخراً باختبار هذه الفكرة. أرادوا معرفة ما إذا كانت برامج الذكاء الاصطناعي هذه قادرة على تلخيص سجلات غرف الطوارئ بدقة واستخراج عوامل خطر محددة لفيروس نقص المناعة البشرية من النصوص الإسبانية دون الحاجة إلى إعادة تدريبها على بيانات جديدة أولاً. لقد جمعوا 100 سجل مجهول الهوية لمرضى من مستشفى جامعي، يضم مزيجاً من أشخاص تم تشخيص إصابتهم لاحقاً بفيروس نقص المناعة البشرية وآخرين لم يصابوا به. تباينت السجلات بشكل كبير في الطول والتعقيد، مما يعكس الواقع الفوضوي للرعاية الطارئة اليومية. ثم قام الباحثون بتغذية هذه السجلات في أحد عشر نموذجاً مختلفاً من نماذج الذكاء الاصطناعي، تتراوح بين الأنظمة القوية القائمة على السحابة والبرامج مفتوحة المصدر التي يمكن تشغيلها على خوادم المستشفى الخاصة والآمنة. وقد طلبوا من النماذج القيام بأمرين: كتابة ملخص قصير وواضح لزيارة المريض، وتحديد ما إذا كانت عوامل خطر معينة موجودة، أو غائبة، أو لم تُذكر ببساطة في النص.

كشفت النتائج عن فائز واضح في مهمة التلخيص. فقد أنتج أحد النماذج، وهو نظام قائم على السحابة من شركة جوجل، ملخصات كانت أكثر دقة واكتمالاً بشكل ملحوظ من بديل آخر مفتوح المصدر. وعندما راجع الأطباء هذه الملخصات، وجدوا أن النموذج القائم على السحابة ارتكب أخطاء أقل بكثير؛ إذ نادراً ما اخترع حقائق لم تكن موجودة، كما فاتته تفاصيل مهمة بنسبة أقل بك كثيراً. أما النموذج مفتوح المصدر، رغم قدرته، فقد ترك معلومات حيوية بشكل متكرر، مثل نتائج الاختبارات المعلقة أو التاريخ الطبي السابق، وهو أمر قد يكون خطيراً إذا اعتمد الطبيب على الملخص وحده. كما اختبر الباحثون ما إذا كان بإمكان ذكاء اصطناعي تقييم جودة هذه الملخصات بنفس كفاءة الطبيب البشري، ووجدوا أن "الحكم الآلي" كان جيداً جداً في رصد الحقائق المختلقة والأخطاء الواضحة، لكنه واجه صعوبة في الاتفاق مع الأطباء البشر حول ما يشكل "تفصيلاً مفقوداً". وهذا يشير إلى أنه بينما يمكن للذكاء الاصطناعي المساعدة في تصفية الملخصات السيئة، فإن الإشراف البشري يظل ضرورياً لالتقاط الحذف الدقيق.

وعندما تعلق الأمر باستخراج عوامل خطر محددة، اعتمد أداء النماذج بشكل كبير على مدى صرامة قياس النتائج. قام الباحثون بتشغيل كل نموذج خمس مرات على نفس السجلات لمعرفة ما إذا كان سيعطي نفس الإجابة في كل مرة. ووجدوا أن النماذج كانت أفضل عموماً في تحديد عوامل الخطر الاجتماعية، مثل تعاطي المخدرات أو التاريخ الجنسي، والتي غالباً ما يذكرها المرضى بشكل مباشر. ومع ذلك، كانت أقل اتساقاً عند تحديد عوامل الخطر السريرية، مثل أعراض معينة أو عدوى سابقة، والتي تتطلب تجميع أدلة مبعثرة من أجزاء مختلفة من ملاحظة طبية طويلة. وحتى عندما تم ضبط النماذج لتكون أكثر اتساقاً قدر الإمكان، فقد أعطت أحياناً إجابات مختلفة في عمليات التشغيل المتكررة. هذا عدم الاستقرار يعني أن النموذج الذي قد يبدو ممتازاً في اختبار واحد قد يؤدي بشكل مختلف في سير عمل حقيقي ومستمر.

خلصت الدراسة إلى أنه على الرغم من أن أدوات الذكاء الاصطناعي هذه تظهر وعوداً كبيرة للمساعدة في إدارة عبء العمل في غرف الطوارخ الناطقة بالإسبانية، إلا أنها ليست مثالية بعد. فالنماذج الأفضل يمكنها تقليل الوقت الذي يقضيه الأطباء في كتابة الملخصات بشكل كبير ويمكنها المساعدة في إبراز عوامل الخطر التي قد يتم التغاضي عنها. ومع ذلك، شدد الباحثون على ضرورة استخدام هذه التكنولوجيا بحذر؛ إذ لم يكن الخطأ الأكثر شيوعاً هو اختلاق الأشياء، بل كان ترك معلومات مهمة. وبالنسبة لنظام مصمم لرصد حالات التشخيص الفائتة، فإن ترك تفصيل ما هو خطير تماماً مثل اختلاق واحد. وتشير النتائج إلى أن النهج الأكثر فعالية هو نهج هجين: استخدام الذكاء الاصطناعي للقيام بالمهام الشاقة من القراءة والتلخيص، مع إبقاء الأطباء البشريين في الحلقة للتحقق من النتائج وضمان عدم فقدان أي قطعة حيوية من اللغز. هذا التوازن يمكن أن يساعد أقسام الطوارئ في اكتشاف المزيد من حالات الإصابة بفيروس نقص المناعة البشرية في وقت مبكر، مما قد ينقذ الأرواح ويبطئ انتشار الفيروس في المجتمعات التي لا يزال يمثل فيها تحدياً مستمراً.