Automating the triage of rheumatology outpatient referrals: a comparative evaluation of 23 large language models under simple and advanced prompting

في كل يوم، يكتب آلاف الأشخاص الذين يعانون من آلام المفاصل أو التورم أو التيبس رسائل إلى أطباء الروماتيزم لطلب المساعدة. هذه الرسائل، المعروفة باسم الإحالات، تصل في فيض يجب على المتخصصين فرزه. والهدف من هذا الفرز، الذي يسمى "التصنيف الطبي" (triage)، هو تحديد من يحتاج إلى رؤية الطبيب فوراً لأن حالته قد تهدد عضواً من أعضائه أو حياته، ومن يمكنه الانتظار بسلام لأسابيع أو أشهر. تقع هذه المهمة على عاتق كبار الأطباء، الذين يتعين عليهم قراءة نصوص معقدة وغير منظمة لاتخاذ قرار تقديري. إنها وظيفة ذات حجم عمل كبير ومجهدة ذهنياً، وتستنزف وقتاً كان من المفترض أن يُخصص لرؤية المرضى وعلاج الأمراض. عندما يعمل النظام بشكل جيد، يحصل أكثر الناس مرضاً على المساعدة بسرعة. وعندما يفشل، قد ينتظر مريض يعاني من حالة مناعية ذاتية تتدهور بسرعة لفترة طويلة جداً، مما يعرضه لخطر حدوث ضرر دائم. ومع ذلك، حتى عندما يقوم بها أطباء بشريون ذوو خبرة، فإن عملية الفرز هذه ليست مثالية؛ إذ غالباً ما يختلف الخبراء مع بعضهم البعض، وقد يتم إغفال الحالات العاجلة أو تأخيرها.

ومع نمو عدد الإحالات بسرعة أكبر من عدد المتخصصين المتاحين، تبحث العيادات عن طرق لاستخدام الذكاء الاصطناğı. وتحديداً، تختبر النماذج اللغوية الكبيرة، وهي برامج حاسوبية مدربة على كميات هائلة من النصوص التي يمكنها فهم وتوليد اللغة البشرية. تُستخدم هذه النماذج بالفعل للإجابة على الأسئلة الطبية والمساعدة في التشخيص، ولكن لم يكن من الواضح ما إذا كانت قادرة بشكل موثوق على التعامل مع المهمة المحددة وعالية المخاطر المتمثلة في فرز إحالات الروماتيزم. لم يكن السؤال المركزي هو ما إذا كان بإمكان الكمبيوتر القيام بذلك فحسب، بل ما إذا كان بإمكانه القيام بذلك بمستوى يضاهي فريقاً بشرياً، وما إذا كانت تكلفة استخدام أجهزة الكمبيوتر الأكثر قوة وتكلفة ضرورية لإنجاز العمل بشكل صحيح.

قام باحث في "موناش هيلث" في أستراليا بمحاولة الإجابة على هذه الأسئلة من خلال إخضاع ثلاثة وعشرين نموذجاً مختلفاً من النماذج اللغوية الكبيرة لاختبار صارم. لقد صمموا عشرين سيناريو واقعياً للإحالات بناءً على حالات حقيقية، تغطي النطاق الكامل من حالات الطواراء المهددة للحياة إلى الآلام الروتينية. ولتحديد معيار ذهبي للإجابة الصحيحة، قام أربعة أطباء روماتيزم مستقلين بمراجعة كل حالة على حدة دون معرفة ما قرره الآخرون، ووصلوا في النهاية إلى اتفاق حول مستوى الاستعجال لكل حالة. بعد ذلك، طلب الباحث من كل نموذج من النماذج الثلاثة والعشرين عشرين حالة من هذه الحالات للقيام بالتصنيف الطبي. ولضمان استقرار النتائج وعدم كونها مجرد تخمينات محظوظة، طُلب من كل نموذج اتخاذ القرار ثلاث مرات لكل حالة. أُجريت التجربة مرتين: مرة بتعليمات بسيطة جداً تطلب من النموذج فرز الإحالات، ومرة أخرى بتعليمات أكثر تفصيلاً تشرح له بالضبط كيفية التفكير في المشكلة، وتوفر أمثلة لما يبدو عليه كل مستوى من مستويات الاستعجال، وتوجه النموذج للتركيز على علامات طبية محددة مع تجاهل العوامل الأقل أهمية مثل مستويات الألم.

كشفت النتائج عن نمط واضح في طريقة تفكير هذه الآلات. فعندما تُعطى تعليمات بسيطة فقط، كان أداء النماذج مختلفاً جداً فيما بينها. كانت النماذج الأكبر والأكثر تقدماً والأعلى تكلفة أكثر دقة بشكل ملحوظ من النماذج الأصغر والأرخص. في هذا الإعداد البسيط، كان دفع المزيد مقابل نموذج أكبر يشتري أداءً أفضل. ومع ذلك، تغيرت القصة تماماً عندما انتقل الباحث إلى التعليمات المتقدمة والتفصيلية. فمع هذا التوجيه الأفضل، اختفت فجوة الأداء بين النماذج؛ حيث لحقت النماذج الأصغر والأرخص بالنماذج الضخمة، واختفت العلاقة بين التكلفة والدقة. لقد علمت هذه التعليمات التفصيلية النماذج الأصغر كيفية التفكير المنطقي في المشكلة، مما سمح لها بالأداء بنفس جودة النماذج العملاقة دون التكلفة الباهظة.

وحتى مع أفضل التعليمات، لم تكن الحواسيب خالية من العيوب. فقد ارتكبت أخطاء، حيث اقترحت أحياناً أن المريض أكثر مرضاً مما هو عليه، واقترحت أحياناً أخرى أنه أقل مرضاً. وأشار الباحث إلى أن خطأ "نقص التصنيف" (under-triaging) — أي إغفال حالة عاجلة — هو أخطر أنواع الأخطاء، لأنه قد يؤدي إلى تأخير الرعاية الحرجة. ورغم هذا الخطر، إلا أن النماذج الأعلى أداءً طابقت الإجماع البشري في معظم الحالات، وغالباً ما اتفقت على مستوى الاستعجال الصحيح في جميع المحاولات الثلاث. هذا المستوى من الأداء وضعها ضمن أو فوق نطاق الدقة المسجل للأطباء البشريين، الذين يُعرف عنهم اختلافهم فيما بينهم في حوالي ثلث الحالات وتغيير تقييمهم للاستعجال بعد فحص المريض.

تشير الدراسة إلى أن الأدوات اللازمة لأتمتة هذا العبء الإداري موجودة بالفعل وقد تكون أقل تكلفة مما كان يُعتقد سابقاً. والمفتاح الأساسي هو أن الطريقة التي يُطرح بها السؤال على الكمبيوتر تهم بقدر ما يهم الكمبيوتر نفسه. فمن خلال استخدام "أمر توجيهي" (prompt) مصمم جيداً يتضمن قواعد وأمثلة واضحة، قد تتمكن العيادات من استخدام نماذج أصغر وأرخص لتحقيق نتائج تضاهي الأنظمة الأكثر تكلفة. وهذا من شأنه أن يسمح للخدمات الطبية باستعادة وقت ثمين للأطباء الاستشاريين، وتحريرهم من فرز الرسائل ليتفرغوا لعلاج المرضى. وبينما تبدو هذه التكنولوجيا واعدة، يشدد الباحث على أن أي نظام يُستخدم في العالم الحقيقي يجب مراقبته بعناً لضمان عدم إغفال الحالات العاجلة، ويجب أن يظل الأطباء البشريون حاضرين في العملية لمراجعة القرارات الأكثر حرجاً. إن الطريق إلى الأمام يتضمن اختبار هذه الأدوات على إحالات حقيقية ومباشرة وتطوير التعليمات لضمان السلامة، لكن البيانات تشير إلى أن وجود مساعد مؤتمت وموثوق لفرز حالات الروماتيزم لم يعد حلماً بعيد المنال.