ConfTriage: A Calibration-Aware LLM Triage Framework for Pulmonary Nodule Malignancy with Selective Specialist Deferral

تخيل أنك محقق يحاول حل لغز، ولكن بدلاً من مسرح جريمة، أنت تنظر إلى سحابة صغيرة ضبابية داخل رئة إنسان. هذا هو عالم اكتشاف العقد الرئوية، حيث يستخدم الأطباء فحوصات الأشعة المقطعية (CT) الخاصة هذه للعثور على هذه النتوءات الصغيرة. معظم هذه النتوءات حميدة، مثل الشامات غير الضارة على الجلد، لكن بعضها قد يكون خطيراً، مثل قنبلة موقوتة. المشكلة هي أن هناك الكثير من هذه السحب لدرجة أن الأطباء البشر يشعرون بالإرهاق، حيث يحدقون في آلاف الصور ويحاولون تحديد أي منها يحتاج إلى اهتمام فوري وأيها يمكن تجاهله.

لفترة طويلة، حاول العلماء بناء برامج حاسوبية ذكية للغاية (تسمى "الذكاء الاصطناعي المتخصص") يمكنها النظر إلى الصور الخام لهذه السحب والتمييز بين الآمن والخطير. هذه البرامج تشبه المحقق الماهر الذي درس ملايين صور مسرح الجريمة؛ فهي جيدة جداً، لكنها أيضاً انتقائية للغاية. فهي تحتاج إلى التدريب خصيصاً على الصور، ومن الصعب شرح كيفية اتخاذها للقرار للبشر، ولا يمكنها بسهولة التحدث عن "لماذا" تعتقد أن شيئاً ما مريب.

هنا يظهر "الذكاء الاصطناعي العام"، أو النموذج اللغوي الكبير (LLM). فكر في هذه النماذج كخبراء في المعلومات العامة؛ لقد قرأت كل شيء تقريباً مكتوباً على الإنترنت، بما في ذلك الكتب الطبية والملاحظات الطبية. إنها بارعة جداً في فهم الكلمات والقصص، لكنها ليست مدربة عادةً على النظر إلى البكسلات الخام للأشعة السينية. والسؤال الكبير الذي طرحه العلماء هو: هل يمكن لذكاء اصطناعي "ذكي لغوياً" لم يرَ قط صورة لعقدة رئوية، أن يحل اللغز بمجرد قراءة وصف مكتوب من قبل طبيب؟ وإذا فعل ذلك، فهل يمكننا الوثوق في مستوى ثقته بما يكفي لجعله يتخذ القرار الأول، أم أننا بحاجة إلى مراجعة عمله؟

تقدم هذه الورقة البحثية نظاماً ذكياً جديداً يسمى ConfTriage (اختصاراً لـ Confidence Triage أو فرز الثقة) للإجابة على تلك الأسئلة تحديداً. أراد الباحثون معرفة ما إذا كان بإمكان الذكاء الاصطناعي العام أن يعمل كـ "حارس بوابة" ذكي للعقد الرئوية، بحيث يقوم بفرز الحالات السهلة من الصعبة، ليتفرغ الأطباء البشريون والذكاء الاصطناعي المتخصص للتعامل مع الحالات المعقدة فقط.

إليكم كيف فعلوا ذلك وما وجدوه:

مفاجأة "اللغة فقط"
أجرى الفريق تجربة ضخمة باستخدام خمسة نماذج مختلفة من أعلى مستويات الذكاء الاصطناعي (من شركات مثل OpenAI وGoogle وغيرها). قدموا لهذه النماذج حالة عقدة رئوية بسبعة طرق مختلفة:

1. مجرد قائمة من الأرقام (مثل "الحجم: 5 ملم، الشكل: مستدير").
2. مجرد قصة باللغة الطبيعية تصف العقدة (مثل "عقدة صغيرة مستديرة ذات حواف متعرجة").
3. مجرد بعض الإحصائيات الأساسية من الصورة (مثل "متوسط السطوع" أو "أنماط النسيج").
4. تركيبات متنوعة مما سبق.

كانت النتائج مفاجأة كبيرة. فعندما حاول الذكاء الاصطناعي تخمين مستوى الخطورة باستخدام إحصائيات الصورة فقط (الأرقام الخام من الصورة)، كان في الواقع يخمن عشوائياً، ولم يكن أداؤه أفضل من رمي قطعة نقدية. كان الأمر كما لو كان الذكاء الاصطناعي ينظر إلى صورة ضبابية ويحاول تخمين لون السماء عن طريق عد البكسلات.

ومع ذلك، عندما تم تزويد الذكاء الاصطناعي بـ وصف باللغة الطبيعية للعقدة — أي الكلمات التي قد يكتبها أخصائي الأشعة في تقريره — أصبح محققاً نجمًا. استطاع الذكاء الاصطدياد تحديد العقد الخطيرة بدقة مذهلة، حيث وصل إلى درجة 0.907 (على مقيض حيث 1.0 هو المثالي). وهذا يشير إلى أن "السر الخفي" لتشخيص هذه العقد ليس مخبأً في البكسلات الخام، بل في الكلمات المحددة التي يستخدمها الأطباء لوصفها. فالذكاء الاصطناعي، بما أنه قرأ الملايين من النصوص الطبية، يعرف بالفعل أن كلمات مثل "spiculated" (متعرجة/مسننة) أو "lobulated" (مفصصة/متعرجة) هي علامات تحذيرية.

استراتيجية "ConfTriage"
مع إدراكهم أن الذكاء الاصطناعي بارع في قراءة الأوصاف، بنى الفريق نظام سلامة يسمى ConfTriage. فقد أدركوا أنه حتى الأجهزة الذكية قد تكون مفرطة في الثقة؛ فأحياناً قد يقول الذكاء الاصطناعي: "أنا متأكد بنسبة 99% أن هذا آمن!" بينما يكون مخطئاً في الواقع. ولحل هذه المشكلة، أضافوا خطوة "المعايرة".

فكر في المعايرة كضبط آلة موسيقية؛ فثقة الذكاء الاصطناعي الخام "خارج النغمة" قليلاً. استخدم الباحثون خدعة رياضية (تسمى Platt scaling) لضبط درجات ثقة الذكاء الاصطناعي بحيث تطابق الواقع فعلياً. فإذا قال الذكاء الاصطناعي إنه واثق بنسبة 80%، فيجب أن يكون محقاً في 80% من الحالات.

بمجرد ضبط الذكاء الاصطناعي، وضعوا قاعدة:

• إذا كان الذكاء الاصطناعي واثقاً جداً (إما متأكد جداً من أنه آمن أو متأكد جداً من أنه خطير)، فإنه يتخذ القرار.
• إذا كان غير متأكد (يتأرجح في المنتصف)، فإنه يحيل الحالة فوراً إلى "الداعم المتخصص" (Specialist Backstop). وهذا الداعم هو ذكاء اصطناعي تقليدي مدرب على الصور (يسمى Certain-Net) وهو بارع جداً في النظر إلى الصور ولكنه يتطلب الكثير من التدريب.

النتائج: تعاون مثالي
عمل هذا التعاون بشكل رائع. استطاع نظام ConfTriage حل 76.5% من جميع الحالات باستخدام الذكاء الاصطناعي العام الذي يقرأ النص فقط. لم يحتج إلى النظر إلى صورة واحدة لهذه الحالات. وقد أرسل فقط الـ 23.5% المتبقية من الحالات "المربكة" إلى الذكاء الاصطناعي المتخصص في الصور.

حقق النظام النهائي درجة F1 بلغت 88.22% وقيمة AUC بلغت 0.92. وهذا يعني أنه كان دقيقاً للغاية، والأهم من ذلك، أنه كان فعالاً؛ فقد وفر طاقة معالجة الصور الثقيلة للحالات التي تحتاجها حقاً.

ما استبعدوه
الورقة البحثية واضحة جداً بشأن ما لا يعمل. فقد أظهروا صراحة أن تغذية إحصائيات الصورة الخام (مثل مدرجات تكرار سطوع البكسلات) في الذكاء الاصطناعي العام هو أمر عديم الفائدة لهذه المهمة؛ إذ لم يستطع الذكاء الاصطناعي فهمها. كما أظهروا أنه بينما قد تكون بعض نماذج الذكاء الاصطناعي أفضل من غيرها، إلا أن نهج "اللغة فقط" نجح بشكل جيد عبر معظمها، مما يشير إلى أن هذا ليس مجرد صدفة ناتجة عن نموذج شركة معينة.

ما مدى ثقتهم؟
الباحثون واثقون جداً من نتائجهم لأنهم لم يتكهنوا فح्हे، بل أثبتوا ذلك بالرياضيات. فقد طوروا نظريتين رياضيتين لدعم نظامهم:

• تثبت إحدى النظريات أن نظامهم المشترك (الذكاء الاصطناعي + المتخصص) لديه معدل خطأ مضمون لن يتجاوز حداً معيناً، حتى مع وجود كمية صغيرة من البيانات.
• وتظهر النظرية الأخرى أنه إذا كانت ثقة الذكاء الاصطناعي معايرة جيداً (مضبوطة بشكل صحيح)، فإن النظام سيكون ممتازاً بقدر قدرة صانع القرار المثالي نظرياً.

لقد اختبروا ذلك على مجموعة بيانات عامة مكونة من 955 عقدة رئوية، باستخدام طريقة صارمة حيث تحققوا من عمل الذكاء الاصطناعي مقابل إجماع أخصائيي الأشعة البشريين. حتى أنهم أجروا "اختبارات فساد"، حيث قاموا بتغيير الكلمات أو تغيير معنى الأوصاف، وانخفض أداء الذكاء الاصطناعي، مما أثبت أنه كان يفهم المعنى الطبي فعلياً وليس مجرد حفظ كلمات عشوائية.

الخلاصة
يشير نظام ConfTriage إلى طريقة جديدة لاستخدام الذكاء الاصطناعي في الطب. فبدلاً من بناء حاسوب عملاق ومكلف يحاول القيام بكل شيء، يمكننا استخدام ذكاء اصطناعي ذكي ومتمكن لغوياً للتعامل مع الحالات السهلة من خلال قراءة ملاحظات الأطباء. إنه يعمل كممرض فرز ماهر، يصنف المرضى ويستدعي الجراح المتخصص (الذكاء الاصطناعي الخاص بالصور) فقط للحالات المعقدة. هذا يوفر الوقت، ويقلل التكاليف، ويحافظ على سلامة النظام من خلال الاعتراف بعدم معرفة الإجابة. وبينما أجريت هذه الدراسة على بيانات عامة وتحتاج إلى اختبارات في المستشفيات الواقعية، إلا أنها تقدم خارطة طريق واعدة لكيفية عمل الذكاء الاصطناعي العام والذكاء الاصطناعي المتخصص معاً لمساعدة الأطباء في إنقاذ الأرواح.