Large Language Models to Label CT Radiology Reports for Incidental Findings Found in Lung Cancer Screening: A Comparative Analysis

ملخص تقني: استخدام النماذج اللغوية الكبيرة لتصنيف تقارير الأشعة المقطعية لنتائج عرضية في فحص سرطان الرئة

بيان المشكلة
تواجه عملية تنفيذ برامج فحص سرطان الرئة (LCS) في الاتحاد الأوروبي تحديات كبيرة تتعلق بحجم العمل المطلوب من أطباء الأشعة لتفسير كميات كبيرة من فحوصات التصوير المقطعي المحوسب بجرعة منخفضة (LDCT). وبالإضافة إلى اكتشاف سرطان الرئة، غالبًا ما تكشف هذه الفحوصات عن نتائج عرضية محددة (SIFs)، بما في ذلك أمراض الصمام الأبهري، وتوسع القصبات، والتصلب، وتكلس الشريان التاجي، والانتفاخ، والتشوهات الرئوية الخلالية (ILA)، وتشوهات العقد اللمفاوية المنصفية، والكتل المنصفية، وتشوهات الغدة الدرقية. وبينما تقدم الذكاء الاصطناال (AI) تقدمًا في اكتشاف العقد الرئوية، لا تزال الخوارزميات الخاصة بالنتائج العرضية المحددة (SIFs) في مراحل التطوير الأولى. ويتمثل أحد العوائق الرئيسية في ندرة مجموعات البيانات الضخمة والموسومة المطلوبة لتدريب مثل هذه النماذج. وتفتقر مجموعات البيانات الحالية، مثل تجربة سرطان الرئة الوطنية (NLST)، إلى التوسيم الشامل للنتائج العرضية المحددة. وفي حين توفر تقارير الأشعة السريرية مصدرًا غنيًا للمعلومات من أجل "الإشراف الضعيف" (weak supervision)، فإن طرق البحث التقليدية القائمة على الكلمات المفتاحية تفشل في استيعاب الفروق الدقيقة الطبية، والنفي، وتنوع المصطلحات. وعلاوة على ذلك، بينما تُظهر النماذج اللغوية الكبيرة (LLMs) واعدًا، إلا أن هناك نقصًا في الاستراتيجيات الموثقة لاستخدامها لتصنيف النتائج العرضية المحددة في تقارير فحص سرطان الرئة، لا سيما فيما يتعلق بفعالية تقنيات التلقين المختلفة (مثل سلسلة الأفكام - Chain-of-Thought) وأداء النماذج مفتوحة المصدر خفيفة الوزن والمحافظة على الخصوصية مقارنة بالنماذج المملوكة.

المنهجية
قيمت هذه الدراسة الاستعادية جدوى والاستراتيجيات المثلى لاستخدام النماذج اللغبية الكبيرة لتصنيف وجود أو غياب تسعة من النتائج العرضية المحددة (SIFs) في تقارير الأشعة الهولندية.

• مجموعة البيانات: استخدمت الدراسة 300 تقرير للصدر/البطن تم الحصول عليها من مستشفى أكاديمي هولندي (جُمعت بين عامي 2003 و2020). تم بناء مجموعة البيانات باختيار 200 تقرير من الفترة 2016-2017 و100 تقرير من النطاق الكامل (1997-2021) لضمان التنوع. جميع التقارير تم إخفاء هوية أصحابها.
• المعيار المرجعي: قام طبيب أشعة عام واحد بخبرة 32 عامًا بتصنيف التقارير يدويًا للتسعة نتائج عرضية، ليكون بمثابة الحقيقة الأرضية (ground truth).
• النماذج التي تم تقييمها:
  • المملوكة: GPT-5 و GPT-4-Turbo (عبر واجهة برمجة تطبيقات OpenAI).
  • مفتوحة المصدر: Llama-3.1-8B-INST و MedGemma-4B-IT (تم نشرها محليًا).
  • خط الأساس: طريقة البحث بالكلمات المفتاحية (regex).
• استراتيجيات التلقين (Prompting): تم اختبار أربع استراتيجيات متميزة لكل نموذج:
  1. V1: تلقين عام لتصنيف التسعة نتائج عرضية دون تعليمات محددة حول معايير التحديد.
  2. V2: تلقينات محددة لكل نتيجة عرضية، تتضمن معايير من بيان الجمعية الأوروبية للأشعة.
  3. V3: نفس V2 ولكن مع استخدام تقنية "سلسلة الأفكار" (CoT) للاستنتاج.
  4. V4: نفس V3 ولكن مع أمثلة قليلة (ثلاثة أمثلة لتقرير، واستنتاج، ومخرج).
• مقاييس التقييم: تم قياس الاتفاق بشكل أساسي باستخدام معامل كوهين كابا ($\kappa$)، والذي تم تفسيره عبر فئات Landis and Koch (1977) (من طفيف إلى مثالي تقريبًا). شملت المقاييس الثانوية الحساسية، والنوعية، ودرجة F1. تضمنت جميع المقايلات فترات ثقة 95% تم حسابها عبر طريقة البوتستراب (bootstrapping).

النتائج الرئيسية

• الأداء العام: حققت النماذج اللغبية الكبيرة اتفاقًا متوسطًا إلى مثالي تقريبًا مع طبيب الأشعة عبر معظم النتائج العرضية، مما يؤكد فائدتها للتصنيف الآلي. ومع ذلك، لم يكن هناك نموذج أو مزيج تلقين واحد مثاليًا لجميع النتائج التسعة.
• أداء النماذج:
  • حقق GPT-5 اتفاقًا جوهريًا أو مثاليًا تقريبًا لسبعة من النتماة التسعة (بما في ذلك أمراض الصمام الأبهري AVD، وتوسع القصبات، والتصلب، وتكلس الشريان التاجي CAC، والانتفاخ، والتشوهات اللمفاوية MLN، والكتلة المنصفية TA).
  • أظهر MedGemma-4B-IT (مفتوح المصدر) اتفاقًا جوهريًا أو أعلى لمعظم النتائج، وتفوق بشكل ملحوظ على أفضل نموذج مملوك تحديدًا بالنسبة للتشوهات الرئوية الخلالية (ILA) ($\kappa = 0.48$ مقابل $0.46$).
  • أظهر Llama-3.1-8B-INST عمومًا اتفاقًا أقل من النماذج المملوكة و MedGemma.
  • أدى البحث بالكلمات المفتاحية أفضل أداء فقط في حالة الكتلة المنصفية (MM)، ويرجع ذلك على الأرجلة إلى انخفاض التباين اللغوي لهذا النوع المحدد من النتائج، ولكنه كان أداءه ضعيفًا عمومًا مقارنة بالنماذج اللغبية الكبيرة بسبب سوء التعامل مع النفي والسياق.
• استراتيجية التلقين: على عكس التوقعات، أدت استراتيجية التلقين بسلسلة الأفكار (CoT) (V3 و V4) عمومًا إلى تقليل الأداء مقارنة باستراتيجيات غير CoT (V1 و V2). تم الحصول على أعلى قيم للاتفاق بشكل أساسي مع V1 أو V2. ولم تؤدِ إضافة الأمثلة القليلة (V4) إلى تحسين الاتفاق، بل أدت في بعض الحالات إلى تدهور الأداء، ربما بسبب تخصيص النماذج اهتمامًا أقل للتعليمات أو التركيز على أجزاء غير ذات صلة من التلقينات الطويلة.
• تحليل الخطأ: نتجت حالات عدم الاتفاق غالبًا عن إساءة فهم النماذج للسياق (على سبيل المثال، تصنيف AVD بناءً على مراجع قوس الأبهر) أو "الإفراط في التفكير" عبر CoT، مما أدى إلى تبريرات غير منطقية.

الأهمية والادعاءات
يخلص المؤلفون إلى أن النماذج اللغبية الكبيرة هي أداة قابلة للتطبيق لـ "التوسيم الضعيف" لتقارير الأشعة لتوسيع نطاق بيانات التدريب لخوارزميات اكتشاف النتائج العرضية في المستقبل. وتبرز الدراسة أن:

1. لا توجد استراتيجية عالمية موحدة: لا يوجد نموذج أو تلقين واحد مثالي لجميع النتائج العرضية؛ إذ يجب تخصيص الاختيار بناءً على كل نتيجة محددة.
2. هندسة التلقين: بالنسبة لهذه المهمة المحددة، تعتبر التلقينات الموجزة غير المعتمدة على CoT متفوقة على أساليب CoT أو الأمثلة القليلة.
3. قابلية النماذج مفتوحة المصدر: يمكن للنماذج خفيفة الوزن ومفتوحة المصدر (خاصة MedGemma-4B-IT) تحقيق أداء يضاهي أو يتجاوز النماذج المملوكة الأثقل وزناً لبعض النتائج، مما يوفر بديلاً يحافظ على الخصوصية ومنخفض التكلفة للنشر المحلي.
4. التوصية: يقترح المؤلفون مسار عمل (pipeline) للتوسيم الضعيف المستقبلي يبدأ بتلقينات موجزة غير معتمدة على CoT، وحيثما تكون الخصوصية حرجة، يتم استخدام النماذج مفتوحة المصدر خفيفة الوزن. كما يؤكدون على ضرية التحقق من اختيار النموذج والتلقين مقابل مجموعة بيانات موسومة من قبل خبير لكل نتيجة محددة قبل النشر واسع النطاق.

المحددات
تقر الدراسة بوجود عدة قيود؛ حيث أدى صغر حجم مجموعة البيانات (300 تقرير) إلى وجود حالات قليلة جدًا للنتائج النادرة مثل الكتلة المنصفية، مما حد من اليقين الإحصائي؛ كما أن استخدام طبيب أشعة واحد كمعيار مرجعي يمنع تقييم التباين بين القراء؛ وتقتصر الدراسة على التقارير الهولندية من مركز واحد؛ كما أن التطور السريع للنماذج اللغبية الكبيرة يعني أن هذه النتائج قد لا تعكس قدرات النماذج في المستقبل. لم يتم إجراء اختبارات دلالة إحصائية بين النماذج نظرًا للطبيعة الاستكشافية للدراسة.