Performance of Large Language Model on Real-World Patient Histories for Imaging Appropriateness.

ملخص تقني: أداء النموذج اللغوي الكبير على سجلات المرضى الواقعية لتحديد مدى ملاءمة التصوير الشعاعي

بيان المشكلة
يُعد ألم أسفل الظهر (LBP) شكوى عضلية هيكلية شائعة عالميًا، مما يؤدي إلى طلبات متكررة لإجراء تصوير بالرنين المغناطيسي (MRI) للعمود الفقري القطني العجزي. تشير المراجعات المنهجية إلى أن حوالي 29-34% من طلبات التصوير هذه غير ملائمة، وغالبًا ما تفتقر إلى "العلامات الحمراء" مثل العدوى، أو الأورام، أو الإصابات الرضحية. تزيد عمليات التصوير غير الضرورية من تكاليف الرعاية الصحية، وقلق المرضى، ومخاطر التشخيص المفرط. ورغم وجود أدوات دعم القرار السريري والإرشادات التوجيهية، إلا أن تنفيذها في الواقع العملي يواجه تحديات تتعلق بالتكامل مع سير العمل وإجهاد التنبيهات. وبينما برزت النماذج اللغوية الكبيرة (LLMs) كبديل قابل للتوسع لتقليل الاستخدام غير الضروري، إلا أن الدراسات السابقة اعتمدت إلى حد كبير على سيناريوهات سريرية افتراضية بدلاً من سجلات المرضى الحقيقية، واستخدمت معيار مرجعي يعتمد على طبيب أشعة واحد، وركزت على إصدارات سابقة من النماذج (مثل GPT-4) دون تقييم منهجي للارتباط بين جودة الاستنتاج وموثوقية القرار.

المنهجية
قيمت هذه الدراسة المستعرضة دقة التشخيص لنموذج GPT-5.2 في تصنيف مدى ملاءمة تصوير الرنين المغناطيسي للعمود الفقري القطني العجزي باستخدام سجلات مرضى من العالم الحقيقي ومعاياي الكلية الأمريكية للأشعة (ACR).

• جمع البيانات: جُمعت البيانات بأثر رجعي من 160 مريضًا بالغًا (متوسط العمر 48 ± 15 عامًا؛ 58% ذكور) خضعوا لتصوير بالرنين المغناطيسي للعمود الفقري القطني العجزي بين سبتمبر ونوفمبر 2025. تم استبعاد المرضى الذين لديهم سجلات غير كافية، أو خضعوا لجراحة سابقة في العمود الفقري، أو يُشتبه في إصابتهم بعدوى، أو تعرضوا لإصابة رضحية حادة. استُخدم استبيان مهيكل، تم التحقق من صحته بواسطة خمسة متخصصين، لجمع التاريخ السريري قبل التصوير.
• توجيه النموذج (Prompting): تم إدخال سجلات المرضى إلى GPT-5.2 عبر أوامر مهيكلة تمنح النموذج دور طبيب الأشعة وتتطلب منه تصنيف دواعي التصوير بالرنين المغناطيسي كـ "ملائم عادةً" (UA)، أو "قد يكون ملائمًا" (MBA)، أو "غير ملائم عادةً" (UNA)، أو "معلومات سريرية غير كافية" (ICI) بناءً على معايير الكلية الأمريكية للأشعة (ACR)، بما في ذلك تقديم استنتاج صريح.
• المعيار المرجعي: قام طبيبان للأشعة (بخبرة 5 و10 سنوات) بدور المعيار المرجعي.
  • المرحلة الأولى: قيم أطباء الأشعة مدى الملاءمة بناءً على نفس الأوامر المقدمة للنموذج، مع التعمية عن مخرجات النموذج.
  • المرحلة الثانية: قيم أطباء الأشعة دقة توصيات النموذج اللغوي وجودة استنتاجه السريري باستخدام مقياس ليكرت الخماسي (1-5)، مع التعمية عن تقييمات بعضهم البعض.
• التحليل الإحصائي: تم قياس الاتفاق باستخدام معامل كوهين كابا الموزون ($\kappa_w$) واختبار بوكر لعدم التماثل. وللتحليل الثنائي، تم دمج UA و MBA تحت فئة "ملائم"، و UNA تحت فئة "غير ملائم". وشملت مقاييس الأداء: الحساسية، والنوعية، والقيمة التنبؤية الإيجابية (PPV)، والقيمة التنبؤية السلبية (NPV)، والمساحة تحت المنحنى (AUC). كما أُجريت تحليلات فرعية بناءً على جودة الاستنتاج التي قيمها أطباء الأشعة (عالية: $\ge$4 مقابل منخفضة: <4).

النتائج الرئيسية

• الاتفاق: أظهر GPT-5.2 اتفاقًا متوسطًا مع كلا طبيبي الأشعة ($\kappa_w = 0.58$ مقابل الطبيب 1؛ $\kappa_w = 0.50$ مقابل الطبيب 2). وكان هذا المستوى من الاتفاق مشابهًا للاتفاق بين طبيبي الأشعة أنفسهما ($\kappa_w = 0.575$).
• التصنيف الثنائي: أظهر النموذج حساسية عالية (~85% ضد كلا الطبيبين) ولكن نوعية متغيرة (92.9% ضد الطبيب 1؛ 61.7% ضد الطبيب 2). كانت القيمة التنبؤية السلبية (NPV) متوسطة (57.8% ضد الطبيب 1؛ 64.4% ضد الطبيب 2)، مما يشير إلى ميل نحو استخدام أكثر تحفظًا (تقييدي) للرنين المغناطيسي.
• القدرة التمييزية: أظهر تحليل منحنى ROC تمييزًا جيدًا إلى ممتاز ضد الطبيب 1 (AUC 0.891) وجيد إلى مقبول ضد الطبيب 2 (AUC 0.751).
• الارتباط بجودة الاستنتاج: كانت النتيجة الحاسمة هي الارتباط القوي بين جودة الاستنتاج وموثوقية القرار. فعندما قيم أطباء الأشعة استنتاج النموذج بأنه عالٍ ($\ge$4)، كان الاتفاق التام على الملاءمة مرتفعًا (83.3% ضد الطبيب 1؛ 90.4% ضد الطبيب 2)، وكان التناقض المعاكس (أخطر أنواع الأخطاء) منخفضًا (2.3–4.7%). وعلى العكس من ذلك، عندما صُنفت جودة الاستنتاج بأنها منخفضة (<4)، انخفض الاتفاق التام إلى 0–7.1%، وارتفع التناقض المعاكس بشكل حاد إلى 71.4–92.8%.
• تقييم الخبراء: قيم أطباء الأشعة جودة مخرجات النموذج بشكل مرتفع، حيث بلغ وسيط درجات ليكرت 5 (الدرجة القصوى) لكل من الملاءمة والاستنتاج.

الأهمية والادعاءات
يزعم المؤلفون أن GPT-5.2 يعمل ضمن نطاق التباين بين أطباء الأشعة في تصنيف ملاءمة الرنين المغناطيسي للعمود الفقري القطني العجزي باستخدام سجلات مرضى حقيقية. تسلط الدراسة الضوء على أن جودة استنتاج النموذج تعد مؤشرًا قويًا لموثوقية قراره. وتحديدًا، ترتبط مخرجات الاستنتاج عالية الجودة باتفاق عالٍ مع حكم الخبراء، بينما يرتبط الاستنتاج منخفض الجودة بتناقض كبير.

وتفترض الورقة أن النماذج اللغوية الكبيرة مثل GPT-5.2 لديها القدرة على العمل كأدوات دعم للفحص المسبق لتقليل طلبات التصوير غير الضرورية. ومع ذلك، يؤكد المؤلفون أن هذه الإمكانية مرهونة بجودة استنتاج النموذج، مما يقترح سير عمل هجين يتم فيه تصعيد المخرجات ذات الاستنتاج المنخفض للمراجعة من قبل الخبراء. وتخلص الدراسة إلى أنه رغم كون النموذج واعدًا، فإن التكامل السريري الآمن يتطلب استمرار الإشراف البشري، والتحقق المستقبلي متعدد المراكز، ووضع معايير مرجعية توافقية لمعالجة التباين بين المراقبين في الحالات الغامضة.