Selective Foundation-Model Intervention for Vertebral CT Segmentationunder Predictive Uncertainty
تقترح هذه الورقة إطار عمل للتعاون الانتقائي الموجه بعدم اليقين (UGSCF) يقوم بنشر نموذج "Segment Anything Model" (SAM) استراتيجياً لتصحيح المناطق ذات عدم اليقين العالي في تقسيمات الأشعة المقطعية للفقرات الخاصة بمهمة محددة فقط، مما يثبت أنه في حين أن الدمج غير المشروط غالباً ما يكون ضاراً، فإن عملية اتخاذ القرار الهرمي تخصص موارد النموذج التأسيسي بفعالية حتى لو أدى ذلك إلى مكاسب طفيفة فقط في الدقة الإجمالية.
في عالم التصوير الطبي، أصبحت الحواسيب بارعة بشكل ملحوظ في النظر إلى صور جسم الإنسان ورسم خطوط حول أعضاء محددة. فعلى مدى عقود، قام العلماء بتدريب برامج حاسوبية متخصصة للتعرف على الأنماط في الأشعة السينية والمسوحات، وتعليمها كيفية تحديد فقرة واحدة في العمود الفقري أو ورم في الرئة بدقة متزايدة. تعمل هذه البرامج مثل أطباء الأشعة الخبراء الذين عاينوا آلاف الأمثلة، مما يسمح لهم باتخاذ قرارات سريعة ومتسقة بشأن ما هو صحي وما هو غير ذلك. ومع ذلك، فقد ظهر مؤخرًا نوع جديد من الذكاء الحاسوبي يعمل بشكل مختلف؛ فبدلاً من التدرب على نوع واحد فقط من الصور الطبية، درست "نماذج التأسيس" هذه ملايين الصور اليومية للعالم، وتعلمت التعرف على أي جسم تراه وتحديده. وبينما يمكن لهذه النماذج العامة القوية أن تكون مرنة للغاية، ظل هناك سؤال عالق: عندما يكون البرنامج الطبي المتخصص يقوم بعمل جيد بالفعل، هل من المفيد طلب رأي ثانٍ من النموذج العام، أم أن ذلك سيؤدي فقط إلى إحداث ارتباك؟
وضع فريق من الباحثين في جامعة سيشوان نصب أعينهم الإجابة على هذا السؤال من خلال اختبار كيفية تفاعل نموذج عام قوي مع نموذج متخصص مصمم خصيصًا لصور العمود الفقري. وقد ركزوا على مهمة تسمى "تجزئة الفقرات"، والتي تتضمن تتبع الخطوط الخارجية لعظام العمود الفقري في صور التصوير المقطعي المحوسب. وتعد هذه خطوة حاسمة للأطباء الذين يحتاجون إلى قياس كثافة العظام أو التخطيط للعمليات الجراحية، حيث يمكن أن يؤدي حتى خطأ صغير في الرسم التخطيطي إلى تشخيصات خاطئة. بدأ الباحثون ببرنامج حاسوبي متخصص تم تدريبه بالفعل لأداء هذه المهمة المحددة بشكل جيد للغاية. ثم قدموا نموذجًا ثانيًا أكبر بكثير، لم يسبق له رؤية عمود فقري من قبل، ولكنه كان قادرًا على تحديد الخطوط الخارجية لأي شيء. وكان الهدف هو معرفة ما إذا كان السماح لهذا النموذج الثاني بمحاولة إصلاح أو تحسين عمل النموذج الأول سيؤدي إلى نتائج أفضل، أم أنه سيؤدي ببساطة إلى أخطاء جديدة.
اكتشف الباحثون أن مجرد ترك النموذج الثاني يتولى زمام الأمور أو يقوم بإصلاح عمل النموذج الأول تلقائيًا كان فكرة سيئة في كثير من الأحيان. في الواقع، عندما تركوا النموذج العام يحاول تصحيح تنبؤات النموذج المتخصص دون أي قواعد، جعل النتائج أسوأ في أكثر من تسعين بالمائة من الحالات. فقد مال النموذج العام إلى رسم خطوط كبيرة جدًا، بما في ذلك أجزاء من الجسم ليست عظامًا، أو قد يفقد تفاصيل صغيرة كان النموذج المتخصص قد التقطها بدقة مثالية. كانت هذه النتيجة مفاجئة لأن النموذج العام كان قويًا للغاية، ومع ذلك فإن معرفته الواسعة لم تترجم جيدًا إلى المهمة الدقيقة والمحددة المتمثلة في تحديد فقرة واحدة. وأدرك الباحثون أن المشكلة لم تكن في جودة النموذج العام، بل في توقيت مطالبته بالتحدث.
ولحل هذه المشكلة، طور الفريق نظامًا يعمل كمدير حذر بدلاً من كونه مجرد دمج بسيط بين أداتين. لقد علموا النظام أن يقوم أولاً بجعل البرنامج المتخصص يقوم بعمله، ثم التحقق من مدى ثقة البرنامج في إجابته الخاصة. فإذا كان البرنامج المتخصص واثقًا جدًا من عمله، يتركه النظام وشأنه. أما إذا كان البرنامج غير متأكد، مما يشير إلى جزء صعب أو غير واضح من الصورة، فإن النظام يستدعي النموذج العام لتقديم اقتراح. ولم يكن مسموحًا لهذا الاقتراح بالسيطرة على الصورة بأكملة؛ بل تم تقييده فقط بالمناطق الصغيرة وغير المؤكدة حيث اختلف النموذجان. وأخيرًا، تمت إضافة خطوة ثالثة: عملية تحقق تعمل كحكم. نظر هذا الحكم إلى الاقتراح المقدم من النموذج العام وقرر ما إذا كان أفضل حقًا من الإجابة الأصلية. وإذا لم يكن الاقتراح تحسنًا واضحًا، فإن النظام يستبعده ويحتفظ بالتنبؤ الأصلي المتخصص.
أظهرت نتائج هذا النهج المدروس خطوة بخطوة أن كون المرء انتقائيًا هو أمر أفضل بكثير من كونه تلقائيًا. فمن خلال استخدام عدم اليقين لدى النموذج المتخصص لتحديد متى يتم طلب المساعدة، تمكن الباحثون من إيجاد عدد قليل من الحالات التي يمكن للنموذج العام أن يحسن فيها النتيجة حقًا. ومع ذلك، حتى مع هذا النظام الذكي، كان التحسن الإجمالي في الدقة صغيرًا جدًا وغير مهم إحصائيًا. لم يصبح النظام حلاً سحريًا يصلح كل مشكلة، لكنه أثبت نقطة حاسمة: لا يمكنك ببساطة دمج نموذجين قويين وتوقع نتيجة أفضل. بدلاً من ذلك، يجب عليك معاملة النموذج العام كمستشار متخصص لا يُستدعى إلا عندما يعاني الخبير الأساسي، وحتى في تلك الحالة، يجب فحص نصيحته بعناقة قبل قبولها.
تسلط هذه الدراسة الضوء على تحول جوهري في كيفية استخدامنا للذكاء الاصطناعي المتقدم في الطب. فبدلاً من استبدال الأدوات المصممة بشريًا بأنظمة ضخمة وشاملة، قد يكون المسار الأكثر فعالية هو استخدام هذه النماذج الكبيرة كشبكة أمان. يمكن نشرها للإمساك بالأخطاء في مواقف محددة وصعبة، ولكن يجب توجيهها بقواعد صارمة تمنعها من التدخل عندما لا تكون هناك حاجة إليها. وجد الباحثون أنه بينما كان لدى النموذج العام القدرة على المساعدة، فقد كانت لديه أيضًا القدرة على التسبب في ضرر كبير إذا تُرك دون رقابة. ومن خلال بناء نظام يعرف متى يستمع ومتى يتجاهل، أنشأوا إطارًا يحمي موثوقية الأدوات الطبية المتخصصة مع السماح في الوقت نفسه بالتدخل النادر والقيم من ذكاء أوسع. ويشير العمل إلى أن مستقبل التصوير الطبي لا يكمن في نماذج أكبر، بل في طرق أذكى لتحديد النموذج الذي يجب أن يكون مسؤولًا في أي لحظة معينة.
ملخص تقني: التدخل الانتقائي لنماذج التأسيس في تقسيم الصور المقطعية للفقرات تحت وطأة عدم اليقين التنبؤي
بيان المشكلة بينما توفر نماذج التأسيس (Foundation Models) مثل نموذج "تقسيم أي شيء" (SAM) قدرات تعميم قوية، فإن تطبيقها غير المشروط على مهام تقسيم الصور الطبية — لا سيما عندما يتوفر بالفعل نموذج قوي متخصص في المهمة (مثل UNet) — يمكن أن يكون بنتائج عكسية. في عملية تقسيم الصور المقطعية للفقرات، يؤدي التدخل المباشر من SAM بشكل متكرر إلى تدهور أداء النموذج المتخصص في المهمة والذي يعد موثوقاً. إن التحدي الجوهري الذي تعالجه هذه الدراسة لا يقتصر فقط على توليد أقنعة تقسيم معقولة، بل في تحديد متى ينبغي استدعاء نموذج التأسيس وما إذا كان ينبغي الوثوق بالتصحيحات المقترحة منه. فدمج النماذج غير المشروط ينطوي على مخاطر إدخال أخطاء جديدة (مثل الإفراط في التقسيم أو تسرب الخلفية) في المناطق التي يكون فيها النموذج المتخصص دقيقاً بالفعل، كما يتسبب أيضاً في تكاليف حوسبة غير ضرورية.
المنهجية: إطار عمل UGSCF يقترح المؤلفون إطار عمل التعاون الانتقائي الموجه بعدم اليقين (UGSCF)، والذي يعامل SAM كمقترح تصحيح عند الطلب بدلاً من كونه مقسماً في مرحلة ثانية إلزامي. يعمل إطار العمل وفق استراتيجية هرمية تعتمد على: التوجيه – الاقتراح – التحقق – التصحيح:
النموذج الأساسي المتخصص في المهمة وتقدير عدم اليقين: يقوم نموذج UNet مبني على ResNet-18 ومجمد (Frozen) بتوليد التقسيم الافتراضي (MU) وخريطة عدم اليقين التنبؤي (HU) بناءً على الإنتروبيا. يتركز عدم اليقين حول الحدود التشريحية المتوقعة.
التوجيه الموجه بعدم اليقين: يحسب النظام درجة عدم اليقين على مستوى الشريحة (Slice). يتم توجيه الشرائح التي تتجاوز عتبة معينة من عدم اليقين فقط لعملية تدخل إضافية. تخصص هذه الخطوة موارد الحوسبة الخاصة بنموذج التأسيس للمناطق التي يكون فيها النموذج المتخصص أقل ثقة.
توليد مقترحات SAM: بالنسبة للشرائح الموجهة، يقوم نموذج SAM (من نوع ViT-B) مجمد بتوليد مقترحات التقسيم باستخدام مطالبات تلقائية مستمدة من قناع UNet (صناديق الإحاطة والنقاط الموجهة بعدم اليقين).
مرشحات التصحيح الموضعي: بدلاً من استبدال مخرجات UNet عالمياً، يتم تحويل مقترحات SAM إلى مرشحات تصحيح موضعية. تُقيد هذه المرشحات بـ "مناطق عدم الاتفاق" (حيث يختلف UNet وSAM) وتُحدد أكثر داخل المناطق الفرعية ذات الإنتروبيا العالية ضمن تلك الاختلافات.
التحقق من قيمة المرشح: يقوم مُتحقق متعلم (تحديداً مُنظم تدرج تعزيزي - Gradient Boosting regressor) بتقدير تحسن "دايس" (Dice improvement) المتوقع (Δ^) لكل تصحيح مرشح بالنسبة لتوقع UNet الأصلي. يتم قبول التصحيح فقط إذا تجاوز التحسن المتوقع عتبة قبول متعلمة (τacc). إذا فشل المرشح في عملية التحقق، يتم الحفاظ على توقع UNet الأصلي.
المساهمات الرئيسية
توصيف الفشل غير المشروط: أظهرت الدراسة بشكل منهجي أن تدخل SAM غير المشروط غالباً ما يكون ضاراً. في مجموعة التحقق الداخلية VerSe19، أدى مخرج SAM المباشر إلى تدهور 91.66% من الشرائح المؤهلة، بينما لم يحسن سوى 8.31% منها.
التدخل الانتقائي الهرمي: قدم المؤلفون صياغة تفصل صراحة بين توجيه التدخل (المحدد بعدم اليقين التنبؤي) والتحقق من المقترح (المحدد بمقدر قيمة المرشح). وهذا يفصل بين قرار أين يتم تخصيص الحوسبة وبين قرار ما إذا كان يجب الوثوق بالنتيجة.
آلية التحقق من قيمة المرشح: تطوير آلية تحقق تمنع التدخلات الضارة من خلال رفض مقترحات SAM التي لا يُتوقع أن تحسن النموذج الأساسي، حتى عندما يتم توجيهها بواسطة عدم اليقين.
النتائج
أداء النموذج الأساسي: حقق نموذج UNet المتخصص في المهمة متوسط "دايس" حجمي قدره 0.8258 على مجموعة الاختبار المكونة من 40 شخصاً.
تأثير عدم اليقين: أظهر عدم اليقين التنبؤي ارتباطاً إيجابياً مع القيمة المحتملة لتدخل SAM. زادت نسبة التدخلات المفيدة من 2.04% في الربع الأدنى من عدم اليقين إلى 30.49% في الربع الأعلى.
أداء التحقق (الداخلي): تحت التحقق من نوع (Leave-one-subject-out - LOSO) المتداخل على مستوى الشخص، حققت أفضل سياسة قابلة للنشر (منظم التدرج التعزيزي Δ-regressor) متوسط "دايس" قدره 0.814658، وهو تحسن عددي طفيف قدره +0.000519 عن UNet وحده (0.814139). ومع ذلك، لم يكن هذا التحسن ذا دلالة إحصائية (95% CI: −0.000312 إلى 0.001493؛ p=0.307821).
أداء مجموعة الاختبار (بعد التجربة): في مجموعة الاختبار المكونة من 40 شخصاً والمحتجزة، حقق إطار عمل UGSCF النهائي "دايس" قدره 0.825360، مقارنة بـ 0.825776 لنموذج UNet وحده (Δ=−0.000416، p=0.265373). لم يترجم التأثير الإيجابي الصغير الملاحظ أثناء التحقق الداخلي إلى مجموعة الاختبار.
الانتقائية: في أفضل سياسة تحقق، تم استدعاء SAM لـ 19.53% من الشرائح الإيجابية للأمام (foreground-positive)، ولكن 9.49% فقط تلقت تصحيحاً مقبولاً. ومن بين تلك المقبولة، كانت 65.62% مفيدة.
تحليل الأوراكل (Oracle Analysis): أظهر تحليل الأوراكل (باستخدام الحقيقة الأرضية لاختيار المرشحين) إمكانية تحسن قدرها +0.0049، مما يشير إلى وجود تصحيحات مفيدة ضمن مجموعة المرشحين، لكن المُتحقق القابل للنشر لم يستطع استعادة سوى حوالي 10.6% من هذه القدرة الكامنة.
دراسة الاستئصال (Ablation): أدى إزالة التحكم الانتقائي (SAM غير المشروط) إلى خفض الأداء بشكل حاد (Dice 0.652). أدى التوجيه بعدم اليقين وحده إلى تحسين ذلك إلى 0.712، وأدى إضافة التصحيح الموضعي إلى رفعه إلى 0.811، ولكن فقط خطوة التحقق الكاملة هي التي أعادت الأداء إلى مستوى النموذج الأساسي مع تحسن عددي طفيف.
الأهمية والادعاءات يدعي البحث بتواضع أن UGSCF لا يحسن باستمرار دقة التقسيم الإجمالية فوق نموذج أساسي قوي في السياق الحالي. بدلاً من ذلك، تكمن أهميته الأساسية في إنشاء آلية قرار انتقائية للتعاون مع نماذج التأسيس.
يجادل المؤلفون بأن الدور المناسب لنموذج التأسيس في هذا السياق هو دور مقترح تصحيح يتم استدعاؤه انتقائياً، وليس كمُحسّن شامل. يوفر إطار العمل آلية هرمية:
يستخدم عدم اليقين التنبؤي لتحديد أين يتم تخصيص حوسبة إضافية لنموذج التأسيس.
يستخدم التحقق من قيمة المرشح لتحديد ما إذا كان المقترح الناتج جدير بالثقة لتعديل التوقع الأصلي.
تخلص الدراسة إلى أن التعاون بين النماذج المتخصصة في المهمة ونماذج التأسيس يُصاغ بشكل أفضل كعملية انتقائية بدلاً من كونها دمجاً غير مشروط للنماذج. وبينما لم يحقق التنفيذ الحالي تحسناً ذا دلالة إحصائية في الدقة الإجمالية، فقد نجح في منع التدهور الناتج عن التدخل العشوائي وقدم إطاراً عملياً لإدارة المقايضة بين قدرة نموذج التأسيس وموثوقية النموذج المتخصص في المهمة. ويشير المؤلفون إلى أن استراتيجية معالجة ما بعد المعالجة البسيطة الموجهة نحو التشريح (أكبر مكون ثلاثي الأبعاد) تفوقت فعلياً على تدخل SAM الانتقائي في مجموعة الاختبار، مما يؤكد أكثر على أن قيمة UGSCF تكمن في بنية اتخاذ القرار لديه بدلاً من مكاسب الدقة الخام في هذه الحالة تحديداً.