Automatic Segmentation of 3D CT scans with SAM2 using a zero-shot approach
تثبت هذه الورقة البحثية جدوى التقسيم ثلاثي الأبعاد للصور الطبية بنمط "الصفر استباقي" (zero-shot) بالكامل من خلال تكييف نموذج (SAM2) مع بيانات التصوير المقطعي المحوسب الحجمية عبر تعديلات تعتمد على الاستنتاج فقط، والتي تعامل الشرائح كمتتاليات مرتبة، محققةً نتائج متماسكة على مجموعة بيانات (TotalSegmentator) دون الحاجة إلى أي ضبط دقيق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك كتلة ضخمة ثلاثية الأبعاد من الجيلي تمثل جسماً بشرياً، ولكن بدلاً من أن تكون شفافة، فهي مكونة من آلاف الشرائح الرقيقة المتراصة من الخبز (مثل رغيف الخبز). هدفك هو العثور على جميع العظام داخل هذا الرغيف وتحديد حدودها دون تقطيعها.
هذا هو تحدي التجزئة الطبية ثلاثية الأبعاد (3D medical segmentation). تقليدياً، لتعليم الكمبيوتر القيام بذلك، ستحتاج إلى توظيف فريق من الأطباء لرسم حدود يدوياً على كل شريحة من كل مسح ضوئي لكل مريض. هذا الأمر بطيء، ومكلف، ويخلق "عنق زجاجة" حيث يتوقف التقدم بسبب عدم امتلاكنا لبيانات مصنفة كافية.
هنا يأيد SAM2 (نموذج التجزئة الشامل - Segment Anything Model 2). فكر في SAM2 كقلم تحديد ذكي للغاية وعام الأغراض، تم تدريبه على ملايين الصور للقطط والسيارات والأشجار. إنه بارع جداً في إيجية الأجسام في الصور ثنائية الأبعاد، لكنه لم يرَ قط مسحاً طبياً ثلاثي الأبعاد من قبل.
المشكلة: الارتباك بين "الفيديو" و"الرغيف"
أراد الباحثون استخدام SAM2 لتحديد حدود العظام في هذه المسوحات المقطعية (CT scans) دون إعادة تدريبه (نهج "Zero-shot"). وهذا يعني أنهم أرادوا استخدام النموذج تماماً كما هو، فقط عبر تغيير كيفية طلبهم منه العمل.
لكن هناك عقبة: لقد صُمم SAM2 للتعامل مع الفيديوهات.
- في الفيديو: الإطار 1 هو سيارة، الإطار 2 هو السيارة وهي تتحرك قليلاً، الإطار 3 هي السيارة وهي تبتعد قليلاً. السيارة تتغير بسلاسة عبر الزمن.
- في المسح المقطعي (CT): الشريحة 1 هي عظمة، الشريحة 2 هي نفس العظمة ولكنها أكثر سمكاً، الشريحة 3 هي العظمة وهي تصبح أكثر نحافة. العظمة لا تتحرك عبر الزمن؛ بل تتغير عبر المكان.
إذا قمت بتغذية المسح المقطعي لـ SAM2 كفيديو، فسيصاب النموذج بالارتباك. قد ينظر إلى شريحة تبعد 50 خطوة ويقول: "مهلاً، هذا يشبه ما رأيته سابقاً!" وقد يحدد الشيء الخطأ بالخطأ! لأن في الفيديو، الأشياء عادة ما تشبه نسخها السابقة، أما في المسح المقطعي، فقد تبدو العظمة التي تبعد 50 شريحة مختلفة تماماً أو قد تكون عظمة مختلفة كلياً.
الحل: تعليم قلم التحديد كيف "يفكر ثلاثي الأبعاد"
لم يغير المؤلفون "دماغ" النموذج (الأوزان)، بل غيروا التعليمات (مسار الاستدلال/inference pipeline) لخداع النموذج لجعله يستوعب البنية ثلاثية الأبعاد. لقد عاملوا المسح المقطعي كفيديو، لكنهم أضافوا بعض "قواعد الاشتباك" الذكية.
إليك الحيل الثلاث التي استخدموها، مشروحة بالتشبيهات:
1. مرشح "بنك الذاكرة" (اختيار المطالبات المهيكلة - Structured Prompt Selection)
تخيل أنك تحاول العثور على صديق معين في غرفة مزدحمة من خلال سؤال الأشخاص الذين رأوه مؤخراً.
- الطريقة القديمة: تسأل الجميع في الغرفة، بما في ذلك الأشخاص الذين رأوه قبل 10 دقائق. قد يقولون: "أوه، لقد رأيت شخصاً يشبهه!" ولكنه في الواقع شخص غريب دخل للتو.
- الطريقة الجديدة: تسأل فقط الأشخاص الذين رأوه الآن أو مؤخراً جداً.
وجد الباحثون أنه إذا أخبروا SAM2 أن يتذكر فقط "المطالبات" (الحدود الأولية) التي كانت قريبة من الشريحة الحالية، فإن النموذج سيتوقف عن الارتباك بسبب العظام البعيدة التي تشبهها.
2. خدعة "التقطيع الذكي" (التقطيع الذكي - Intelligent Slicing)
يمتلك SAM2 "ذاكرة" لآخر بضع إطارات رآها.
- الطريقة القديمة: يتذكر آخر 6 شرائح بالتساوي. ولكن في المسح المقطعي، غالباً ما تكون الشرائح الوسطى مجرد نسخ مكررة ومملة لما سبقها.
- الطريقة الجديدة: أدرك الباحثون أن الشرائح الأولى والأخيرة في التسلسل تحمل أهم "سياق" (مثل بداية ونهاية الجملة). لذا أخبروا النموذج أن يولي اهتماماً إضافياً لـ "أطراف" التسلسل ويتجاهل الأجزاء المملة في المنتصف. هذا جعل النموذج أسرع وأكثر دقة.
3. استراتيجية "الزوايا الثلاث" (الانتشار متعدد المحاور - Multi-Axis Propagation)
تخيل أنك تحاول وصف تمثال لشخص لا يمكنه إلا رؤيته من الأمام. قد تفوتك التفاصيل الموجودة على الجانب.
- الطريقة القديمة: كان النموذج ينظر إلى المسح المقطعي من اتجاه واحد فقط (من الأعلى إلى الأسفل).
- الطي طريقة الجديدة: جعل الباحثون النموذج ينظر إلى المسح من ثلاث زوايا مختلفة (من الأعلى إلى الأسفل، ومن الأمام إلى الخلف، ومن الجانب إلى الجانب). ثم أخذوا النتائج من جميع هذه الرؤى ودمجوها معاً (مثل دمج ثلاثة آراء مختلفة) للحصول على الحد النهائي الأكثر دقة.
النتائج: خدعة سحرية ذات تأثير حقيقي
اختبر الفريق هذه الطريقة على 2,500 مسح مقطعي تحتوي على 104 هياكل عظمية مختلفة. لم يقوموا بتدريب النموذج ولو لمرة واحدة؛ بل قاموا فقط بتعديل التعليمات.
- النتيجة: على الرغم من أن النموذج كان "مجمداً" (أي لم يتعلم أي شيء جديد)، إلا أنه أصبح بارعاً للغاية في تحديد العظام.
- تفوق "الفقرات": تعتبر الفقرات (العمود الفقري) صعبة التحديد بشكل ملحوظ لأن العظام تبدو متشابهة جداً. حسنت الطريقة الجديدة الدقة في منطقة العمود الفقري بنسبة 12.5% مقارنة بالطريقة الأساسية.
- الكفاءة: من خلال كونها أكثر ذكاءً في كيفية التذكر، أصبح النموذج يعمل بشكل أسرع أيضاً.
لماذا يهم هذا؟
هذه الورقة البحثية تشبه إظهار أنك لست بحاجة لبناء محرك سيارة جديد لتقود بشكل أفضل؛ أحياناً، تحتاج فقط لتعلم تقنية قيادة أفضل.
من خلال إثبات أن الذكاء الاصطناً العام يمكنه القيام بمهام طبية ثلاثية الأبعاد معقدة دون الحاجة إلى إعادة تدريب مكلفة ومستهلكة للوقت، فإن هذا يفتح الباب أمام:
- تشخيص أسرع: يمكن للأطباء الحصول على حدود ثلاثية الأبعاد للعظام بشكل فوري تقريباً.
- تكاليف أقل: لا تحتاج المستشفيات إلى حواسيب فائقة القدرة لتدريب نماذج جديدة لكل مرض جديد.
- أدوات أفضل: يوضح هذا أن "النماذج التأسيسية" (الذكاء الاصطناعي العام الضخم) قوية بما يكفي للتعامل مع المهام الطبية المتخصصة إذا تحدثنا لغتها بشكل صحيح.
باختة، لقد علم الباحثون خبيراً في الفيديوهات ثنائية الأبعاد كيف يقرأ كتاباً ثلاثي الأبعاد، وقد تبين أنها قصة نجاح باهرة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.