MedGS: Gaussian Splatting for Multi-Modal 3D Medical Imaging

إليك ملخص تقني مفصل لورقة البحث بعنوان: "MedGS: تعلم الهياكل ثلاثية الأبعاد من التصوير الطبي المتسلسل باستخدام التبسيط الغاوسي (Gaussian Splating)."

1. بيان المشكلة

توفر الوسائط التصويرية الطبية مثل الموجات فوق الصوتية، والرنين المغناطيسي (MRI)، والأشعة المقطعية (CT) بيانات تشريحية حيوية غير جراحية. ومع ذلك، فإن إعادة بناء أسطح ثلاثية الأبعاد عالية الدقة من شرائح ثنائية الأبعاد متسلسلة يطرح تحديات كبيرة:

• البيانات المتفرقة والضجيج: غالبًا ما تعاني المسوحات الطبية من الضجيج وأخذ العينات المتفرقة (فجوات كبيرة بين الشرائح)، مما يجعل الاستكمال (interpolation) الدقيق أمرًا صعبًا.
• قصور الطرق التقليدية: غالبًا ما تنتج النهج الكلاسيكية (مثل خوارزمية Marching Cubes على شبكات الفوكسل) عيوبًا في الاتصال وتعتمد دقتها على مستوى الدقة (resolution).
• قصور التمثيلات العصبية الضمنية (INRs): بينما توفر هذه التمثيلات دقة عالية، إلا أنها مكلفة حاسوبيًا، وصعبة التفسير، ويصعب تعديلها يدويًا، مما يعيق فائدتها في التسجيل التشوهي (deformable registration) والجراحة بمساعدة الكمبيوتر.
• فصل المهام: تعالج الطرق الحالية غالبًا استكمال الإطارات (تخليق الصور) وتقسيم الصور (استخراج السطح) كمهام منفصلة، مما يفشل في الاستفادة من الاستمرارية الهندسية بينهما.

2. المنهجية: إطار عمل MedGS

يقترح المؤلفون MedGS، وهو إطار عمل مبتكر يعتمد على التبسيط الغاوسي (Gaussian Splatting - GS) مصمم لإعادة بناء تشريحي ثلاثي الأبعاد عالي الدقة. وهو يبني على نموذج VeGaS (Video Gaussian Splatting) ويستخدم توزيعات غاوس المطوية (Folded-Gaussian distributions).

البنية الأساسية

يعتمد MedGS استراتيجية تعلم متعددة المهام حيث يتم مشاركة تمثيل هندسي موحد بين مهمتين متميزتين:

1. استكمال الإطارات: إعادة بناء شدة الصورة الطبية الرمادية.
2. التقسيم (Segmentation): إعادة بناء أقنعة الإشغال الثنائية لاستخراج السطح.

التمثيل الهندسي الموحد:
يتم نمذجة المشهد كمجموعة من $N$ من الأوليات الغاوسية المطوية ثلاثية الأبعاد. يتم تعريف كل أول $i$ بواسطة:

• هندسة مشتركة: المتوسط ($m_i$)، والتباين ($\Sigma_i$)، ودوال التشوه الزمني ($a_i, f_i$). هذه المعلمات متطابقة لكلا المهمتين، مما يفرض اتساقًا هيكليًا.
• سمات ظهور مزدوجة:
  • $c^{img}_i$: معاملات اللون لإعادة بناء المسح الطبي الرمادي.
  • $c^{seg}_i$: معاملات اللون لإعادة بناء قناع التقسيم الثنائي.

الآليات الرئيسية:

• الغاوسات المطوية (Folded-Gaussians): على عكس الغاوسات الثابتة، هذه القيم مشروطة بالطوابع الزمنية للإطارات ($t$)، مما يسمح للنموذج بالتقاط الديناميكيات الزمنية والتغيرات المكانية غير الخطية (مثل تشوه الأعضاء) بكفاءة.
• تنظيم الإطارات البينية (IBFR): للتعامل مع البيانات المتفرقة والضجيج، يقوم النموذج بتوليد إطارات "حقيقية أرضية زنيفة" عن طريق الاستكمال الخطي بين الإطارات المتتالية ($I_t$ و $I_{t+1}$). تعمل خسارة التنظيم ($L^*_{interp}$) على إجبار الغاوسات على تقريب الانتقالات بسلاسة، مما يمنع الإفراط في التخصيص (overfitting) للضجيج أو الانهيار إلى طبقات منفصلة.
• استخراج الشبكة (Mesh Extraction): يقوم فرع التقسيم برسم مجال قياسي مستمر يمثل احتمالية الإشغال. يتم استخراج الشبكات ثلاثية الأبعاد عالية الدقة عن طريق استعلام هذا المجال في فترات كثيفة وتطبيق خوارزمية Marching Cubes.

دالة الهدف:
تجمع الخسارة الإجمالية بين إعادة بناء الصورة، والتقسيم، والتنظيم الزمني:
$$L_{total} = L_{img} + \lambda_{seg}L_{seg} + \lambda_{\sigma}L_{\sigma}$$

• $L_{img}$: تجمع بين إعادة بناء L1، وSSIM، وخسارة IBFR.
• $L_{seg}$: تقلل الفرق بين الأقنعة المرسومة والحقيقة الأرضية.
• $L_{\sigma}$: تنظم معامل الانتشار الزمني ($\sigma_t$) لمنع الغاوسات من أن تكون متفرقة جدًا أو منتشرة بشكل مفرط.

نماذج العمل:

• MedGS (الكامل): تحسين مشترك لمهام الصورة والقناع.
• MedGSi: استكمال فقط (بدون فرع القناع)، مفيد عندما لا تتوفر أقنعة التقسيم.
• MedGSs: قناع فقط (بدون فرع الصورة)، يستخدم لإثبات فائدة التعلم المشترك.

3. المساهمات الرئيسية

1. أول إطار عمل قائم على GS للتصوير الطبي المتسلسل: يكيف MedGS التبسيط الغاوسي خصيصًا لإعادة بناء الشبكة العضوية ثلاثية الأبعاد من البيانات الطبية ثنائية الأبعاد المتسلسلة.
2. الربط متعدد المهام: يقدم بنية ذات هندسة مشتركة ومظهر مزدوج تستخدم الإشارات الكثيفة من تخليق الصور لتنظيم هندسة التقسيم، مما يتيح استخراج سطح عالي الجودة حتى من المدخلات المتفرقة.
3. تمثيل صريح وقابل للتعديل: على عكس النماذج الضمنية، يوفر MedGS تمثيلًا صريحًا يتسم بالكفاءة في التدريب، وسهولة التفسير، ويسمح بالتلاعب الهندسي المباشر.
4. المتانة تجاه التفرع: يظهر أداءً فائقًا في سيناريوهات الإطارات المفقودة أو البيانات الضوضائية من خلال آلية IBFR.

4. النتائج التجريبية

تم تقييم إطار العمل على مجموعات بيانات الموجات فوق الصوتية للبروستاتا، والرنين المغناطيسي (الدماغ، القلب، الرئة، الكلية)، وCTA.

• جودة الاستكمال (MRI):
  • تفوق MedGS بشكل كبير على الاستكمال الخطي ونماذج التدفق البصري (optical flow) في مقاييس PSNR و SSIM، حتى عند التدريب على كل إطار ثانٍ، أو ثالث، أو خامس.
  • أظهرت النتائج النوعية حدودًا تشريحية أكثر حدة مقارنة بالضبابية التي تظهر في النماذج المرجعية.
• إعادة بناء الشبكة (الموجات فوق الصوتية للبروستاتا):
  • حقق MedGS أدنى مسافة تشامفر (Chamfer Distance - CD) وأدنى مسافة هاوسدورف للمئوية الـ 95 (HD95) مقارنة باستخراج السطح المتساوي (ISO-surface extraction)، وإعادة بناء بواسون (Poisson reconstruction)، والمنهج الضمني العصبي FUNSR.
  • دراسة الاستئصال (Ablation Study): أدى حذف خسارة IBFR ($L^*_{interf}$) أو التنظيم الزمني ($L_\sigma$) إلى تدهور الأداء، مما يؤكد ضرورتهما للتعامل مع البيانات المتفرقة/الضوضائية.
• التطبيق السريري:
  • أورام الكلى: وفر تحديدًا دقيقًا للموقع والاتجاه ثلاثي الأبعاد بالنسبة لنسيج الكلية، مما يساعد في التخطيط الجراحي (استئصال الكلية الجزئي مقابل الكلي).
  • تمدد الأوعية الدموية الأورطي: مكن من توصيف تفصيلي لهيكل التمدد ومراقبة النمو الطولي، مما يدعم توقيت التدخل الجراحي.

5. الأهمية والأثر

• الفائدة السريرية: يوفر MedGS أداة قوية لمراقبة الأمراض الطولية (مثل تتبع نمو الورم أو تمدد الأوعية الدموية) والتخطيط الجراحي من خلال توفير تصورات ثلاثية الأبعاد واضحة وعالية الدقة من بيانات ثنائية الأبعاد متفرقة أو ضوضائية.
• الكفاءة: الطبيعة الصريحة للتبسيط الغاوسي تسمح بتدريب أسرع (~20 دقيقة لكل جسم) ورسم/استخراج شبكة فوري مقارنة بالشبكات العصبية الضمنية الثقيلة.
• دعم القرار: بينما لا يعد بديلًا للقياس المباشر للأنسجة، يعمل MedGS كأداة دعم قرار قوية، مما يعزز قدرة الأطباء على تصور الهياكل التشريحية المعقدة والتخطيط للتدخلات بدقة أكبر.

التوفر: الكود المصدري متاح علنًا على https://github.com/gmum/MedGS.