Learning Neural Parametric 3D Breast Shape Models for Metrical Surface Reconstruction From Monocular RGB Videos
تقدم هذه الورقة liRBSM، وهو مسار عمل منخفض التكلفة ومفتوح المصدر يستفيد من نموذج بارامتري عصبي ضمني محلي لإعادة بناء هندسة ثلاثية الأبعاد دقيقة وصحيحة مترياً للثدي من مقاطع فيديو RGB أحادية العدسة بهوامش خطأ تقل عن 2 مم.
المؤلفون الأصليون:Maximilian Weiherer, Antonia von Riedheim, Vanessa Brébant, Bernhard Egger, Christoph Palm
تخيل أنك تريد إنشاء توأم رقمي ثلاثي الأبعاد ومثالي لثدي شخص ما لأغراض التخطيط الطبي، أو محاكاة الجراحة، أو تصميم حمالة صدر مخصصة. حتى الآن، كان القيام بذلك يتطلب ماسحات ضوئية ثلاثية الأبعاد متطورة من الدرجة الطبية تكلف عشرات الآلاف من الدولارات وتتطلب برامج خاصة.
تقدم هذه الورقة البحثية "خدعة سحرية" جديدة تتيح لأي شخص استخدام هاتف ذكي عادي لإنشاء نموذج ثلاثي الأبعاد عالي الدقة للثدي في دقائق معدودة. إليك كيف يعمل ذلك، مقسماً إلى مفاهيم بسيطة.
1. المشكلة: "المقاس الموحد" مقابل "الخياط المخصص"
فكر في نماذج الثدي ثلاثية الأبعاد السابقة مثل المانيكان المنتج بكميات ضخمة.
النماذج القديمة (العامة): حاول الباحثون وصف شكل الثدي بالكامل باستخدام صيغة رياضية واحدة ضخمة (عقل واحد أو شبكة عصبية واحدة). كان الأمر يشبه محاولة وصف مشهد طبيعي معقد باستخدام جملة واحدة فقط. لقد نجح الأمر في وصف الشكل العام، لكنه أغفل التفاصيل الصغيرة والمهمة مثل انحناء طية الجلد أو الشكل الدقيق للحلمة.
النموذج الجديد (المحلي): أدرك المؤلفون أن الثدي ليس مجرد كتلة واحدة كبيرة؛ بل يتكون من أجزاء مختلفة. لذا، بدلاً من عقل واحد ضخم، بنوا فريقاً من ستة عقول صغيرة متخصصة.
التشبيه: تخيل خياطاً يصنع بدلة مخصصة. بدلاً من أن يحاول خياط واحد خياطة البدلة بأكملها دفعة واحدة، لديك فريق: خبير للياقة، وخبير للأكمام، وخبير للصدر، وهكذا. كل خبير يرككّز على منطقة محددة.
النتيجة: هذا "النهج الجماعي" (المسمى liRBSM) يلتقط التفاصيل الدقيقة التي أغفلها "العقل الواحد" القديم. يمكنه إعادة إنشاء تجاعيد الجلد الصغيرة والتشريح الدقيق، مما يجعل النموذج الرقمي يبدو ويشعر وكأنه حقيقي تماماً.
2. العملية: من فيديو إلى جسم ثلاثي الأبعاد
الورقة لا تعطيك نموذجاً فحسب؛ بل تعطيك مساراً لبنائه من فيديو بسيط.
الخطوة 1: الفيديو (المادة الخام) لا تحتاج إلى ماسح ضوئي خاص. كل ما تحتاجه هو هاتف. تقوم بتسجيل فيديو قصير (حوالي 20 ثانية) للشخص وهو يقف ثابتاً بينما تتحرك أنت حوله في دائرة.
التشبيه: الأمر يشبه التقاط صورة بانورامية، ولكن بشكل ثلاثي الأبعاد.
الخطوة 2: "الاستدلال من الحركة" (عمل المحقق) يراقب الكمبيوتر الفيديو ويحدد موقع الكاميرا في كل لحظة. يستخرج نقاطاً رئيسية من الجلد ويبني "سحابة غبار" ثلاثية الأبعاد تقريبية تمثل الشكل.
التشبيه: تخيل محققاً ينظر إلى صورة لمسرح جريمة ويعيد بناء التخطيط ثلاثي الأبعاد للغرفة ذهنياً بمجرد النظر إلى كيفية تغير الظلال والزوايا.
الخطوة 3: "نقاط الارتكاز" (إحداثيات نظام تحديد المواقع GPS) للتأكد من أن السحابة ثلاثية الأبعاد بالحجم والاتجاه الصحيحين، ينقر المستخدم على ست نقاط محددة على الشاشة (مثل الحلمات، وسرة البطن، والترقوة).
التشبيه: هذا يشبه تثبيت خريطة على الحائط. أنت تخبر الكمبيوتر: "هذه النقطة هي الأنف، وهذه النقطة هي الذقن". بمجرد أن يعرف الكمبيوتر أماكن هذه النقاط، يمكنه تمديد وتقليص السحابة ثلاثية الأبعاد لتناسب الشخص الحقيقي تماماً.
الخطوة 4: "الملاءمة السحرية" (الخياط يقيس البدلة) يأخذ الكمبيوتر تلك "سحابة الغبار" التقريبية ويجبر "فريق العقول الصغيرة" (نموذجنا الجديد) على تشكيل نفسه حولها. ولأن النموذج دقيق للغاية، فإنه يملأ الفجوات وينعم الحواف الخشنة، مما يخلق سطحاً ثلاثي الأبعاد مثالياً ومتماسكاً.
3. لماذا يعد هذا أمراً هاماً؟
التكلفة: يحول جهازاً طبياً بقيمة 20,000 دولار إلى تطبيق مجاني يعمل على هاتف بقيمة 500 دولار.
السرعة: يستغرق أقل من 6 دقائق من الفيديو إلى النموذج ثلاثي الأبعاد النهائي.
الدقة: هو دقيق في حدود 2 مليمتر (حوالي سمك بطاقة الائتمان). وهذا كافٍ للأطباء لقياس حجم الثدي أو التخطيط للجراحة.
مفتوح المصدر: على عكس الأنظمة التجارية المكلفة، فإن الكود والنموذج متاحان مجاناً لأي شخص لاستخدهم. يريد المؤلفون إضفاء الطابع الديمقراطي على هذه التكنولوجيا بحيث يمكن للعيادات الصغيرة والباحثين استخدامها أيضاً.
الملخص
فكر في هذه الورقة البحثية كأنها ابتكار طابعة ثلاثية الأبعاد رقمية لجسم الإنسان تعمل على هاتف ذكي. بدلاً من استخدام آلة ضخمة ومكلفة لمسح المريض، تستخدم فيديو و"فريقاً ذكياً من العقول الصغيرة" لإعادة بناء الشكل بدقة مذهلة. إنه يشبه الانتقال من رسم تخطيطي ضبابي إلى صورة عالية الدقة، ولكن بشكل ثلاثي الأبعاد، وبالمجان.
إليك ملخص تقني مفصل لورقة البحث بعنوان: "تعلم نماذج بارامترية عصبية ثلاثية الأبعاد لشكل الثدي لإعادة بناء السطح المتري من فيديوهات RGB أحادية العدسة."
1. بيان المشكلة
تواجه مجالات تصوير ونمذجة الثدي ثلاثية الأبعاد عوائق كبيرة أمام الوصول والاعتماد:
التكلفة العالية والاعتماد على الأجهزة: أنظمة مسح الثدي ثلاثية الأبعاد التجارية (مثل Artec Eva وCanfield Vectra) باهظة الثمن (10 آلاف إلى 20 ألف يورو)، وتتطلب أجهزة متخصصة، وعادة ما تقتد بكونها محصورة في المرافق الطبية الكبيرة.
غموض البرمجيات: تعتمد البدائل منخفضة التكلفة الحالية غالباً على برمجيات مملوكة أو تطبيقات مغلقة المصدر (مثل تطبيقات iPhone محددة)، مما يحد من الشفافية والتحكم والخصوصية.
قصور النماذج: النماذج البارامترية الحالية للثدي هي إما:
قائمة على الشبكات (PCA): تتطلب تسجيل سطح غير صلب، وهو أمر عرضة للخطأ في المناطق المحجوبة أو التي تفتقر إلى المعالم (مثل منطقة أسفل الصدر).
النماذج العصبية الضمنية العالمية (iRBSM): رغم أنها تتجنب مشكلات التسجيل، إلا أن الشبكة العصبية العالمية الواحدة تجد صعوبة في التقاط التفاصيل التشريحية الدقيقة (مثل ثنايا الجلد، والحلمات) بسبب تعقيد نمذجة الشكل بأكൾه باستخدام دالة واحدة.
ندرة البيانات: هناك نقص في الأكواد المتاحة للعموم، والنماذج المدربة، ومجموعات البيانات، مما يعيق البحث والاعتماد السريري.
الهدف: تطوير خط معالجة (Pipeline) منخفض التكلفة، متاح، ومفتوح المصدر قادر على إعادة بناء هندسة الثدي ثلاثية الأبعاد بدقة مترية من فيديو RGB أحادي العدسة باستخدام أجهزة استهلاكية (مثل الهواتف الذكية)، دون الحاجة إلى مستشعرات متخصصة.
2. المنهجية
يتكون الحل المقترح من مكونين رئيسيين: نموذج الثدي البارامتري العصبي الموضعي (liRBSM) وخط معالجة إعادة بناء السطح.
أ. نموذج liRBSM (التمثيل الضمني الموضعي)
مستوحى من النماذج الرأسية العصبية الحديثة، ينتقل المؤلفون من الشبكة العصبية العالمية الواحدة إلى نهج مجزأ وموضعي:
البنية: بدلاً من استخدام طبقة متعددة الطبقات (MLP) عالمية واحدة، يتم تقسيم نطاق الثدي الضمني إلى عدة مناطق أصغر.
الطبقات المحلية (Local MLPs): يستخدم النموذج مجموعة من 6 طبقات MLP محلية (ϕk)، كل منها مثبت عند مواقع معالم تشريحية محددة (مثل الثلمة الترقوية، الحلمات، والنتوءات الغرابية).
السياق العالمي: تقوم طبقة MLP "خلفية" إضافية (ϕ0) بالتقاط السياق العالمي للمناطق البعيدة عن نقاط التثبيت.
الدمج (Blending): دالة المسافة الموقعة (SDF) النهائية هي مجموع أوزان مخرجات الـ MLP المحلية، والتي تُدمج باستخدام نواة غاوس (Gaussian kernel) بناءً على المسافة إلى نقاط التثبيت.
الأكواد الكامنة (Latent Codes): يتم ضبط النموذج بناءً على كود كامن عالمي (zglob) وأكواد كامنة محلية (zloc) لكل منطقة، مما يسمح بقدرة عالية على التعبير والتفصيل.
التدريب: تم التدريب بأسلوب التشفير التلقائي (auto-decoder) على 168 مسحاً ثلاثي الأبعاد عالي الجودة للثدي (في وضع الوقوف) باستخدام دالة خسارة تجمع بين قيود SDF، وتنظيم Eikonal، والإشراف على تنبؤ نقاط التثبيت.
ب. خط معالجة إعادة بناء السطح
يقوم خط المعالجة بإعادة بناء الهندسة ثلاثية الأبعاد من فيديو RGB أحادي العدسة:
المدخلات: فيديو RGB أحادي العدسة (يتم التقاطه عبر تحريك الهاتف الذكي حول الشخص).
الرؤية من الحركة (SfM): يتم استخدام خط معالجة SfM تفاضلي جاهز ومتطور (VGGSfM) لاستخراج معلمات الكاميرا وسحابة نقاط ثلاثية الأبعاد متفرقة من إطارات الفيديو.
المحاذاة والتقليم (Alignment & Pruning):
ينقر المستخدم على 6 معالم تشريحية في إطار فيديو واحد.
يتم إسقاط هذه المعالم ثنائية الأبعاد إلى ثلاثية الأبعاد باستخدام معلمات كاميرا SfM.
يتم محاذاة سحابة النقاط مع متوسط شكل النموذج باستخدام تحويل تشابه (تحليل Procrustes) بناءً على هذه المعالم.
يتم تقليم النقاط الخلفية بناءً على المسافة إلى متوسط الشكل.
ضبط النموذج (Model Fitting): يتم ضبط liRBSM على سحابة النقاط المحاذية والمقلمة عن طريق تحسين الأكواد الكامنة (z) لتقليل المسافة بين مجموعة المستوى الصفري لـ SDF المتوقعة والنقاط المدخلة.
القياس المتري (Metric Scaling): يتم قياس إعادة البناء إلى الأبعاد الواقعية باستخدام:
مسافة معلم معروف (مثل المسافة بين الحلمتين) مقاسة على المريضة.
أو عامل قياس إحصائي متوسط مشتق من بيانات التدريب (تقريبي ولكنه كافٍ للعديد من التطبيقات).
3. المساهمات الرئيسية
نموذج liRBSM (النموذج الضمني الموضعي): نموذج بارامتري عصبي جديد للثدي يقوم بتجزئة النطاق الضمني إلى مناطق محلية. هذا يحسن بشكل كبير من إعادة بناء التفاصيل الدقيقة (ثنايا الجلد، الحلمات) مقارنة بالنماذج الضمنية العالمية.
خط معالجة منخفض التكلفة ومفتوح المصدر: خط معالجة مفتوح المصدر بالكامل يتطلب فقط فيديو RGB أحادي العدسة وأجهزة استهلاكية. إنه يلغي الحاجة إلى مستشعرات العمق (LiDAR/RGB-D) أو ماسحات ضوئية ثلاثية الأبعاد باهظة الثمن.
دقة وسرعة عالية: تحقق الطريقة إعادة بناء صحيحة مترياً بهامش خطأ أقل من 2 مم وتعمل في أقل من 6 دقائق على وحدة معالجة رسومات (GPU) استهلاكية قياسية.
الإصدار العام: يطلق المؤلفون النموذج المدرب، والكود المصدري، وواجهة مستخدم رسومية سهلة الاستخدام، لمعالجة النقص الحاد في الأدوات المفتوحة في هذا المجال.
4. النتائج
قيم المؤلفون الطريقة على مجموعة اختبار مكونة من 10 أشخاص باستخدام مسحات Vectra H2 كأرضية صلبة (Ground Truth).
تقييم النموذج الجوهري (سحب النقاط النظيفة):
مسافة تشامفير (Chamfer Distance - CD): حقق liRBSM قيمة 0.77 مم، متفوقاً بشكل ملحوظ على iRBSM العالمي (1.13 مم) وRBSM القائم على الشبكات (3.40 مم).
مقياس F-Score: وصل liRBSM إلى 98.6%، مقارنة بـ 93.5% لـ iRBSM.
الاستنتاج: النهج الموضعي يلتقط تفاصيل هندسية أكثر بكثير.
إعادة بناء السطح من الفيديو:
الدقة المترية: في الإعداد المتري (المقياس الواقعي)، حقق خط المعالجة مسافة CD قدرها 1.96 مم (لـ liRBSM) مقابل 2.28 مم (لـ iRBSM).
استعادة التفاصيل: تظهر النتائج المرئية نجاحاً في استعادة المعالم التشريحية الدقيقة (الحلمات، ثنايا الجلد) التي فاتها نموذج iRBSM العالمي.
المتانة: الطريقة متينة تجاه ضجيج المعالم (خطأ يصل إلى 10 بكسلات له تأثير ضئيل) وتعمل بشكل جيد مع 10 إلى 30 إطار فيديو فقط.
وقت التشغيل: تعد خطوة SfM هي عنق الزجاجة (~5-6 دقائق لـ 30 إطاراً)، بينما يستغرد ضبط النموذج ثوانٍ معدودة.
5. الأهمية
ديمقراطية التصوير ثلاثي الأبعاد للثدي: من خلال إزالة الحاجة إلى أجهزة باهضة الثمن وبرمجيات مملوكة، تجعل هذه الطة التصوير ثلاثي الأبعاد عالي الجودة للثدي متاحاً للعيادات الصغيرة، والمجموعات البحثية، وربما المرضى للمراقبة المنزلية.
التقدم في نمذجة الأشكال: يمثل الانتقال من التمثيلات الضمنية العالمية إلى التمثيلات الضمنية العصبية الموضعية سابقة جديدة لنمذجة الأجزاء البيولوجية المعقدة وغير الصلبة حيث تكون التفاصيل الدقيقة أمراً بالغ الأهمية.
الفائدة السريرية: القدرة على إجراء إعادة بناء دقيقة مترياً (خطأ < 2 مم) تتيح تطبيقات عملية مثل:
التخطيط قبل الجراحة والمحاكاة الجراحية.
تقدير حجم الثدي وتحليل التماثل.
تصميم حمالات الصدر المخصصة والقياس الافتراضي.
العلم المفتوح: يعزز الإصدار العام للنموذج وخط المعالجة الشفافية ويسرع الأبحاء المستقبلية في مجال التصوير الطبي الحيوي، وهو مجال عانى تاريخياً من صوامع البيانات والأكواد.
القيود والعمل المستقبلي:
يتطلب حالياً تحديد المعالم يدوياً لـ 6 نقاط (رغم أن ذلك يستغرق حوالي 5 ثوانٍ فقط).
يواجه صعوبة في إعادة بناء الذراعين بسبب نقص النمذجة المفصلية في بيانات التدريب.
يشمل العمل المستقبلي دمج الكشف التلقائي عن المعالم والتحقق من الصحة في مجموعات سريرية أكبر.