Monocular Endoscopic Tissue 3D Reconstruction with Multi-Level Geometry Regularization
تقترح هذه الورقة إطار عمل جديداً لتقنية "Gaussian Splatting" ثلاثية الأبعاد لإعادة بناء أنسجة المناظير أحادية العدسة، يدمج قيود الشبكة الواعية بالسطح والتنظيم الهندسي متعدد المستويات لتحقيق كل من التصيير في الوقت الفعلي وإعادة بناء سطح مشوه عالي الجودة وواقعي فيزيائياً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك جراح تجري عملية دقيقة داخل جسم مريض. أنت تنظر من خلال كاميرا صغيرة (منظار) تمنحك رؤية ثنائية الأبعاد لأعضاء لينة ومتحركة. ولإجراء الجراحة بمساعدة الروبوت بأمان، يحتاج الرسام الآلي إلى خريطة ثلاثية الأبعاد مثالية وفورية لما يراه. ولكن تكم-ن المشكلة: الأنسجة البشرية لينة، تتمدد، وتطوى، وقد تغطيها أدوات الجراحة. إن إنشاء فيلم ثلاثي الأبعاد لهذا المشهد من زاوية كاميرا واحدة يشبه محاولة تخمين شكل بالون لينة بمجرد النظر إلى ظله.
يقدم هذا البحث "خدعة سحرية" جديدة لحل هذه المشكلة. لقد قام المؤلفان، يانغسن تشين وهاو وانغ، ببناء نظام ينشئ نموذجاً ثلاثي الأبعاد سلساً وفورياً للأنسجة المتحركة باستخدام تقنية تسمى 3D Gaussian Splatting.
إليك كيف فعلوا ذلك، مشروحاً بتشبيهات من الحياة اليومية:
1. المشكلة: قضية "السحابة العائمة"
حاولت الطرق السابقة بناء هذه النماذج ثلاثية الأبعاد باستخدام "NeRFs" (حقول الإشعاع العصبية). فكر في NeRFs كرسام بطيء وعالي الجودة؛ يمكنه رسم لوحة جميلة، لكنه يستغرق ساعات لرسم إطار واحد، والروبوت لا يمكنه الانتظار كل هذا الوقت.
تستخدم الطرق الأحدث "3D Gaussian Splatting". تخيل هذا كأنها سحابة من ملايين البالونات الصغيرة والضبابية (Gaussians) التي تطفو في الفضاء لتشكل شكل الأنسجة. إنها سريعة للغاية (مثل ألعاب الفيديو)، ولكن لأن البالونات ضبابية، فإنها غالباً لا تلتصق ببعضها البعض بشكل مثالي. والنتيجة تبدو كسحابة متذبذبة ومليئة بالأخطاء بدلاً من أن تكون جلداً ناعماً. أحياناً، تبدو أجزاء من الأنسجة وكأنها تطفو في الهواء (عيوب بصرية) أو يبدو السطح متعرجاً وغير واقعي.
2. الحل: "الهيكل الشبكي"
أدرك المؤلفان أنه لجعل البالونات الضبابية تبدو مثل الجلد الناعم، يحتاجون إلى هيكل عظمي يثبتها في مكانها.
- الخطوة 1: بناء شبكة سلكية (Mesh): أولاً، يأخذون الإطار الأول من الفيديو ويبنون شبكة سلكية ثلاثية الأبعاد صلبة (مثل سياج الدجاج الرقمي) لسطح الأنسجة.
- الخطوة 2: خدعة "الفيلكرو" (اللاصق): بعد ذلك، يقومون بلصق بالوناتهم الضبابية (Gaussians) مباشرة بهذا الهيكل السلكي. تخيل لصق البالونات على سياج الدجاج؛ الآن، لا يمكن للبالونات أن تطفو بعيداً أو تتخذ أشكالاً غريبة، فهي مجبرة على اتباع السطح الناعم للهيكل السلكي. وهذا يحل مشكلة "السطح المتعرج".
3. التحدي: مشكلة "الجلي المتحرك"
بمجرد أن تبدأ الأنسجة في الحركة (بسبب شد الجراح لها أو قطعها)، يجب أن يتحرك الهيكل السلكي أيضاً. لكن الأنسجة ليست صخرة صلبة؛ إنها تشبه "الجلي" (Jello). فهي تنحني في بعض الأماكن وتظل صلبة في أماكن أخرى.
إذا تركت البالونات تتحرك بحرية، فقد يلتوي النموذج ثلاثي الأبعاد إلى أشكال مستحيلة. لذا أضاف المؤلفان "قاعدتين للفيزياء" للحفاظ على حركة واقعية:
- القاعدة (أ): "الصلابة المحلية" (شبه الصلابة): حددوا نقاطاً رئيسية في الأنسجة (مثل أماكن تقاطع الأوعية الدموية) وأخبروا البالونات: "مهلاً، المنطقة المحيطة بهذه النقاط لا يجب أن تتمدد كثيراً. ابقوا صلبين مثل الصخر". هذا يشبه وضع جبيرة صغيرة على جزء منحني من الإصبع.
- القاعدة (ب): "التدفق العالمي" (غير الصلابة): بالنسبة لبقية الأنسجة، أخبروا البالونات: "يمكنكم الانحناء والتمدد، ولكن يجب أن تتحركوا بسلاسة مع جيرانكم. لا تدعوا بالوناً واحداً يطير في اتجاه مختلف عن البون الذي بجانبه". هذا يضمن أن قطعة الأنسجة بأكملها تتحرك كوحدة واحدة متماسكة مثل قطعة الجلي، وليس ككيس من الكرات الزجاجية.
4. التعامل مع "النقاط العمياء"
أثناء الجراحة، غالباً ما تحجب الأدوات رؤية الكاميرا، مما يخلق ثقوباً سوداء في الفيديو. أضاف المؤلفون ميزة "ترميم الفيديو" (Video Inpainting). فكر في هذا كفنان ذكاء اصطناعي ذكي ينظر إلى أجزاء الأنسجة المخفية بواسطة الأداة ويتوقع شكل الأنسجة تحتها بناءً على كيفية حركتها قبل ثانية واحدة. إنه يملأ الأجزاء المفقودة حتى لا يحتوي النموذج ثلاثي الأبعاد على ثقوب.
النتيجة: سريعة، سلسة، وحقيقية
النتيجة هي نظام يتميز بـ:
- السرعة: يعرض المشهد ثلاثي الأبعاد في الوقت الفعلي (أسرع بـ 100 مرة من طرق "الرسام" القديمة).
- السلاسة: تبدو الأنسجة مثل الجلد الحقيقي، وليس كسحابة مليئة بالأخطاء.
- الدقة: يتعامل مع تمدد وانحناء الأعضاء دون كسر النموذج ثلاثي الأبعاد.
باختة، أخذ المؤلفون تقنية ثلاثية الأبعاد سريعة ولكنها فوضوية (البالونات الضبابية) ومنحوها هيكلاً صلباً (الشبكة) ومجموعة من قواعد الحركة الذكية (الصلابة المحلية والتدفق العالمي). وهذا يسمح لروبوت الجراحة برؤية خريطة ثلاثية الأبعاد مثالية وفورية للأعضاء اللينة والمتحركة، مما يجعل الجراحة أكثر أماناً ودقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.