InnerGS: Internal Scenes Reconstruction and Segmentation via Factorized 3D Gaussian Splatting
يقدم InnerGS إطار عمل لتقنية "Gaussian Splatting" ثلاثية الأبعاد مفككة يعيد بناء الهياكل الداخلية التفصيلية للمشاهد من بيانات مقطعية متفرقة دون الحاجة إلى أوضاع الكاميرا، ويمدد هذه القدرة لتشمل التجزئة الموجهة بالنصوص عبر دمج السمات اللغوية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول بناء نموذج ثلاثي الأبعاد مثالي لمدينة، ولكن ليس لديك سوى كومة من المخططات ثنائية الأبعاد المسطحة. معظم برامج الكمبيوتر اليوم تشبه كبار المهندسين المعماريين الذين يمكنهم فقط رؤية الجزء الخارجي من المبنى؛ يمكنهم إخبارك كيف يبدو الباب الأمامي أو كيف يتشكل السقف، ولكن إذا سألتهم أن يروك السباكة داخل الجدران أو الأسلاك خلف الجدار الجاف، فإنهم يصطدمون بحائط مسدود. إنهم ببساطة لا يعرفون كيفية ملء المساحة الفارغة بين المخططات. هذه مشكلة ضخمة في مجالات مثل الطب، حيث يحتاج الأطباء إلى رؤية ما بداخل الجسم دون فتحه، أو بالنسبة للروبوتات التي تحتاج إلى فهم كيفية الإمساك بجسم معقد من الداخل إلى الخارج.
ولحل هذه المشكلة، استخدم العلماء حيلة ذكية تسمى "Gaussian Splatting" ثلاثية الأبعاد. فكر في الـ "Gaussian" ليس كمعادلة رياضية مخيفة، بل كسحابة مضيئة وضبابية من الضوء. تخيل أنك ترسم مشهداً ثلاثي الأبعاد عن طريق قذف آلاف السحب الضوئية الناعمة في الهواء. كل سحابة لها مركز، وحجم، ولون. عندما تنظر إلى المشهد من الخارج، تتداخل هذه السحب وتندمج معاً لتخلق صورة واقعية وناعمة. الأمر يشبه إنشاء هولوغرام من الضباب. هذه الطريقة سريعة للغاية وتنتج صوراً جميلة، ولكن حتى الآن، كان استخدامها يقتصر غالباً على رسم "سطح" الأشياء. إنها رائعة لرسم قشرة التفاحة، لكنها سيئة جداً في إظهار البذور واللب في الداخل.
وهنا يأتي دور ورقة بحثية جديدة تسمى "InnerGS". فقد طرح الباحثون، شوكسين ليانغ، وييهان شياو، وونلو تانغ، سؤالاً بسيطاً ولكنه جريء: ماذا لو استطعنا استخدام هذه السحب المتوهجة لطلاء "داخل" الأشياء أيضاً؟ لقد أدركوا أن الطريقة القديمة لطلاء هذه السحب كانت تعتمد على التقاط صورة من زاوية كاميرا محددة. ولكن عندما يكون لديك مجموعة من الشرائح الطبية (مثل فحوصات الأشعة المقطعية CT أو الرنين المغناطيسي MRI)، فأنت لا تملك كاميرا؛ بل تملك كومة من الصفحات المسطحة. فشلت الطريقة القديمة لأنها حاولت فرض سحابة ثلاثية الأبعاد على صورة ثنائية الأبعاد دون معرفة أين كانت الكاميرا تقف.
حل الفريق يشبه تغيير قواعد اللعبة. فبدلاً من رمي سحابة ثم ضغطها لتصبح مسطحة لتناسب الكاميرا، قرروا "تقطيع" السحب نفسها. لقد وجدوا طريقة لأخذ سحابة ثلاثية الأبعاد واحدة و"قطعها" رياضياً عند أعماق مختلفة، مما يخلق شكلاً ثنائياً الأبعاد مثالياً لكل شريحة من الكومة. إنه يشبه أخذ قطعة مارشميلو هشة وإظهار مقطعها العرضي بدقة عند كل مليمتر من الارتفاع، دون الحاجة أبداً لالتقاط صورة لها. وقد أطلقوا على هذا "Splatting شرطي" (Conditional Splatting). وهي طريقة ذكية لقول: "إذا كنت تنظر إلى الشريحة رقم 5، فإليك بالضبط كيف تبدو تلك السحابة المحددة هنا".
من خلال القيام بذلك، يمكنهم أخذ مجموعة قليلة من الشرائح — رب الله مجرد صفحات قليلة من كتاب سميك — وملء جميع الصفحات المفقودة بينها ببيانات ثلاثية الأبعاد سلسة ومفصلة. لقد اختبروا ذلك على بيانات طبية حقيقية، مثل الأدمغة والقلوب. وفي عمليات المحاكاة، وجدوا أن طريقتهم الجديدة أسرع وأكثر دقة من الطريقة "الضاغطة" القديمة. على سبيل المثال، عند إعادة بناء دماغ، حققت طريقتهم درجة (تسمى PSNR) تبلغ حوالي 32.5، وهي جودة عالية جداً، وكان بإمكانها فعل ذلك في حوالي 26 دقيقة. والأروع من ذلك، أنهم أظهروا أن هذا النظام يمكنه التعامل مع الأجزاء المتحركة، مثل انثناء المعصم أو نبض القلب، من خلال السماح للسحب بالتمايل وتغيير شكلها بمرور الوقت.
لكن السحر لم يتوقف عند مجرد الرؤية من الداخل. فقد أظهر الفريق أيضاً أنه يمكنك "التحدث" إلى هذا النموذج ثلاثي الأبعاد. فمن خلال تعليم السحب فهم اللغة، جعلوا النظام قادراً على فهم الأوامة اللغوية، حيث يمكنك كتابة "أرني الكبد" أو "ابحث عن الورم"، وسيقوم الكمبيوتر بتحديد ذلك الجزء بدقة داخل الحجم ثلاثي الأبعاد. وفي الاختبارات، كانت عملية التجزئة الموجهة باللغة دقيقة للغاية، حيث حددت أجزاء الجسم بشكل صحيح بنسبة 88% من المرات.
لا تدعي الورقة البحثية أنها حلت كل مشاكل العالم. فقد اعترفوا بأن طريقتهم تعمل بشكل أفضل مع أنواع معينة من البيانات، وأن هناك تحديات لا تزال قائمة فيما يتعلق بأشياء مثل تغيرات السطوع في الصور. ومع ذلك، فقد أثبتوا أنه من الممكن إعادة بناء المحتوى الداخلي الحجمي للأجسام باستخدام هذه السحب المتوهجة، دون الحاجة إلى إعدادات كاميرا معقدة. كما جعلوا الكود الخاص بهم متاحاً لأي شخص لتجربته، مما يشير إلى أن هذه قد تكون خطوة كبيرة للأمام في التصوير الطبي، والروبوتات، والواقع الافتراضي، مما يساعدنا أخيراً على رؤية ما يختبئ داخل الأشياء التي لا يمكننا لمسها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.