ملخص تقني: Pose Splatter

بيان المشكلة

يعد التقييم الكمي الدقيق والقابل للتوسع لوضعية الحيوان ومظهره أمراً ضرورياً لأبحاث العلوم العصبية، لا سيما لدراسة التغيرات السلوكية الدقيقة المرتبطة بالأمراض العصبية. تواجه تقنيات تقدير الوضعية ثلاثية الأبعاد الحالية قيوداً كبيرة:

• الطرق القائمة على النقاط المرجعية (Keypoint-based): تعتمد على معالم تشريحية متفرقة، مما يتطلب تسمية يدوية مجهدة وتفشل في التقاط هندسة الجسم الكاملة أو اللون أو الملمس.
• الطرق القائمة على الشبكات (Mesh-based): توفر إعادة بناء كاملة للسطح ولكنها تتطلب عادةً تحسيناً لكل إطار، ونماذج قوالب متخصصة (مثل SMAL)، وغالباً ما تفشل في التعميم على وضعيات غير مرئية أو أنواع مختلفة.
• نهج 3D Gaussian Splatting (3DGS) الحالي: يعتمد عموماً على تحسين المشهد بالكامل أو يفترض وجود تداخل كثيف بين الرؤى المتعددة، مما يجعله غير مناسب لإعادة بناء الحيوانات من رؤى متفرقة حيث يكون التداخل بين الرؤى ضئيلاً.

تعيق هذه الاختناقات التحليل السلوكي الطولي واسع النطاق اللازم لربط النمط الجيني، والنشاط العصبي، والسلوك بدقة عالية.

المنهجية: Pose Splatter

إن Pose Splatter هو إطار عمل أمامي (feed-forward) يستفيد من نحت الشكل و3D Gaussian Splatting (3DGS) لإعادة بناء الوضعية ثلاثية الأبعاد والمظهر الكامل للحيوانات المختبرية دون الحاجة إلى تسميات يدوية، أو تحسين لكل إطار، أو قوالب خاصة بالأنواع.

خط الإنتاج الأساسي

1. توليد الأقنعة (Mask Generation): يستخدم النظام نموذج Segment Anything Model (SAM2) مدرباً مسبقاً لتوليد أقنعة المقدمة من إطارات الفيديو متعددة الرؤى، مما يلغي الحاجة إلى التسمية اليدوية.
2. تقدير الوضعية والدوران: لضمان ثبات الدوران، يقوم النظام بتقدير المركز ثلاثي الأبعاد للحيوان عبر تثليث قوي لمراكز الأقنعة. ويتم اشتقاق الدوران السمتي من المحور الرئيسي لتوزيع غاوسي ثلاثي الأبعاد ملائم لكتلة الحيوان، والذي يتم تتبعه بسلاسة عبر الزمن.
3. نحت الشكل (Shape Carving): يتم إسقاط الأقنعة متعددة الرؤى إلى شبكة فوكسل (voxel grid) ثلاثية الأبعاد مشتركة لإنشاء "غلاف بصري" أولي. تُزال الفوكسلات الموجودة خارج تقاطع المخاريط البصرية. وتُخصص الألوان للفوكسلات المتبقية بناءً على الرؤية والمتوسط الموزون للتعامل مع حالات الاحتجاب.
4. التحسين وإزالة التجزئة (Refinement and De-voxelization):
   • تقوم بنية 3D U-Net مكدسة بتحسين حجم الفوكسل الأولي، مما ينتج قناة إشغال وقنوات سمات إضافية.
   • تعالج شبكة MLP مدمجة ميزات الفوكسل لمعالجة ناقلات الإزاحة ثلاثية الأبعاد، ومصفوفات التباين، وسمات المظهر.
   • والأهم من ذلك، يتم حساب الموقع المتوسط للغاوسي عن طريق إضافة الإزاحة المتوقعة إلى إحداثيات الفوكسل، مما يؤدي فعلياً إلى "إزالة التجزئة" (de-voxelizing) للتمثيل لالتقاط الهندسة الدقيقة.
5. الرندرة (Rendering): يتم رندرة معاملات الغاوسي ثلاثية الأبعاد الناتجة باستخدام Gaussian splatting قياسي لإنتاج صور عالية الدقة من وجهات نظر جديدة.

تقنية التضمين البصري (Visual Embedding Technique)

لتسهيل التحليل السلوكي اللاحق، يقترح المؤلفون تضميناً بصرياً ثابتاً تجاه الدوران:

• الرندرة: يتم رندرة مشهد 3D Gaussian من 32 كاميرا افتراضية موزعة على كرة تحيط بالحيوان.
• الترميز: يتم تمرير كل صورة 224×224 عبر ResNet-18 مدرب مسبقاً لاستخراج ناقلات سمات ذات 512 بُعداً.
• توسيع التوافقيات الكروية (Spherical Harmonic Expansion): يتم توسيع السمات باستخدام أساس توافقي كروي مبتور. ولتحقيق الثبات تجاه الدوران الأفقي (السمتي)، تُستخدم مربعات قيم معاملات التوافق، مما يلغي الاعتماد على الطور.
• تحليل المكونات الرئيسية العدائي (Adversarial PCA): لإزالة الترميز المتبقي للزاوية السمتية المحددة للحيوان (الذي قد ينتج عن إضاءة غير متساوية)، يتم تطبيق تحليل PCA عدائي لإيجاد فضاء فرعي مكون من 50 بُعداً يعظم تباين الوضعية مع تقليل القدرة على التنبؤ بجيب الجيب وجيب التمام لزاوية الدوران.

المساهمات الرئيسية

• إعادة بناء ثلاثية الأبعاد بدون تسمية: يستعيد Pose Splatter هندسة الحيوان ومظهره ثلاثي الأبعاد بالكامل دون الحاجة إلى تسمية المعالم يدوياً، مما يعالج مشكلات القابلية للتوسع في الطرق القائمة على النقاط المرجعية.
• خالٍ من القوالب ومن التحسين: على عكس النهج القائمة على الشبكات، يقوم النموذج بالاستدلال عبر تمريرة أمامية واحدة ولا يتطلب قوالب خاصة بالأنواع أو تحسيناً لكل إطار.
• القوة في الرؤى المتفرقة: تم تصميم الإطار خصيصاً لإعدادات الرؤى المتفرقة (4-6 كاميرات) مع حد أدنى من التداخل بين الرؤى، وهو سيناريو تفشل فيه طرق 3DGS الأمامية المعتادة.
• الكفاءة: يعمل النموذج ببصمة ذاكرة منخفضة (حوالي 2.5 جيجابايت من ذاكرة VRAM) ويحقق سرعات استدلال تصل إلى ~30 مللي ثانية لكل إطار، وهو أسرع بكثير من النماذج المرجعية القائمة على التحسين.
• تضمين ثابت تجاه الدوران: يوفر التضمين البصري المقترح واصفاً مدمجاً ومنخفض الأبعاد للوضعية والمظهر، وهو ثابت تجاه موقع الحيوان والدوران الأفقي، مما يجعله مناسباً للتحليل السلوكي.

النتائج التجريبية

قيم المؤلفون Pose Splatter على مجموعات بيانات للفئران (mice)، والجرذان (rats)، وطائر الزيبرا فينچ (zebra finches).

• جودة الرندرة: تفوق Pose Splatter على أفضل الطرق المرجعية لـ 3DGS في الرؤى المتفرقة (بما في ذلك 3DGS، وFSGS، وGaussianObject) وعلى الطرق الأمامية (PixelSplat، وMVSplat) في مقاييس مثل تقاطع الاتحاد (IoU)، وخطأ لون L1، وPSNR، وSSIM. والجدير بالذكر أنه بينما حققت الطرق القائمة على التحسين مثل GaussianObject مقاييس مماثلة، إلا أنها تطلبت حوالي ساعة من التحسين لكل مشهد، بينما تطلب Pose Splatter حوالي 30 مللي ثانية فقط.
• التعميم: أظهر النموذج قدرة قوية على التعميم عبر الأنواع. فالنماذج المدربة على نوع واحد (مثل الفئران) يمكنها إعادة بناء رؤى غير مرئية لنوع آخر (مثل الجرذان) مع انخفاض طفيف فقط في الأداء، مما يشير إلى أن التمثيلات المتعلمة تلتقط سمات شكل عامة وقابلة للتعميم.
• التحليل السلوكي:
  • تفضيل الجار الأقرب: في دراسة شارك فيها 102 مشارك، فُضل التضمين البصري على الجيران الأقرب القائمين على النقاط المرجعية ثلاثية الأبعاد (54% مقابل 50%) لتحديد الوضعيات المتشابهة، رغم أن النقاط المرجعية مستمدة من بيانات تم تسميتها يدوياً.
  • كشف الحركات الدقيقة: نجح التضمين البصري في التقاط التغيرات الدقيقة في الوضعية، مثل تمدد الريش وهز الرأس، والتي انعكست في المكونات الرئيسية للتضمين.
  • التنبؤ اللاحق: تفوق التضمين البصري على النقاط المرجعية ثلاثية الأبعاد في التنبؤ بالسلوكيات المسمات يدوياً (6 من أصل 8 سلوكيات) باستخدام الانحدار اللوجستي، رغم عدم حاجته إلى إشراف يدوي.

الأهمية والادعاءات

يزعم البحث أن Pose Splatter يتيح تحليل سلوك الحيوان الطولي واسع النطاق عن طريق إزالة اختناقات التسمية اليدوية والتحسين الحسابي. ومن خلال توفير هندسات ثلاثية الأبعاد دقيقة ووصف بصري ثابت تجاه الدوران، يسهل الإطار فهم الأسس الجينية والعصبية للسلوك.

يقر المؤلفون بوجود قيود، مشيرين إلى أن الطريقة الحالية مصممة لتسجيلات الكائن الواحد وقد تواجه صعوبة في حالات الاحتجاب الطويل أثناء التفاعلات بين الحيوانات المتعددة. كما أشاروا إلى أنه على الرغم من فعالية التضمين البصري، إلا أن هناك حاجة لمزيد من العمل لتحسين التفسير والمقارنات المباشرة بين الأنواع. ومع ذلك، يمثل هذا الإطار خطوة هامة نحو التكميم السلوكي عالي الدقة والقابل للتوسع في علوم الأعصاب.