From Articulated Kinematics to Routed Visual Control for Action-Conditioned Surgical Video Generation

في غرفة العمليات، لا يكتفي الجراح الروبوتي بمجرد الحركة؛ بل يتلاعب بدقة تشبه إلى حد كبير وجود يدين إضافيتين. تُوجَّه هذه الآلات عبر أوامر منخفضة المستوى تخبر الأداة المعدنية بالضبط أين تذهب، وكيف تلتف، وبأي سرعة تتحرك. ومع ذلك، بالنسبة لمراقب بشري، غالبًا ما يكون مشاهدة الروبوت وهو يعمل مسأًلة تتعلق برؤية النتيجة، لا العملية. إن الفجوة بين الأرقام البسيطة التي تأمر الروبوت بالتحرك وبين الواقع المعقد والانسيابي للفيديو الجراحي هي فجوة شاسعة. وتعد سد هذه الفجوة أمرًا جوهريًا لمستقبل الطب، حيث يحتاج الأطباء وأنظمة التدريب إلى محاكاة سيناريوهات "ماذا لو" قبل لمس المريض فعليًا. فإذا أراد جراح ممارسة مناورة صعبة لربط عقدة أو وخز إبرة، فإنه يحتاج إلى نظام يمكنه توليد فيديو واقعي لتلك الحركة المحددة، يوضح بدقة كيف ستتفاعل الأنسجة وكيف سيعكس الضوء على الأداة المعدنية. لقد كان التحدي دائمًا هو أن التعليمات البسيطة المعطاة للروبوت تكون شحيحة للغاية بحيث لا يمكنها التحكم في التطور الغني والمفصل لإطارات الفيديو إطارًا تلو الآخر.

لقد طور فريق من الباحثين طريقة جديدة لحل هذه المشكلة، محولين تعليمات الروبوت الميكانيكية الشحيحة إلى لغة بصرية غنية يمكن للحاسوب استخدامها لتوليد فيديوهات جراحية واقعية. وهم يسمون نهجهم "نموذج الرفع من الحركية إلى البصرية" (kinematic-to-visual lifting paradigm). تخيل تعليمات الروبوت كمجموعة من الإحداثيات والزوايا؛ يأخذ الباحثون هذه الأرقام الأساسية ويوسعونها إلى خمس طبقات متميزة من المعلومات البصرية التي تتوافق تمامًا مع بكسلات الفيديو. لا تصف هذه الطبقات مكان الأداة فحسب، بل تصف أيضًا نوع الجزء، وعمقه في المشهد، وكيفية دورانه، وسرعة حركته، ومدى سرعة تغير تلك السرعة. ومن خلال ترجمة حركات الروبوت الخام إلى هذه الخريطة البصرية المكونة من خمسة أجزاء، ينشئ النظام لغة مشتركة وواضحة بين منطق الآلة والعالم المرئي.

بمجرد إنشاء هذه الخريطة البصرية، لا يحاول النظام استخدام كل قطعة من المعلومات لكل لحظة من لحظات الفيديو. بدلاً من ذلك، يستخدم آلية توجيه ذكية تعمل مثل موجه حركة المرور. ففي مشهد جراحي معقد، تتطلب بعض اللحظات تركيزًا شديدًا على التفاصيل الدقيقة، مثل القبض الدقيق على إبرة، بينما تتضمن لحظات أخرى حركات أكبر، مثل تحريك أداة عبر المجال، وهناك لحظات لا تتضمن أي حركة على الإطلاق. يقوم النظام بتحليل الخريطة البصرية ويقرر، لكل جزء من الصورة، أي نوع من المعلومات هو الأكثر أهمية. قد يختار التركيز على سرعة الأداة في منطقة واحدة بينما يتجاهلها في منطقة أخرى حيث تكون الأداة ساكنة. هذا الانتباه الانتقائي يسمح للحاسوب بتركيز قدرته الحسابية فقط حيثما دعت الحاجة، مما يجعل العملية أسرع بكثير وأكثر كفاءة دون فقدان الدقة.

لاختبار هذه الفكرة، بنى الباحثون معيارًا جديدًا يسمى KASA، وهو اختصار لـ "العمل الجراحي المفصلي الحركي" (Kinematic Articulated Surgical Action). وهذا عبارة عن مجموعة من فيديوهات العمليات الجراحية الروبوتية الحقيقية التي تم ترميزها بعناية لربط إطارات الفيديو بالحركات الدقيقة لأدوات الروبوت. وقد استخدموا مزيجًا من الخبراء البشريين والبرامج المتقدمة لتتبع الأدوات، وتحديد أجزاء مثل العمود، والمعصم، والمقابض، وتسجيل مواقعها بمرور الوقت. تغطي هذه المجموعة مهامًا صعبة مثل ربط العقد، والإمساك بالإبر، ووخز الأنسجة، مما يوفر بيئة اختبار واقعية لمعرفة ما إذا كان بإمكان النظام حقًا فهم وإعادة إنتاج تفاصيل الحركة الجراحية. ووجد الباحثون أن طريقتهم، عند اختبارها مقابل هذه البيانات، أنتجت فيديوهات كانت أكثر أمانة لحركات الروبوت الفعلية مقارنة بالمحاولات السابقة.

أظهرت النتائج تحسنًا واضحًا في مدى مطابقة الفيديوهات المولدة للأفعال الحقيقية. فعند مقارنتها بالأنظمة الأخرى التي تعتمد على الأوصاف النصية أو الخرائط البصرية الكثيفة، قلل هذا النهج الجديد من الخطأ في مطابقة مسار الأداة بهامش كبير. كما أنتج صورًا تبدو أكثر واقعية، مع وضوح أفضل وتراجع في التشوهات البصرية. ولعل الأهم من ذلك، أن النظام كان قادرًا على القيام بذلك بسرعة أكبر بكثير. فمن خلال تخطي الحسابات غير الضرورية لأجزاء الفيديو التي لا تتطلب تحديثات معقدة، أنشأ الباحثون نسخة مبسطة من نموذجهم كانت أسرع بنحو النصف من النسخة القياسية، ومع ذلك حافظت على دقة عالية. ويشير هذا الكفاءة إلى أن مثل هذه الأنظمة يمكن أن تعمل في الوقت الفعلي مستقبلاً، مما يوفر تغذية راجعة فورية للجراحين أو أنظمة التدريب.

كما أظهرت الدراسة أن الطريقة يمكنها التعامل مع مواقف لم ترها من قبل. فعند اختبارها على فيديوهات من تجهيزات جراحية مختلفة ذات إضاءة ومظاهر أنسجة مختلفة، تمكن النظام من توليد فيديوهات دقيقة وواقعية دون الحاجة إلى إعادة تدريبه. وتدل هذه القدرة على التعميم على أن النظام قد تعلم الفيزياء الأساسية لكيفية تحرك الأدوات الجراحية، بدلاً من مجرد حفظ مشاهد محددة. ويؤكد الباحثون أنه بينما تعد هذه الفيديوهات أدوات قوية للمحاكاة والتدريب على البيانات، إلا أنها ليست مخصصة بعد للاستخدام السريري المباشر. بل إنها تمثل خطوة كبيرة للأمام في فهم كيفية ترجمة الأوامر الدقيقة ومنخفضة المستوى للروبوت إلى الواقع البصري عالي المستوى للإجراء الجراحي، مما يفتح الباب أمام أدوات أكثر تقدمًا للتدريب والتخطيط في المستقبل.