Embodied AI in the Operating Room: A Voice-Interactive Robotic Scrub Technician for Surgical Instrument Handoffs
تقدم هذه الورقة تقنيماً آلياً (روبوتاً) جراحياً تفاعلياً بالصوت، يتمتع بذكاء اصطناعي متجسد، نجح في استعراض عمليات تسليم واستلام الأدوات الجراحية ذاتياً بنسبة نجاح إجمالية بلغت 81%، مما يسلط الضوء على إمكانات دمجه في غرف العمليات مع تحديد عملية اكتساب القبضة كمنطقة رئيسية للتحسين المستقبلي.
تخيل عالماً لا تكتفي فيه الروبوتات باتباع نص صارم ومكتوب مسبقاً مثل مكنسة روبوتية تصطدم بالجدران، بل تكون "متجسدة" فعلياً — مما يعني أن لها جسداً مادياً، وعينين، ودماغاً يمكنه فهم العالم الحقيقي الفوضوي. هذا هو أفق "الذكاء الاصطناعي المتجسد". فكر في الأمر كتعليم كلب ليس فقط الجلوس عند سماع الأمر، بل النظر إلى كرة، وفهم أنك قلت "أحضرها"، والقدرة فعلياً على معرفة كيفية الإمساك بها وإحضارها، حتى لو تدحرجت الكرة تحت الأريكة. في عالم الجراحة عالي المخاطر والسريع الوتيرة، تعد هذه التكنولوجيا بتحويل الروبوتات من مجرد أدوات يجب على الجراحين الإمساك بها والتحكم فيها إلى شركاء يمكنهم الاستماع، والنظر، والتصرف من تلقاء أنفسهم. السؤال الكبير الذي يطرحه الباحثون هو: هل يمكن للروبوت أن يكون ذكياً بما يكفي ليكون مساعداً جراحياً، يسمع صوت الطبيب، ويرصد أداة محددة على صينية مزدحمة، ويسلمها دون أن يسقطها أو يرتبك؟
تقدم هذه الورقة البحثية "فني تعقيم روبوتي"، وهو ذراع روبوتية صُممت لتعمل مثل المساعد البشري الذي يقف بجانب الجراح، ويمرر الأدوات ذهاباً وإياباً. لقد بنى الباحثون نظاماً يجمع بين "عيون" الروبوت (الكاميرات)، و"آذانه" (الميكروفونات)، ودماغ ذكاء اصطناعي قوي يسمى نموذج "الرؤية واللغة والعمل" (Vision-Language-Action). وبدلاً من برمجته خطوة بخطوة للتحرك إلى إحداثيات محددة، تم "تعليم" الروبوت من خلال مشاهدة البشر وهم يؤدون المهمة 350 مرة. لقد تعلم الاستماع إلى أوامر صوتية طبيعية مثل "ناولني الملقط" أو "خذ حامل الإبرة"، والعثور على الأداة الصحيحة على الصينية، والإمساك بها، وتسليمها للجراح. كما تعلم العكس أيضاً: أخذ أداة مستخدمة وإعادتها إلى مكانها.
تظهر نتائج اختباراتهم، التي أُجريت في غرفة عمليات محاكية بدلاً من المرضى الحقيقيين، أن الروبوت أصبح جيداً جداً في هذه "الرقصة". فمن بين 100 محاولة لتسليم أو استعادة الأدوات، نجح الروبوت بنسبة 81% من المرات. وقد كان متميزاً للغاية في استعادة الأدوات، حيث نجح بنسبة 95%، وفهم أوامر صوت الجراح بشكل شبه مثالي (بنسبة 99% من المرات). ومع ذلك، واجه بعض الصعوبة عندما كانت الأدوات مرتبة بطرق جديدة وغير مألوفة، أو عندما كانت الأدوات صعبة، مثل إبرة صغيرة متصل بها خيط مرن، حيث نجح بنسبة 50% فقط. السبب الرئيسي لفشله لم يكن نسيان ما يجب فعله أو عدم القدرة على الحركة؛ بل كان غالباً بسبب إخفاقه في الإمساك بالأداة بمقبضه في المحاولة الأولى.
توضح الورقة البحثية أن هذا "إثبات لمفهوم"، مما يعني أنه اختبار ناجح للفكرة، وليس منتجاً نهائياً جاهزاً للاستخدام في المستشفى بعد. لقد أظهر الروبوت قدرته على التعافي من الأخطاء، مثل تعديل قبضته إذا أخطأ الهدف، دون الحاجة إلى إعادة المهمة بأكملها. لكن المؤلفين حذروا من أن كل هذا تم في بيئة محاكية ومنضبطة. فهم لم يختبروه في غرفة عمليات حقيقية وفوضوية مع مرضى حقيقيين، أو إضاءة مختلفة، أو صينية كاملة تضم عشرات الأدوات المختلفة. وفي الوقت الحالي، أثبت الروبوت أنه يمكنه التعلم ليكون شريكاً مفيداً وتفاعلياً عبر الصوت، ويقول الباحثون إننا بحاجة إلى الكثير من بيانات التدريب والاختبار في العالم الحقيقي قبل أن يتمكن من استبدال فني التعقيم البشري. في الوقت الحالي، يعد هذا خطوة واعدة جداً نحو مستقبل يعمل فيه الروبوتات والجراحون معاً كفريق واحد.
ملخص تقني: الذكاء الاصطنا-جسدي في غرفة العمليات
بيان المشكلة تعتمد الروبوتات الجراحية الحالية إلى حد كبير على التحكم عن بُعد المباشر من قبل البشر، مما يحد من قدرتها على الإدراك والاستنتاج والتفاعل بشكل مستقل داخل بيئات غرف العمليات الديناميكية. وبينما يعد دور فني التعقيم (scrub technician) حيوياً للحفاظ على تدفق العمليات من خلال التبادل المنسق للأدوات، فإنه يتطلب تعرّفاً بصرياً معقداً، وفهماً سياقياً، وتفاعلاً في الوقت الفعلي، وهي أمور تجد الأنظمة الآلية الحالية صعوبة في محاكاتها. لقد ركزت أنظمة الروبوتات السابقة لتعقيم الأدوات بشكل أساسي على تسليم الأدوات في اتجاه واحد باستخدام رؤية قائمة على القواعد أو تخطيطات ثابتة، مما يفتقر إلى القدرة على إجراء عمليات تبادل ثنائية الاتجاه (التسليم والاستلام) أو التعافي من التداخل دون إعادة تهيئة المهمة بالكامل.
المنهجية طوّر المؤلفون منصة روبوتية لتعقيم الأدوات تفاعلية عبر الصوت، مصممة لتنفيذ عمليات تسليم واستلام الأدوات الجراحية باستخدام نموذج "الرؤية واللغة والعمل" (VLA).
بنية النظام: يستخدم النظام منصة روبوتية ثنائية اليد مدمجة مع ملاحظات من كاميرات متعددة في الوقت الفعلي. تعتمد بنية التعلم الأساسية على نموذج π0.5 المدرب مسبقاً (المطور من قبل Physical Intelligence)، والذي تم ضبطه بدقة (fine-tuning) من البداية إلى النهاية باستخدام مجموعة بيانات مخصصة.
جمع البيانات: تم تدريب النموذج عبر التعلم بالتقليد باستخدام 350 عرضاً تم التحكم فيها عن بُعد بواسطة البشر. وثقت هذه الحلقات مقاطع فيديو متزامنة، وأوامر صوتية من الجراح، وحركات مفاصل الروبوت لمهام تسليم واستلام الأدوات.
واجهة الكلام: لتمكين التفاعل الطبيعي، يدمج النظام تقنية Whisper large-v2 للتعرف التلقائي على الكلام (ASR) وواجهة Cartesia API لتخليق الكلام من النص (TTS). يتيح ذلك للجراحين إصدار أوامر لفظية (مثل "ناولني الملقط") وتلقي إقرارات صوتية من الروبوت.
سير العمل: تتكون المسارات المستقلة من أربع مراحل:
تفسير الأمر: تحويل الكلام إلى نص.
تحديد موقع الأداة: تحديد الأداة المطلوبة في تكوين متغير للصينية.
الإمساك بالأداة: الحصول على قبضة آمنة.
التسليم/الاستلام: نقل الأداة إلى يد الجراح أو إعادتها إلى الصينية.
بروتوكول التقييم: تم اختبار النظام في بيئة غرفة عمليات محاكية عبر 100 تجربة مستقلة شملت خمس مهام: تسليم حامل الإبرة، تسليم الملقط، تسليم الإبرة مع الخيط، استلام حامل الإبرة، واستلام الملقط. تضمنت كل مهمة 10 تجارب لتكوينات الصينية "المشاهدة" (الموجودة في التدريب) و10 لتكوينات "المستبعدة" (غير الموجودة أثناء التدريب).
النتائج الرئيسية
الأداء العام: حقق النظام معدل نجاح إجمالي بنسبة 81% (81/100 تجربة) بمتوسط وقت إنجاز قدره 7.1 ± 1.4 ثانية للتجارب الناجحة.
النجاح الخاص بالمهام:
مهام الاستلام: كانت موثوقة للغاية، بنسبة نجاح 95% لكل من استلام حامل الإبرة والملقط.
مهام التسليم: نجح تسليم الملقط بنسبة 85% من التجارب؛ وتسليم حامل الإبرة بنسبة 80%؛ وتسليم الإبرة مع الخيط بنسبة 50%.
التعميم: انخفض الأداء عند الاختبار على تكوينات الصينية "المستبعدة"، حيث انخفض من 92% نجاح في التخطيطات المشاهدة إلى 70% في التخطيطات المستبعدة. كان الانخفاض أكثر وضوحاً في مهام التسليم (من 86.7% إلى 56.7%)، بينما ظل أداء الاستلام مستقراً نسبياً (100% إلى 90%).
التحليل المرحلي: نجح تفسير الأوامر الصوتية في 99% من التجارب. وبمجرد تحقيق قبضة آمنة، نجحت عمليات المعالجة اللاحقة (النقل، التوجيه، الإطلاق) في 81 من أصل 82 تجربة، مما يشير إلى أن نقطة الفشل الرئيسية هي التحديد البصري واكتساب القبضة وليس تنفيذ المسار.
أنماط الفشل: كان نمط الفشل السائد هو فشل الإمساك (57.9% من حالات الفشل)، يليه انتهاء وقت السياسة (21.1%)، ثم اختيار الأداة الخاطئ (10.5%). لم تتضمن أي من حالات الفشل عدم استقرار القبضة، أو سوء التوجيه النهائي، أو توقفات السلامة التي تتطلب إنهاءً طارئاً.
المساهمات الرئيسية
سياسة موحدة ثنائية الاتجاه: على عكس الأنظمة السابقة التي ركزت فقط على التسليم، يوضح هذا العمل سياسة واحدة متعلمة قادرة على كل من تسليم الأدوات واستعادتها (الاستلام)، مما يعكس الحلقة الكاملة لمهام فني التعقيم.
ذكاء اصطناعي جسدي تفاعلي صوتياً: يخلق دمج التعرف على الكلام وتخليق الكلام حلقة اتصال متعددة الوسائط حيث يؤكد الروبوت أوامره لفظياً، مما يجعل قصده قابلاً للملاحظة من قبل الفريق الجراحي.
الضبط الدقيق من البداية إلى النهاية: يستخدم البحث نموذج التأسيس π0.5 الذي تم ضبطه بدقة مباشرة على بيانات التحكم عن بُعد، متجنباً الحاجة إلى وحدات كشف أو تقسيم منفصلة وموسومة يدوياً كما في النهج السابق (مثل RoboNurse-VLA).
قدرات التعافي: أظهر النظام القدرة على التعافي من التداخل وفشل التنفيذ دون إعادة تهيئة المهمة بالكامل، متكيفاً مع أفعاله بناءً على الملاحظات البصرية المحدثة.
الأهمية والادعاءات يضع المؤلفون هذا العمل كـ إثبات مفهوم يوضح أن الذكاء الاصطناني الجسدي يمكنه تنفيذ تبادل الأدوات الجراحية المشروط بالصوت وثنائي الاتجاه. ويدعي البحث أن القصور الأساسي في الأنظمة الحالية يكمن في اكتساب القبضة (خاصة للأهداف الصغيرة والمعقدة مثل الإبر مع الخيوط) والتعميم على التكوينات المكانية غير المرئية، وليس في تنفيذ المسارات اللاحقة بمجرد تأمين القبضة.
ويؤكد البحث أن هذه المنصة تمثل خطوة مبكرة نحو شراكات تكيفية بين الإنسان والآلة في غرفة العمليات. ويشدد على أن هذه التكنولوجيا تهدف إلى أن تكون مساعدة وليست بديلة، بهدف تقليل عبء العمل وتحسين التنسيق لعمليات التبادل المتكررة، بينما يحتفظ الكادر البشري بالمسؤولية عن التعقيم، والتقدير السريري، وإدارة الأحداث غير المتوقعة. ويخلص المؤلفون إلى أنه بينما يظهر النظام تعميماً ذا معنى، فإن الانتقال السريري يتطلب توسيع بيانات التدريب، وتقييم سير العمل الواقعي، والتحقق الصارم من السلامة قبل الدمج في إدارة كاملة لطاولات الأدوات.