Generalizable Operating Room Expert with Multimodal Enhancement

تخيل أنك تحاول تعليم روبوت كيفية التنقل في مطبخ مزدحم وفوضوي. يمكنك تزويد الروبوت بكاميرا بسيطة، لكن هذا يشبه إعطاءه زوجاً من العيون لا ترى سوى صور مسطحة. يمكن للكاميرا أن تخبرك بوجود قدر على الموقد وطاهٍ بالقرب منه، لكنها ستواجه صعوبة في معرفة مدى بُعد القدر، أو أي اتجاه يواجهه الطاهي، أو ما إذا كان الطاهي على وشك الاصطدام بعربة. هذه هي مشكلة "الاستدلال المكاني". في عالم الذكاء الاصطناعي، يعمل العلماء على بناء "نماذج لغوية كبيرة متعددة الوسائط" (MLLMs)—وهي عقول ذكاء اصطناعي فائقة الذكب يمكنها قراءة النصوص والنظر إلى الصور. ومع ذلك، فإن معظم هذه العقول بارعة في وصف ما تراه (مثل "تفاحة حمراء") ولكنها سيئة جداً في فهم العالم ثلاثي الأبعاد (مثل "التفاحة خلف الوعاء، على بعد ثلاثة أقدام").

ولحل هذه المشكلة، يحاول الباحثون عادةً تزويد الذكاء الاصطناعي بأدوات إضافية، مثل كاميرات استشعار العمق الخاصة أو ماسحات الليزر التي ترسم خرائط للغرفة ثلاثية الأبعاد. ولكن في أماكن حقيقية مثل المستشفيات، غالباً ما تكون هذه الأدوات المتطورة باهظة الثمن، أو ضخمة، أو غير متوفرة. فالجراحون عادةً ما يستخدمون كاميرات فيديو قياسية فقط. لذا، كان السؤال الكبير هو: هل يمكننا تعليم الذكاء الاصطناعي فهم العمق الثلاثي الأبعاد وتخطيط الغرفة باستخدام صورة فيديو مسطحة فقط، دون الحاجة إلى أي أجهزة إضافية؟ هذا هو التحدي الذي تتصدى له ورقة بحثية جديدة، تهدف إلى منح الذكاء الاصطناعي "حساً ثلاثي الأبعاد" باستخدام لا شيء سوى تغذية كاميرا قياسية.

إليك OR-Expert، وهو نظام ذكاء اصطنا_ جديد مصمم ليكون "خبيراً عاماً في غرف العمليات". فكر فيه كمساعد جراحي فائق الذكاء يمكنه النظر إلى صورة واحدة مسطحة لغرفة عمليات و"يتخيل" فوراً العالم ثلاثي الأبعاد داخلها. وجد الباحثون أنه من خلال تعليم الذكاء الاصطناعي إنشاء "خريطة ثلاثية الأبعاد شبحية" خاصة به داخلياً، يمكنه فهم الرقصة المعقدة للجراحين والمرضى والأدوات بشكل أفضل بكثير من النماذج السابقة.

إليك كيف يعمل OR-Expert، باستخدام استعارة بسيطة: تخيل أنك تنظر إلى رسم باللونين الأبيض والأسود لحفلة مزدحمة. قد يقول الذكاء الاصطناعي العادي: "هناك أشخاص وطاولات". أما OR-Expert، فلديه خدعة خاصة. عندما ينظر إلى ذلك الرسم، فإنه يقوم سراً بتشغيل محاكاة ذهنية لتوليد ثلاث طبقات غير مرئية من المعلومات:

1. خريطة العمق: يتخيل خريطة طبوغرافية حيث لكل بكسل ارتفاع، مما يخبره بمدى بُعد كل شيء.
2. خريطة التجزئة: يرسم حدوداً غير مرئية حول كل شخص وكائن، ويصنفهم مثل "جراح"، أو "مريض"، أو "طاولة أدوات".
3. السحابة النقطية: يحول ذلك العمق إلى سحابة من النقاط ثلاثية الأبعاد، مما يخلق هيكلاً افتراضياً للغرفة.

تحدث المعجزة عندما يأخذ OR-Expert هذه الطبقات الثلاث غير المرئية ويمزجها مع الصورة الأصلية والأسئلة النصية التي تطرحها عليه. فهو لا ينظر إلى الصورة فحسب؛ بل ينظر إلى الصورة بالإضافة إلى خياله ثلاثي الأبعاد بالإضافة إلى فهمه للكلمات. وهذا يسمح له بالإجابة على أسئلة مثل: "أين يقف كبير الجراحين بالنسبة للمريض؟" بدقة عالية، على الرغم من أنه لم يرَ سوى صورة مسطحة.

تظهر الورقة البحثية أن هذا النهج يغير قواعد اللعبة في غرف العمليات. في الاختبارات، تفوق OR-Expert على نماذج متقدمة أخرى، بما في ذلك تلك التي أُعطيت بيانات ثلاثية الأبعاد فعلية (مثل مستشعرات العمق الحقيقية) وتلك التي نظرت فقط إلى صور ثنائية الأبعاد. لقد حقق أفضل النتائج في فهم العلاقات المكانية وتوليد أوصاف دقيقة للمشاهد الجراحية. على سبيل المثال، بينما قد تقول النماذج الأخرى بشكل غامض: "الأطباء حول المريض"، يمكن لـ OR-Expert أن يحدد: "يقف كبير الجراحين بجانب المريض، بينما يقوم الممرض المساعد بالتحكم في الشاشة خلف المنطقة الجراحية".

إن الأمر المثير للإعجاب حقاً هو أن OR-Expert لا يحتاج إلى أي كاميرات ثلاثية الأبعاد خاصة ليعمل. فهو يبني فهمه ثلاثي الأبعاد من الصفر باستخدام صور RGB (الملونة) القياسية التي تستخدمها المستشاتفيات بالفعل. اختبر الباحثون هذا على بيانات جراحية حقيقية ووجدوا أنه يعمل بشكل جيد لدره أنه يمكنه حتى التعامل مع مشاهد لم يسبق له رؤيتها، مما يعمم مهاراته على غرف عمليات جديدة وحتى بيئات داخلية مختلفة.

تشير الدراسة إلى أنه من خلال تعليم الذكاء الاصطناعي "تخيّل" معلومات هيكلية ثلاثية الأبعاد من صور مسطحة، يمكننا منح الروبوتات فهماً أعمق للعالم دون الحاجة إلى أجهزة جديدة باهظة الثمن. وبينما يوضح المؤلفون بحذر أن هذا أداة لمساعدة الجراحين على فهم المشهد بشكل أفضل — وليس روبوتاً مستقلاً يجري العمليات الجراحية بنفسه — إلا أنه يمثل خطوة كبيرة للأمام. إنه يثبت أنه مع وجود "الخيال" الداخلي المناسب، يمكن للذكاء الاصطناعي أن يرى العالم ثلاثي الأبعاد، حتى عندما لا يملك سوى نافذة ثنائية الأبعاد.