SurgMotion: A Video-Native Foundation Model for Universal Understanding of Surgical Videos
يُعد SurgMotion نموذجاً تأسيسياً يعتمد على الفيديو، حيث يستفيد من التنبؤ بالحركة الكامنة وقاعدة بيانات ضخمة تبلغ 15 مليون ساعة للتغلب على قيود إعادة البناء على مستوى البكسل، محققاً أداءً هو الأفضل في فئته عبر مهام متنوعة لفهم الفيديو الجراحي بما في ذلك التعرف على سير العمل، وكشف الإجراءات، وتقييم المهارات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيف يكون جراحاً. قمت بعرض آلاف الساعات من فيديوهات العمليات الجراحية عليه.
الطريقة القديمة (المشكلة):
كانت نماذج الذكاء الاصطناعي السابقة تشبه طالباً يحفظ بهوس كل بكسل في الفيديو. لقد قضوا ساعات في محاولة تذكر كيف يبدو دخان أداة الكي بالضبط، أو كيف ينعكس الضوء على عضو رطب، أو كيف تتحرك السوائل. لقد غرقوا في هذه التفاصيل الصغيرة والمزعجة لدرجة أنهم فاتهم المشهد الأكبر: ما الذي يفعله الجراح حقاً؟ كانوا مثل شخص يحاول فهم فيلم من خلال التحديق في حبيبات شريط الفيلم بدلاً من فهم الحبكة.
الطريقة الجديدة (SurgMotion):
أدرك الباحثون وراء SurgMotion أن الجراحين لا يهتمون بالدخان؛ بل يهتمون بـ حركة الأدوات والعلاقة بين الأداة والأنسجة.
لقد بنوا ذكاءً اصطناعياً جديداً يتعلم بشكل مختلف. فبدلاً من محاولة إعادة رسم الصورة بكسل تلو الآخر، تعلم التنبؤ بـ ما سيحدث بعد ذلك بناءً على الحركة. الأمر يشبه مشاهدة رقصة وتعلم الخطوات والإيقاع، بدلاً من محاولة حفظ لون حذاء الراقص.
المكونات السرية الثلاثة
لجعل هذا يعمل، أضاف الفريق ثلاثة "عجلات تدريب" خاصة للذكاء الاصطناعي:
"بقعة الضوء الحركية" (التنبؤ الموجه بالحركة):
تخيل بقعة ضوء تسلط الضوء فقط على الأجزاء المتحركة من الفيديو. إذا كان الجراح يقطع الأنسجة، تصبح بقعة الضوء أكثر سطوعاً. وإذا كانت الكاميرا تحوم فقط فوق عضو ثابت، تخفت بقعة الضوء. هذا يجبر الذكاء الاصطناعي على تجاهل الخلفية الساكنة المملة والتركيز تماماً على الحدث. هذا يعلم الذكاء الاصطناعي أن يقول: "مهلاً، انظر إلى المقص وهو يتحرك، وليس إلى الدخان!""المرآة العلاقاتية" (التقطير الذاتي المكاني الزماني):
الجراحة هي رقصة من العلاقات. يجب أن تلمس الأداة النسيج، ليتحرك النسيج بعيداً. يستخدم الذكاء الاصطناعي نظام "المعلم والتلميذ". "المعلم" (وهو نسخة أكثر استقراراً من الذكاء الاصطناعي) يوضح لـ "التلميذ" كيفية الحفاظ على اتساق هذه العلاقات عبر الزمن. إنه يشبه مدرب الرقص الذي يقول للتلميذ: "لا تحرك ذراعك فحسب؛ تأكد من بقاء يدك متصلة بيد شريكك". هذا يمنع الذكاء الاصطناعي من الارتباك عندما تتغير زاوية الكاميرا."مفرض التنوع" (تنوع الميزات):
يمكن أن تكون فيديوهات الجراحة مملة بصرياً للغاية—الكثير من الجلد الوردي والأعضاء الناعمة. إذا لم يكن الذكاء الاصطناعي حذراً، فقد يصبح كسولاً ويقول فقط: "كل شيء يبدو متشابهاً". أضاف الباحثون قاعدة تجبر الذكاء الاصطناعي على إيجاد الاختلافات حتى في المشاهد المتشابهة. إنه يشبه معلماً يقول لتلميذه: "على الرغم من أن هاتين التفاحتين تبدوان حمراوين، ابحث عن الفرق الضئيل في شكلهما". هذا يبقي الذكاء الاصطناعي حاداً ومستعداً لأي شيء.
المكتبة الضخمة (SurgMotion-15M)
لا يمكنك تعلم كيف تكون جراحاً بمشاهدة نوع واحد فقط من الجراحات. أنشأ الفريق SurgMotion-15M، وهي أكبر مكتبة لفيديوهات الجراحة تم تجميعها على الإطلاق.
- النطاق: إنها تشبه دار سينما ضخمة تحتوي على 3,658 ساعة من اللقطات.
- التنوع: تغطي 13 جزءاً مختلفاً من الجسم (من الدماغ إلى القولون) وأكثر من 100 إجراء مختلف.
- الهدف: من خلال تغذية الذكاء الاصطناعي بهذا النظام الغذائي الضخم والمتنوع، فإنه يتعلم فهماً "عالمياً" للجراحة. هو لا يعرف فقط كيفية استئصال المرارة؛ بل يفهم مفهوم الجراحة، بحيث يمكنه التعامل مع عملية في الدماغ أو جراحة في العين بنفس الكفاءة.
النتائج: لماذا هذا مهم؟
عندما اختبروا هذا الذكاء الاصطناعي الجديد، لم يكتفِ بالفوز فحسب؛ بل سيطر تماماً.
- التعرف على سير العمل: يمكنه إخبارك بالضبط في أي مرحلة من الجراحة نحن الآن (مثلاً: "نحن الآن نقطع القناة") بشكل أفضل بكثير من أي نموذج سابق.
- التعرف على الثلاثيات الحركية: يمكنه تفكيك المشاهد المعقدة إلى "أداة + فعل + هدف" (مثلاً: "مقص + قطع + شريان") بدقة مذهلة.
- تقييم المهارة: يمكنه النظر إلى حركات الجراح وإخبارك ما إذا كان مبتدئاً أم خبيراً، من خلال الحكم على جودة الحركة، وليس فقط النتيجة.
- الرؤية ثلاثية الأبعاد: على الرغم من أنه لم يتم تعليمه الهندسة صراحة، إلا أنه تعلم تقدير العمق (مدى بعد الأشياء) بمجرد مشاهدة الحركة، وهو أمر بالغ الأهمية لإعادة البناء ثلاثي الأبعاد.
الخلاصة
SurgMotion هو طفرة لأنه توقف عن محاولة أن يكون كاميرا وبدأ يحاول أن يكون جراحاً. من خلال التركيز على الحركة والعلاقات بدلاً من البكسلات، خلق "عقلاً" عالمياً للذكاء الاصطناዊ الجراحي يمكنه التكيف مع أي عملية، وأي مستشفى، وأي إعداد كاميرا. هذا يمهد الطريق لذكاء اصطناعي يمكنه العمل كمساعد في الوقت الفعلي في غرفة العمليات، مما يساعد الجراحين على اتخاذ قرارات أفضل وتدريب الجيل القادم من الأطباء.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.