🤖 AI

Multimodal Optimal Transport for Unsupervised Temporal Segmentation in Surgical Robotics

تقدم هذه الورقة البحثية إطار عمل TASOT، وهو إطار نقل أمثل متعدد الوسائط غير خاضع للإشراف يستفيد من الإشارات البصرية والنصية لتحقيق حالة متطورة في تقسيم مراحل وخطوات الجراحة دون الاعتماد على التدريب المسبق واسع النطاق والمكلف.

المؤلفون الأصليون: Omar Mohamed, Edoardo Fazzari, Ayah Al-Naji, Hamdan Alhadhrami, Khalfan Hableel, Saif Alkindi, Cesare Stefanini

نُشر 2026-03-02

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Omar Mohamed, Edoardo Fazzari, Ayah Al-Naji, Hamdan Alhadhrami, Khalfan Hableel, Saif Alkindi, Cesare Stefanini

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد فيلماً طويلاً ومعقداً جداً لجراح يقوم بعملية جراحية. الفيلم يستغاً ساعات طويلة، وتتحرك فيه الكاميرا كثيراً، كما أن "الممثلين" (الأدوات الجراحية والأعضاء) يبدون متشابهين جداً في المظهر.

المشكلة:
إذا أردت تقسيم هذا الفيلم إلى سيناريو يحتوي على فصول واضحة (مثل "القطع"، "الخياطة"، "التنظيف")، فستحتاج عادةً إلى فريق من الجراحين الخبراء لمشاهدة كل ثانية وكتابة ما يحدث. هذا الأمر مكلف للغاية، وبطيء، وممل.

مؤخراً، حاول العلماء تعليم الحواسيب القيام بذلك عن طريق عرض آلاف الساعات من هذه الأفلام عليها أولاً (التدريب المسبق). لكن هذا يشبه محاولة تعليم طالب القيادة من خلال جعله يجلس في جهاز محاكاة لمدة 10,000 ساعة قبل أن يلمس سيارة حقيقية لأول مرة. هذا الأسلوب ينجح، لكنه هدر هائل للوقت وقوة المعالجة الحاسوبية.

الحل (TASOT):
طرح الباحثون وراء هذه الورقة البحثية سؤالاً بسيطاً: "هل نحتاج حقاً لإجبار الكمبيوتر على حفظ آلاف الساعات من الجراحة أولاً؟ ألا يمكنه ببساال فهم الأمر بمجرد النظر إلى الفيديو وقراءة 'القصة' أثناء حدوثها؟"

لقد ابتكروا أداة جديدة تسمى TASOT. وإليك كيف تعمل باستخدام تشبيه بسيط:

تشبيه "المترجم والخاطبة"

تخيل أنك تحاول تنظيم مكتبة فوضوية حيث الكتب بلا عناوين، وأنت لا تعرف الترتيب الذي يجب أن توضع به.

المرئيات (الصور): لديك كاميرا تلتقط صورة لغلاف كل كتاب.
النص (القصة): لديك مساعد ذكاء اصطناعي ذكي ينظر إلى الفيديو ويكتب تعليقاً مستمراً، مثل معلق رياضي. يقول: "حسناً، الجراح الآن يقوم بقطع الأنسجة"، ثم "الآن هم يقومون بالخياطة"، ثم "الآن هم يقومون بالتنظيف".
الخاطبة (النقل الأمثل - Optimal Transport): هذا هو الجزء السحري. يعمل TASOT كخاطبة ذكية للغاية؛ فهو يحاول الربط بين كل صورة (مرئية) والجملة المثالية من التعليق (النص).

كيف يختلف TASOT عن غيره:
الأساليب القديمة حاولت حفظ المكتبة أولاً. أما TASOT فيقول: "أنا لست بحاجة لحفظ المكتبة. أنا فقط بحاجة لربط صورة الكتاب الأحمر بجملة 'هذا كتاب أحمر'".

إنه يستخدم مفهوماً رياضياً يسمى "النقل الأمثل" (Optimal Transport). فكر في هذا كخدمة توصيل:

الطرود: إطارات الفيديو (الصور).
الوجهات: الخطوات الجراحية (مثل "القطع" أو "الخياطة").
التكلفة: يحسب النظام "تكلفة" نقل صورة ما إلى خطوة معينة.
- إذا كانت الصورة تبدو كسكين، فإن تكلفة نقلها إلى خطوة "القطع" تكون منخفضة.
- إذا كانت الصورة تبدو كإبرة، فإن تكلفة نقلها إلى خطوة "الخياطة" تكون منخفضة.
- اللمسة المبتكرة: يقوم TASOT أيضاً بفحص "التعليق". إذا ذكر النص كلمة "خياطة"، فإنه يخفض تكلفة نقل الصورة إلى خطوة "الخياطة"، حتى لو كانت الصورة ضبابية قليلاً.

من خلال الجمع بين الصورة والوصف النصي، ينشئ النظام جدولاً زمنياً مثالياً للجراحة دون الحاجة أبداً إلى تدخل بشري لتسمية الفيديو مسبقاً.

لماذا يعد هذا أمراً هاماً؟

لا مجهود شاق: لا يحتاج إلى التدريب على مجموعات بيانات ضخمة ومكلفة من العمليات الجراحية المصنفة. إنه يعمل "بشكل مباشر" على أنواع جديدة من الجراحات.
أفضل من أسلوب "التعلم الصفري" (Zero-Shot): أساليب "التعلم الصفري" تشبه طالباً قرأ كتاباً مدرسياً لكنه لم يرَ عملية جراحية حقيقية قط؛ فهو يخمن بناءً على معرفة عامة. أما TASOT فهو يشبه طالباً لديه الكتاب المدرسي ومعلق مباشر في نفس الوقت، مما يسمح له بالتخمين بدقة أكبر بكثير.
النتائج: عندما اختبروه على فيديوهات جراحية حقيقية (مثل استئصال المرارة وجراحات تحويل المسار)، تفوق TASOT على أفضل طرق "التخمين" الموجودة بفارق كبير. وفي بعض الحالات، كان أكثر دقة بنسبة 23%.

العيب الوحيد

النظام حالياً يتسم ببعض الجمود. إنه يشبه القطار الذي يجب أن يتوقف عند 10 محطات بالضبط، حتى لو كانت الرحلة تحتوي على 8 محطات فقط. وجد الباحثون أنه إذا سمحوا للنظام بتحديد عدد المحطات (الخطوات) الموجودة فعلياً في الفيديو، فسيصبح أفضل بكثير. ولكن حتى مع هذا القصور الصغير، فإنه يمثل قفزة هائلة للأمام.

الخلا الخلاصة

تثبت هذه الورقة البحثية أننا لسنا بحاجة لبناء "أدمغة جراحية" ضخمة ومكلفة لفهم فيديوهات الجراحة. بدلاً من ذلك، يمكننا استخدام مزيج ذكي مما نراه (الفيديو) وما يُقال (الوصف النصي) لتفكيك العمليات الجراحية المعقدة تلقائياً إلى خطوات واضحة ومفهومة. إنها طريقة أذكى، وأرخص، وأسرع لتمكين الروبوتات من فهم ما يفعلونه داخل غرفة العمليات.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "النقل الأمثل متعدد الوسائط للتقسيم الزمني غير الخاضع للإشراف في الروبوتات الجراحية."

1. بيان المشكلة

تعالج الورقة البحثية تحدي التقسيم الزمني للأفعال غير الخاضع للإشراف في الفيديوهات الجراحية.

السياق: يعد التعرف على المراحل والخطوات الجراحية أمراً بالغ الأهمية للتوجيه أثناء العمليات، وتقييم المهارات، والروبوتات ذاتية القيادة.
محددات الطرق الحالية:
- الطرق الخاضعة للإشراف الكامل: تتطلب تسميات توضيحية دقيقة على مستوى الإطار من قبل خبراء طبيين، وهو أمر مكلف ويستغرق وقتاً طويلاً للغاية.
- طرق التعلم من الصفر (Zero-Shot) أو النقل (Transfer): تعتمد الأساليب الحديثة على التدريب المسبق واسع النطاق على آلاف الفيديوهات المصنفة (مثل SurgVLP و HecVL). ورغم فعاليتها، إلا أن هذه الأساليب تتطلب تكاليف حوسبة هائلة ومسارات تدريب مسبق معقدة وخاصة بالمجال.
السؤال الجوهري: هل التدريب المسبحي الجراحي واسع النطاق ضروري حقاً، أم يمكن تحقيق أداء تنافسي باستخدام نهج غير خاضع للإشراف بالكامل يستفيد من التمثيلات البصرية والنصية الموجودة؟

2. المنهجية: TASOT

يقترح المؤلفون TASOT (النقل الأمثل لتقسيم الأفعال المعزز بالنصوص)، وهو إطار عمل غير خاضع للإشراف بالكامل يوسع طريقة "النقل الأمثل لتقسيم الأفعال" (ASOT) عبر دمج الإشارات النصية.

أ. نظرة عامة على مسار العمل

مسار إنشاء التعليقات التوضيحية (Captioning Pipeline):
- يتم تقسيم الفيديوهات الجراحية الطويلة إلى نوافذ زمنية غير متداخلة (على سبيل المثال، مقاطع مدتها 5 دقائق).
- يقوم نموذج لغوي كبير (Gemini 2.0 Flash) بتوليد أوصاف نصية كثيفة وطبيعية (تعليقات توضيحية) لهذه النوافذ، مما ينشئ تسلسلاً نصياً متوافقاً زمنياً.
استخراج الميزات:
- البصرية: يتم أخذ عينات من الإطارات بمعدل 1 إطار في الثانية واستخدام DINOv3 لاستخراج الميزات البصرية ( $x_{img}$ ).
- النصية: يتم تشفير التعليقات التوضيحية المولدة باستخدام CLIP لاستخراج الميزات النصية ( $x_{text}$ ).
- المحاذاة: يتم محاذاة الميزات النصية زمنياً مع إطارات الفيديو بناءً على الطوابع الزمنية للتعليقات التوضيحية.
صياغة النقل الأمثل متعدد الوسائط (Multimodal OT):
- تتعلم TASOT عدد $K$ من النماذج الأولية الموحدة ( $A$ ) في فضاء كامن.
- تقدم رؤوس إسقاط خاصة بكل وسيط لخرائط الميزات البصرية والنصية إلى فضاء كامن مشترك ( $z_{img}$ و $z_{text}$ ).
- بناء مصفوفة التكلفة: يتم تعريف تكلفة متعددة الوسائط موزونة لقياس المسافة بين الميزات والنماذج الأولية:
  $C_{i,k} = \beta C_{img}^{i,k} + (1 - \beta) C_{text}^{i,k}$
  حيث تمثل $C_{img}$ و $C_{text}$ مسافات جيب التمام (cosine distances)، ويتحكم $\beta$ في المقايضة بين الإشارات البصرية والنصية.
- التنظيم (Regularization): تتم صياغة المشكلة كمسألة نقل "غرو-واسرشتاين" غير متوازن (unbalanced Gromov-Wasserstein). يضمن ذلك الاتساق الزمني والمحاذاة الرتيبة بين تسلسل الفيديو والنماذج الأولية للأفعال دون الحاجة إلى ترتيب مسبق للأفعال.
التدريب الذاتي (Self-Training):
- توفر خطة النقل الناتجة تسميات توضيحية مستعارة (pseudo-labels).
- تُستخدم هذه التسميات المستعارة لتحسين تعلم التمثيل عبر خسارة التقاطع المتقاطع (cross-entropy loss)، مما يؤدي إلى صقل التضمينات والنماذج الأولية بشكل تكراري.

3. المساهمات الرئيسية

أول إطار عمل للنقل الأمثل متعدد الوسائط للجراحة: تعد TASOT أول طريقة تدمج الإشارات البصرية والنصية ضمن هدف نقل أمثل غير خاضع للإشراف للتقسيم الزمني الجراحي.
إلغاء التدريب المسبق الثقيل: يحقق الأسلوب أداءً يضاهي أحدث المعايير (state-of-the-art) دون الحاجة إلى تدريب مسبق واسع النطاق خاص بالجراحة أو بنيات ضخمة مصممة خصيصاً للبيانات الجراحية. يعتمد الأسلوب على مشفرات جاهزة (DINOv3، CLIP).
الأداء المتفوق: يتفوق النهج باستمرار على النماذج المرجعية (baselines) الخاضعة للإشراف والمنهجيات التي تعمل بنظام التعلم من الصفر (zero-shot) عبر مجموعات بيانات متعددة.
رؤية حول مرونة العناقيد (Cluster Flexibility): يوضح المؤلفون أنه بينما يعد عدد العناقيد الثابت معياراً شائعاً، فإن تكييف عدد العناقيد ( $k$ ) ليتناسب مع التباين المحدد لكل فيديو يعزز الأداء بشكل كبير، لا سيما في تقسيم الخطوات الدقيق.

4. النتائج التجريبية

تم تقييم النموذج على ثلاث مجموعات بيانات عامة: Cholec80 و AutoLaparo و MultiBypass140 (مركزي Bern و Strasbourg). المقياس الأساسي هو درجة F1 المقطعية (Segmental F1 Score).

المقارنة مع طرق التعلم من الصفر (Zero-Shot): تفوقت TASOT بشكل كبير على أقوى النماذج المرجعية للتعلم من الصفر (مثل PeskaVLP و HecVL).
- StrasBypass70: تحسن بنسبة +23.7% في F1 الخاص بالمرحلة (Phase F1).
- BernBypass70: تحسن بنسبة +4.5%.
- Cholec80: تحسن بنسبة +16.5%.
- AutoLaparo: تحسن بنسبة +19.6%.
دراسات الاستئصال (Ablation Studies):
- الدمج متعدد الوسائط: تفوق نهج مصفوفة التكلفة الموزونة (TASOT) على استخدام الميزات البصرية فقط، أو النصية فقط، أو دمج الميزات البسيط، مما أثبت فعالية الدمج القائم على النقل الأمثل (OT).
- المشفرات: حقق الجمع بين DINOv3 (بصري) و CLIP (نصي) أفضل النتائج، متفوقاً على المتغيرات التي استخدمت Gemma لتشفير النصوص.
- تكييف العناقيد: عندما تم تكييف عدد العناقيد مع محتوى الفيديو المحدد (بدلاً من تثبيته عالمياً)، قفز الأداء في BernBypass70 من 23.0 إلى 48.8 (F1 الخاص بالخطوة)، متجاوزاً حتى بعض النماذج الخاضعة للإشراف (TeCNO).

5. الأهمية والخاتمة

تحول في النموذج المعرفي: تتحدى TASOT الافتراض السائد بأن فهم الفيديو الجراحي الفعال يتطلب مجموعات بيانات تدريب مسبق ضخمة ومكلفة. فهي تثبت أنه يمكن تحقيق فهم دقيق من خلال استغلال المعلومات الموجودة بالفعل في التمثيلات البصرية والنصية القياسية.
الكفاءة: من خلال تجنب التدريب المسبق الثقيل واستخدام مشفرات قياسية، يقدم الأسلوب بديلاً فعالاً من حيث الحوسبة لتطبيقات الروبوتات الجراحية.
القدرة على التعميم: رغم التركيز على الجراحة، فإن إطار العمل قابل للتطبيق في أي مجال يتضمن فيديوهات إجرائية طويلة وغير مقصوصة حيث يمكن توليد إشارات نصية متوافقة.
العمل المستقبلي: حدد المؤلفون أن التقدير التكيفي لعدد العناقيد هو اتجاه واعد لتقليص الفجوة مع الطرق الخاضعة للإشراف بشكل أكبر.

باختصار، توفر TASOT حلاً قوياً غير خاضع للإشراف للتعرف على المراحل والخطوات الجراحية، مستفيدة من النقل الأمثل متعدد الوسائط لتحقيق نتائج رائدة دون الأعباء الحوسبية والبيانات المرتبطة باستراتيجيات التدريب المسبق واسعة النطاق الحالية.