On the Robustness of Temporal Vision-Language Models for Surgical Endoscopy Videos

تخيل أنك تعلم روبوتًا فائق الذكاء كيف يشاهد مقاطع الفيديو. أنت لا تريد تعليمه لعبة واحدة محددة في كل مرة؛ بدلاً من ذلك، تمنحه "عقلاً" عامًا يفهم ما يراه وما تعنيه الكلمات. هذا ما يسمى بنموذج الرؤية واللغة (Vision-Language Model). فكر في الأمر كطالب قرأ كل كتاب في المكتبة وشاهد كل فيلم تم صنعه، بحيث يمكنك فقط أن تسأله: "ماذا يحدث في هذا الفيديو؟" فيجيب بناءً على ما يعرفه. هذه الروبوتات تصبح شائعة جدًا لمراقبة فيديوهات الجراحة، حيث يحتاج الأطباء لتحديد الأدوات، أو مراحل العملية، أو مشكلات السلامة بسرعة دون قضاء سنوات في تصنيف كل إطار بمفرده.

ولكن، هناك عقبة. لقد تم تدريب الروبوت على فيديوهات مثالية، عالية الدقة، وبجودة استوديو. لكن فيديوهات الجراحة في الحياة الواقعية فوضوية. إنها تشبه مشاهدة فيلم من خلال نافذة ضبابية، حيث تهتز الكاميرا، أو يظهر دخان من أداة القطع بالليزر، أو يتجمد الإرسال بسبب اتصال سيئ بالإنترنت. السؤال الكبير الذي يسأله العلماء هو: إذا عرضت على هذا الروبوت فائق الذكاء فيديو جراحة فوضويًا، فهل سيظل يعمل؟ أم سيتعرض للارتباك ويبدأ في تخيل هراء؟ هذا البحث يتعمق في هذه المشكلة تحديدًا، ويختبر مدى صمود نماذج الذكاء الاصطناعي هذه عندما تخرج جودة الفيديو عن مسارها.

---

اختبار الواقع للروبوت: عندما تصبح فيديوهات الجراحة فوضوية

تعرف على نموذج الرؤية واللغة الزمني (TVLM). يمكنك التفكير في هذه النماذج على أنها "العباقرة متعددة المهام" في عالم الذكاء الاصطناائي. فبدلاً من تدريبها للتعرف على شيء واحد فقط (مثل "هل هذه مبضع؟")، يتم تدريبها لفهم القصة الكاملة للفيديو من خلال مطابقة الصور المتحركة مع الأوصاف النصية. يحب الجراحون هذه النماذج لأنهم يستطيعون طرح أسئلة مثل: "ما هي مرحلة الجراحة هذه؟" أو "ما هي الأداة المستخدمة؟" دون الحاجة إلى بناء عقل مخصص لكل سؤال.

لكن إليك حبكة القصة: هؤلاء العباقرة نشأوا في عالم معقم ومثالي. الفيديوهات التي تعلموا منها كانت نظيفة، ثابتة، ومضيئة. أما الجراحة الحقيقية، فهي مغامرة فوضوية. قد تصبح الكاميرا ضبابية بسبب الحرارة، أو قد تصبح العدسة مشوشة، أو قد يملأ الدخان الناتج عن أداة الكي (جهاز يحرق الأنسجة) الشاشة، أو قد يتعطل الفيديو بسبب فقدان البيانات (مثلما يتوقف اتصال الفيديو الخاص بك فجأة).

قرر مؤلفو هذا البحث، وهم فريق من الباحثين من أماكن مثل جامعة محمد بن زايد للذكاء الاصطناعي (MBZUAI) ومركز أبحاث السرطان الألماني، وضع هذه النماذج تحت اختبار الضغط النهائي. وسألوا: إذا ألقينا بهذه المشكلات الواقعية الفوضوية على النماذج، فهل ستنهار؟

"مضمار العقبات" Endo-C6

للإجابة على ذلك، بنى الفريق مضمار عقبات خاصًا يسمى Endo-C6. تخيل مستوى في لعبة فيديو حيث يتعين عليك التنقل عبر ستة أنواع مختلفة من الكوارث:

1. فقدان التركيز (Defocus): تفقد الكاميرا حدتها، مثل صورة ضبابية.
2. الضباب (Haze): تصبح الرؤية غائمة، مثل النظر عبر مرآة حمام يتصاعد منها البخار.
3. ضجيج اللقطة (Shot Noise): تصبح الصورة محببة، مثل تلفاز قديم به تشويش.
4. ضبابية الحركة (Motion Blur): تتحرك الكاميرا بسرعة كبيرة، مما يؤدي لتلطيخ الصورة.
5. فقدان الحزم (Packet Loss): يقفز الفيديو أو يتجمد، مثل بث إنترنت ضعيف.
6. دخان الكي (Cautery Smoke): يحجب الدخان الكثيف الرؤية، وهو أمر شائع عند حرق الأنسجة.

أخذ الفريق ثلاثة نماذج ذكاء اصطناعي شهيرة (SurgVLP، وHecVLP، وPeskaVLP) وأجروا بها هذا الاختبار عبر فيديوهات جراحية حقيقية من ثلاث مجموعات بيانات مختلفة: جراحة المناظير (داخل البطن)، وتنظير الجهاز الهضمي (النظر داخل الحلق أو الأمعاء)، وجراحة القولون والمستقيم.

النتائج الصادمة: "الانهيار"

كانت النتائج مخيفة بعض الشيء لمجتمع الذكاء الاصطناعي. عندما كانت الفيديوهات نظيفة، كان أداء النماذج جيدًا. ولكن بمجرد وقوع "الكوارث"، عانت النماذج مما وصفه المؤلفون بـ "الانهيار في أسوأ الحالات".

فكر في الأمر كطالب نجح في اختبار رياضيات في مكتبة هادئة، ولكنه عندما طُلب منه حل نفس المسائل وهو واقف وسط إعصار ويرتدي قناعًا ضبابيًا، نسي كيف يعد.

• في إحدى مجموعات البيانات (CholecT50)، انخفضت دقة النماذج من حوالي 40% في الفيديوهات النظيفة إلى أدنى مستوياتها عند 7% عند إدخال الدخان أو الضبابية.
• وفي مجموعة بيانات أخرى (TEMSET-24K)، كان أداء النماذج أسوأ، حيث انخفضت الدقة إلى 0.4% في بعض المقاطع التالفة. وهذا يعني عمليًا التخمين العشوائي.

لقيد البحث صراحةً فكرة أن هذه النماذج جاهزة للاستخدام الفعلي في شكلها الحالي "الجاهز للاستخدام". فهي هشة للغاية. فكمية صغيرة من الدخان أو الضباب يمكن أن تجعلها عديمة الفائدة تمامًا، وهو أمر خطير في الجراحة حيث السلامة هي كل شيء.

البطل: خدعة "التوليف" خفيفة الوزن

لكن لا تقلقوا! فالورقة البحثية لا تكتفي بتحديد المشكلة فح، بل تقدم حلاً. طور الباحثون نموذجًا جديدًا يسمى RobustEndoCLIP.

بدلاً من إعادة تدريب "العقل العملاق" للذكاء الاصطناعي بالكامل (وهو أمر يستغرق وقتًا طويلًا ويحتاج إلى كميات هائلة من البيانات)، استخدموا خدعة ذكية تسمى VeRA (تكييف المصفوفة العشوائية القائم على المتجهات). تخيل نموذج الذكاء الاصطناعي كمكتبة ضخمة وثقيلة؛ إعادة تدريبه تشبه إعادة بناء المكتبة بأكملها. أما VeRA فهي تشبه إضافة نظام بطاقات فهرسة صغير وذكي أمام مكتب الاستقبال. إنه صغير وفعال للغاية.

استخدموا جزءًا صغيرًا من البيانات النظيفة (فقط 16% من مقاطع التدريب المتاحة) واستخدموا خدعة "بطاقة الفهرس" هذه لتوجيه النموذج بلطف ليفهم العالم الفوضوي بشكل أفضل.

والنتيجة؟ RobustEndoCLIP لم يكتفِ بالنجاة في مضمار العقبات، بل ازدهر فيه.

• بينما انخفضت دقة النماذج القديمة إلى 7% في أسوأ سيناريوهات الدخان، حافظ النموذج الجديد على استقراره عند 16.83%.
• وفي أصعب مجموعة بيانات (TEMSET-24K)، حسّن النموذج دقة أسوأ الحالات من نسبة هزيلة بلغت 0.40% إلى 19.98% أكثر موثوقية.

يظهر البحث أن هذا التوليف الخفيف يجعل النموذج أكثر قوة، خاصة في سيناريوهات "أسوأ الحالات"، دون تغيير طريقة تفاعل الأطباء معه. لا تزال تسأل النموذج بكلمات بسيطة، وهو يعطيك إجابات أفضل حتى عندما يكون الفيديو فوضويًا.

ماذا يعني هذا للمستقبل؟

يؤكد المؤلفون أنهم لا يدعون "حل" مشكلة ذكاء الجراحة. هم يقترحون أن معيارهم الجديد، Endo-C6، يجب أن يصبح الطريقة القياسية لاختبار هذه النماذج. فقبل أن نثق في ذكاء اصطناعي للمساعدة في غرفة العمليات، نحتاج لمعرفة كيف يتعامل مع الدخان والضبابية والضباب.

تخلص الدراسة إلى أنه بينما النماذج الحالية هشة، فإن القليل من التوليف الذكي والفعال يمكن أن يجعلها أكثر صلابة. إنه تذكير بأنه في عالم الجراحة الفوضوي والواقعي، لا يكفي أن تكون "ذكيًا"؛ بل يجب أن تكون "قويًا" أيضًا. ومع أدوات مثل RobustEndoCLIP، قد نكون نقترب من ذكاء اصطناعي يمكنه التعامل مع فوضى غرفة العمليات دون أن يفقد هدوءه.