Extended KAFR: A kinematic-adaptive paradigm for the efficient analysis of surgical video
تُثبت هذه الورقة أن نموذج التعرف على الإطارات المتكيف مع الكينماتيكا (KAFR)، الذي طُوِّر في الأصل للجراحة الروبوتية، يتعمم بفعالية على بيئة جراحة المنظار الصعبة من خلال تحقيق دقة رائدة في تصنيف المراحل على معيار Cholec80 مع تقليل الحمل الحسابي عبر اختيار 0.58% فقط من الإطارات.
تخيل أنك تحاول تعليم حاسوب كيف يفهم فيلماً. إذا عرضت على الحاسوب كل إطار من فيلم مدته ثلاث ساعات، فسيصاب بالارتباك، وسينفد منه الملخص (الذاكرة)، ومن المرجح أن يستسلم. هذه هي نفس المشكلة التي يواجهها العلماء مع فيديوهات العمليات الجراحية. تُسجل العمليات الجراحية الحديثة لساعات طويلة، مما يخلق أكواماً هائلة من البيانات التي يصعب تحليلها. ولجعل هذا الأمر مفهوماً، يستخدم الباحثون فرعاً من فروع الذكاء الاصطناعي يسمى "التعلم العميق"، والذي يعمل كطالب ذكي جداً يتعلم من خلال النظر إلى الأمثلة. ولكن تماماً مثل الطالب البشري، إذا أجبرت الحاسوب على دراسة كل ثانية من مشهد ممل وبطيء الحركة، فإنه سيهدر الطاقة ويغفل عن الأجزاء المهمة. السؤال الكبير هو: هل يمكننا تعليم الحاسوب كيفية تخطي الأجزاء المملة والتركيز فقط على اللحظات المثيرة والمفعمة بالحركة؟ إذا استطعنا فعل ذلك، فسنتمكن من تحليل العمليات الجراحية بشكل أسرع بكثير، والمساعدة في تدريب الأطباء الجدد، وتحسين سلامة المرضى دون الحاجة إلى حواسيب خارقة لكل عملية جراحية.
هذا هو بالضبط ما سعى الباحثون في هذه الورقة البحثية لحله. لقد طوروا طريقة جديدة ذكية تسمى KAFR (التعرف على الإطارات المتكيف مع الحركية). فكر في KAFR كمحرر فيديو ذكي لا يقطع الفيلم في أوقات عشوائية، بل يراقب بدلاً من ذلك الأدوات التي يمسك بها الجراح. فهو يعلم أنه عندما تتحرك الأدوات بسرعة أو تغير اتجاهها، فهذا يعني أن شيئاً مهماً يحدث. وعندما تكون الأدوات ثابتة أو تتحرك ببطء، فهو يعلم أن الجراح ربما يكون في حالة انتظار أو إعادة تموضع، لذا يقوم بتخطي تلك الإطارات.
اختبر الفريق هذه الفكرة على نوع صعب للغاية من الجراحة يسمى استئصال المرارة بالمنظار (إزالة المرارة عبر ثقوب صغيرة). إن تحليل هذه الجراحة أصعب من الجراحة الروبوتية لأن الكاميرا يمسك بها مساعد بشري، مما يعني أن الرؤية تهتز، وتصبح ضبابية، وتتلوث بالدم أو الدخان. ورغم هذه الظروف الفوضوية، نجح KAFR ببراعة. فمن خلال النظر فقط إلى 0.58% من إطارات الفيديو (أقل من إطار واحد من بين كل مائة إطار!)، تمكن النظام من تحديد مراحل الجراحة المختلفة بنسبة نجاح بلغت 91.0%. وهذا لا يقل جودة عن النماذج الحاسوبية الأكثر تقدماً وثقلاً والتي تحاول النظر إلى 4% من الإطارات. بعبارة أخرى، حقق KAFR نفس الدرجة العالية ولكن مع بذل جهد أقل بنحو سبع مرات.
وجدت الورقة البحثية أيضاً أن استراتيجية "تخطي الأجزاء المملة" هذه تحاكي الطريقة التي يشاهد بها الجراحون الخبراء الفيديوهات فعلياً. فالجراحون لا يحدقون في كل ثانية؛ بل تقفز أعينهم طبيعياً إلى اللحظات التي تقوم فيها الأدوات بالقطع، أو التثبيت، أو شد الأنسجة. يقوم KAFR بتقليد هذا الحدس البشري؛ فهو يتجاهل اللحظات المهتزة أو الضبابية أو الساكنة، ويركز فقط على الحركة "الحركية" (kinematic)—أي حركة الأدوات. وقد أظهر الباحثون أنه حتى مع الكاميرا اليدوية المهتزة لجراحة المنظار، فإن تتبع حركة الأدوات يعد وسيلة موثوقة للعثور على الأجزاء الأكثر أهمية في الفيديو. لم يكتفوا بمجرد التخمين بأن هذا سينجح، بل قارنوا منهجهم بأساليب أخرى رفيعة المستوى ووجدوا أن نهجهم يتميز بنفس الدقة ولكنه أكثر كفاءة بكثير.
إذاً، ما هي الخلاصة؟ تشير الورقة البحثية إلى أننا لسنا بحاجة لإجبار الحواسيب على مشاهدة كل ثانية من الجراحة لفهمها. فمن خلال السماح للحاسوب بالتركيز فقط على اللحظات التي تقوم فيها الأدوات بالعمل الشاق، يمكننا تحليل فيديوهات الجراحة بشكل أسرع وبقدر أقل من القدرة الحوسبية. وهذا يفتح الباب أمام التحليل في الوقت الفعلي وأدوات تدريب أفضل، مما يثبت أننا أحياناً، عندما ننظر إلى الأقل، نرى أكثر.
ملخص تقني: توسيع نطاق تقنية KAFR لتحليل الفيديو الجراحي بالمنظار
بيان المشكلة
يُستخدم الذكاء الاصطناعي بشكل متزايد في تحليل الفيديو الجراحي، بما في ذلك تقسيم المراحل وتقييم المهارات. ومع ذلك، تبرز عقبة كبيرة: غالبًا ما تمتد التسجيلات الجراحية من ساعة واحدة إلى عدة ساعات، مما يخلق عبئًا حوسبيًا هائلًا للمعالجة. وبينما طور المؤلفون سابقًا تقنية التعرف على الإطارات المتكيف مع الحركية (KAFR) للجراحة الروبوتية — حيث توفر التصوير عالي الدقة والكاميرات المستقرة تتبعًا موثوقًا للأدوات — فإن تطبيقها على جراحة المنظار يظل غير مثبت. تفرض بيئات جراحة المنظار تحديات فريدة، بما في ذلك التحكم اليدوي في الكاميرا (مما يؤدي إلى آثار حركة متكررة)، وجودة صورة أقل عمومًا، وتباين أكبر في مظهر الأدوات. السؤال المركزي الذي يتم معالجته هو ما إذا كان استراتيجية اختيار الإطارات القائمة على الحركية يمكن أن تعمم بفعالية على هذه الظروف الأقل ضبطًا والأكثر تعقيدًا بصريًا لتقليل الحمل الحوسبي دون التضحية بالدقة.
المنهجية
توسع الدراسة إطار عمل KAFR ليشمل استئصال المرارة بالمنظار باستخدام مجموعة بيانات Cholec80 (80 فيديو، 7 مراحل جراحية). تعمل خطوط المعالجة عبر ثلاث مراحل متميزة:
كشف الأشياء والفلترة:
يقوم نموذج YOLOv8 مضبوط بدقة بكشف وتجزئة الأدوات الجراحية (مثل الملاقط، الخطافات، والملاقط ثنائية القطب).
للتعامل مع مجموعة البيانات المحددة، تم دمج "Grasper 2" و"Grasper 3" في فئة واحدة وهي "Grasper" نظرًا للتكافؤ الوظيفي بينهما.
يتم حساب مراكز الأدوات المكتشفة ومعالجتها عبر مرشح تمرير منخفض (Low-pass filter) من نوع Butterworth IIR (بتردد قطع 3 هرتز) لتخميد الضوضاء عالية التردد واهتزاز الخلفية الناتج عن حركة الكاميرا، وذلك لعزل حركة الأدوات المتعمدة.
اختيار الإطارات المتكيف مع الحركية (KAFR):
بدلاً من أخذ العينات الزمنية المنتظمة، يتم اختيار الإطارات بناءً على حركة الأدوات. يقوم النظام بحساب الإزاحة وتغير السرعة عبر نافذة زمنية.
تم تقييم متغيرين متكيفين:
المتغير التكيفي 1: يختار الإطارات بناءً على السرعة التراكمية للأداة (الإزاحة).
يتم إجراء الاختيار عالميًا عبر الفيديو لتحديد "الإطارات الرئيسية" حيث تكون النشاطات الحركية كبيرة، مما يستبعد المحتوى الساكن أو قليل الحركة غير الضروري.
تقسيم المراحل:
يتم تغذية الإطارات الرئيسية المختارة في شبكة عصبية تلافيفية ثلاثية الأبعاد من نوع X3D (مضبوطة بدقة من Kinetics-400) لتصنيف المراحل.
لمعالجة عدم توازن الفئات والتماسك الزمني، تستخدم الطريقة ما يلي:
إعادة أخذ العينات (Resampling): توحيد أعداد الإطارات عبر المراحل بناءً على المدة المتوسطة.
دالة الخسارة (Loss Function): مزيج من الإنتروبيا المتقاطعة (Cross-Entropy) ومسافة نقل الأرض (EMD).
المعالجة اللاحقة: متوسط متحرك سلس (SMA) مع دالة المنوال (Mode function) لتقليل أخطاء التصنيف عند حدود المراحل.
المساهمات الرئيسية
التعميم على جراحة المنظار: نجح هذا العمل في تكييف نموذج KAFR من الجراحة الروبوتية إلى جراحة المنظار، مما أثبت فعاليته رغم تحديات حركة الكاميرا اليدوية وانخفاض جودة الصورة.
الكفاءة عبر البروز الحركي: تثبت الدراسة أن التقسيم الدقيق للمراحل لا يتطلب أخذ عينات زمنية كثيفة. فمن خلال إعطاء الأولوية للإطارات ذات النشاط الحركي العالي (محاكاةً لنمط الانتباه الانتقائي لدى الجراحين الخبراء)، يقلل النظام بشكل كبير من متطلبات البيانات.
المتانة تجاه الضوضاء البصرية: يسمح دمج فلترة الحركة (Butterworth) والاختيار القائم على الحركية للنظام بالبقاء فعالًا حتى عندما تتقلب الجودة البصرية أو تتعرض الأدوات للاحتجاب الجزئي.
بنية نمطية: إطار العمل مستقل عن المصنف (Classifier-agnostic)، حيث يفصل آلية اختيار الإطارات عن نموذج التصنيف اللاحق (X3D)، مما يسمح بالدمج المستقبلي مع بنيات زمنية أخرى.
النتائج
تم تقييم النموذج على مجموعة بيانات Cholec80 (40 فيديو تدريب، 8 فيديو تحقق، 32 فيديو اختبار)، وحقق KAFR الموسع النتائج التالية:
الأداء: حقق درجة F1 بنسبة 91.0% ودقة بنسبة 91.5% بموجب بروتوكول الحدود المرنة لمدة 10 ثوانٍ.
الكفاءة: تم الحصول على هذه النتائج باستخدام 0.58% فقط من إجمالي إطارات الفيديو لوحدة التصنيف. ويمثل هذا انخفاضًا بنحو سبعة أضعاف في عدد الإطارات المعالجة مقارنة بالطرق التقليدية التي تأخذ عينات بنسبة 4% من الإطارات (مثل EndoNet و Trans-SVNet و LoViT).
التحليل المقارن:
تفوق على نموذج EndoNet الرائد بنسبة 19.0% في درجة F1 (76.5% مقابل 91.0%).
حقق أداءً تنافسيًا مقابل النماذج المعتمدة على الـ Transformer مثل LoViT (90.2% F1) و Trans-SVNet (89.7% F1).
في التقييم الصارم (بدون تمديد)، حافظ KAFR على F1 بنسبة 85.1% باستخدام 1.5% فقط من الإطارات، وهو لا يزال تنافسيًا مع الطرق التي تستخدم 4%.
أداء المتغيرات التكيفية: تفوق المتغير التكيفي 1 (القائم على السرعة) باستمرار على المتغير التكيفي 2 (القائم على التسارع)، خاصة في تجنب الانتقالات الغامضة بين المراحل والتركيز على النشاط المعلوماتي المستقر داخل المرحلة الواحدة.
الأهمية والادعاءات
يدعي البحث أن KAFR نجح في الانتقال من المجال الروبوتي إلى مجال المنظار، مما يثبت أن اختيار الإطارات القائم على الحركة هو نهج معالجة مسبقة مستقل عن المجال. تكمن الأهمية في القدرة على تقليل العبء الحوسبي بنحو 7 أضعاف مع الحفاظ على دقة بمستوى سريري، مما يعالج الحاجز الحرج المتمثل في معالجة فيديوهات جراحية طويلة في البيئات السريرية محدودة الموارد.
يشير المؤلفون إلى أن نجاح الطريقة يوحي بأن نمط "الانتباه الانتقائي" للجراحين — الذي يركز على الإجراءات الحاسمة وتفاعل الأدوات بدلاً من فترات الانتظار — يمكن التقاطه حوسبيًا. وتؤكد الدراسة صحة KAFR عبر ثلاث مجموعات بيانات مستقلة (بما في ذلك التحققات الروبوتية السابقة على Gastrojejunostomy و Pancreaticojejunostomy)، لتغطي أكثر من 220 فيديو عبر نوعين من الجراحة ومؤسستين مختلفتين.
القيود المعترف بها:
يقتصر التحقق حاليًا على مجموعة بيانات Cholec80 (مركز واحد، ونوع إجراء واحد)، رغم أن العمل السابق يدعم إمكانية التطبيق الأوسع.
يتطلب كاشف الأدوات تسمية يدوية للضبط الدقيق (حوالي أسبوع من الجهد للمجموعة المستخدمة)، وإن كان العمل المستقبلي قد يستفيد من نماذج التأسيس مثل SAM لتقليل هذا العبء.
تركز الدراسة على التحليل الرجعي للفيديو؛ ولا تزال فائدة المراقبة اللحظية أثناء العملية الجراحية بحاجة إلى التحقق.
تم اختيار المعلمات الفائقة (Hyperparameters) تجريبيًا وليس من خلال تحسين منهجي شامل.