Action-grounded tissue affordance enables anticipatory auto-framing that lowers surgeon cognitive workload during laparoscopic surgery
تقدم الورقة البحثية DiffeoAfford، وهو إطار عمل قائم على الأفعال يقوم تلقائياً بتوليد تسميات الانتباه البصري من الإجراءات الجراحية لتشغيل AffordView، وهو نظام تأطيم تلقائي يتوافق مع نظرات الخبراء ويقلل بشكل كبير من العبء المعرفي للجراح أثناء جراحة المناظير.
تخيل أنك تحاول متابعة مشهد مطاردة عالية السرعة في فيلم، لكن مصور الكاميرا بطيء بعض الشيء؛ فهو يستمر في توجيه العدسة نحو الشارع الخالي قبل أن تنعطف السيارة، أو يتشتت انتباهه بشجرة ما ويفوت لحظة الانفجار. في العالم الحقيقي للجراحة، وتحديداً نوع يسمى جراحة المنظار، يواجه الجراحون نسخة أكثر خطورة من هذه المشكلة. فهم يعملون داخل جسم المريض باستخدام أدوات طويلة ويشاهدون شاشة فيديو، لكنهم لا يستطيعون رؤية الصورة الكاملة دفعة واحدة. ولكي يتمكنوا من رؤية المكان الصحيح، يحتاجون إلى كاميرا تتبع أيديهم وأعينهم بدقة.
التحدي الكبير هنا هو أن "مصور الكاميرا" عادة ما يكون مساعداً بشرياً. يتعين على هذا المساعد تخمين ما يريد الجراح رؤيته تالياً، وغالباً ما يخطئ في التخمين، مما يضطر الجراح للصراخ: "تحرك يساراً!" أو "قرب الصورة!". هذا الصراخ والتصحيح المستمر يشبه محاولة حل مسألة رياضية بينما يستمر شخص ما في النقر على كتفك؛ وهو أمر يستهلك الكثير من الطاقة الذهنية، المعروفة باسم "العبء المعرفي". لقد حاول العلماء بناء حواسيب للقيام بهذه المهمة، لكنهم اصطدموا بحائط مسدود: لكي تعلم حاسوباً ما الذي يجب أن يبحث عنه، تحتاج عادةً إلى إنسان يرسم مربعاً حول البقعة المهمة في كل إطار من إطارات الفيديو. ولكن في الجراحة، "البقعة المهمة" ليست جسماً ثابتاً مثل سيارة؛ بل هي قطعة من الأنسجة اللينة والمتحركة التي يتغير شكلها في كل ثانية. الخبراء يعرفون أين ينظرون، لكنهم لا يستطيعون شرح القواعد التي يستخدمونها للوصول إلى هناك. الأمر يشبه طباخاً ماهراً يمكنه تذوق الحساء ومعرفة ما ينقصه بالضبط، لكنه لا يستطيع كتابة الوصفة.
تقدم هذه الورقة البحثية طريقة ذكية لتعليم الحاسوب كيف يكون ذلك الطباخ الماهر دون الحاجة إلى وصفة مكتوبة. فقد طور الباحثون، بقيادة فريق من جامعة هوازونغ للعلوم والتكنولوجيا وفرق أخرى، نظاماً يسمى DiffeoAfford. فبدلاً من مطالبة البشر بتخمين أين سيحدث الفعل، جعلوا الحاسوب يشاهد الجراحة بعد انتهائها. ينظر الحاسوب إلى أدوات الجراح ويقول: "آه، لقد لمس الجراح هذه القطعة المحددة من الأنسجة هنا، ثم انتقل إلى هناك. هذا يعني أن هذه كانت البقعة المهمة". ومن خلال استخدام خدعة رياضية خاصة تسمى "التشاكل التفاضلي" (diffeomorphism) -وهي تشبه خريطة تمدد لورقة مطاطية تحافظ على الأنسجة من التمزق أو الالتواء بطرق مستحيلة- يمكن للنظام تتبع أفعال الجراح عكسياً عبر الزمن لمعرفة الأجزاء الدقيقة من الأنسجة اللينة التي كانت هي الأهداف.
بمجرد أن يتعلم الحاسوب هذه الخريطة "القائمة على الفعل"، يمكنه التنبؤ بمكان نظر الجراح تالياً، حتى قبل أن يحرك الجراح يده. لقد بنوا تطبيقاً يسمى AffordView يستخدم هذا التنبؤ لتوسيط الكاميرا تلقائياً على المكان الصحيح. وعندما اختبروا هذا في عمليات جراحية حقيقية، كانت النتائج مبهرة. لم يكتفِ النظام بالتخمين فحسب، بل كان متوافقاً مع نظرة الجراح الفعلية بشكل أفضل من المساعد البشري للكاميرا. في الواقع، كان الحاسوب بارعاً جداً في توقع الخطوة التالية لدرجة أنه قلل من الضغط الذهني على الجراح. أظهرت موجات دماغ الجراحين أنهم كانوا أقل إرهاقاً، وظلت حدقات أعينهم (التي تتسع عندما تكون تحت ضغط أو تركيز شديد) أكثر استقراراً، كما اضطروا لتقديم عدد أقل من الأوامر اللفظية لمساعديهم. تشير الدراسة إلى أنه من خلال السماح للحاسوب بالتعلم من أفعال الجراح نفسه بدلاً من الملصقات اليدوية، يمكننا إنشاء "كاميرا ذكية" تعمل كشريك مثالي وصامت، مما يسمح للجراح بالتركيز تماماً على إنقاذ الأرواف بدلاً من الصراخ في وجه الكاميرا.
ملخص تقني: الإمكانات النسيجية القائمة على الفعل للتأطير التلقائي الاستباقي في الجراحة التنظيرية
بيان المشكلة
تفرض الجراحة التنظيرية تحديات إدراكية كبيرة بسبب الانفصال بين المحاور البصرية والحركية، والرؤية المقيدة ثنائية الأبعاد، والحاجة إلى مساعد كاميرا لتفسير نية الجراح. وبينما يمكن لنماذج الانتباه الحسابية تخفيف هذا العبء من خلال التنبؤ بمناطق الاهتمام (ROI)، فإن نشرها في الجراحة يعوقه "عنق زجاجة التسمية". فخلافًا للصور الطبيعية، ليست مناطق الاهتمام الجراحية هياكل تشريحية ثابتة، بل هي أهداف ديناميكية تمليها النية الوظيفية. ويتطلب تحديد هذه الأهداف معرفة إجرائية متخصصة هي بطبيعتها معرفة ضمنية؛ حيث يتفق الخبراء على مواضع التفاعل ولكن لا يمكنهم صياغة القواعد الصريحة التي تحكم اختيارها. وبناءً على ذلك، فإن توليد تسميات كثيفة لكل إطار لتدريب نماذج التعلم العميق يعتمد على مجموعة نادرة من الجراحين الخبراء، مما يجعل الإشراف اليدوي مكلفًا للغاية وغير قابل للتوسع. علاوة على على ذلك، تعتمد النهج الحالية غالبًا على تتبع الأدوات التفاعلي (الاستجابي)، وهو ما يفشل في استباق نية الجراح قبل وصول الأداة إلى الهدف.
المنهجية
يقترح المؤلفون إطار عمل يستمد الإشراف من الفعل بدلاً من التسمية اليدوية، منتقلين من تحديد المعالم الثابتة إلى تفسير قائم على الفعل للإمكانات الجراحية. تتكون المنهجية من ثلاثة مكونات أساسية:
DiffeoAfford (تأصيل الإمكانات التبايني):
المفهوم: خط معالجة موجه للرؤية بأثر رجعي يستنتج مواضع التفاعل الجراحي (البقع الساخنة للإمكانات أو AHs) من الإجراءات المكتملة.
الآلية: يستخدم النظام نموذج Segment Anything 2 (SAM2) لتقسيم الأدوات واستخراج أطرافها. ولمعالجة التشوه غير المنتظم للأنسجة الرخوة، والذي يبطل التحويلات العالمية البسيطة، يستخدم DiffeoAffpad تتبعاً مقيداً بالتباين (diffeomorphism-constrained tracking). يجمع هذا بين التحويلات العالمية (لحركة الكاميرا) ومجالات التشوه التبايني المحلية لإنشاء ارتباطات كثيفة على مستوى البكسل عبر الإطارات.
توليد التسميات: يتم تجميع نقاط أطراف الأدوات على إطار استعلامي ونشرها إلى جميع الإطارات الأخرى عبر مجالات الإزاحة. تُصفى هذه النقاط وتُطابق مع توزيع غاوسي ثنائي الأبعاد لتوليد "تسميات ناعمة" مستمرة (خرائط حرارية) تمثل إمكانات الأنسجة.
التحسين الزمني: يقوم خط المعالجة بتقسيم مقاطع الفيديو تلقائيًا بناءً على طول الأداة ورؤية البقع الساخنة (AH)، مما يضمن أن التسميات تتوافق مع عروض تقديمية متماسكة لفعل واحد.
التنبؤ بالإمكانات في الوقت الفعلي:
يتم تدريب نموذج تعلم عميق (SegFormer) على مجموعة بيانات الإمكانات المولدة تلقائيًا.
يتنبأ هذا النموذج بالبقع السﺎخنة للإمكانات في المشهد الجراحي في الوقت الفعلي دون الحاجة إلى تسميات يدوية أثناء الاستنتاج.
يعمل المركز المتوقع للخريطة الحرارية كهدف للتحكم في الرؤية.
تطبيق AffordView:
نظام تأطير تلقائي استباقي يقوم بقص وتكبير الفيديو الأصلي ديناميكيًا لتركيز مركز موضع التفاعل المتوقع.
على عكس الأنظمة الاستجابية أو مساعدي الكاميرا البشريين الذين يستنتجون النية من الصورة الحالية، يعمل AffordView بشكل استباقي على محاذاة مجال الرؤية (FoV) مع الهدف الجراحي المتوقع، مستفيدًا من انحياز التركيز الطبيعي للجراح نحو مركز الشاشات.
المساهمات الرئيسية
الإشراف القائم على الفعل: يقدم البحث طريقة مبتكرة لتوليد تسميات إمكانات كثيفة لكل إطار دون تسمية يدوية، وذلك عبر الاستفادة من مسارات أدوات الجراح كحقيقة أرضية استرجاعية.
خط معالجة DiffeoAfford: تطوير إطار تتبع يدمج التشوهات التباينية للتعامل مع ديناميكيات الأنسجة الرخوة، متفوقًا على النماذج المرجعية العالمية (التشابه والتماثل) في دقة التحديد الموضعي.
الاستباق مقابل الاستجابة: إثبات أن التنبؤ بالإمكانات القائم على الفعل يمكنه استباق نظرة الجراح وحركة الكاميرا اللاحقة بشكل أكثر فعالية من تتبع الأدوات الاستجابي أو مساعد الكاميرا البشري.
التحقق السريري: تقييم شامل لتطبيق AffordView باستخدام استبيانات عبء العمل الذاتية، وتخطيط كهربية الدماغ (EEG)، وقياس تقلب حدقة العين، وتتبع حركة العين في دراسة مقترنة أثناء العمليات.
النتائج
دقة التأصيل: حققت التسميات المولدة بواسطة DiffeoAfford على مجموعة بيانات Cholec80 العامة دقة في التسمية تعادل إحصائيًا الملاحظين المبتدئين المزودين بسياق إجرائي كامل، وطابقت بشكل وثيق إجماع كبار الجراحين. وفي مجموعة بيانات LCET الخاصة، تماشى التسميات المؤصلة مع نظرة الجراح أثناء العملية دون فرق معنوي مقارنة بالملاحظين المبتدئين في السياق.
أداء التنبؤ:
المحاذاة الزمنية: في مجموعة بيانات LCET، أظهر نموذج التنبؤ بالبقع الساخنة (AH) تأخراً في المركز أقصر بكثير مقار بنظرة الجراح مقارنة بنظرة مساعد الكاميرا (مثلاً: -0.033 ثانية مقابل 0.185 ثانية أثناء تشريح مثلث كالوت).
المحاذاة المكانية: كانت تنبؤات البقع الساخنة (AH) أقرب بكثير إلى نظرة الجراح من كل من نظرة مساعد الكاميرا ومركز الصورة.
التنبؤ بحركة الكاميرا: في مجموعة بيانات AutoLaparo (استئصال الرحم)، حقق النموذج اتساقاً اتجاهياً بنسبة 95.16% مع حركة الكاميرا اللاحقة مباشرة قبل حدوث الحركة. وخلافًا لنماذج تتبع الأدوات التي تتدهور دقتها بسرعة مع زيادة الفجوة الزمنية، حافظ التنبؤ بالبقع الساخنة (AH) على دقة مستقرة عبر آفاق زمنية أطول.
تجربة المستخدم وعبء العمل الإدراكي:
التفضيل: في استطلاع متعدد المراكز (28 جراحًا)، حظي نظام AffordView المدفوع بالبقع الساخنة بتفضيل أكبر بكثير من الرؤى غير المعدلة (77.1%) ومن نماذج تتبع الأدوات (75.4%) فيما يتعلق بدقة مجال الرؤية (FoV).
المقاييس الفسيولوجية: في دراسة مقترنة أثناء العمليات (12 زوجًا من عمليات استئصال المرارة)، أظهرت المجموعة التجريبية التي استخدمت AffordView انخفاضات معنوية في علامات عبء العمل الإدراكي:
تخطيط كهربية الدماغ (EEG): انخفاض نسبة ثيتا/ألفا (TAR) وقدرة ألفا القذالية.
_ * قياس تقلب حدقة العين: انخفاض مؤشر نشاط الحدقة (IPA). * السلوك: انخفاض ملحوظ في عدد التعليمات اللفظية الموجهة لمساعدي الكاميرا. * المقاييس الذاتية: أبلغ الجراحون عن انخفاض كبير في المتطلبات الذهنية والبدنية وفق مقياس SURG-TLX.
الأهمية والادعاءات
يدعي البحث أن استمداد الإشراف من الفعل بدلاً من التسمية يوفر مساراً قابلاً للتوسع للمساعدة الاستباقية في غرفة العمليات. فمن خلال تأصيل إمكانات الأنسجة بأثر رجعي، يسد النظام الفجوة بين البيانات الحسية الخام والاستدلال المعرفي عالي المستوى دون الاعتماد على المعرفة الضمنية للخبراء في التسمية.
يؤكد المؤلفون أن نهجهم لا يكتفي بتتبع الأدوات فحسب، بل يتنبأ بمكان توقع حدوث التفاعل، مما يربط الواجهة الرقمية بالقيود البصرية الحركية البشرية (تحديداً انحياز المركز واستراتيجيات "العين الهادئة"). وهذا التوافق يقلل من التكلفة العصبية للتدوير الذهني التعويضي والعبء الإدراكي الخارجي. وتخلص الدراسة إلى أنه بينما لا يحل النظام محل الجراح، فإنه يعمل كأداة ذكاء معزز ترفع من القدرات البشرية من خلال الإدارة الاستباقية للمجال البصري، مما يخفف من فرط الحمل الإدراكي المتأصل في الجراحة التنظيرية. ويظل المؤلفون متواضعين في ادعاءاتهم، مشيرين إلى أن النظام يفتقر حالياً إلى الاستدلال الدلالي (مثل التمييز بين الأنسجة الخبيثة) وأن الفوائد الإدراكية الملحوظة لا تعني بالضرورة الحفاظ على اليقظة المحيطية، والتي لم يتم قياسها.